Momentum

Astuce qui accumule une vitesse issue des gradients récents. Elle lisse la trajectoire quand les pas se renforcent.

Explication complémentaire dans Step by Token, chapitre 6.