Aller au contenu
The loss curve

Gradient

Vecteur des dérivées partielles de la loss par rapport aux paramètres. Il indique dans quel sens ajuster chaque paramètre.

Explication complémentaire dans Step by Token, chapitre 6.

Où ce terme est construit