Aller au contenu
The loss curve

Descente de gradient

Procédure d’optimisation : soustraire un petit multiple du gradient aux paramètres à chaque étape.

Explication complémentaire dans Step by Token, chapitre 6.

Où ce terme est construit