Aller au contenu
The loss curve

Normalisation de couche

Normalise le vecteur d’activation de chaque token à moyenne 0 et écart-type 1. Stabilise les échelles entre couches.

Explication complémentaire dans Step by Token, chapitre 5.

Où ce terme est construit