Normalisation de couche
Normalise le vecteur d’activation de chaque token à moyenne 0 et écart-type 1. Stabilise les échelles entre couches.
Explication complémentaire dans Step by Token, chapitre 5.
Où ce terme est construit
Continuer
Normalise le vecteur d’activation de chaque token à moyenne 0 et écart-type 1. Stabilise les échelles entre couches.
Explication complémentaire dans Step by Token, chapitre 5.
Continuer