Aller au contenu
The loss curve

Masque causal

Contrainte qui empêche le token i de voir les tokens futurs j > i pendant l’entraînement.

Explication complémentaire dans Step by Token, chapitre 4.

Où ce terme est construit