Aller au contenu
The loss curve

Encodage one-hot

Un vecteur rempli de zéros avec un seul 1 à la position du token. Simple, mais très gaspilleur.

Explication complémentaire dans Step by Token, chapitre 3.

Où ce terme est construit