Aller au contenu
The loss curve

Masque de loss

Un vecteur de 0 et de 1, un par token, qui dit quelles positions contribuent à la loss. En SFT, les tokens du prompt reçoivent 0 et ceux de la réponse 1.