Aller au contenu
The loss curve

Loi de scaling

Observation empirique : la qualité progresse de façon prévisible avec les paramètres, les tokens d’entraînement et le compute.

Explication complémentaire dans Step by Token, chapitre 19.

Où ce terme est construit