Température
Un diviseur appliqué aux logits avant le softmax. Sous 1, la distribution se resserre (plus sûr, plus répétitif) ; au-dessus, elle s’aplatit (plus surprenant, moins cohérent).
La température 0 est le cas limite : la distribution s’effondre sur son maximum et l’échantillonnage devient un argmax. C’est le bouton de génération le plus utile, et le premier à toucher quand la sortie est soit trop fade, soit délirante.
Explication complémentaire dans Step by Token, chapitre 7.
Où ce terme est construit
Continuer