Échantillonnage top-k
Ne garder que les k tokens les plus probables, renormaliser, puis échantillonner. Coupe la longue traîne de tokens invraisemblables qui seraient sinon tirés de temps en temps.
Explication complémentaire dans Step by Token, chapitre 7.
Où ce terme est construit
Continuer