Aller au contenu
The loss curve

Top-p (échantillonnage nucleus)

Garder le plus petit ensemble de tokens dont les probabilités somment à p, renormaliser, puis échantillonner. Contrairement au top-k, la taille de cet ensemble s’adapte à la confiance du modèle.

Explication complémentaire dans Step by Token, chapitre 7.

Où ce terme est construit