Échantillonnage

Tirer une valeur aléatoire selon une distribution de probabilité. Dans un modèle de langage, choisir le prochain token en tirant un nombre contre la sortie du modèle.

Les stratégies d’échantillonnage (greedy, temperature, top-k, top-p) répondent toutes à la même question — étant donné une distribution sur le vocabulaire, quel token émet-on ? — mais arbitrent différemment entre déterminisme et diversité.