Perplexité

Moyenne géométrique de l’inverse des probabilités sur une séquence. Elle baisse quand le modèle donne de fortes probabilités aux tokens observés.

Reportée comme exp(moyenne de la log-vraisemblance négative). Métrique d’évaluation classique pour les modèles de langage. Une perplexité de 50 signifie que le modèle est, en moyenne, aussi indécis que s’il devait choisir uniformément entre 50 tokens équiprobables.