Vocabulaire

L’ensemble des tokens distincts qu’un modèle peut lire ou produire. Sa taille va d’environ 80 en caractères à près de 100 000 pour les tokenizers modernes.