Vocabulaire
L’ensemble des tokens distincts qu’un modèle peut lire ou produire. Sa taille va d’environ 80 en caractères à près de 100 000 pour les tokenizers modernes.
Explication complémentaire dans Step by Token, chapitre 2.
Où ce terme est construit
- chap. 1Le modèle le plus idiot qui existe
- chap. 2Compter ne suffit pas
- chap. 3Entraîne tes propres tokens
- chap. 10Le bloc transformer complet
- chap. 15Charger les vrais poids
- chap. 16Pourquoi ton modèle parle mal
- chap. 17Donner des instructions à ton modèle
- chap. 20Parler à ton modèle
- chap. 21Livrer quelque chose d’utile
Continuer