Tokenizer
La fonction qui découpe le texte brut en tokens. Du plus naïf (espaces + minuscules) aux schémas appris comme BPE.
Explication complémentaire dans Step by Token, chapitre 2.
Où ce terme est construit
Continuer
La fonction qui découpe le texte brut en tokens. Du plus naïf (espaces + minuscules) aux schémas appris comme BPE.
Explication complémentaire dans Step by Token, chapitre 2.
Continuer