Tokenizer

La fonction qui découpe le texte brut en tokens. Du plus naïf (espaces + minuscules) aux schémas appris comme BPE.