Sous-mot
Un token plus court qu’un mot mais plus long qu’un caractère. C’est la granularité vers laquelle BPE converge.
Explication complémentaire dans Step by Token, chapitre 2.
Où ce terme est construit
Continuer
Un token plus court qu’un mot mais plus long qu’un caractère. C’est la granularité vers laquelle BPE converge.
Explication complémentaire dans Step by Token, chapitre 2.
Continuer