Embedding

Un vecteur dense et de faible dimension qui représente un token. Les mots utilisés dans des contextes proches finissent avec des vecteurs proches.

Les embeddings remplacent l’encodage one-hot des tokens par des vecteurs continus qui capturent des relations sémantiques. La géométrie de l’espace d’embeddings est porteuse de sens : certaines directions encodent des traits comme le genre, le registre ou la formalité.