LLM (large language model)

Un modèle de langage avec assez de paramètres et de données d’entraînement pour produire du texte cohérent sur plusieurs paragraphes. Les LLM modernes sont des transformers avec des milliards à des billions de paramètres.

Il n’y a pas de seuil exact de taille — « large » est une cible mouvante. En pratique, le terme couvre les modèles de langage à base de transformer à partir de quelques centaines de millions de paramètres, entraînés sur des centaines de milliards de tokens.

Explication complémentaire dans Step by Token, chapitre 1.