Query / Key / Value

Trois projections de l’entrée utilisées par l’attention. Les queries demandent, les keys annoncent, les values contribuent.

Explication complémentaire dans Step by Token, chapitre 4.