Attention multi-têtes
Plusieurs têtes d’attention en parallèle, chacune avec ses projections Q/K/V, puis concaténées et reprojetées.
Explication complémentaire dans Step by Token, chapitre 4.
Où ce terme est construit
Continuer
Plusieurs têtes d’attention en parallèle, chacune avec ses projections Q/K/V, puis concaténées et reprojetées.
Explication complémentaire dans Step by Token, chapitre 4.
Continuer