Paramètre
Un des nombres apprenables du modèle. Les LLM modernes en ont des milliards à des billions ; le bigramme du chapitre 1 en a |vocab|² (un par cellule de la table de comptage).
Explication complémentaire dans Step by Token, chapitre 1.
Où ce terme est construit
- chap. 4Donner du sens aux mots
- chap. 5Un neurone qui apprend
- chap. 6Empiler les couches
- chap. 7La descente de gradient en direct
- chap. 10Le bloc transformer complet
- chap. 12Le code minimal
- chap. 13La boucle d’entraînement
- chap. 14Génération et sampling
- chap. 15Charger les vrais poids
- chap. 16Pourquoi ton modèle parle mal
- chap. 17Donner des instructions à ton modèle
- chap. 18Fine-tuning avec LoRA
- chap. 19Quantification simple
- chap. 20Parler à ton modèle
- chap. 21Livrer quelque chose d’utile
- chap. 22Appendice · La backprop à la main
- chap. 23Appendice · RLHF et DPO
Continuer