Avant de commencer

Ce chapitre prépare l’environnement local que tu utiliseras dès le chapitre 1 — Python et un venv tout de suite, PyTorch un peu plus tard. Chaque chapitre a une moitié navigateur (du JavaScript, rien à installer) et une moitié locale qui écrit de vrais fichiers dans ton projet my-llm/. La moitié locale démarre immédiatement : le chapitre 1 te fait déjà lancer python -m scripts.train_bigram.

Saute si python3 -m venv .venv && source .venv/bin/activate && pip install torch est un réflexe. Tu n’apprendras rien de neuf ici.

Pressé ? Les étapes 1 à 3 (Python + venv, ~5 minutes) suffisent pour les chapitres 1 à 10 : ils ne tournent que sur la bibliothèque standard. L’étape 4 installe PyTorch, qui ne devient nécessaire qu’au chapitre 12. Le faire maintenant te coûte un café et t’évite une interruption plus tard.

Le setup complet prend 10 à 20 minutes, surtout du téléchargement.

1. Installer Python 3.11 ou plus récent

Le livre utilise des annotations de typage qui demandent Python 3.11+. 3.12 ou 3.13 recommandé.

brew install python@3.13

# Installer depuis https://www.python.org/downloads/ et cocher 'Add Python to PATH'.

sudo apt update && sudo apt install python3.13 python3.13-venv python3-pip

Vérifie :

python3 --version

py --version

python3 --version

Tu devrais voir Python 3.13.x (ou 3.11 / 3.12 — tout à partir de 3.11 convient).

2. Créer le dossier du projet

L’artefact local que tu construis tout au long du livre vit dans my-llm/. Le chapitre 1 reprend exactement ces commandes : le créer ici ou là-bas ne change rien, il suffit de ne pas le faire deux fois.

mkdir -p my-llm/llm my-llm/scripts my-llm/data && cd my-llm

mkdir my-llm; mkdir my-llm\\llm,my-llm\\scripts,my-llm\\data; cd my-llm

mkdir -p my-llm/llm my-llm/scripts my-llm/data && cd my-llm

3. Créer et activer le venv

Un venv isole les dépendances de ce projet de ton Python système. Un rm -rf .venv (ou Remove-Item .venv) suffit pour tout annuler.

python3 -m venv .venv && source .venv/bin/activate

py -m venv .venv; .\\.venv\\Scripts\\Activate.ps1

python3 -m venv .venv && source .venv/bin/activate

Après activation ton prompt doit afficher (.venv) quelque part. À partir de maintenant, toute commande python ou pip dans le livre suppose le venv activé. Si tu ouvres un nouveau terminal, il faut réactiver.

4. Installer PyTorch

Les chapitres 12 à 21 utilisent PyTorch ; les chapitres 1 à 10 non (bibliothèque standard uniquement). Installe quand même la build CPU maintenant (~200 Mo) : tu ne voudras pas attendre ce téléchargement au milieu d’un chapitre.

pip install torch

pip install torch

pip install torch

C’est le téléchargement le plus long du livre. Prends un café.

Si tu as un GPU NVIDIA récent et veux CUDA, voir le sélecteur PyTorch. La build CPU suffit à tout le livre ; CUDA/MPS rendent juste l’entraînement plus rapide.

5. Vérifier l’accélération matérielle

Depuis le venv activé :

python -c "import torch; print(torch.__version__); print(f\"mps={torch.backends.mps.is_available()} cuda={torch.cuda.is_available()}\")"

python -c "import torch; print(torch.__version__); print(f\"mps={torch.backends.mps.is_available()} cuda={torch.cuda.is_available()}\")"

python -c "import torch; print(torch.__version__); print(f\"mps={torch.backends.mps.is_available()} cuda={torch.cuda.is_available()}\")"

Résultat attendu selon la machine :

• Mac Apple Silicon (M1 jusqu'au M5) : mps=True cuda=False. Le livre utilise MPS — 5 à 20× plus rapide que le CPU sur les multiplications matricielles.
• GPU NVIDIA sur Linux/Windows avec la build CUDA : mps=False cuda=True. La plus rapide.
• Autre cas : mps=False cuda=False. CPU. Chaque chapitre fonctionne quand même ; l’entraînement du chapitre 13 prend ~10 minutes au lieu de ~2.

6. Erreurs courantes et quoi faire

7. Budget temps pour la suite

Estimation grossière par partie, en incluant l’exécution et l’inspection du code :

• Partie I — Démarrer le projet (chap. 1-4) : ~1h30. Cellules navigateur plus des fichiers Python simples dans my-llm/ — pas encore de PyTorch.
• Partie II — Le faire apprendre (5-7) : ~1h30. Même mélange.
• Partie III — Construire le transformer (8-10) : ~1h30. Même mélange.
• Partie IV — Entraîner et utiliser le LLM (11-16) : ~4h. PyTorch entre en scène, et le centre de gravité passe sur ta machine. L’entraînement du chapitre 13 prend ~10 min CPU, ~2 min MPS/CUDA. Le chapitre 15 télécharge ~500 Mo de poids GPT-2.
• Partie V — Le rendre utile, moins cher, utilisable (17-21) : ~4h. Le SFT du chapitre 17 dure ~2 min ; le REPL chat du chapitre 20 est interactif ; le capstone du chapitre 21 fine-tune en ~20 min CPU.
• Partie VI — Appendices (optionnel) : ~30 min pour la dérivation backprop et la promenade conceptuelle RLHF/DPO. À sauter sans regret.

Total : ~13h avec les attentes. Un week-end, ou un chapitre par soir pendant deux semaines.

Pour aller plus loin

• Tuto officiel Python venv — la référence canonique.
• Sélecteur d’install PyTorch — choisis CPU / MPS / CUDA / version Python.

Prochaine étape : chapitre 1 — le modèle le plus idiot qui existe. On démarre.