Aller au contenu
The loss curve

Softmax

Normalise un vecteur de réels en distribution de probabilité : exp(x_i) / Σ exp(x_j).

Explication complémentaire dans Step by Token, chapitre 4.

Où ce terme est construit