GELU
Approximation lisse de ReLU utilisée dans les transformers. En gros x·Φ(x), où Φ est la CDF gaussienne.
Où ce terme est construit
Continuer
Approximation lisse de ReLU utilisée dans les transformers. En gros x·Φ(x), où Φ est la CDF gaussienne.
Continuer