🧠

Transformer

Architecture / Model

🧠 Architecture / Model 🌐 Transformer

Definition

A neural network architecture based on self-attention mechanisms that processes input data in parallel. Introduced by Google in 2017 (‘Attention Is All You Need’), the Transformer enabled scaling of language models and the generative AI revolution.

In French

Transformer — Architecture de réseau de neurones révolutionnaire basée sur l’attention, à la base de tous les LLM modernes. Introduit par Google en 2017 («Attention Is All You Need»), le Transformer a permis le passage à l’échelle des modèles de langage et la révolution de l’IA générative.