Transformer
Architecture / Modèle
Définition
Architecture de réseau de neurones révolutionnaire basée sur l’attention, à la base de tous les LLM modernes. Introduit par Google en 2017 («Attention Is All You Need»), le Transformer a permis le passage à l’échelle des modèles de langage et la révolution de l’IA générative.
En anglais
Transformer — A neural network architecture based on self-attention mechanisms that processes input data in parallel. Introduced by Google in 2017 (‘Attention Is All You Need’), the Transformer enabled scaling of language models and the generative AI revolution.
Termes associés
Auto-encodeur
Modèle de diffusion
Modèle de fondation
GAN (Generative Adversarial Network)
Large Language Model (LLM)
Réseau de neurones
🛠️ Outils liés
Explorer le glossaire complet
Découvrez tous les termes de l’intelligence artificielle dans notre glossaire.