Attention Mechanism
Technique
Definition
A neural network component that learns to focus on the most relevant parts of input data, enabling models like Transformers to capture long-range dependencies. The attention mechanism is at the heart of the Transformer architecture and represents the breakthrough that made large language models like GPT and Claude possible.
In French
Attention (mécanisme d’) — Technique permettant au modèle de se concentrer sur les parties les plus pertinentes des données d’entrée. Le mécanisme d’attention est au cœur de l’architecture Transformer et constitue la percée qui a rendu possibles les grands modèles de langage comme GPT et Claude. Il permet de capturer les dépendances à longue distance dans les séquences.
Related terms
Explore the full glossary
Discover all artificial intelligence terms in our glossary.