Attention (mécanisme d’)
Technique
Définition
Technique permettant au modèle de se concentrer sur les parties les plus pertinentes des données d’entrée. Le mécanisme d’attention est au cœur de l’architecture Transformer et constitue la percée qui a rendu possibles les grands modèles de langage comme GPT et Claude. Il permet de capturer les dépendances à longue distance dans les séquences.
En anglais
Attention Mechanism — A neural network component that learns to focus on the most relevant parts of input data, enabling models like Transformers to capture long-range dependencies. The attention mechanism is at the heart of the Transformer architecture and represents the breakthrough that made large language models like GPT and Claude possible.
Termes associés
Apprentissage par renforcement
Apprentissage profond
Benchmark
Classification
Clustering
Data augmentation
Explorer le glossaire complet
Découvrez tous les termes de l’intelligence artificielle dans notre glossaire.