MoE (Mixture of Experts)
Architecture / Modèle
Définition
Architecture où différents sous-réseaux spécialisés (experts) sont activés sélectivement selon la tâche. Le MoE permet de créer des modèles très performants tout en limitant le coût de calcul, car seule une fraction des paramètres est active à chaque inférence.
En anglais
MoE (Mixture of Experts) — An architecture where different specialized sub-networks (experts) are selectively activated based on the task. MoE enables highly performant models while limiting compute costs, as only a fraction of parameters is active per inference.
Termes associés
Auto-encodeur
Modèle de diffusion
Modèle de fondation
GAN (Generative Adversarial Network)
Large Language Model (LLM)
Réseau de neurones
Explorer le glossaire complet
Découvrez tous les termes de l’intelligence artificielle dans notre glossaire.