MoE (Mixture of Experts)
Architecture / Model
Definition
An architecture where different specialized sub-networks (experts) are selectively activated based on the task. MoE enables highly performant models while limiting compute costs, as only a fraction of parameters is active per inference.
In French
MoE (Mixture of Experts) — Architecture où différents sous-réseaux spécialisés (experts) sont activés sélectivement selon la tâche. Le MoE permet de créer des modèles très performants tout en limitant le coût de calcul, car seule une fraction des paramètres est active à chaque inférence.
Related terms
Autoencoder
Diffusion Model
Foundation Model
GAN (Generative Adversarial Network)
Large Language Model (LLM)
Neural Network
Explore the full glossary
Discover all artificial intelligence terms in our glossary.