MoE (Mixture of Experts)
Définition
Architecture où un modèle utilise plusieurs petits réseaux spécialisés (experts) au lieu d'un seul gros. Un routeur décide quel expert traiter chaque partie de l'entrée, réduisant le coût de calcul tout en gardant la performance.
📌 Exemple concret
Google utilise MoE pour Gemini : au lieu de tout faire d'un coup, le modèle active seulement les experts pertinents pour répondre à ta question, comme consulter les bons spécialistes d'une équipe.
💡 Pourquoi ça compte
MoE rend les gros modèles plus efficaces et moins chers. C'est comment les IA scalent sans consommer plus d'énergie à chaque requête.