Mélange d'experts

Un modèle mixture-of-experts (MoE) achemine chaque token vers un sous-ensemble de réseaux experts, de sorte que le total des paramètres puisse être grand tandis que le calcul par token reste plus petit.

Un réseau de gating choisit les experts. Servir des modèles MoE a des coûts mémoire et de routage différents de ceux des modèles denses de qualité similaire.