Mezcla de expertos

Un modelo mixture-of-experts (MoE) enruta cada token a un subconjunto de redes expertas, de modo que el total de parámetros puede ser grande mientras el cómputo por token se mantiene menor.

Una red de gating elige a los expertos. Servir modelos MoE tiene costes de memoria y enrutado distintos a los de modelos densos de calidad similar.