Expertmengsel

Een mixture-of-experts-model (MoE) routeert elk token naar een subset van expertnetwerken, zodat het totaal aantal parameters groot kan zijn terwijl de rekenkracht per token kleiner blijft.

Een gating-netwerk kiest experts. MoE-modellen serveren heeft andere geheugen- en routingkosten dan dichte modellen van vergelijkbare kwaliteit.