Expertenmischung

Ein Mixture-of-Experts-Modell (MoE) leitet jeden Token an eine Teilmenge von Expertennetzen, sodass die Gesamtparameter groß sein können, während der Rechenaufwand pro Token kleiner bleibt.

Ein Gating-Netz wählt Experten. Das Serving von MoE-Modellen hat andere Speicher- und Routingkosten als dichte Modelle vergleichbarer Qualität.