Uzman karışımı

Bir mixture-of-experts (MoE) modeli her token'ı uzman ağların bir alt kümesine yönlendirir; böylece toplam parametreler büyük olabilirken token başına hesaplama daha küçük kalır.

Bir gating ağı uzmanları seçer. MoE modellerini sunmanın bellek ve yönlendirme maliyetleri, benzer kalitedeki yoğun modellerden farklıdır.