Impara
Miscela di esperti
Spiegazione in linguaggio semplice di Miscela di esperti, con pagine correlate del catalogo.
Definizione
Un modello mixture-of-experts (MoE) instrada ogni token verso un sottoinsieme di reti esperte così che i parametri totali possano essere grandi mentre il calcolo per token resta minore.
Come funziona
Una rete di gating sceglie gli esperti. Servire modelli MoE ha costi di memoria e routing diversi rispetto a modelli densi di qualità simile.