Mixture of Experts

Modellarkitektur der bare en liten del av modellen aktiveres per oppgave. Gir større modeller uten tilsvarende høyere kjørekostnad. Standard i de fleste åpne frontmodeller.