Mixture of Experts (MoE)

Een model waarvan de FFN's honderden onafhankelijke experts zijn, waarvan er per token maar enkele afgaan.

Een Mixture-of-Experts-model vervangt de enkele FFN van elke laag door een bank onafhankelijke expert-FFN's plus een router die er per token enkele kiest. Step-3.7-Flash, de 198B-MoE die vandaag in bedrijf is, heeft 288 experts per laag met top-8-routering. Qwen3.5-122B-A10B is het uitgewerkte voorbeeld hieronder, omdat dat het model is waarvan de cijfers end-to-end zijn gemeten:

Elke laag splitst in een dicht pad — attention + KV, norms, de router (ffn_gate_inp), een gedeelde expert — en een expertbank, opgeslagen als drie gestapelde tensoren (ffn_up_exps, ffn_gate_exps, ffn_down_exps). Het dichte pad is de minderheid van de bytes; de expertbank is 86% van het model.

• De expertindex is de buitenste GGUF-dimensie, dus elke expert is een aaneengesloten, kwantblok-uitgelijnde plaat — extractie is een byte-range-kopie, geen dekwantisatie.
• Per token gaan slechts 8 van de 256 experts per laag af, dus het expertverkeer van een laag bij decoderen is een handvol kleine matrixvermenigvuldigingen over één hidden-vector (~6 KB dispatch).
• Experts zijn onderling onafhankelijk — eigendom kan over apparaten worden verspreid en vrij herverdeeld.

Daarom is MoE het natuurlijke substraat van de zwerm: de gewichten komen voorverpakt in apparaatformaat, onafhankelijk te bezitten eenheden.