Mixture of Experts (MoE)

Ein Modell, dessen FFNs Hunderte unabhängiger Experten sind, von denen pro Token nur wenige feuern.

Ein Mixture-of-Experts-Modell ersetzt die einzelne FFN jeder Schicht durch eine Bank unabhängiger Experten-FFNs plus einen Router, der pro Token einige auswählt. Step-3.7-Flash, das heute im Einsatz befindliche 198B-MoE, hat 288 Experten pro Schicht mit top-8-Routing. Qwen3.5-122B-A10B ist das durchgerechnete Beispiel unten, denn es ist dasjenige, dessen Zahlen Ende-zu-Ende gemessen wurden:

Jede Schicht teilt sich in einen dichten Pfad — Attention + KV, Norms, den Router (ffn_gate_inp), einen geteilten Experten — und eine Expertenbank, gespeichert als drei gestapelte Tensoren (ffn_up_exps, ffn_gate_exps, ffn_down_exps). Der dichte Pfad ist die Minderheit der Bytes; die Expertenbank macht 86 % des Modells aus.

• Der Expertenindex ist die äußerste GGUF-Dimension, jeder Experte also eine zusammenhängende, quantblock-ausgerichtete Platte — Extraktion ist eine Byte-Range-Kopie, keine Dequantisierung.
• Pro Token feuern nur 8 von 256 Experten je Layer, der Expertenverkehr einer Layer beim Dekodieren besteht also aus einer Handvoll kleiner Matrixmultiplikationen über einen Hidden-Vektor (~6 KB Dispatch).
• Experten sind voneinander unabhängig — Eigentum kann über Geräte verstreut und frei umverteilt werden.

Darum ist MoE das natürliche Substrat des Schwarms: Die Gewichte kommen bereits in gerätegroßen, unabhängig besitzbaren Einheiten verpackt.