Mixture of Experts (MoE)

Model yang FFN-nya adalah ratusan pakar independen, dan hanya beberapa yang menyala per token.

Model Mixture-of-Experts mengganti FFN tunggal tiap lapisan dengan bank FFN pakar independen plus router yang memilih beberapa per token. Step-3.7-Flash, MoE 198B yang dilayani hari ini, punya 288 pakar per lapisan dengan perutean top-8. Qwen3.5-122B-A10B adalah contoh terperinci di bawah, karena ia yang angka-angkanya terukur ujung-ke-ujung:

Setiap lapisan terbagi menjadi jalur padat — attention + KV, norm, router (ffn_gate_inp), pakar bersama — dan bank pakar yang disimpan sebagai tiga tensor bertumpuk (ffn_up_exps, ffn_gate_exps, ffn_down_exps). Jalur padat adalah minoritas byte; bank pakar adalah 86% model.

• Indeks pakar adalah dimensi terluar GGUF, jadi tiap pakar adalah lempengan bersambung yang selaras blok-kuantisasi — ekstraksinya salinan rentang byte, tanpa dekuantisasi.
• Per token hanya 8 dari 256 pakar menyala per lapisan, jadi lalu lintas pakar sebuah lapisan saat dekode hanyalah segelintir perkalian matriks kecil atas satu vektor hidden (~6 KB dispatch).
• Para pakar saling independen — kepemilikan dapat disebar antar perangkat dan diseimbangkan ulang dengan bebas.

Inilah mengapa MoE adalah substrat alami swarm: bobotnya sudah terkemas dalam unit seukuran perangkat yang dapat dimiliki secara independen.