Mixture of Experts（MoE）

FFN が数百の独立エキスパートからなり、トークンごとに数個だけが発火するモデル。

Mixture-of-Experts モデルは、各レイヤーの単一 FFN を独立したエキスパート FFN 群と、トークンごとに数個を選ぶルーターに置き換えます。今日提供中の 198B MoE である Step-3.7-Flash は、レイヤーあたり 288 エキスパートを top-8 ルーティングで使います。以下で詳しく展開する例は Qwen3.5-122B-A10B です——エンドツーエンドで数値を実測できたのがこのモデルだからです：

各レイヤーはデンスパス — アテンション + KV、各種 norm、ルーター（ffn_gate_inp）、共有エキスパート — と、3 つの積層テンソル（ffn_up_exps、ffn_gate_exps、ffn_down_exps）として格納されるエキスパートバンクに分かれます。デンスパスはバイトの少数派で、エキスパートバンクがモデルの 86% です。

• エキスパートのインデックスは GGUF の最外次元なので、各エキスパートは連続した量子化ブロック整列のスラブです — 抽出はバイト範囲コピーで、逆量子化は不要。
• トークンごとにレイヤーあたり 256 中 8 個しか発火しないため、デコード時のレイヤーのエキスパートトラフィックは、hidden ベクトル 1 本への少数の小さな行列積です（ディスパッチ約 6 KB）。
• エキスパートは相互に独立 — 所有権をデバイス間に散らし、自由に再配置できます。

これが MoE がスウォームの天然基質である理由です：重みは最初からデバイスサイズの、独立して所有可能な単位に梱包されています。