专家混合（MoE）

FFN 由数百个独立专家组成、每个 token 只激活其中几个的模型。

专家混合模型把每层的单个 FFN 换成一组独立的专家 FFN，外加一个每 token 挑选几个的路由器。今日服务中的 198B MoE —— Step-3.7-Flash 每层有 288 个专家，采用 top-8 路由。下面详细展开的示例是 Qwen3.5-122B-A10B，因为它才是数字被端到端实测过的那一个：

每层分为稠密路径——注意力 + KV、各类 norm、路由器（ffn_gate_inp）、共享专家——和以三个堆叠张量（ffn_up_exps、ffn_gate_exps、ffn_down_exps）存储的专家库。稠密路径只占少数字节；专家库占模型的 86%。

• 专家索引是 GGUF 最外层维度，每个专家都是连续、量化块对齐的板块——提取就是字节范围拷贝，无需反量化。
• 每 token 每层只有 256 个中的 8 个专家点亮，解码时一层的专家流量只是对一个 hidden 向量的几次小矩阵乘（约 6 KB 调度量）。
• 专家彼此独立——所有权可以散布在各设备之间并自由再平衡。

这就是 MoE 是蜂群天然基质的原因：权重出厂时就已打包成设备大小、可独立持有的单元。