路由器权威

蜂群的一致性不变式:路由只在骨干上决定一次——worker 只接收专家 id。

不变式:网络内唯一的离散决策是 MoE 路由(256 选 top-8)。Kvasir 让路由器只在骨干上跑恰好一次,只把选中的专家 id 派发给 worker。异构蜂群可能在每个专家输出的*幅值*上略有差异——但在*哪些专家运行*上绝不会分歧。

引擎状态。专家粒度分片是在 Kvasir 上一代引擎上构建并演示的,下面的结果来自那项工作。当前引擎 [p4](/wiki/p4) 今天以层为粒度提供服务;把专家分片迁移到它上面已完成设计、正在推进。凡是点到具体工具或路由的细节,都是当时在上一代引擎上运行的那一套。

没有这条规则,每个后端都会重跑路由器,在边界 token 上挑出不同的专家——真正灾难性的分歧,因为从那个 token 起计算像换了随机种子一样分叉。有了它,硬件差异就化为概率加权 combine 能吸收的有界连续误差。

它防住了什么

一个决策点关闭的分歧模式

分歧模式无权威时有权威时
路由不一致各后端在边界处选出不同的 top-8id 只决定一次,派发给持有者
轨迹分叉一个被翻转的 token 让整个序列分叉解码/采样固定在一个节点上
验证跨后端逐位比较(不可能)对良定义残差做容差检查

代价可以忽略:骨干本来就在计算 ffn_norm 和路由器 logits;过线的只是 hidden 行加上选中的 id——每个解码步约 6 KB。