ルーター権威

スウォームの整合性不変条件:ルーティングはバックボーンで一度だけ決定され、ワーカーはエキスパート id だけを受け取る。

不変条件:ネットワーク内で唯一の離散的決定は MoE ルーティング(256 中 top-8)です。Kvasir はルーターをバックボーンでちょうど一度だけ実行し、選ばれたエキスパート id のみをワーカーへディスパッチします。異種スウォームは各エキスパート出力の*大きさ*がわずかに異なることはあっても、*どのエキスパートが動くか*は決して分岐しません。

エンジンの現状。エキスパート粒度のシャーディングは Kvasir の以前のエンジン上で構築・実証されたもので、以下の結果はその成果です。現在のエンジンである [p4](/wiki/p4) は今日レイヤー粒度で提供しており、エキスパートシャーディングをそこへ移す作業は設計済みで進行中です。個々の記述がツール名やルート名を挙げている場合、それは以前のエンジンで動いていたものです。

この規則がなければ各バックエンドがルーターを再実行し、境界トークンで異なるエキスパートを選びます — そのトークン以降、計算が別の乱数シードのように分岐する、真に破滅的な発散です。規則があれば、ハードウェア差は確率重み付き combine が吸収する有界の連続誤差に収まります。

何を防ぐか

ひとつの決定点が閉じる発散モード

発散モード権威なし権威あり
ルーティング不一致境界でバックエンドごとに異なる top-8id は一度決定され、所有者へディスパッチ
軌跡の分岐反転したトークン 1 個で全シーケンスが分岐デコード/サンプリングを 1 ノードに固定
検証バックエンド間のビット比較(不可能)良定義の残差に対する許容誤差検査

コストは無視できます:バックボーンはもともと ffn_norm とルーターロジットを計算しており、回線を渡るのは hidden 行と選択された id — デコードステップあたり約 6 KB — だけです。