ルーター権威
スウォームの整合性不変条件:ルーティングはバックボーンで一度だけ決定され、ワーカーはエキスパート id だけを受け取る。
不変条件:ネットワーク内で唯一の離散的決定は MoE ルーティング(256 中 top-8)です。Kvasir はルーターをバックボーンでちょうど一度だけ実行し、選ばれたエキスパート id のみをワーカーへディスパッチします。異種スウォームは各エキスパート出力の*大きさ*がわずかに異なることはあっても、*どのエキスパートが動くか*は決して分岐しません。
エンジンの現状。エキスパート粒度のシャーディングは Kvasir の以前のエンジン上で構築・実証されたもので、以下の結果はその成果です。現在のエンジンである [p4](/wiki/p4) は今日レイヤー粒度で提供しており、エキスパートシャーディングをそこへ移す作業は設計済みで進行中です。個々の記述がツール名やルート名を挙げている場合、それは以前のエンジンで動いていたものです。
この規則がなければ各バックエンドがルーターを再実行し、境界トークンで異なるエキスパートを選びます — そのトークン以降、計算が別の乱数シードのように分岐する、真に破滅的な発散です。規則があれば、ハードウェア差は確率重み付き combine が吸収する有界の連続誤差に収まります。
何を防ぐか
ひとつの決定点が閉じる発散モード
| 発散モード | 権威なし | 権威あり |
|---|---|---|
| ルーティング不一致 | 境界でバックエンドごとに異なる top-8 | id は一度決定され、所有者へディスパッチ |
| 軌跡の分岐 | 反転したトークン 1 個で全シーケンスが分岐 | デコード/サンプリングを 1 ノードに固定 |
| 検証 | バックエンド間のビット比較(不可能) | 良定義の残差に対する許容誤差検査 |
コストは無視できます:バックボーンはもともと ffn_norm とルーターロジットを計算しており、回線を渡るのは hidden 行と選択された id — デコードステップあたり約 6 KB — だけです。