設計図からハードウェアへ：検証済みの部分とキーストーン

検証キャンペーンの総括——設計から M2 コアまで実 122B で証明——そして残りすべてを解錠するただ一つの統合ピース。

この数週間で、エキスパートシャーディング・スウォームの困難で新規な部品が、実物の Qwen3.5-122B で一つずつ証明された——シミュレーションでも、おもちゃサイズでもない。ここまでの検証の軌跡と、最後まで残ったただ一つのキーストーンをまとめる。

A verification trail of stamped checkpoints ending at a keystone being placed
軌跡 · すべて実 122B で検証

これまでに着地したもの

  • 設計（設計図以降 5 回の改訂） — EP アーキテクチャ、部分重みの自律参加、リレー、ワーカーカーネル仕様、そしてコア技術として体系化されたクロスバックエンド数値等価性。ルーター権威を整合性の不変条件として明文化。
  • M0 — バックボーンのエキスパート RAM オフロード（プランナー検証）：122B が単一の 64 GB コーディネータで *feasible* —— エキスパート 10 レイヤーを RAM へオフロード、VRAM 62.6 GiB / RAM 14.2 GiB、--override-tensor で配線。
  • M1 — エキスパートスライスのデータ経路：エキスパート単位の mini-GGUF スライス（ne[2] スラブ、逆量子化なしのバイトコピー）+ /expert-shard ダウンロードエンドポイント。
  • M1 — 数値オラクル：実 layer-0 エキスパートで dispatch + combine == monolithic、max|Δ| = 3.6e-12 —— シャーディングは同じ加重和の厳密な再グループ化。
  • M1 — C++ ワーカーのハードウェア検証：linkcpp-expert-worker（純 ggml/gguf）を ROCm でビルド・実行、オラクル比 cosine 0.99995；router → C++ ワーカー 2 基 → combine がモノリシックと cosine 0.9997–0.9999 で一致。
  • M2 コア — スマートフォンが実 122B エキスパートを計算：Android クロスビルド、SM-S938N 上で実行、オラクル比 cosine 0.99992。
  • 数値 — 3 バックエンド等価マトリクス：同一の 122B 計算を ROCm × スマホ ARM CPU × numpy で —— ROCm↔スマホ cosine 0.99990、ROCm↔numpy 0.99996、スマホ↔numpy 0.99992。すべて等価、どれもビット同一ではない。
キーストーン

ライブデコードへ統合されるバックボーンディスパッチ

すべてのコンポーネント——スライス、ワーカー、dispatch/combine ロジック、数値等価性、スマートフォン計算——は実機検証済みだった。残っていたのはそれらを実物の 推論エンジン デコードの中でつなぐこと：グラフの途中でエキスパートを所有ノードへディスパッチする build_moe_ffn フックだ。ピン留めされた 推論エンジン サブモジュールの修正と、複数回のビルド・検証サイクルを要した。このキーストーンが立てば、M2 リレー統合、M3 エキスパートカバレッジ市場、M4 バッチスループットが順に開く——すべてがこのディスパッチに依存している。

キーストーンはその後着地した：M2・M3・M4 とライブのスマートフォンデモに関する続報は、まさにこの統合の成果である。