NVIDIA Blackwell がスウォームに加わった
GB10 Grace Blackwell が実 122B のエキスパート FFN スライスを CUDA で計算し、AMD ROCm とビット単位で一致（cosine 1.0000000000）、Grace ARM CPU とも許容誤差内で等価であることを実証した。クロスバックエンド行列が完成した。
スウォームの前提は*来るハードウェアをそのまま使う*だ。数値等価性——CUDA・ROCm・Adreno・CPU のワーカーがすべて同じトークンを出すという証明——はすでに ROCm・スマホ ARM・numpy で測定された。NVIDIA は素の ggml/推論エンジン のデフォルトかつ最も最適化された経路だが、行列がまだ閉じていない唯一のバックエンドだった。実物の Blackwell ハードウェアでの実行がそれを閉じる。
GB10 Blackwell CUDA ↔ MI250 ROCm gfx90a：cosine 1.0000000000 —— max abs diff 3.5×10⁻¹⁰。同一の実 Qwen3.5-122B layer-0 エキスパートスライスで、二つの GPU バックエンドは事実上ビット同一だ。
クロスバックエンド行列
| 比較 | ハードウェア | cosine | max abs |
|---|---|---|---|
| CUDA ↔ ROCm | GB10 Blackwell ↔ MI250 gfx90a | 1.0000000000 | 3.5e-10 |
| CUDA ↔ CPU | GB10 Blackwell ↔ Grace ARM | 0.9997525825 | 2.6e-05 |
| CPU ↔ ROCm | Grace ARM ↔ MI250 gfx90a | 0.9997525823 | 2.6e-05 |
二つの GPU バックエンド（CUDA・ROCm）はカーネルソースを共有するため、事実上ビット同一（10⁻¹⁰）に着地する。GPU↔CPU は累積順序の違いで演算あたり約 10⁻³ の摂動を持つが、cosine 0.99975 で等価——先の ROCm↔スマホ ARM の 0.99992 と同じパターンだ。ルーター権威の原理は NVIDIA でも保たれる：離散的決定（argmax・エキスパート選択）はこの連続摂動の上で不変である。
何を、どこで実行したか
- デバイス — NVIDIA GB10（Grace Blackwell）、aarch64、compute 12.1 / sm_121a、124.5 GB ユニファイドメモリ。
- ツールキット — CUDA 13.0.88 · gcc 13.3 · ggml 0.15.3；純 ggml/gguf の expert-worker を Blackwell カーネルでビルド。
- モデル — Qwen3.5-122B-A10B-Q4_K_M、layer-0 の全エキスパート（256 エキスパート、n_embd 3072、n_ff 1024、Q4_K/Q6_K）。
- 手法 — 1.58 GB の L0 スライスを MI250 → GB10 へストリーミング（無損失比較）；同一入力（h/ids）を CUDA・CPU・ROCm の三バックエンドで実行；float32 出力ベクトル（36,864）を cosine・相対 L2・max-abs で比較。
実機での落とし穴一つ：GB10 の統合 GPU は ggml のデバイス種別が GPU ではなく ACCEL に分類され、init_by_type(GPU) が何も見つけられなかった。GPU 種別をハードコードする代わりに、最初の非 CPU デバイスを選ぶよう修正。
行列が閉じた
異種ワーカーが一つのモデルを提供するには、CUDA マシンと ROCm マシンが交換可能でなければならず、GPU と CPU が数値的に等価でなければならない。Blackwell が測定されたことで、両者は全バックエンド行列にわたって成り立つ：CUDA↔ROCm ワーカーは互いに代替でき、GPU↔CPU ワーカーは有界で良条件の許容誤差内で一致する。地球上で最も一般的なアクセラレータが、いまや検証されたスウォームの一員だ。