NVIDIA Blackwell이 스웜에 합류했다
GB10 Grace Blackwell이 실제 122B 전문가-FFN 슬라이스를 CUDA로 계산해 AMD ROCm과 비트-동일(cosine 1.0000000000), Grace ARM CPU와 허용오차 내 동등함을 실증했다. 교차백엔드 매트릭스가 완성됐다.
스웜의 전제는 *어떤 하드웨어든 오는 대로*다. 수치 동등성 — CUDA·ROCm·Adreno·CPU 워커가 모두 같은 토큰을 낸다는 증명 — 은 이미 ROCm·폰 ARM·numpy에서 측정됐다. NVIDIA는 stock ggml/추론엔진의 기본이자 가장 최적화된 경로지만, 매트릭스가 아직 닫히지 않은 유일한 백엔드였다. 실제 Blackwell 하드웨어 실행이 그것을 닫는다.
GB10 Blackwell CUDA ↔ MI250 ROCm gfx90a: cosine 1.0000000000 — max abs diff 3.5×10⁻¹⁰. 같은 실제 Qwen3.5-122B layer-0 전문가 슬라이스에서 두 GPU 백엔드는 사실상 비트-동일하다.
교차백엔드 매트릭스
| 비교 | 하드웨어 | cosine | max abs |
|---|---|---|---|
| CUDA ↔ ROCm | GB10 Blackwell ↔ MI250 gfx90a | 1.0000000000 | 3.5e-10 |
| CUDA ↔ CPU | GB10 Blackwell ↔ Grace ARM | 0.9997525825 | 2.6e-05 |
| CPU ↔ ROCm | Grace ARM ↔ MI250 gfx90a | 0.9997525823 | 2.6e-05 |
두 GPU 백엔드(CUDA·ROCm)는 커널 소스를 공유하므로 사실상 비트-동일(10⁻¹⁰)로 떨어진다. GPU↔CPU는 누산 순서 차이로 op당 ~10⁻³ 섭동을 지니지만 cosine 0.99975로 동등 — 앞선 ROCm↔폰-ARM 0.99992와 같은 패턴이다. 라우터-권위 원리는 NVIDIA에서도 유지된다: 이산 결정(argmax·전문가 선택)은 이 연속 섭동 위에서 불변이다.
무엇을, 어디서 실행했나
- 기기 — NVIDIA GB10 (Grace Blackwell), aarch64, compute 12.1 / sm_121a, 124.5 GB 통합메모리.
- 툴킷 — CUDA 13.0.88 · gcc 13.3 · ggml 0.15.3; 순수 ggml/gguf expert-worker를 Blackwell 커널로 빌드.
- 모델 — Qwen3.5-122B-A10B-Q4_K_M, layer-0 전 전문가(256 experts, n_embd 3072, n_ff 1024, Q4_K/Q6_K).
- 방법 — 1.58 GB L0 슬라이스를 MI250 → GB10으로 스트리밍(무손실 대조); 동일 입력(h/ids)을 CUDA·CPU·ROCm 세 백엔드로 실행; float32 출력 벡터(36,864)를 코사인·상대 L2·max-abs로 대조.
실기기 한 가지 함정: GB10의 통합 GPU는 ggml 디바이스 타입이 GPU가 아닌 ACCEL로 분류돼 init_by_type(GPU)가 아무것도 못 찾았다. GPU 타입을 하드코딩하는 대신 첫 번째 비-CPU 디바이스를 선택하도록 수정.
매트릭스가 닫혔다
이종 워커들이 한 모델을 서빙하려면 CUDA 머신과 ROCm 머신이 교체 가능해야 하고, GPU와 CPU가 수치 동등해야 한다. Blackwell 측정으로 전체 백엔드 매트릭스에서 둘 다 성립한다: CUDA↔ROCm 워커는 서로 대체 가능하고, GPU↔CPU 워커는 유계·well-conditioned 허용오차 내에서 일치한다. 지구상 가장 흔한 가속기가 이제 검증된 스웜 구성원이다.