NVIDIA Blackwell bergabung ke swarm
Sebuah GB10 Grace Blackwell menghitung irisan FFN pakar 122B nyata di CUDA dan menyamai AMD ROCm bit demi bit (cosine 1.0000000000), serta Grace ARM CPU dalam toleransi. Matriks lintas-backend telah lengkap.
Premis sebuah swarm adalah *perangkat keras apa pun yang datang*. Ekuivalensi numerik — bukti bahwa worker CUDA, ROCm, Adreno, dan CPU semuanya mengeluarkan token yang sama — sudah terukur di ROCm, ARM ponsel, dan numpy. NVIDIA adalah jalur default dan paling teroptimasi di ggml/mesin inferensi standar, tapi ia satu-satunya backend yang matriksnya belum ditutup. Menjalankan perangkat keras Blackwell nyata menutupnya.
GB10 Blackwell CUDA ↔ MI250 ROCm gfx90a: cosine 1.0000000000 — max abs diff 3.5×10⁻¹⁰. Pada irisan pakar layer-0 Qwen3.5-122B nyata yang sama, dua backend GPU praktis bit-identik.
Matriks lintas-backend
| Perbandingan | Perangkat keras | cosine | max abs |
|---|---|---|---|
| CUDA ↔ ROCm | GB10 Blackwell ↔ MI250 gfx90a | 1.0000000000 | 3.5e-10 |
| CUDA ↔ CPU | GB10 Blackwell ↔ Grace ARM | 0.9997525825 | 2.6e-05 |
| CPU ↔ ROCm | Grace ARM ↔ MI250 gfx90a | 0.9997525823 | 2.6e-05 |
Dua backend GPU (CUDA, ROCm) berbagi sumber kernel, sehingga mendarat praktis bit-identik (10⁻¹⁰). GPU↔CPU membawa gangguan ~10⁻³ per op karena urutan akumulasi berbeda, tapi tetap ekuivalen pada cosine 0.99975 — pola yang sama dengan ROCm↔ARM-ponsel 0.99992 sebelumnya. Prinsip otoritas router kembali berlaku di NVIDIA: keputusan diskret (argmax, pemilihan pakar) invarian di atas gangguan kontinu ini.
Apa yang berjalan, di atas apa
- Perangkat — NVIDIA GB10 (Grace Blackwell), aarch64, compute 12.1 / sm_121a, 124,5 GB memori terpadu.
- Toolkit — CUDA 13.0.88 · gcc 13.3 · ggml 0.15.3; expert-worker ggml/gguf murni dibangun dengan kernel Blackwell.
- Model — Qwen3.5-122B-A10B-Q4_K_M, layer-0 semua pakar (256 pakar, n_embd 3072, n_ff 1024, Q4_K/Q6_K).
- Metode — irisan L0 1,58 GB dialirkan MI250 → GB10 (perbandingan tanpa rugi); masukan yang sama (h/ids) dijalankan lewat CUDA, CPU, dan ROCm; vektor keluaran float32 (36.864) dibandingkan dengan cosine, L2 relatif, dan max-abs.
Satu jebakan perangkat nyata: GPU terintegrasi GB10 diklasifikasikan ggml sebagai tipe perangkat ACCEL, bukan GPU — sehingga init_by_type(GPU) tak menemukan apa pun. Diperbaiki dengan memilih perangkat non-CPU pertama alih-alih mengeraskan tipe GPU.
Matriks telah ditutup
Agar worker heterogen melayani satu model, mesin CUDA dan mesin ROCm harus dapat dipertukarkan, dan GPU serta CPU harus ekuivalen secara numerik. Dengan Blackwell terukur, keduanya berlaku di seluruh matriks backend: worker CUDA↔ROCm bisa saling menggantikan, dan worker GPU↔CPU sepakat dalam toleransi yang terbatas dan terkondisi baik. Akselerator paling umum di bumi kini adalah warga swarm yang terverifikasi.