Pertanyaan 200G
Hub swarm kami sudah bisa bertaut pada 200 Gb/s dengan komponen yang tersedia di rak — satu tertanam di dalam GB10. Inilah yang dibeli sebuah pipa gemuk bagi MoE terdistribusi, dan satu hal yang tak bisa dibelinya.
Premisnya: dekode WAN terikat-RTT, bukan terikat-bandwidth — peta jalan komunikasi kami menunjukkan byte adalah bagian yang mudah. Jadi apa yang sebenarnya berubah ketika hub memperoleh tautan 200 Gb/s? Hampir segalanya soal *kapasitas*, dan hampir tak ada soal *latensi*.
Perangkat kerasnya bukan futuristik — satu terpasang di dalam worker GB10 kami
GB10 Grace Blackwell yang menghitung pakar 122B kami membawa NVIDIA ConnectX-7 dengan dua port QSFP 200 GbE di papannya. Dua mesin ini tersambung langsung dengan satu kabel QSFP56 DAC ~$100 — klaster dua-hub 200G tanpa switch. ARM adalah warga kelas satu di sini: tumpukan driver mlx5 yang sama yang menjalankan NIC ini di datacenter x86 menjalankannya di aarch64, yang persis adalah GB10.
Cetakan halusnya: GB10 menyuplai ConnectX-7-nya lewat dua tautan PCIe Gen5 x4 dalam mode multi-host. Kecepatan penuh terukur (~185–190 Gb/s) memerlukan RoCE (RDMA) dan topologi yang dipetakan benar — TCP naif di atas jalur yang salah-petakan mendarat di ~95 Gb/s atau lebih buruk. Pipa gemuk dibeli dengan konfigurasi, bukan sekadar kabel.
200G adalah item katalog di tiap jangkauan
| jangkauan | komponen | faktor bentuk |
|---|---|---|
| rak (0.5–3 m) | QSFP56 DAC tembaga | kabel, ~$100 |
| ruangan (~30 m) | AOC optik aktif | kabel |
| kampus (2–10 km) | optik 200G FR4 / LR4 | modul QSFP56 |
| metro (~40 km) | optik 200G ER4 | modul QSFP56 |
| region (~120 km) | 400G ZR+ koheren, dijalankan pada laju saluran 200G | modul QSFP-DD |
| jarak-jauh (ratusan km) | panjang gelombang 200G operator / sistem saluran DWDM | layanan sewa |
Di WAN, *kabelnya* hanyalah serat single-mode standar — kaca netral-kecepatan yang sudah membentang di tiap kota. Kecepatannya ada di optik pluggable di tiap ujung, dan OpenZR+ menjadikan 200G-lewat-120 km sebuah modul yang Anda colokkan ke switch, bukan proyek telekomunikasi. Di luar itu, Anda menyewa sebuah panjang gelombang.
Setiap suku bandwidth dalam swarm lenyap
- Sebuah payload dispatch (~110 KB/token/lapisan hari ini, ~10 KB setelah peta jalan kabel) terserialisasi dalam mikrodetik — ukuran payload berhenti menjadi kendala desain sama sekali.
- Sebuah irisan pakar terkirim dalam ~32 ms (794 MB, teoretis) dan seluruh model 122B tersinkron dalam ~3 dtk — penyeimbangan-ulang pasar-cakupan dan onboarding hub-baru menjadi nyaris-seketika.
- Prefill konteks-panjang — satu-satunya fase yang benar-benar berat-bandwidth — bergerak pada kecepatan kabel, sehingga waktu token-pertama pada prompt 100K-token menjadi terikat-komputasi-backbone.
- Dispatch berkelompok berskala tanpa langit-langit kabel: lalu lintas kumpulan-pakar yang diagregasi lintas banyak stream pengguna persis merupakan beban berat-bandwidth, toleran-latensi yang diserap pipa gemuk. Inilah yang membuat federasi multi-backbone — beberapa hub, masing-masing memegang KV bagi penggunanya sendiri, berbagi satu kumpulan pakar — menjadi praktis.
Cahaya tak terburu-buru
Serat membawa cahaya pada ~5 µs/km, dan berapa pun bandwidth tak mengubahnya. Perjalanan pulang-pergi 13 ms tetap 13 ms pada 200 Gb/s. Dekode autoregresif membayar perjalanan pulang-pergi itu per lapisan tersharding, per token — itulah sebabnya speculative decoding (k token per perjalanan pulang-pergi) dan overlap pakar-bersama (menghitung selagi dispatch dalam perjalanan) tetap esensial bahkan di antara hub yang tertaut pipa tergemuk di pasar. Bandwidth membeli throughput; hanya disiplin perjalanan-pulang-pergi yang membeli latensi.
Maka arsitekturnya mengendap menjadi dua tingkat. Sebuah tingkat hub — backbone dan hot expert yang tertaut oleh tautan kelas-200G, tempat kapasitas praktis tak terbatas — dan sebuah tingkat edge — ponsel dan perangkat kecil di relay 443, memegang ekor-panjang pakar yang ditetapkan pasar kelangkaan bagi mereka. Pipa gemuk membuat tingkat pertama terasa seperti satu mesin; relay menjaga tingkat kedua tetap terbuka bagi siapa pun. Tak satu pun menggantikan yang lain: pemisahan itulah desainnya.