Membuat Dispatch WAN Murah: Peta Jalan yang Berpijak
Dispatch pakar jarak jauh berfungsi dan byte-identik — tapi dekode WAN terikat perjalanan pulang-pergi. Inilah rencana memangkas biayanya, berpijak pada angka produksi dari DeepSeek, Petals, dan lainnya (peta jalan, belum dikirim).
Bingkai: angka yang *kami ukur* dinyatakan sebagai terukur; segala yang digambarkan sebagai rencana adalah peta jalan, bukan hasil yang telah dikirim. Tujuannya adalah mengambil dispatch pakar jarak jauh — yang sudah benar dan dibayar (lihat tulisan pendamping) — dan membuat perjalanan pulang-pergi WAN cukup murah sehingga GPU jauh atau ponsel menjadi anggota swarm kelas satu, bukan yang lambat.
Pengukuran kami sendiri, dipublikasikan terang-terangan: dispatch memakan sekitar 110 KB per token per lapisan — 12.3 KB keluar (dispatch) plus 98.3 KB kembali (combine). Asimetri 8× itu karena tiap pakar terpilih mengembalikan keluaran penuhnya *sebelum* jumlah berbobot. Terhubung langsung, itu overhead throughput 1.2%; lewat relay CDN, ~28%. Itulah faktanya. Sisa tulisan ini adalah bagaimana kami hendak menutup celahnya — dan mengapa byte adalah bagian yang mudah.
Dekode WAN terikat perjalanan pulang-pergi
Hasil terpublikasi paling penting di sini bukan milik kami — melainkan Petals: saat RTT bergerak dari <5 ms ke 100 ms, dekode turun dari 1.24 ke 0.57 langkah/dtk, sementara pemangkasan bandwidth 10× mengubahnya ~0. Latensi mendominasi; bandwidth adalah kelonggaran. Itu membingkai ulang seluruh masalah: memangkas byte adalah ruang lega, tapi memangkas perjalanan pulang-pergi adalah substansinya. Tiap butir di bawah diperingkat menurut seberapa banyak biaya perjalanan pulang-pergi yang dihapusnya.
Pengurangan byte yang mengutamakan akurasi
- Kembalikan jumlah parsial berbobot, bukan keluaran pakar mentah. Berkat linearitas, combine backbone tetap eksak apa pun caranya, tapi worker mengembalikan satu vektor terjumlah alih-alih 8 — itulah pengurangan combine ~8×, dan persis itulah yang dilakukan DeepSeek-V3 / DeepEP di produksi.
- Bintang paralel, bukan rantai serial melintasi banyak worker: ΣRTT runtuh menjadi RTT maksimum.
- F16 di kabel — kami sudah menerima cosine lintas-backend ~0.998, jadi transport F16 berada di dalam toleransi yang ada; INT8/FP8 blockwise menyusul, setelah gerbang argmax/cosine kami sendiri meloloskannya terhadap bobot Q4_K_M (Petals menunjukkan INT8 melintasi internet nyata tanpa rugi kualitas).
- Bersama-sama ini menyasar ~110 KB → 9–12 KB per token (~12×) — nyata, tapi ingat ini *ruang lega*, bukan leher botol.
Substansinya: lebih sedikit perjalanan, perjalanan tersembunyi
- Speculative decoding mengubah banyak token menjadi satu perjalanan pulang-pergi. Pada WAN 80 ms terukur, titik impasnya hanya ~1.15–1.2 token diterima/langkah — sehingga bahkan tebakan n-gram lemah pun menang (Jacobi polos bisa menjadi bumerang; pilihan teknik penting). Protokol dispatch kami sudah membawa
n_tokens > 1, jadi tak perlu perubahan kabel. - Continuous batching di gateway melipat permintaan bersamaan menjadi satu perjalanan; prefix caching afinitas-slot menjaga sesi tetap pada replika yang sama.
- Penyembunyian latensi: pakar bersama adalah suku aditif independen, sehingga backbone menghitungnya *secara lokal* selama perjalanan pulang-pergi jarak jauh (ScMoE melaporkan 1.82× di atas PCIe, tanpa pelatihan ulang). Jaga hot expert tetap lokal, kirim hanya yang dingin ke jarak jauh (EPLB mereplikasi ~32 terpanas demi percepatan dekode 2.54× di produksi).
Rutekan menurut peer, dan apa yang diubah 200 Gb/s
Kebijakan jalur: peer yang dapat dirutekan publik mengambil jalur langsung (rute 1.2% itu); relay hanya untuk perangkat terikat-NAT. Dan ketika tautan lebar 200 Gb/s tiba, 110 KB terserialisasi dalam ~4.4 µs — suku bandwidth lenyap bahkan sebelum pengurangan di atas, dan irisan 794 MB terkirim dalam ~32 ms. Tapi RTT adalah fisika; ia tak menyusut — jadi speculative decoding dan overlap tetap menjadi tuas sesungguhnya bahkan di 200 G. Yang benar-benar penting bagi pipa gemuk adalah federasi multi-backbone (beberapa backbone berbagi satu kumpulan pakar) dan kerja terikat-bandwidth: prefill prompt-panjang dan throughput batch-besar.
Satu peringatan, dinyatakan dengan jujur: lapisan transport itu sendiri (WebSocket vs QUIC, overhead masking, NAT hole-punching) tak punya hasil eksternal yang bisa kami kutip — itu rekayasa yang akan kami ukur sendiri sebelum mengklaim apa pun. Segala di atas berpijak pada angka produksi terpublikasi (DeepEP / DeepSeek-V3, Petals, DeepSpeed-MoE, ScMoE, SGLang/EPLB) plus pengukuran kami sendiri; ketika sebuah butir peta jalan dikirim, angka dan kala waktunya diperbarui di sini.
Target onboarding
Hook dispatch kami bertumpu pada build_moe_ffn — satu fungsi yang dibagi 43 arsitektur MoE di mesin inferensi. Tiga invarian bersifat tak-bergantung-model: matematika MoE (routed = Σ wᵢ·Eᵢ(x), linear), jalur kode bersama, dan tensor pakar bertumpuk standar GGUF (ne[2] terluar → pengirisan selaras-blok). Maka onboarding model baru bukanlah desain ulang — melainkan satu lintasan melalui gerbang verifikasi argmax/cosine per-model.
| model | pakar · perutean | per-pakar (Q4≈) | bersama | status |
|---|---|---|---|---|
| Step-3.7-Flash 198B (dilayani hari ini) | 288 · top-8 | terukur di armada | ya | dilayani — 16 stage, dua mesin |
| Qwen3.5-122B | 256 · top-8 | 5.3 MB (terukur) | ya | dilayani ujung-ke-ujung di 3 mesin |
| GLM-5.2 744B | — | — | ya | terverifikasi di linkcpp — laporan belum dipublikasikan |
| GLM-4.5 / 4.6 355B | 160 · top-8 | ~13 MB | ya | direncanakan (hook terverifikasi) |
| MiniMax-M2 230B | 256 · top-8 | ~8 MB | tidak | direncanakan (hook terverifikasi) |
| DeepSeek-V3 / R1 671B | 256 · top-8 | ~25 MB | ya | direncanakan (graf deepseek2) |
| Kimi K3 2.8T | — | — | ya | gerbang berikutnya — verifikasi di p4 |
| Qwen3-235B | 128 · top-8 | ~11 MB | tidak | siap |
| gpt-oss-120b | 128 · top-4 | ~14 MB | tidak | siap |
| Llama 4 Maverick 400B | 128 · top-1 | ~70 MB | ya | direncanakan (MoE tiap lapisan berselang) |
| MiniMax M3 428B | 128 · top-4 | TBD (GGUF) | ya | menunggu mesin upstream |
| Mixtral 8×22B | 8 · top-2 | ~170 MB | tidak | berfungsi — hanya worker GPU |
Industri sedang berkonvergensi ke MoE berbutir-halus — pakar lebih kecil, lebih banyak, sparsitas lebih tinggi (DeepSeek, Qwen, Kimi, GLM, gpt-oss semuanya bergerak ke arah ini). Tiap langkah ke arah itu membuat unit partisipasi swarm lebih kecil dan butiran pasar kelangkaan lebih halus. Model-model di atas bukan daftar keinginan; masing-masing sudah mengalir lewat hook dispatch yang sama yang kami jalankan di armada uji kami — onboarding adalah gerbang verifikasi, bukan proyek rekayasa.