Phase 1 — Ring: inferensi pipeline tanpa master

Setiap perangkat hanya memuat jendela lapisannya dan meneruskan batas hidden-state kecil ke tetangganya. Tak ada node yang harus memegang seluruh model, dan ring tak memiliki master pusat.

Pada topologi RPC klasik, satu master membuka GGUF utuh dan menelepon setiap worker. Bentuk itu rusak di jaringan terbuka dalam tiga hal: master harus memegang dan melayani checkpoint utuh; setiap worker harus bisa ditelepon — ponsel di balik NAT operator tidak bisa; dan master menjadi pemilik tunggal di jaringan yang seharusnya tak punya pemilik.

• Setiap perangkat menyimpan model yang sama tapi hanya memuat jendela lapisan bersambungnya, lalu membuka tepat dua tautan: satu ke pendahulu, satu ke penerus.
• Permintaan masuk ke ring; tiap node menjalankan lapisannya dan hanya meneruskan batas hidden-state ke tetangganya. Rank terakhir menyampel token dan mengirimnya balik — tanpa master pusat di jalur data, dan tak ada node yang memegang model utuh.
• Penempatan berasal dari rank manifest planner — untuk Qwen3.5-122B, 49 lapisan dibagi ke campuran GPU, CPU, NPU, dan ponsel apa pun yang muncul.

• Unduhan shard parsial: stage ring tak butuh checkpoint — ia butuh jendelanya. Mini-GGUF stage hanya membawa tensor-tensor itu (254 MB berisi 26 tensor versus model penuh 77.6 GB), sehingga ponsel menarik ~1.5 GB untuk jendela satu-lapisan alih-alih semuanya.
• Jalur GPU seluler: rute RPC ke GPU ponsel terbukti tak layak (tata letak buffer OpenCL Adreno tak selamat dari serialisasi RPC), tapi stage ring berjalan langsung di GPU Adreno — stage memiliki backend-nya secara lokal, jadi hanya batas yang menyeberangi kabel.
• Penembusan NAT: ponsel tak bisa menerima koneksi masuk, maka bidang data berjalan lewat relay 443 — jembatan WebSocket per edge dengan preamble peran 1 byte yang membuat kedua ujung menelepon keluar. Ponsel membuka nol port masuk.
• Pasar pendaftaran mandiri: stage diklaim, bukan ditugaskan. Node mem-poll peta cakupan/permintaan, memilih jendela tak tercakup berimbalan tertinggi, mengunduh jendela itu, dan bergabung — terverifikasi ujung-ke-ujung dengan ponsel di balik NAT yang menuntaskan inferensi ring dan memperoleh kontribusinya.

Ring adalah jalur latensi Kvasir: batasnya kecil, lompatannya sedikit, dan dekode mengalir mengelilingi lingkaran tanpa mengumpulkan apa pun secara terpusat. Keterbatasannya adalah granularitas — unit terkecil yang bisa dibawa node adalah satu lapisan (~1.4 GB pada 122B). Menghapus lantai itulah yang dilakukan swarm pakar; ring tetap menjadi tulang punggung penyajian tempat ia tersambung.