Swarm yang tumbuh di bawah beban

Model raksasa yang meminjam bantuan hanya saat membutuhkannya — swarm MoE kini menskalakan dirinya sendiri terhadap lalu lintas: rapat dan cepat saat sepi, lebar dan paralel saat sibuk.

Kvasir melayani model jauh lebih besar daripada yang bisa dipegang mesin tunggal mana pun — sebuah model Mixture-of-Experts 122B-parameter berjalan melintasi sebuah koordinator ditambah sebuah swarm worker: GPU di LAN, GPU melintasi tautan 200 Gb/s, bahkan ponsel yang menyambung lewat internet. Karena model MoE merutekan setiap token hanya ke segelintir pakarnya, sebagian besar bobot diam pada saat mana pun, dan pakar-pakar yang diam itu bisa hidup di luar node utama — pada perangkat keras apa pun yang mengajukan diri untuk memegangnya.

Saat lalu lintas ringan, koordinator melayani semuanya pada GPU-nya sendiri — jalur tercepat per token, tanpa lompatan jaringan. Saat permintaan mulai menumpuk dan slot inferensinya jenuh, dua hal terjadi secara otomatis:

• Ia melibatkan kembali worker yang sudah dimilikinya. Koordinator mengawasi antreannya sendiri. Di bawah kejenuhan, ia terus mengalirkan pekerjaan pakar-terutekan ke worker yang terbukti — yang benar-benar pernah melayani sebelumnya — menukar sedikit latensi per-token demi throughput total yang jauh lebih besar. Worker yang sekadar tersambung tetapi tak pernah menghitung tak pernah dipercaya memikul beban; worker yang baru sama sekali tetap mendapat percobaan pertama yang adil.
• Hub merekrut yang baru. Hub kontrol memperhatikan kejenuhan yang sama dan menaikkan "permintaan" akan pakar model itu. Node yang menganggur — ponsel di saku seseorang, GPU cadangan di seberang kota — sudah menjajaki pasar permintaan itu. Begitu permintaan naik, mereka ditawari sepotong pakar untuk dilayani, mengunduhnya, menyambung, dan bergabung. Saat lonjakan berlalu, permintaan surut kembali dan worker ekstra diam-diam melepaskan diri.

Tak seorang pun menjadwalkan ini. Tak ada node yang didorong. Swarm bernapas seirama beban: rapat dan cepat saat sepi, lebar dan paralel saat sibuk — dan ini bekerja bahkan untuk node di balik router rumahan, karena semuanya berbasis-tarik (pull-based).

Itulah bentuk sebuah jaringan yang dapat melayani model triliun-parameter pada perangkat keras yang tak dimiliki satu orang pun: kapasitas menganggur diundang masuk persis ketika layak diundang, dan hanya saat itu.