De zwerm die groeit onder belasting

Een reusachtig model dat alleen hulp inroept wanneer het die nodig heeft — de MoE-zwerm schaalt zichzelf nu naar het verkeer: strak en snel bij rust, breed en parallel bij drukte.

Kvasir serveert modellen die veel groter zijn dan enige afzonderlijke machine kan bevatten — een Mixture-of-Experts-model van 122B parameters draait over een coördinator plus een zwerm workers: GPU's op het LAN, GPU's over een 200 Gb/s-link, zelfs telefoons die over het internet inbellen. Omdat een MoE-model elk token naar slechts een handvol van zijn experts routeert, ligt het merendeel van de gewichten op elk moment stil, en die inactieve experts kunnen buiten de hoofdnode leven — op welke hardware zich ook aanmeldde om ze vast te houden.

Wanneer het verkeer licht is, serveert de coördinator alles op zijn eigen GPU — het snelste pad per token, geen netwerkhops. Wanneer verzoeken zich beginnen op te stapelen en zijn inferentieslots verzadigd raken, gebeuren er automatisch twee dingen:

• Hij schakelt de workers die hij al heeft opnieuw in. De coördinator bewaakt zijn eigen wachtrij. Onder verzadiging blijft hij gerouteerd-expertwerk uitsturen naar bewezen workers — die daadwerkelijk eerder hebben geserveerd — waarbij hij een beetje latentie per token inruilt voor veel meer totale doorvoer. Een worker die alleen verbinding maakte maar nooit rekende, wordt nooit met belasting vertrouwd; een gloednieuwe worker krijgt nog steeds een eerlijke eerste kans.
• De hub werft nieuwe. De control-hub merkt dezelfde verzadiging op en verhoogt de "vraag" naar de experts van dat model. Inactieve nodes — een telefoon in iemands zak, een reserve-GPU aan de andere kant van de stad — pollen die vraagmarkt al. Zodra de vraag stijgt, krijgen ze een plak experts aangeboden om te serveren, downloaden die, bellen in en sluiten aan. Wanneer de piek voorbij is, zakt de vraag terug en vallen de extra workers stilletjes weg.

Niemand plant dit. Geen node wordt geduwd. De zwerm ademt met de belasting mee: strak en snel bij rust, breed en parallel bij drukte — en het werkt zelfs voor nodes achter thuisrouters, omdat alles pull-gebaseerd is.

Dat is de vorm van een netwerk dat modellen met biljoenen parameters kan serveren op hardware die niemand alleen bezit: inactieve capaciteit wordt precies dan uitgenodigd wanneer dat de moeite waard is, en alleen dan.