Der Schwarm, der unter Last wächst

Ein riesiges Modell, das sich nur dann Hilfe borgt, wenn es sie braucht — der MoE-Schwarm skaliert sich jetzt selbst an den Verkehr: eng und schnell in ruhigen Zeiten, breit und parallel bei Andrang.

Kvasir bedient Modelle, die weit größer sind, als eine einzelne Maschine sie fassen kann — ein 122B-Parameter-Mixture-of-Experts-Modell läuft über einen Koordinator plus einen Schwarm von Workern: GPUs im LAN, GPUs über eine 200-Gb/s-Verbindung, sogar Smartphones, die sich über das Internet einwählen. Weil ein MoE-Modell jedes Token nur an eine Handvoll seiner Experten routet, liegen die meisten Gewichte zu jedem Zeitpunkt brach, und diese brachliegenden Experten können außerhalb des Hauptknotens leben — auf welcher Hardware auch immer sich freiwillig gemeldet hat, sie zu halten.

Bei geringem Verkehr bedient der Koordinator alles auf seiner eigenen GPU — der schnellste Pfad pro Token, keine Netzwerk-Hops. Wenn sich Anfragen zu stauen beginnen und seine Inferenz-Slots sättigen, passieren automatisch zwei Dinge:

• Er reaktiviert die Worker, die er bereits hat. Der Koordinator beobachtet seine eigene Warteschlange. Unter Sättigung streamt er weiterhin Routed-Expert-Arbeit an bewährte Worker hinaus — solche, die tatsächlich schon einmal bedient haben — und tauscht ein wenig Latenz pro Token gegen deutlich mehr Gesamtdurchsatz. Einem Worker, der sich nur verbunden, aber nie gerechnet hat, wird niemals Last anvertraut; ein brandneuer Worker bekommt dennoch einen fairen ersten Versuch.
• Der Hub rekrutiert neue. Der Steuerungs-Hub bemerkt dieselbe Sättigung und erhöht die „Nachfrage“ nach den Experten dieses Modells. Brachliegende Knoten — ein Smartphone in jemandes Tasche, eine freie GPU in der Nachbarschaft — pollen diesen Nachfragemarkt bereits. Sobald die Nachfrage steigt, wird ihnen eine Expertenscheibe zum Bedienen angeboten; sie laden sie herunter, wählen sich ein und treten bei. Wenn der Andrang vorbei ist, fällt die Nachfrage zurück, und die zusätzlichen Worker fallen still wieder ab.

Niemand plant das. Kein Knoten wird gepusht. Der Schwarm atmet mit der Last: eng und schnell in ruhigen Zeiten, breit und parallel bei Andrang — und es funktioniert sogar für Knoten hinter Heim-Routern, weil alles pull-basiert ist.

Das ist die Gestalt eines Netzwerks, das Modelle mit Billionen Parametern auf Hardware bedienen kann, die keine einzelne Person besitzt: Brachliegende Kapazität wird genau dann eingeladen, wenn es sich lohnt, sie einzuladen — und nur dann.