L'essaim qui grandit sous la charge

Un modèle géant qui n'emprunte de l'aide que lorsqu'il en a besoin — l'essaim MoE se met désormais à l'échelle du trafic : compact et rapide au repos, large et parallèle en pleine charge.

Kvasir sert des modèles bien plus grands que ce que peut contenir une seule machine — un modèle Mixture-of-Experts de 122B de paramètres tourne réparti sur un coordinateur plus un essaim de workers : des GPU sur le LAN, des GPU au bout d'un lien à 200 Gb/s, et même des téléphones qui se connectent par internet. Parce qu'un modèle MoE route chaque token vers une poignée seulement de ses experts, la plupart des poids restent inactifs à tout instant, et ces experts inactifs peuvent vivre hors du nœud principal — sur n'importe quel matériel qui s'est proposé pour les héberger.

Quand le trafic est faible, le coordinateur sert tout sur son propre GPU — le chemin le plus rapide par token, sans saut réseau. Quand les requêtes commencent à s'accumuler et que ses slots d'inférence saturent, deux choses se produisent automatiquement :

• Il remobilise les workers qu'il a déjà. Le coordinateur surveille sa propre file. En saturation, il continue de diffuser le travail des experts routés vers des workers éprouvés — ceux qui ont réellement servi auparavant — échangeant un peu de latence par token contre beaucoup plus de débit total. Un worker qui s'est simplement connecté sans jamais calculer ne se voit jamais confier de charge ; un worker tout neuf a tout de même droit à un premier essai équitable.
• Le hub en recrute de nouveaux. Le hub de contrôle remarque la même saturation et augmente la « demande » pour les experts de ce modèle. Les nœuds inactifs — un téléphone dans une poche, un GPU disponible à l'autre bout de la ville — interrogent déjà ce marché de la demande. Dès que la demande monte, on leur propose une tranche d'experts à servir ; ils la téléchargent, se connectent et rejoignent l'essaim. Quand la pointe passe, la demande retombe et les workers supplémentaires se retirent discrètement.

Personne n'ordonnance cela. Aucun nœud n'est poussé. L'essaim respire au rythme de la charge : compact et rapide au repos, large et parallèle en pleine charge — et cela fonctionne même pour des nœuds derrière des routeurs domestiques, parce que tout repose sur le pull.

Voilà la forme d'un réseau capable de servir des modèles à mille milliards de paramètres sur du matériel que personne ne possède seul : la capacité inactive est invitée exactement quand cela en vaut la peine, et seulement alors.