El enjambre que crece bajo carga

Un modelo gigante que toma ayuda prestada solo cuando la necesita — el enjambre MoE ahora se escala al tráfico: ajustado y rápido en calma, ancho y paralelo bajo carga.

Kvasir sirve modelos mucho más grandes de lo que cualquier máquina sostiene por sí sola — un modelo Mixture-of-Experts de 122B de parámetros corre repartido entre un coordinador más un enjambre de workers: GPU en la LAN, GPU a través de un enlace de 200 Gb/s, incluso teléfonos que marcan por internet. Como un modelo MoE enruta cada token solo a un puñado de sus expertos, la mayor parte de los pesos están ociosos en cualquier momento, y esos expertos ociosos pueden vivir fuera del nodo principal — en cualquier hardware que se haya ofrecido a alojarlos.

Cuando el tráfico es ligero, el coordinador sirve todo en su propia GPU — la ruta más rápida por token, sin saltos de red. Cuando las peticiones empiezan a acumularse y sus slots de inferencia se saturan, ocurren dos cosas automáticamente:

• Reactiva los workers que ya tiene. El coordinador vigila su propia cola. Bajo saturación sigue transmitiendo el trabajo de expertos enrutados a workers probados — los que realmente han servido antes — cambiando un poco de latencia por token por mucho más throughput total. A un worker que solo se conectó pero nunca computó nunca se le confía carga; un worker completamente nuevo aún recibe un primer intento justo.
• El hub recluta nuevos. El hub de control advierte esa misma saturación y eleva la "demanda" de los expertos de ese modelo. Los nodos ociosos — un teléfono en el bolsillo de alguien, una GPU de sobra al otro lado de la ciudad — ya están sondeando ese mercado de demanda. En cuanto la demanda sube, se les ofrece una rebanada de expertos para servir, la descargan, se conectan y se unen. Cuando pasa el pico, la demanda vuelve a bajar y los workers extra se retiran discretamente.

Nadie planifica esto. A ningún nodo se le empuja. El enjambre respira con la carga: ajustado y rápido en calma, ancho y paralelo bajo carga — y funciona incluso para nodos tras routers domésticos, porque todo es basado en pull.

Esa es la forma de una red que puede servir modelos de un billón de parámetros sobre hardware que ninguna persona posee: la capacidad ociosa se invita exactamente cuando vale la pena invitarla, y solo entonces.