Phase 1 — El anillo: inferencia en pipeline sin master

Cada dispositivo carga solo su ventana de capas y pasa una pequeña frontera de hidden-state a su vecino. Ningún nodo tiene que contener el modelo completo, y el anillo no tiene master central.

Por qué no una estrella

El master RPC es cuello de botella y portero

En la topología RPC clásica un master abre el GGUF entero y marca hacia cada worker. Esa forma se rompe en una red abierta de tres maneras: el master debe tener y servir el checkpoint completo; cada worker debe ser marcable — los teléfonos tras NAT de operadora no lo son; y el master es un dueño único en una red que no debería tener ninguno.

El anillo

Ventanas de capas + paso de fronteras

  • Cada dispositivo almacena el mismo modelo pero carga solo su ventana de capas contigua, y abre exactamente dos enlaces: uno a su predecesor, otro a su sucesor.
  • Una petición entra al anillo; cada nodo corre sus capas y pasa solo la frontera de hidden-state a su vecino. El último rank muestrea el token y lo envía de vuelta — sin master central en la ruta de datos, y ningún nodo tiene el modelo completo.
  • La colocación viene del rank manifest del planner — para Qwen3.5-122B, 49 capas repartidas entre la mezcla de GPU, CPU, NPU y teléfono que aparezca.
A transit-map style loop of device stations passing packet trains
Convertir dispositivos débiles en miembros reales

Shards parciales, GPU móviles y el relay 443

  • Descarga de shard parcial: un stage del anillo no necesita el checkpoint — necesita su ventana. Un mini-GGUF de stage lleva solo esos tensores (254 MB con 26 tensores frente al modelo completo de 77.6 GB), así que un teléfono baja ~1.5 GB para una ventana de una capa en vez de todo.
  • Ruta de GPU móvil: la ruta RPC hacia la GPU de un teléfono resultó inviable (el layout de buffers OpenCL de Adreno no sobrevive a la serialización RPC), pero un stage del anillo corre directamente en la GPU Adreno — el stage posee su backend localmente, así que solo cruzan el cable las fronteras.
  • Travesía de NAT: los teléfonos no pueden aceptar conexiones entrantes, así que el plano de datos pasa por un relay 443 — un puente WebSocket por edge con preámbulo de rol de 1 byte que deja a ambos extremos marcar hacia fuera. El teléfono abre cero puertos entrantes.
  • Mercado de auto-inscripción: los stages se reclaman, no se asignan. Un nodo consulta el mapa de cobertura/demanda, elige la ventana sin cubrir de mayor recompensa, la descarga y se une — verificado extremo a extremo con un teléfono tras NAT completando inferencia en anillo y ganando su contribución.
Dónde encaja el anillo

La ruta de baja latencia

El anillo es la ruta de latencia de Kvasir: las fronteras son pequeñas, los saltos pocos, y la decodificación fluye por el bucle sin reunir nada centralmente. Su límite es la granularidad — la unidad mínima que un nodo puede cargar es una capa (~1.4 GB en el 122B). Quitar ese suelo es lo que hace el enjambre de expertos; el anillo sigue siendo la columna de servicio a la que se enchufa.