Un téléphone a rejoint l'inférence d'un 122B

Un Galaxy S25 a téléchargé de façon autonome sa tranche d'experts depuis le hub et calculé les experts d'une couche à chaque pas d'un décodage 122B en direct. La sortie était correcte.

prompt : "The capital of France is" → généré (avec le téléphone dans la boucle) : " Paris." — 8/8 tokens identiques à l'exécution locale.

Mesuré · vrai 122B, le téléphone calcule layer-0

Exactitude + TPS

8/8

tokens identiques au local

4.01

TPS local (référence)

3.13

TPS avec téléphone

1.58 GB

téléchargement autonome

A phone docked to a towering 122B model, printing tokens that spell Paris

Même avec le téléphone calculant les experts de layer-0 pour chaque token, les tokens générés sont exactement les tokens locaux — le juste "Paris.". Le TPS passe de 4.01 à 3.13 — l'aller-retour du dispatch téléphone (MI250 → tunnel → téléphone, ~100 ms/token) coûte 22 %. Le débit se récupère avec lots et répliques (M4).

Le flux de participation autonome

Découvrir → téléchargement guidé par la récompense → rejoindre le calcul

1. Phone knows the hub (hub.kvasir-ai.net — retired since; the bridge serves this)
2. GET /api/proxy/models/…/expert-shard?layers=0:1&experts=0:256
   # partially downloads its own expert slice (1.58 GB, WiFi)
3. linkcpp-expert-worker --serve
   # loads the slice (Adreno device, CPU backend) + waits for dispatch
4. MI250 backbone decodes the 122B → every token, layer-0 experts
   dispatch to the phone → experts return → combine → "Paris."
   (8/8 identical to local)

Vérifié vs restant

Le mécanisme est complet ; la boucle in-app relève de la productisation

Téléchargement partiel (l'endpoint expert-shard), service du worker, dispatch du backbone, génération 122B en direct et TPS — tout vérifié sur l'appareil réel.
Exactitude : avec le téléphone participant, 8/8 tokens égalent l'exécution locale, avec la bonne réponse.
Restant : la boucle autonome in-app (sonder expert-demand → volunteer → télécharger → serve → enregistrer) est du câblage Kotlin — cette démo a piloté le mécanisme directement.
Transport : cette démo a utilisé un tunnel SSH ; la production utilise le relais 443 (déjà vérifié dans le travail de l'anneau).