Ein Smartphone trat einer 122B-Inferenz bei

Ein Galaxy S25 lud autonom seine Expertenscheibe vom Hub und berechnete bei jedem Schritt einer Live-122B-Dekodierung die Experten einer Layer. Die Ausgabe war korrekt.

Selbst wenn das Smartphone für jeden Token die Layer-0-Experten rechnet, sind die generierten Tokens exakt die lokalen — das korrekte "Paris.". Die TPS fällt von 4.01 auf 3.13 — der Smartphone-Dispatch-Roundtrip (MI250 → Tunnel → Smartphone, ~100 ms/Token) kostet 22 %. Der Durchsatz kommt mit Batching und Repliken zurück (M4).

1. Phone knows the hub (hub.kvasir-ai.net — retired since; the bridge serves this)
2. GET /api/proxy/models/…/expert-shard?layers=0:1&experts=0:256
   # partially downloads its own expert slice (1.58 GB, WiFi)
3. linkcpp-expert-worker --serve
   # loads the slice (Adreno device, CPU backend) + waits for dispatch
4. MI250 backbone decodes the 122B → every token, layer-0 experts
   dispatch to the phone → experts return → combine → "Paris."
   (8/8 identical to local)

• Teil-Download (der expert-shard-Endpoint), Worker-Serving, Backbone-Dispatch, Live-122B-Generierung und TPS — alles auf dem echten Gerät verifiziert.
• Korrektheit: Mit dem Smartphone in der Schleife gleichen 8/8 Tokens dem lokalen Lauf, mit der richtigen Antwort.
• Verbleibend: die autonome In-App-Schleife (expert-demand pollen → volunteer → herunterladen → serve → registrieren) ist Kotlin-Verdrahtung — diese Demo trieb den Mechanismus direkt.
• Transport: Diese Demo nutzte einen SSH-Tunnel; die Produktion nutzt das 443-Relay (bereits in der Ring-Arbeit verifiziert).