Vom Bauplan zur Hardware: das Verifizierte und der Schlussstein
Rückblick auf die Verifikationskampagne — Design bis M2-Kern auf einem echten 122B bewiesen — und das eine Integrationsstück, das den Rest freischaltet.
In den vergangenen Wochen wurden die schweren, neuartigen Teile des Experten-Schwarms eines nach dem anderen auf einem echten Qwen3.5-122B bewiesen — nicht simuliert, nicht spielzeuggroß. Hier die bisherige Verifikationsspur und der eine Schlussstein, der noch fehlte.
Was bislang gelandet ist
- Design (5 Revisionen seit dem Bauplan) — EP-Architektur, autonome Teilgewicht-Teilnahme, das Relay, die Worker-Kernel-Spezifikation und die als Kerntechnologie kodifizierte Cross-Backend-Äquivalenz. Router-Autorität als Kohärenz-Invariante festgeschrieben.
- M0 — Backbone-Experten-RAM-Offload (Planner verifiziert): 122B ist auf einem einzelnen 64-GB-Koordinator *feasible* — 10 Expertenlayer in RAM ausgelagert, VRAM 62.6 GiB / RAM 14.2 GiB, verdrahtet via
--override-tensor. - M1 — Experten-Scheiben-Datenpfad: mini-GGUF-Slicing je Experte (ne[2]-Platten, Bytekopie ohne Dequantisierung) + der
/expert-shard-Download-Endpoint. - M1 — numerisches Orakel: dispatch + combine == monolithisch mit max|Δ| = 3.6e-12 auf echten Layer-0-Experten — Sharding ist eine exakte Umgruppierung derselben gewichteten Summe.
- M1 — C++-Worker auf Hardware:
linkcpp-expert-worker(reines ggml/gguf) auf ROCm gebaut und ausgeführt, cosine 0.99995 vs. das Orakel; Router → zwei C++-Worker → Combine gleicht dem Monolithen bei cosine 0.9997–0.9999. - M2-Kern — ein Smartphone berechnet echte 122B-Experten: Android-Crossbuild, ausgeführt auf einem SM-S938N, cosine 0.99992 vs. das Orakel.
- Numerik — 3-Backend-Äquivalenzmatrix: dieselbe 122B-Berechnung auf ROCm × Smartphone-ARM-CPU × numpy — ROCm↔Smartphone cosine 0.99990, ROCm↔numpy 0.99996, Smartphone↔numpy 0.99992. Alles äquivalent, nichts bitidentisch.
Backbone-Dispatch, integriert in die Live-Dekodierung
Jede Komponente — Scheiben, Worker, Dispatch/Combine-Logik, numerische Äquivalenz, Smartphone-Berechnung — war geräteverifiziert. Es blieb, sie in einer echten Inferenz-Engine-Dekodierung zu verdrahten: ein build_moe_ffn-Hook, der Experten mitten im Graphen an ihre Besitzerknoten dispatcht. Das erforderte die Änderung des gepinnten Inferenz-Engine-Submoduls und mehrere Build-Verify-Zyklen. Steht dieser Schlussstein, öffnen sich M2-Relay-Integration, der M3-Experten-Abdeckungsmarkt und M4-Batch-Durchsatz der Reihe nach — alle hängen an diesem Dispatch.
Der Schlussstein ist inzwischen gelandet: Die Folgebeiträge zu M2, M3, M4 und der Live-Smartphone-Demo sind die Ergebnisse genau dieser Integration.