Du plan au matériel : le vérifié, et la clé de voûte
Récapitulatif de la campagne de vérification — de la conception au cœur de M2, prouvés sur un vrai 122B — et l'unique pièce d'intégration qui déverrouille le reste.
Ces dernières semaines, les pièces difficiles et inédites de l'essaim d'experts ont été prouvées une à une sur un Qwen3.5-122B réel — ni simulé, ni taille jouet. Voici la piste de vérification jusqu'ici, et l'unique clé de voûte qui restait.
Ce qui a déjà atterri
- Conception (5 révisions depuis le plan) — architecture EP, participation autonome à poids partiels, le relais, la spec du kernel worker, et l'équivalence numérique inter-backends codifiée comme technologie de cœur. L'autorité du routeur consignée comme invariant de cohérence.
- M0 — offload des experts du backbone en RAM (planner vérifié) : le 122B est *feasible* sur un seul coordinateur de 64 GB — 10 couches d'experts déchargées en RAM, VRAM 62.6 GiB / RAM 14.2 GiB, câblé via
--override-tensor. - M1 — voie de données des tranches d'experts : découpe mini-GGUF par expert (dalles ne[2], copie d'octets sans déquantification) + l'endpoint de téléchargement
/expert-shard. - M1 — oracle numérique : dispatch + combine == monolithique avec max|Δ| = 3.6e-12 sur de vrais experts de layer-0 — le sharding est un regroupement exact de la même somme pondérée.
- M1 — worker C++ sur matériel :
linkcpp-expert-worker(ggml/gguf pur) compilé et exécuté sur ROCm, cosine 0.99995 vs l'oracle ; routeur → deux workers C++ → combine égale le monolithique à cosine 0.9997–0.9999. - Cœur de M2 — un téléphone calcule de vrais experts du 122B : cross-build Android, exécuté sur un SM-S938N, cosine 0.99992 vs l'oracle.
- Numérique — matrice d'équivalence à 3 backends : le même calcul 122B sur ROCm × ARM CPU du téléphone × numpy — ROCm↔téléphone cosine 0.99990, ROCm↔numpy 0.99996, téléphone↔numpy 0.99992. Tout équivalent, rien de bit-identique.
Le dispatch du backbone, intégré au décodage en direct
Chaque composant — tranches, workers, logique dispatch/combine, équivalence numérique, calcul sur téléphone — était vérifié sur appareil. Restait à les câbler dans un vrai décodage moteur d'inférence : un hook build_moe_ffn qui dispatch les experts vers leurs nœuds propriétaires en plein graphe. Il a fallu modifier le sous-module moteur d'inférence épinglé et plusieurs cycles compiler-vérifier. Une fois cette clé de voûte posée, l'intégration du relais M2, le marché de couverture M3 et le débit par lots M4 s'ouvrent en séquence — tous dépendent de ce dispatch.
La clé de voûte a depuis atterri : les billets suivants sur M2, M3, M4 et la démo téléphone en direct sont les fruits de cette intégration précisément.