Dari cetak biru ke perangkat keras: yang terverifikasi, dan batu kunci
Rekap kampanye verifikasi — desain hingga inti M2 dibuktikan pada 122B nyata — dan satu keping integrasi yang membuka sisanya.
Beberapa pekan terakhir, bagian-bagian sulit dan baru dari swarm pakar dibuktikan satu per satu pada Qwen3.5-122B sungguhan — bukan simulasi, bukan ukuran mainan. Inilah jejak verifikasi sejauh ini, dan satu-satunya batu kunci yang tersisa.
Yang sudah mendarat
- Desain (5 revisi sejak cetak biru) — arsitektur EP, partisipasi otonom bobot parsial, relay, spesifikasi kernel worker, dan ekuivalensi numerik lintas-backend yang dikodifikasi sebagai teknologi inti. Otoritas router ditulis sebagai invarian koherensi.
- M0 — offload RAM pakar backbone (planner terverifikasi): 122B *feasible* di satu koordinator 64 GB — 10 lapisan pakar di-offload ke RAM, VRAM 62.6 GiB / RAM 14.2 GiB, dikawatkan via
--override-tensor. - M1 — jalur data irisan pakar: pengirisan mini-GGUF per pakar (lempengan ne[2], salinan byte tanpa dekuantisasi) + endpoint unduhan
/expert-shard. - M1 — oracle numerik: dispatch + combine == monolitik dengan max|Δ| = 3.6e-12 pada pakar layer-0 nyata — sharding adalah pengelompokan ulang eksak dari jumlah berbobot yang sama.
- M1 — worker C++ di perangkat keras:
linkcpp-expert-worker(ggml/gguf murni) dibangun dan dijalankan di ROCm, cosine 0.99995 vs oracle; router → dua worker C++ → combine menyamai monolitik pada cosine 0.9997–0.9999. - Inti M2 — ponsel menghitung pakar 122B nyata: cross-build Android, dijalankan di SM-S938N, cosine 0.99992 vs oracle.
- Numerik — matriks ekuivalensi 3 backend: komputasi 122B yang sama di ROCm × ARM CPU ponsel × numpy — ROCm↔ponsel cosine 0.99990, ROCm↔numpy 0.99996, ponsel↔numpy 0.99992. Semua ekuivalen, tak satu pun bit-identik.
Dispatch backbone, terintegrasi ke dekode langsung
Setiap komponen — irisan, worker, logika dispatch/combine, ekuivalensi numerik, komputasi ponsel — sudah terverifikasi di perangkat. Yang tersisa adalah mengawatkannya di dalam dekode mesin inferensi sungguhan: hook build_moe_ffn yang men-dispatch pakar ke node pemiliknya di tengah graf. Itu memerlukan modifikasi submodule mesin inferensi yang dipatok dan beberapa siklus build-verifikasi. Begitu batu kunci ini berdiri, integrasi relay M2, pasar cakupan pakar M3, dan throughput berkelompok M4 terbuka berurutan — semuanya bergantung pada dispatch ini.
Batu kunci itu kini telah mendarat: tulisan lanjutan tentang M2, M3, M4 dan demo ponsel langsung adalah hasil dari integrasi inilah tepatnya.