Phase 5 — Dispatch pakar terdistribusi (M2)

Dekode 122B langsung menyerahkan komputasi pakar satu lapisan ke proses worker terpisah lewat TCP — dan memprediksi token yang persis sama.

Terverifikasi · 122B nyata, dua proses

Dekode backbone → TCP → worker → experts → token sama

MATCH
argmax OFF == ON (11751)
0.99869
cosine logit
0
rugi transport (byte-identical)
2
proses (backbone + worker)

Worker pakar melayani irisan layer-0 sebagai proses terpisah (ROCm), dan callback dispatch build_moe_ffn milik backbone 122B mengirim (cur, sel) lewat TCP dan menerima keluaran pakar. Cosine logit-nya persis nilai in-process (0.99868775) — transportnya tanpa rugi. Komputasi swarm expert-parallel bekerja melintasi batas proses.

Backbone and worker rooms joined by one TCP pipe, sealed with an argmax MATCH stamp

Satu koneksi TCP berumur panjang — stream yang sama yang bisa diterowongkan ring/relay 443.

# worker: serving as a separate process
linkcpp-expert-worker --serve 52700 --model L0_all.gguf --layer 0 --n-embd 3072
# backbone: build_moe_ffn callback dispatches to the worker
linkcpp-moe-verify 122B.gguf ... --dispatch-port 52700
  → protocol: [n_used, n_tokens] + cur + sel  →  experts
Selesai

Pipeline dispatch terdistribusi

  • Mode --serve: muat irisan, dengarkan TCP, jawab (n_used, n_tokens, cur, sel) → experts.
  • --dispatch-port: callback backbone mengirim/menerima lewat TCP ke worker terpisah, menggantikan komputasi in-process.
  • Diukur pada dekode 122B langsung dengan layer-0 di-dispatch keluar proses → argmax MATCH, cosine 0.99869 (= in-process, tanpa rugi).
  • Inti M2 (lebih awal): ARM ponsel menghitung pakar 122B nyata pada cosine 0.99992 (cross-build Android).

Berikutnya dari sini: menerowongkan stream TCP yang sama lewat relay 443 ke worker di mesin dan ponsel lain (transportnya sudah terbukti di pekerjaan ring), lalu pasar cakupan M3 dan throughput berkelompok M4.