Phase 5 — 分布式专家调度 (M2)

实时 122B 解码把一层的专家计算经 TCP 交给独立 worker 进程——并预测出完全相同的 token。

验证 · 真实 122B，两个进程

骨干解码 → TCP → worker → experts → 同一 token

MATCH
argmax OFF == ON (11751)
0.99869
logit cosine
0
传输损耗 (byte-identical)
2
进程 (骨干 + worker)

专家 worker 作为独立进程（ROCm）服务 layer-0 切片，122B 骨干的 build_moe_ffn 调度回调把 (cur, sel) 经 TCP 发出并收回专家输出。logit cosine 与进程内数值完全一致（0.99868775）——传输无损。专家并行的蜂群计算跨过了进程边界。

Backbone and worker rooms joined by one TCP pipe, sealed with an argmax MATCH stamp

一条长连接 TCP——环/443 中继可以隧道的正是这条流。

# worker: serving as a separate process
linkcpp-expert-worker --serve 52700 --model L0_all.gguf --layer 0 --n-embd 3072
# backbone: build_moe_ffn callback dispatches to the worker
linkcpp-moe-verify 122B.gguf ... --dispatch-port 52700
  → protocol: [n_used, n_tokens] + cur + sel  →  experts
完成

分布式调度流水线

  • --serve 模式：加载切片、监听 TCP、应答 (n_used, n_tokens, cur, sel) → experts。
  • --dispatch-port：骨干回调经 TCP 与独立 worker 收发，替代进程内计算。
  • 在 layer-0 调度到进程外的实时 122B 解码上实测 → argmax MATCH，cosine 0.99869（= 进程内，无损）。
  • M2 核心（更早）：手机 ARM 以 cosine 0.99992 计算真实 122B 专家（Android 交叉构建）。

接下来：把同一条 TCP 流经 443 中继隧道到其他机器与手机上的 worker（传输已在环的工作中验证），然后是 M3 覆盖市场与 M4 批量吞吐。