Phase 5 — 分散エキスパートディスパッチ (M2)

ライブの 122B デコードが 1 レイヤーのエキスパート計算を TCP 越しの別ワーカープロセスへ渡す——そしてまったく同じトークンを予測する。

検証 · 実 122B、2 プロセス

バックボーンデコード → TCP → ワーカー → experts → 同じトークン

MATCH
argmax OFF == ON (11751)
0.99869
ロジット cosine
0
転送損失 (byte-identical)
2
プロセス (バックボーン + ワーカー)

エキスパートワーカーが layer-0 スライスを別プロセス(ROCm)で提供し、122B バックボーンの build_moe_ffn ディスパッチコールバックが (cur, sel) を TCP で送り、エキスパート出力を受け取る。ロジット cosine はプロセス内の値と厳密に同じ(0.99868775)——転送は無損失だ。エキスパート並列のスウォーム計算がプロセス境界を越えて機能する。

Backbone and worker rooms joined by one TCP pipe, sealed with an argmax MATCH stamp

1 本の長寿命 TCP 接続——リング/443 リレーがトンネルできるまさにそのストリーム。

# worker: serving as a separate process
linkcpp-expert-worker --serve 52700 --model L0_all.gguf --layer 0 --n-embd 3072
# backbone: build_moe_ffn callback dispatches to the worker
linkcpp-moe-verify 122B.gguf ... --dispatch-port 52700
  → protocol: [n_used, n_tokens] + cur + sel  →  experts
完了

分散ディスパッチのパイプライン

  • --serve モード:スライスをロードし、TCP を listen し、(n_used, n_tokens, cur, sel) → experts に応答。
  • --dispatch-port:バックボーンのコールバックがプロセス内計算の代わりに、別ワーカーと TCP で送受信。
  • layer-0 をプロセス外へディスパッチしたライブ 122B デコードで実測 → argmax MATCH、cosine 0.99869(= プロセス内、無損失)。
  • M2 コア(先行):スマートフォンの ARM が実 122B エキスパートを cosine 0.99992 で計算(Android クロスビルド)。

ここからの次:同じ TCP ストリームを 443 リレーでトンネルし、他マシンやスマートフォン上のワーカーへ(転送はリングの作業で実証済み)、その後 M3 カバレッジ市場と M4 バッチスループット。