Phase 5 — Dispatch distribuido de expertos (M2)
Una decodificación en vivo del 122B entrega el cómputo de expertos de una capa a un proceso worker separado por TCP — y predice exactamente el mismo token.
Decodificación del backbone → TCP → worker → experts → mismo token
El worker de expertos sirve la rebanada de layer-0 como proceso separado (ROCm), y el callback de dispatch de build_moe_ffn del backbone 122B envía (cur, sel) por TCP y recibe las salidas de expertos. El cosine de logits es exactamente el valor in-process (0.99868775) — el transporte no pierde nada. El cómputo en enjambre expert-parallel funciona a través de una frontera de proceso.
Una conexión TCP de larga vida — el mismo stream que el anillo/relay 443 puede tunelizar.
# worker: serving as a separate process linkcpp-expert-worker --serve 52700 --model L0_all.gguf --layer 0 --n-embd 3072 # backbone: build_moe_ffn callback dispatches to the worker linkcpp-moe-verify 122B.gguf ... --dispatch-port 52700 → protocol: [n_used, n_tokens] + cur + sel → experts
La cadena de dispatch distribuido
- Modo
--serve: cargar la rebanada, escuchar en TCP, responder(n_used, n_tokens, cur, sel) → experts. --dispatch-port: el callback del backbone envía/recibe por TCP a un worker separado, reemplazando el cómputo in-process.- Medido en una decodificación en vivo del 122B con layer-0 despachado fuera de proceso → argmax MATCH, cosine 0.99869 (= in-process, sin pérdidas).
- Núcleo de M2 (antes): la ARM del teléfono computó expertos reales del 122B con cosine 0.99992 (cross-build de Android).
Lo que sigue desde aquí: tunelizar el mismo stream TCP por el relay 443 hacia workers en otras máquinas y teléfonos (el transporte ya se probó en el trabajo del anillo), y luego el mercado de cobertura M3 y el throughput por lotes M4.