从蓝图到硬件:已验证的部分与拱顶石

验证战役的回顾——从设计到 M2 核心均在真实 122B 上得到证明——以及解锁其余一切的那一块集成拼图。

过去几周里,专家分片蜂群那些困难而新颖的部件在真实的 Qwen3.5-122B 上被逐一证明——不是模拟,不是玩具尺寸。这里是迄今的验证轨迹,以及最后剩下的那块拱顶石。

A verification trail of stamped checkpoints ending at a keystone being placed
轨迹 · 全部在真实 122B 上验证

迄今落地的成果

  • 设计(蓝图后 5 次修订) — EP 架构、部分权重自治参与、中继、worker 内核规范,以及被确立为核心技术的跨后端数值等价性。路由器权威被写为一致性不变式。
  • M0 — 骨干专家 RAM 卸载(规划器验证):122B 在单台 64 GB 协调器上 *feasible* —— 10 个专家层卸载到 RAM,VRAM 62.6 GiB / RAM 14.2 GiB,经 --override-tensor 接线。
  • M1 — 专家切片数据路径:按专家的 mini-GGUF 切片(ne[2] 板块,无反量化字节拷贝)+ /expert-shard 下载端点。
  • M1 — 数值 oracle:在真实 layer-0 专家上 dispatch + combine == monolithic,max|Δ| = 3.6e-12 —— 分片是同一加权和的精确重组。
  • M1 — C++ worker 硬件验证:linkcpp-expert-worker(纯 ggml/gguf)在 ROCm 上构建并运行,对 oracle cosine 0.99995;router → 两个 C++ worker → combine 与 monolithic 一致,cosine 0.9997–0.9999。
  • M2 核心 — 手机计算真实 122B 专家:Android 交叉构建,在 SM-S938N 上运行,对 oracle cosine 0.99992。
  • 数值 — 三后端等价矩阵:同一 122B 计算在 ROCm × 手机 ARM CPU × numpy 上 —— ROCm↔手机 cosine 0.99990,ROCm↔numpy 0.99996,手机↔numpy 0.99992。全部等价,无一逐位相同。
拱顶石

集成进实时解码的骨干调度

每个组件——切片、worker、dispatch/combine 逻辑、数值等价、手机计算——都已真机验证。剩下的是把它们接进真实的 推理引擎 解码:一个在图中途把专家调度到持有节点的 build_moe_ffn 钩子。它需要修改被钉住的 推理引擎 子模块和多轮构建-验证循环。这块拱顶石一旦立起,M2 中继集成、M3 专家覆盖市场、M4 批量吞吐将依次打开——它们全都依赖这个调度。

拱顶石随后已经落成:关于 M2、M3、M4 和实时手机演示的后续文章,正是这次集成的成果。