Phase 1 — 环:无 master 的流水线推理
每台设备只加载自己的层窗口,把小小的 hidden-state 边界传给邻居。没有节点需要持有完整模型,环中也不存在中心 master。
为什么不是星形
RPC master 既是瓶颈也是守门人
在经典 RPC 拓扑中,一个 master 打开整个 GGUF 并拨号连接每个 worker。这个形态在开放网络中三处失效:master 必须持有并服务完整检查点;每个 worker 必须可被拨号——运营商 NAT 后的手机不行;master 还是这个本不该有所有者的网络中的单一所有者。
环
层窗口 + 边界传递
- 每台设备存有同一模型,但只加载自己连续的层窗口,然后恰好打开两条链路:一条通向前驱,一条通向后继。
- 请求进入环;每个节点运行自己的层,只把 hidden-state 边界传给邻居。最后一个 rank 采样 token 并送回——数据路径上没有中心 master,没有节点持有完整模型。
- 放置来自规划器的 rank manifest——对 Qwen3.5-122B,49 层被分到任意到场的 GPU、CPU、NPU 与手机组合上。

让弱设备成为真正的成员
部分分片、移动 GPU 与 443 中继
- 部分分片下载:环 stage 需要的不是检查点而是自己的窗口。stage mini-GGUF 只携带那些张量(26 个张量共 254 MB,对比 77.6 GB 完整模型),手机为一个单层窗口只需拉取约 1.5 GB。
- 移动 GPU 路径:通往手机 GPU 的 RPC 路线被证明不可行(Adreno 的 OpenCL 缓冲布局无法经受 RPC 序列化),但环 stage 直接跑在 Adreno GPU 上——stage 在本地拥有自己的后端,过线的只有边界。
- NAT 穿越:手机无法接受入站连接,因此数据平面经过 443 中继——带 1 字节 role preamble 的每边缘 WebSocket 桥,让两端都向外拨号。手机开放的入站端口为零。
- 自助报名市场:stage 是被认领的,不是被指派的。节点轮询覆盖/需求图,挑选最高奖励的未覆盖窗口,下载那个窗口,然后加入——已用 NAT 后的手机端到端验证:完成环推理并赚到贡献。
环的位置
低延迟路径
环是 Kvasir 的延迟路径:边界小、跳数少,解码沿环流动而不向中心汇聚任何东西。它的局限在颗粒度——节点能背负的最小单位是一层(122B 上约 1.4 GB)。移除这个下限正是专家分片蜂群要做的事;环仍是蜂群接入的服务骨干。