GGUF

推理引擎使用的量化模型文件格式——正是它的布局让部分切片与专家切片变得廉价。

GGUF 是推理引擎生态的单文件模型格式：元数据（架构、层数、维度、量化方式）加上以原始量化字节存储的张量（如 Q4_K_M）。放置方案正是照着这份元数据写的——层范围、设备分配与大小估算；服务侧则对张量字节切片来生成下载。

Stage mini-GGUF 只携带一个层窗口的张量——122B 环 stage 是 254 MB，而非 77.6 GB。
专家分片 GGUF 携带一个（层，专家范围）切片，由 GET /api/proxy/models/{m}/expert-shard?layers=0:2&experts=0:16 以 node-token 鉴权提供。
两者都是有效的 GGUF 文件：节点上的读取器用原版工具直接加载，没有自定义格式。

专家切片为何是字节拷贝：专家索引是最外层维度。

tensor ffn_up_exps: ne = [n_ff, n_embd, 256]   # 256 = experts, outermost
expert e occupies rows [e·slab : (e+1)·slab)    # quant-block aligned
sliced = tensor.data[a:b]                       # no dequant, no re-pack
writer.add_tensor(name, sliced, raw_dtype=tensor.tensor_type)

路由器（ffn_gate_inp）和共享专家被排除在专家分片之外——它们属于骨干，而这正是路由器权威所要求的。