GGUF

推論エンジン が使う量子化モデルファイル形式 — 部分・エキスパートスライスを安価にするレイアウト。

GGUF は 推論エンジン エコシステムの単一ファイルモデル形式です：メタデータ（アーキテクチャ、レイヤー数、次元、量子化）と、生の量子化バイトとして格納されたテンソル（例：Q4_K_M）。配置プランはそのメタデータに対して書かれ — レイヤー範囲、デバイス割り当て、サイズ見積もり — 提供側はテンソルバイトをスライスしてダウンロードを生成します。

• ステージ mini-GGUF はレイヤーウィンドウ 1 個分のテンソルだけを運びます — 122B のリングステージで 77.6 GB の代わりに 254 MB。
• エキスパートシャード GGUF は（レイヤー, エキスパート範囲）スライス 1 個を運び、GET /api/proxy/models/{m}/expert-shard?layers=0:2&experts=0:16 が node-token 認証で提供します。
• どちらも有効な GGUF ファイルです：ノードのリーダーが素のツールでそのままロードでき、独自形式ではありません。

tensor ffn_up_exps: ne = [n_ff, n_embd, 256]   # 256 = experts, outermost
expert e occupies rows [e·slab : (e+1)·slab)    # quant-block aligned
sliced = tensor.data[a:b]                       # no dequant, no re-pack
writer.add_tensor(name, sliced, raw_dtype=tensor.tensor_type)

ルーター（ffn_gate_inp）と共有エキスパートはエキスパートシャードから除外されます — それらはバックボーンの持ち物であり、ルーター権威が要求する構造そのものです。