Phase 4 — エキスパートスライスのデータ経路 (M1)

弱いデバイスがダウンロードするのは 1.4 GB のレイヤーではなく 6 MB のエキスパート数個——そしてシャーディング計算はモノリシックと 3.6e-12 まで一致する。

検証 · 実 Qwen3.5-122B-A10B

エキスパートスライスはバイトコピー——逆量子化なし

256→8

エキスパート次元スライス

~6.1

MB / エキスパート (Q4+Q6)

206 MB

2 層 × 16 エキスパートDL

200

HTTP、有効な GGUF

MoE エキスパートテンソルは全エキスパートを最外の ggml 次元に積むため、リーダーは (n_expert, rows, row_bytes) の生量子化バイトを露出する。エキスパート *e* は量子化ブロック整列の連続スラブだ——スライスは文字どおり data[a:b] で、逆量子化も再パッキングもない。

write_expert_shard_gguf——検証済みのラウンドトリップ。

sliced = tensor.data[a:b]              # outermost axis = expert
writer.add_tensor(name, sliced, raw_dtype=tensor.tensor_type)
# router (ffn_gate_inp) & shared expert stay on the backbone → excluded
GET /api/proxy/models/{m}/expert-shard?layers=0:2&experts=0:16  # node-token authed

A laser slicing one expert slab into a mini-GGUF beside a perfectly level balance scale

数値オラクル

dispatch + combine == monolithic、厳密に

実 122B layer-0 エキスパート（逆量子化リファレンス）で、エキスパートを 4 つのシャードに分けて別々に計算し結合した結果は、モノリシックな MoE FFN と一致する：シャーディングは同じ加重和の厳密な再グループ化であり、近似ではない。

3.6e-12

max|mono − sharded|

1.2e-07

相対誤差

True

allclose(1e-5)

28/256

関与したエキスパート

C++ ワーカー、ハードウェア検証

linkcpp-expert-worker が ROCm 上でオラクルを再現

純 ggml/gguf（libllama なし）：スライスを GPU バックエンドにロードし、mul_mat_id(up/gate) → swiglu → mul_mat_id(down) を実行。
ROCm ビルド + 実行（MI250）：122B layer-0、エキスパート [0,8)、4 トークン。
オラクル比 cosine 0.99995、allclose(1e-3) = True、max|Δ| = 7.9e-7——この残差自体が、クロスバックエンド等価性（ROCm vs numpy）の最初の実測例だ。
同じコード経路が CUDA/Metal/Vulkan/CPU をカバーする（mul_mat_id/swiglu は素の ggml；CUDA には専用 MoE カーネル）。

最も困難でリスクの高い部品——デバイス上のワーカーカーネル——がここで検証された。残るのはバックボーン↔ワーカーのオーケストレーションであり、ワーカーはこれらのスライスを消費する、検証済みの純関数だ。