GGUF

Das quantisierte Modell-Dateiformat der Inferenz-Engine — und das Layout, das Teil- und Experten-Slicing billig macht.

GGUF ist das Ein-Datei-Modellformat des Inferenz-Engine-Ökosystems: Metadaten (Architektur, Layer-Anzahl, Dimensionen, Quantisierung) plus die Tensoren als rohe quantisierte Bytes (z. B. Q4_K_M). Ein Platzierungsplan wird gegen diese Metadaten geschrieben — Layer-Bereiche, Gerätezuordnung und Größenschätzungen; die Serving-Seite schneidet die Tensor-Bytes, um Downloads zu erzeugen.

Stage-mini-GGUFs tragen die Tensoren eines Layer-Fensters — 254 MB statt 77.6 GB für eine 122B-Ring-Stage.
Experten-Shard-GGUFs tragen eine (Layer, Experten-Bereich)-Scheibe, ausgeliefert von GET /api/proxy/models/{m}/expert-shard?layers=0:2&experts=0:16 mit Node-Token-Auth.
Beide sind gültige GGUF-Dateien: Der Reader auf dem Node lädt sie mit Standard-Tooling, kein Eigenformat.

Warum Experten-Slicing eine Byte-Kopie ist: Der Expertenindex ist die äußerste Dimension.

tensor ffn_up_exps: ne = [n_ff, n_embd, 256]   # 256 = experts, outermost
expert e occupies rows [e·slab : (e+1)·slab)    # quant-block aligned
sliced = tensor.data[a:b]                       # no dequant, no re-pack
writer.add_tensor(name, sliced, raw_dtype=tensor.tensor_type)

Der Router (ffn_gate_inp) und der geteilte Experte sind aus Experten-Shards ausgeschlossen — sie gehören dem Backbone, genau wie es die Router-Autorität verlangt.