GGUF

Het gekwantiseerde modelbestandsformaat van inferentie-engine — en de layout die partial- en expert-slicing goedkoop maakt.

GGUF is het één-bestandsmodelformaat van het inferentie-engine-ecosysteem: metadata (architectuur, laagaantal, dimensies, kwantisatie) plus de tensoren als rauwe gekwantiseerde bytes (bijv. Q4_K_M). Een placement plan wordt tegen die metadata geschreven — laagbereiken, apparaattoewijzing en grootteschattingen; de serveerkant snijdt de tensorbytes om downloads te produceren.

  • Stage-mini-GGUF's dragen de tensoren van één laagvenster — 254 MB in plaats van 77.6 GB voor een 122B-ringstage.
  • Expert-shard-GGUF's dragen één (laag, expertbereik)-plak, geserveerd door GET /api/proxy/models/{m}/expert-shard?layers=0:2&experts=0:16 met node-token-authenticatie.
  • Beide zijn geldige GGUF-bestanden: de reader op de node laadt ze met standaardtooling, geen eigen formaat.

Waarom expert-slicing een byte-kopie is: de expertindex is de buitenste dimensie.

tensor ffn_up_exps: ne = [n_ff, n_embd, 256]   # 256 = experts, outermost
expert e occupies rows [e·slab : (e+1)·slab)    # quant-block aligned
sliced = tensor.data[a:b]                       # no dequant, no re-pack
writer.add_tensor(name, sliced, raw_dtype=tensor.tensor_type)

De router (ffn_gate_inp) en de gedeelde expert zijn uitgesloten van expert-shards — ze horen bij de backbone, precies wat router-autoriteit vereist.