GGUF

Le format de fichier de modèle quantifié de moteur d'inférence — et la disposition qui rend le découpage partiel et par expert bon marché.

GGUF est le format de modèle en fichier unique de l'écosystème moteur d'inférence : des métadonnées (architecture, nombre de couches, dimensions, quantification) plus les tenseurs en octets quantifiés bruts (p. ex. Q4_K_M). Un plan de placement s'écrit contre ces métadonnées — plages de couches, affectation aux appareils et estimations de taille ; le côté service découpe les octets de tenseurs pour produire les téléchargements.

• Les mini-GGUF de stage transportent les tenseurs d'une seule fenêtre de couches — 254 MB au lieu de 77.6 GB pour un stage d'anneau du 122B.
• Les GGUF de shard d'experts transportent une tranche (couche, plage d'experts), servie par GET /api/proxy/models/{m}/expert-shard?layers=0:2&experts=0:16 avec authentification par node-token.
• Les deux sont des fichiers GGUF valides : le lecteur du nœud les charge avec l'outillage d'origine, sans format maison.

tensor ffn_up_exps: ne = [n_ff, n_embd, 256]   # 256 = experts, outermost
expert e occupies rows [e·slab : (e+1)·slab)    # quant-block aligned
sliced = tensor.data[a:b]                       # no dequant, no re-pack
writer.add_tensor(name, sliced, raw_dtype=tensor.tensor_type)

Le routeur (ffn_gate_inp) et l'expert partagé sont exclus des shards d'experts — ils appartiennent au backbone, ce qui est exactement ce que l'autorité du routeur exige.