GGUF

El formato de archivo de modelo cuantizado que usa motor de inferencia — y el layout que abarata el sliceo parcial y de expertos.

GGUF es el formato de modelo de archivo único del ecosistema motor de inferencia: metadata (arquitectura, número de capas, dimensiones, cuantización) más los tensores como bytes cuantizados crudos (p. ej. Q4_K_M). Un plan de colocación se escribe contra esa metadata — rangos de capas, asignación de dispositivos y estimaciones de tamaño; el lado de servicio rebana los bytes de tensores para producir descargas.

• Los mini-GGUF de stage llevan los tensores de una ventana de capas — 254 MB en vez de 77.6 GB para un stage de anillo del 122B.
• Los GGUF de shard de expertos llevan una rebanada (capa, rango de expertos), servida por GET /api/proxy/models/{m}/expert-shard?layers=0:2&experts=0:16 con autenticación por node-token.
• Ambos son archivos GGUF válidos: el lector en el nodo los carga con las herramientas de serie, sin formato propio.

tensor ffn_up_exps: ne = [n_ff, n_embd, 256]   # 256 = experts, outermost
expert e occupies rows [e·slab : (e+1)·slab)    # quant-block aligned
sliced = tensor.data[a:b]                       # no dequant, no re-pack
writer.add_tensor(name, sliced, raw_dtype=tensor.tensor_type)

El router (ffn_gate_inp) y el experto compartido quedan excluidos de los shards de expertos — pertenecen al backbone, que es exactamente lo que la autoridad del router exige.