GGUF

Format berkas model terkuantisasi yang dipakai mesin inferensi — dan tata letak yang membuat pengirisan parsial dan pakar jadi murah.

GGUF adalah format model satu-berkas dari ekosistem mesin inferensi: metadata (arsitektur, jumlah lapisan, dimensi, kuantisasi) plus tensor sebagai byte terkuantisasi mentah (mis. Q4_K_M). Rencana penempatan ditulis terhadap metadata itu — rentang lapisan, penugasan perangkat, dan perkiraan ukuran; sisi penyajian mengiris byte tensor untuk menghasilkan unduhan.

  • Mini-GGUF stage membawa tensor satu jendela lapisan — 254 MB alih-alih 77.6 GB untuk stage ring 122B.
  • GGUF shard pakar membawa satu irisan (lapisan, rentang pakar), dilayani GET /api/proxy/models/{m}/expert-shard?layers=0:2&experts=0:16 dengan autentikasi node-token.
  • Keduanya berkas GGUF yang valid: pembaca di node memuatnya dengan perkakas standar, tanpa format khusus.

Mengapa pengirisan pakar hanyalah salinan byte: indeks pakar adalah dimensi terluar.

tensor ffn_up_exps: ne = [n_ff, n_embd, 256]   # 256 = experts, outermost
expert e occupies rows [e·slab : (e+1)·slab)    # quant-block aligned
sliced = tensor.data[a:b]                       # no dequant, no re-pack
writer.add_tensor(name, sliced, raw_dtype=tensor.tensor_type)

Router (ffn_gate_inp) dan pakar bersama dikecualikan dari shard pakar — keduanya milik backbone, persis seperti yang dituntut otoritas router.