GGUF

추론 엔진이 쓰는 양자화 모델 파일 포맷 — 부분·전문가 슬라이싱을 값싸게 만드는 레이아웃.

GGUF는 추론 엔진 생태계의 단일 파일 모델 포맷입니다: 메타데이터(아키텍처, 레이어 수, 차원, 양자화)와 원시 양자화 바이트로 저장된 텐서들(예: Q4_K_M). placement plan은 그 메타데이터를 근거로 작성됩니다 — 레이어 범위, 디바이스 배정, 크기 추정. 서빙 측은 텐서 바이트를 슬라이스해 다운로드를 만듭니다.

• 스테이지 mini-GGUF는 레이어 구간 하나의 텐서만 담습니다 — 122B 링 스테이지 기준 77.6 GB 대신 254 MB.
• 전문가 샤드 GGUF는 (레이어, 전문가 범위) 슬라이스 하나를 담고, GET /api/proxy/models/{m}/expert-shard?layers=0:2&experts=0:16이 node-token 인증으로 서빙합니다.
• 둘 다 유효한 GGUF 파일입니다: 노드의 리더가 기본 도구로 그대로 로드하며, 커스텀 포맷이 아닙니다.

tensor ffn_up_exps: ne = [n_ff, n_embd, 256]   # 256 = experts, outermost
expert e occupies rows [e·slab : (e+1)·slab)    # quant-block aligned
sliced = tensor.data[a:b]                       # no dequant, no re-pack
writer.add_tensor(name, sliced, raw_dtype=tensor.tensor_type)

라우터(ffn_gate_inp)와 shared expert는 전문가 샤드에서 제외됩니다 — 백본의 소유이며, 라우터 권위가 요구하는 바로 그 구조입니다.