Mixture of Experts (MoE)

FFN이 수백 개의 독립 전문가로 이루어져 토큰마다 몇 개만 켜지는 모델.

Mixture-of-Experts 모델은 각 레이어의 단일 FFN을 독립 전문가 FFN들의 뱅크와, 토큰마다 몇 개를 고르는 라우터로 대체합니다. 오늘 서빙 중인 198B MoE인 Step-3.7-Flash는 레이어당 288개 전문가에 top-8 라우팅을 씁니다. 아래에서 풀어 쓰는 예시는 Qwen3.5-122B-A10B인데, 수치를 엔드투엔드로 실측한 모델이 바로 이것이기 때문입니다:

각 레이어는 dense 경로 — 어텐션 + KV, norm들, 라우터(ffn_gate_inp), shared expert — 와 세 개의 적층 텐서(ffn_up_exps, ffn_gate_exps, ffn_down_exps)로 저장되는 전문가 뱅크로 나뉩니다. dense 경로는 바이트의 소수이고, 전문가 뱅크가 모델의 86%입니다.

• 전문가 인덱스는 GGUF의 최외곽 차원이라 각 전문가는 연속·양자블록 정렬 슬랩입니다 — 추출은 바이트 레인지 복사이며 dequant가 없습니다.
• 토큰당 레이어마다 256개 중 8개만 켜지므로, 디코드 시 레이어의 전문가 트래픽은 hidden 벡터 하나에 대한 소수의 작은 행렬곱입니다(dispatch ~6 KB).
• 전문가들은 상호 독립적입니다 — 소유권을 기기들에 흩뿌리고 자유롭게 재배치할 수 있습니다.

이것이 MoE가 스웜의 천연 기질인 이유입니다: 가중치가 이미 기기 크기의, 독립적으로 소유 가능한 단위로 포장돼 있습니다.