Phase 2 — Dentro de un MoE de 122B: por qué los pesos quieren ser fragmentados
Un análisis a nivel de tensores de Qwen3.5-122B: el 86% de los bytes son 12.544 losas de expertos independientes, cada una a una limpia copia de rango de bytes de valerse sola.
Antes de diseñar nada, desmontamos el 122B en disco. La pregunta: si un enjambre de dispositivos débiles va a cargar este modelo, ¿cuál es la unidad natural de carga? La respuesta cayó del propio layout de tensores del GGUF.
De qué está hecha realmente una capa MoE
Cada capa se divide en una ruta densa — atención + KV, las norms, el router (ffn_gate_inp), un experto compartido — y un banco de expertos: 256 FFN independientes almacenadas como tres tensores apilados (ffn_up_exps, ffn_gate_exps, ffn_down_exps). La ruta densa es la minoría de los bytes; el banco de expertos es el 86% del modelo.
Los expertos son losas contiguas alineadas a bloques
- El índice de experto es la dimensión ggml más externa (
ne[2]) de cada tensor de expertos — el experto *e* ocupa una losa contigua y alineada a bloques de cuantización de bytes cuantizados crudos. - Eso hace que la extracción por experto sea una copia de rango de bytes:
data[a:b], sin decuantización, sin re-empaquetado — un mini-GGUF por expertos es barato de producir y fiel al bit. - Por token solo se activan 8 de 256 expertos por capa, elegidos por el router — así que en decodificación el tráfico de expertos de una capa es un puñado de pequeñas multiplicaciones de matrices sobre un vector hidden.
La unidad de carga baja de 1.4 GB a 5.3 MB
A grano de capa, lo mínimo que un nodo puede sostener es ~1.4 GB — fuera del alcance de la mayoría de los teléfonos una vez que la app, el KV y el SO toman su parte. A grano de experto, la unidad es 5.3 MB, y una contribución realista son 8–64 expertos (42–340 MB) — cómodamente dentro de cualquier dispositivo moderno. Los expertos son mutuamente independientes, así que la propiedad puede dispersarse arbitrariamente y reequilibrarse con libertad. Este análisis es lo que convirtió el sharding a nivel de experto en la apuesta de diseño: los pesos ya venían empaquetados en unidades del tamaño del enjambre — la red solo tenía que honrar el empaquetado.