Mixture of Experts (MoE)

Un modelo cuyas FFN son cientos de expertos independientes, de los que solo unos pocos se activan por token.

Un modelo Mixture-of-Experts sustituye la FFN única de cada capa por un banco de FFN expertas independientes más un router que elige unas pocas por token. Step-3.7-Flash, el MoE de 198B que sirve hoy, tiene 288 expertos por capa con enrutamiento top-8. Qwen3.5-122B-A10B es el ejemplo desarrollado de abajo, porque es aquel cuyas cifras se midieron de extremo a extremo:

Cada capa se divide en una ruta densa — atención + KV, norms, el router (ffn_gate_inp), un experto compartido — y un banco de expertos almacenado como tres tensores apilados (ffn_up_exps, ffn_gate_exps, ffn_down_exps). La ruta densa es la minoría de los bytes; el banco de expertos es el 86% del modelo.

• El índice de experto es la dimensión más externa del GGUF, así que cada experto es una losa contigua alineada a bloques de cuantización — extraerlo es una copia de rango de bytes, sin decuantización.
• Por token solo se activan 8 de 256 expertos por capa, así que el tráfico de expertos de una capa en decodificación son unas pocas multiplicaciones de matrices pequeñas sobre un vector hidden (~6 KB de dispatch).
• Los expertos son mutuamente independientes — la propiedad puede dispersarse entre dispositivos y reequilibrarse libremente.

Por eso MoE es el sustrato natural del enjambre: los pesos vienen pre-empaquetados en unidades del tamaño de un dispositivo y de propiedad independiente.