Mixture of Experts (MoE)

Un modèle dont les FFN sont des centaines d'experts indépendants, dont seuls quelques-uns s'activent par token.

Un modèle Mixture-of-Experts remplace la FFN unique de chaque couche par une banque de FFN expertes indépendantes plus un routeur qui en choisit quelques-unes par token. Step-3.7-Flash, le MoE de 198B en service aujourd'hui, compte 288 experts par couche avec un routage top-8. Qwen3.5-122B-A10B est l'exemple détaillé ci-dessous, car c'est celui dont les chiffres ont été mesurés de bout en bout :

Chaque couche se scinde en une voie dense — attention + KV, norms, le routeur (ffn_gate_inp), un expert partagé — et une banque d'experts stockée en trois tenseurs empilés (ffn_up_exps, ffn_gate_exps, ffn_down_exps). La voie dense représente une minorité des octets ; la banque d'experts fait 86 % du modèle.

• L'indice d'expert est la dimension la plus externe du GGUF : chaque expert est une dalle contiguë alignée sur les blocs de quantification — l'extraction est une copie de plage d'octets, sans déquantification.
• Par token, seuls 8 experts sur 256 s'activent par couche : le trafic d'experts d'une couche au décodage se résume à quelques petites multiplications matricielles sur un vecteur hidden (~6 KB de dispatch).
• Les experts sont mutuellement indépendants — leur propriété peut être dispersée entre appareils et rééquilibrée librement.

Voilà pourquoi le MoE est le substrat naturel de l'essaim : les poids sont déjà conditionnés en unités à la taille d'un appareil, possédables indépendamment.