Router-Autorität
Die Kohärenz-Invariante des Schwarms: Routing wird einmal entschieden, auf dem Backbone — Worker erhalten nur Experten-IDs.
Die Invariante: Die einzige diskrete Entscheidung im Netzwerk ist das MoE-Routing (Top-8 von 256). Kvasir führt den Router genau einmal, auf dem Backbone aus und schickt den Workern nur die IDs der ausgewählten Experten. Ein heterogener Schwarm mag sich in der *Größe* der Ausgabe jedes Experten leicht unterscheiden — er unterscheidet sich nie darin, *welche Experten laufen*.
Engine-Status. Experten-Sharding wurde auf Kvasirs vorheriger Engine gebaut und vorgeführt, und die Ergebnisse unten stammen aus dieser Arbeit. Die aktuelle Engine, [p4](/wiki/p4), bedient heute auf Layer-Körnung; die Übertragung des Experten-Shardings darauf ist entworfen und in Arbeit. Wo ein Detail ein Werkzeug oder eine Route benennt, ist es das, was auf der vorherigen Engine lief.
Ohne diese Regel würde jedes Backend den Router neu ausführen und bei Grenz-Token andere Experten wählen — echte, katastrophale Divergenz, denn ab diesem Token verzweigt die Rechnung wie mit einem anderen Zufalls-Seed. Mit ihr schrumpfen Hardware-Unterschiede zu einem beschränkten kontinuierlichen Fehler, den das wahrscheinlichkeitsgewichtete Combine absorbiert.
Divergenzmodi, die ein einziger Entscheidungspunkt schließt
| Divergenzmodus | Ohne Autorität | Mit Autorität |
|---|---|---|
| Routing-Abweichung | Backends wählen an Grenzen unterschiedliche Top-8 | IDs einmal entschieden, an die Besitzer geschickt |
| Trajektorien-Gabelung | Ein gekippter Token gabelt die ganze Sequenz | Dekodieren/Sampling an einen Node gepinnt |
| Verifikation | Bitvergleich zwischen Backends (unmöglich) | Toleranzprüfungen auf wohldefinierten Residuen |
Die Kosten sind vernachlässigbar: Das Backbone berechnete ohnehin schon ffn_norm und die Router-Logits; über die Leitung gehen nur die Hidden-Zeilen plus die ausgewählten IDs — etwa 6 KB pro Dekodierschritt.