Die 200G-Frage
Unsere Schwarm-Hubs können mit Teilen aus dem Regal bereits bei 200 Gb/s verbinden — eines ist in den GB10 eingebaut. Hier ist, was eine Fat Pipe einem verteilten MoE bringt, und das eine, was sie nicht kann.
Die Prämisse: WAN-Dekodierung ist RTT-gebunden, nicht bandbreitengebunden — unsere Kommunikations-Roadmap zeigte, dass Bytes der leichte Teil sind. Was ändert sich also wirklich, wenn Hubs 200-Gb/s-Verbindungen bekommen? Fast alles an *Kapazität* und fast nichts an *Latenz*.
Die Hardware ist nicht futuristisch — eine steckt in unserem GB10-Worker
Der GB10 Grace Blackwell, der unsere 122B-Experten berechnet, trägt an Bord eine NVIDIA ConnectX-7 mit zwei 200-GbE-QSFP-Ports. Zwei dieser Maschinen verbinden sich direkt mit einem einzigen ~$100-QSFP56-DAC-Kabel — ein 200G-Zwei-Hub-Cluster ohne einen einzigen Switch. ARM ist hier ein erstklassiger Bürger: Derselbe mlx5-Treiberstack, der diese NICs in x86-Rechenzentren betreibt, betreibt sie auf aarch64 — genau das ist der GB10.
Das Kleingedruckte: Der GB10 speist seine ConnectX-7 über zwei PCIe-Gen5-x4-Links im Multi-Host-Modus. Die gemessene volle Geschwindigkeit (~185–190 Gb/s) erfordert RoCE (RDMA) und eine korrekt gemappte Topologie — naives TCP über einen fehlgemappten Pfad landet bei ~95 Gb/s oder schlechter. Fat Pipes werden mit Konfiguration gekauft, nicht nur mit Kabeln.
200G ist bei jeder Reichweite ein Katalogartikel
| Reichweite | Teil | Formfaktor |
|---|---|---|
| Rack (0.5–3 m) | QSFP56-DAC-Kupfer | Kabel, ~$100 |
| Raum (~30 m) | AOC (aktiv-optisch) | Kabel |
| Campus (2–10 km) | 200G-FR4/LR4-Optik | QSFP56-Modul |
| Metro (~40 km) | 200G-ER4-Optik | QSFP56-Modul |
| Region (~120 km) | 400G ZR+ kohärent, betrieben mit 200G-Leitungsrate | QSFP-DD-Modul |
| Long-Haul (Hunderte km) | Carrier-200G-Wellenlänge / DWDM-Leitungssystem | gemieteter Dienst |
Im WAN ist das *Kabel* nur standardmäßige Singlemode-Faser — geschwindigkeitsneutrales Glas, das bereits jede Stadt überspannt. Die Geschwindigkeit steckt in der steckbaren Optik an jedem Ende, und OpenZR+ machte 200G-über-120 km zu einem Modul, das man in einen Switch steckt, nicht zu einem Telekom-Projekt. Darüber hinaus mietet man eine Wellenlänge.
Jeder Bandbreitenterm im Schwarm verschwindet
- Ein Dispatch-Payload (~110 KB/Token/Layer heute, ~10 KB nach der Leitungs-Roadmap) serialisiert sich in Mikrosekunden — die Payload-Größe ist überhaupt keine Design-Beschränkung mehr.
- Eine Expertenscheibe geht in ~32 ms über die Leitung (794 MB, theoretisch), und ein ganzes 122B-Modell synchronisiert sich in ~3 s — Abdeckungsmarkt-Rebalancing und Neu-Hub-Onboarding werden nahezu sofortig.
- Langkontext-Prefill — die eine wirklich bandbreitenschwere Phase — bewegt sich mit Leitungsgeschwindigkeit, die Zeit bis zum ersten Token bei 100K-Token-Prompts wird also backbone-rechengebunden.
- Batch-Dispatch skaliert ohne Leitungsdecke: Expertenpool-Verkehr, aggregiert über viele Nutzerstreams, ist genau die bandbreitenschwere, latenztolerante Last, die eine Fat Pipe schluckt. Das macht eine Multi-Backbone-Föderation — mehrere Hubs, jeder hält KV für seine eigenen Nutzer, teilen sich einen Expertenpool — praktikabel.
Licht hat es nicht eilig
Faser trägt Licht mit ~5 µs/km, und keine Menge Bandbreite ändert das. Ein 13-ms-Roundtrip ist 13 ms bei 200 Gb/s. Autoregressives Dekodieren zahlt diesen Roundtrip je geshardeter Layer, je Token — deshalb bleiben spekulatives Dekodieren (k Tokens pro Roundtrip) und Shared-Expert-Overlap (rechnen, während der Dispatch unterwegs ist) essenziell, selbst zwischen Hubs, die durch die fetteste Pipe am Markt verbunden sind. Bandbreite kauft Durchsatz; nur Roundtrip-Disziplin kauft Latenz.
So setzt sich die Architektur in zwei Ebenen ab. Eine Hub-Ebene — Backbones und heiße Experten, verbunden durch 200G-Klasse-Links, wo die Kapazität faktisch unbeschränkt ist — und eine Edge-Ebene — Smartphones und kleine Geräte am 443-Relay, die den langen Schwanz der Experten halten, den ihnen der Knappheitsmarkt zuweist. Die Fat Pipe lässt die erste Ebene wie eine einzige Maschine wirken; das Relay hält die zweite Ebene für jeden offen. Keine ersetzt die andere: Genau dieser Split *ist* das Design.