WAN-Interconnect (200G-Optik)

Wie Compute-Standorte mit 200 Gb/s über einen Raum, einen Campus oder eine Stadt verbunden werden: welche Optik bei welcher Distanz, was wo eingesteckt wird und was es braucht, um die Line-Rate wirklich zu erreichen.

Wenn zwei Standorte beide öffentliche Routen haben, sollte die Experten-Dispatch-Datenebene eine Direktverbindung sein — das Relay ist für Edges ohne eigene Adresse. Dieser Eintrag ist das konkrete Rezept, um diese Direktverbindung mit Katalogteilen in die 200-Gb/s-Klasse zu bringen. Eine Regel ordnet alles: Die Faser ist geschwindigkeitsneutrales Glas; die Geschwindigkeit steckt im Pluggable an jedem Ende.

Schritt 1 · nach Distanz wählen

Die Reichweiten-Leiter

distancepartplugs into
same rack, 0.5–3 mQSFP56 DAC (passive copper)NIC ↔ NIC, kein Switch
same room, ≤30 mQSFP56 AOC (active optical)NIC ↔ NIC / Switch
campus, 2–10 km200G FR4 (2 km) / LR4 (10 km) module + duplex LC, single-mode fiberNIC- oder Switch-QSFP56-Käfig
metro, ≤40 km200G ER4 module, single-mode fiberNIC- oder Switch-QSFP56-Käfig
region, ≤120 km400G ZR+ coherent module set to a 200G line rateSwitch-/Router-QSFP-DD-Käfig (nicht die NIC)
long-haul, 100s of kmcarrier-leased 200G wavelength (or 2×100G) over DWDMdein Switch übergibt an den Carrier
Schritt 2 · was steckt wo

NIC-Seite vs. Switch-Seite

  • NIC-Seite — Karten der ConnectX-6/7-Klasse bieten QSFP56-Käfige; DAC/AOC/FR4/LR4/ER4 sitzen alle direkt in der NIC. Ein Host der GB10-Klasse hat bereits zwei 200-GbE-QSFP-Ports an Bord, eine Verbindung zwischen zwei Standorten braucht also genau ein Kabel und null neue Hardware.
  • Switch-Seite — kohärente ZR+-Optiken haben den QSFP-DD-Formfaktor und gehören in einen Switch oder Router; die NIC des Standorts verbindet sich dann mit 200G über ein kurzes DAC mit diesem Switch. Nutze diese Stufe, wenn der ferne Standort zig Kilometer entfernt ist.
  • Die Faser selbst — Standard-Single-Mode-(G.652)-Duplex-LC-Paare, als Dark Fiber pro Strang gemietet. Dasselbe Glas trägt heute 100G und später 400G; Upgrades sind ein Modultausch, nie Tiefbau.
  • Jenseits von ~120 km — hörst du auf, Teile zu kaufen, und mietest eine Wellenlänge von einem Carrier; die Demarkation ist eine Ethernet-Übergabe an deinem Switch.

Drei Referenzaufbauten, günstigster zuerst.

two-site bench  : site A qsfp0 ──QSFP56 DAC 1m── site B qsfp0
campus pair     : site A [LR4] ──dark fiber, ≤10km── [LR4] site B
metro federation: site ──DAC── switch [ZR+ @200G] ──SMF ≤120km── [ZR+] switch ──DAC── site
Schritt 3 · 200G wirklich erreichen

Line-Rate ist eine Konfiguration, kein Kauf

  • Nutze RDMA (RoCE) für den Dispatch-Stream, wo verfügbar — Hosts der GB10-Klasse speisen die NIC über geteilte PCIe-Links, und die gemessene volle Geschwindigkeit (~185–190 Gb/s) zeigt sich unter RoCE mit korrekt gemappter Topologie; ein falsch gemappter Pfad deckelt nahe der halben Rate, und ungetuntes reines TCP landet weit darunter.
  • Aktiviere Jumbo-Frames (MTU 9000) Ende-zu-Ende und lasse TCP_NODELAY auf den Dispatch-Sockets an (die Bridge setzt es bereits).
  • Rechne mit *Verifizieren*, nicht Annehmen: Führe nach jeder physischen Änderung einen Perftest zwischen den Standorten aus — der Unterschied zwischen 95 und 190 Gb/s ist unsichtbar, bis er gemessen wird.
  • Behalte das 443-Relay als Fallback-Pfad — die Wähl-Policy ist direct-first für öffentliche Peers, Relay für NAT. Die Aufgabe des Relays ist Reichweite, die Aufgabe der Direktverbindung ist Geschwindigkeit.

Warum das für die Architektur wichtig ist: Die Dekodier-Latenz ist durch die Round-Trip-Zeit begrenzt (~5 µs/km in Faser — Physik, von der Bandbreite unberührt), eine fette Leitung kauft also Prefill-Geschwindigkeit, Durchsatz beim gebündelten Dispatch und nahezu sofortige Verteilung von Experten-Scheiben, nicht niedrigere Latenz pro Token. Das ist genau die Rolle der Standort-Ebene im zweistufigen Design: Kapazität in der Fette-Leitung-Stufe, Reichweite in der Relay-Stufe.