WAN 相互接続(200G 光学)
計算サイトが部屋・キャンパス・都市をまたいで 200 Gb/s でつながる方法:どの距離にどの光学を、何がどこに挿さるか、そして実際にラインレートを出すのに必要なこと。
2 つのサイトがともに公開経路を持つとき、エキスパートディスパッチのデータプレーンは直接リンクにすべきです — リレーは自前のアドレスを持たないエッジ向けです。この項目は、その直接リンクをカタログ部品で 200 Gb/s クラスにするための具体的なレシピです。すべてを整理する規則はひとつ:ファイバーは速度中立のガラスであり、速度は各端のプラガブルに宿る。
ステップ 1 · 距離で選ぶ
到達距離のはしご
| 距離 | 部品 | 接続先 |
|---|---|---|
| same rack, 0.5–3 m | QSFP56 DAC (passive copper) | NIC ↔ NIC、スイッチなし |
| same room, ≤30 m | QSFP56 AOC (active optical) | NIC ↔ NIC / スイッチ |
| campus, 2–10 km | 200G FR4 (2 km) / LR4 (10 km) module + duplex LC, single-mode fiber | NIC またはスイッチの QSFP56 ケージ |
| metro, ≤40 km | 200G ER4 module, single-mode fiber | NIC またはスイッチの QSFP56 ケージ |
| region, ≤120 km | 400G ZR+ coherent module set to a 200G line rate | スイッチ/ルーターの QSFP-DD ケージ(NIC ではない) |
| long-haul, 100s of km | carrier-leased 200G wavelength (or 2×100G) over DWDM | スイッチがキャリアへ引き渡す |
ステップ 2 · 何がどこに挿さるか
NIC 側とスイッチ側
- NIC 側 — ConnectX-6/7 クラスのカードは QSFP56 ケージを備え、DAC/AOC/FR4/LR4/ER4 はすべて NIC に直接挿さります。GB10 クラスのホストは基板上にすでに 2 つの 200 GbE QSFP ポートを持つため、2 サイト間のリンクにはケーブル 1 本だけで新規ハードウェアはゼロです。
- スイッチ側 — コヒーレント ZR+ 光学は QSFP-DD フォームファクタで、スイッチかルーターに属します。サイトの NIC は短い DAC でそのスイッチに 200G で参加します。遠方のサイトが数十キロ先のときはこの階層を使います。
- ファイバー自体 — 標準のシングルモード(G.652)デュプレックス LC ペアで、ストランド単位のダークファイバーとして借ります。同じガラスが今日は 100G を、後には 400G を運びます。アップグレードはモジュール交換であって土木工事ではありません。
- 約 120 km を超えると — 部品を買うのをやめ、キャリアから波長を借り始めます。境界はスイッチ上の Ethernet ハンドオフです。
3 つのリファレンス構成、安い順。
two-site bench : site A qsfp0 ──QSFP56 DAC 1m── site B qsfp0 campus pair : site A [LR4] ──dark fiber, ≤10km── [LR4] site B metro federation: site ──DAC── switch [ZR+ @200G] ──SMF ≤120km── [ZR+] switch ──DAC── site
ステップ 3 · 実際に 200G を出す
ラインレートは購入ではなく設定
- 可能なら dispatch ストリームに RDMA(RoCE) を使います — GB10 クラスのホストは分割 PCIe リンクで NIC に給電し、正しくマップしたトポロジーなら RoCE 下で測定フルスピード(約 185–190 Gb/s)が出ます。マップを誤った経路はほぼ半分のレートに頭打ちし、未調整の素の TCP ははるかに低く着地します。
- ジャンボフレーム(MTU 9000)をエンドツーエンドで有効にし、dispatch ソケットで
TCP_NODELAYを有効に保ちます(bridge はすでに設定済み)。 - 仮定せず*検証*すること:物理変更のたびにサイト間で perftest を走らせます — 95 と 190 Gb/s の差は、測るまで見えません。
- 443 リレーはフォールバック経路として維持します — ダイヤルポリシーは公開ピアには直接優先、NAT にはリレーです。リレーの役目は到達、直接リンクの役目は速度です。
これがアーキテクチャに重要な理由:デコードレイテンシは往復時間で下限が決まる(ファイバー中で約 5 µs/km — 物理であり、帯域幅に左右されない)ため、太いパイプが買うのはプリフィル速度、バッチディスパッチのスループット、そしてほぼ瞬時のエキスパートスライス配布であって、トークンごとのレイテンシの低下ではありません。それこそが二層設計におけるサイト層の役割です:太いパイプ層に容量を、リレー層に到達を。