广域互联(200G 光模块)

算力站点如何以 200 Gb/s 跨越一个房间、一个园区或一座城市互联:什么距离用什么光模块、什么插到哪里,以及真正跑满线速需要什么。

当两个站点都有公网路由时,专家调度的数据平面应当是直连——中继是给没有自己地址的边缘用的。本条目是用目录现货零件把那条直连做到 200 Gb/s 级别的具体配方。一条规则统领一切:光纤是与速率无关的玻璃;速率活在两端的可插拔模块里。

第 1 步 · 按距离挑选

可达距离阶梯

距离零件插入位置
same rack, 0.5–3 mQSFP56 DAC (passive copper)NIC ↔ NIC,无需交换机
same room, ≤30 mQSFP56 AOC (active optical)NIC ↔ NIC / 交换机
campus, 2–10 km200G FR4 (2 km) / LR4 (10 km) module + duplex LC, single-mode fiberNIC 或交换机的 QSFP56 笼位
metro, ≤40 km200G ER4 module, single-mode fiberNIC 或交换机的 QSFP56 笼位
region, ≤120 km400G ZR+ coherent module set to a 200G line rate交换机/路由器的 QSFP-DD 笼位(不是 NIC)
long-haul, 100s of kmcarrier-leased 200G wavelength (or 2×100G) over DWDM由你的交换机交接给运营商
第 2 步 · 什么插到哪里

NIC 侧 vs 交换机侧

  • NIC 侧 — ConnectX-6/7 级别的网卡暴露 QSFP56 笼位;DAC/AOC/FR4/LR4/ER4 全都可直接插入 NIC。GB10 级别的主机板载已有两个 200 GbE QSFP 端口,因此两个站点之间的链路恰好只需一根线缆、零新硬件。
  • 交换机侧 — 相干 ZR+ 光模块是 QSFP-DD 形态,应插入交换机或路由器;站点的 NIC 再经一条短 DAC 以 200G 接入那台交换机。当对端站点在数十公里之外时用这一档。
  • 光纤本身 — 标准单模(G.652)双工 LC 对,按每芯以暗光纤租用。同一根玻璃今天承载 100G、日后承载 400G;升级只是换模块,绝非土建工程。
  • 超过约 120 km — 你不再购买零件,而是开始向运营商租用一个波长;分界点是你交换机上的一次以太网交接。

三种参考搭建,从最便宜开始。

two-site bench  : site A qsfp0 ──QSFP56 DAC 1m── site B qsfp0
campus pair     : site A [LR4] ──dark fiber, ≤10km── [LR4] site B
metro federation: site ──DAC── switch [ZR+ @200G] ──SMF ≤120km── [ZR+] switch ──DAC── site
第 3 步 · 真正跑满 200G

线速是配置出来的,不是买来的

  • 在可用之处,为调度流使用 RDMA (RoCE)——GB10 级别的主机通过拆分的 PCIe 链路给 NIC 供数据,在拓扑正确映射的情况下 RoCE 下能测得满速(约 185–190 Gb/s);映射错误的路径会卡在约一半速率,而未调优的普通 TCP 则低得多。
  • 端到端启用巨型帧(MTU 9000),并在调度套接字上保持 TCP_NODELAY(bridge 已经设置了它)。
  • 要*验证*,别假设:每次物理改动后都在两个站点之间跑一次 perftest——95 与 190 Gb/s 之间的差距在测量之前是看不见的。
  • 把 443 中继保留为回退路径——拨号策略对公网对端是直连优先、对 NAT 走中继。中继的职责是可达性,直连的职责是速度。

这对架构为何重要:解码延迟受往返时间约束(光纤中约 5 µs/km——是物理规律,不受带宽影响),所以粗管道买到的是prefill 速度、批量调度吞吐,以及近乎瞬时的专家切片分发,而不是更低的每 token 延迟。这正是双层设计中站点层的角色:在粗管道层提供容量,在中继层提供可达性。