广域互联(200G 光模块)
算力站点如何以 200 Gb/s 跨越一个房间、一个园区或一座城市互联:什么距离用什么光模块、什么插到哪里,以及真正跑满线速需要什么。
当两个站点都有公网路由时,专家调度的数据平面应当是直连——中继是给没有自己地址的边缘用的。本条目是用目录现货零件把那条直连做到 200 Gb/s 级别的具体配方。一条规则统领一切:光纤是与速率无关的玻璃;速率活在两端的可插拔模块里。
第 1 步 · 按距离挑选
可达距离阶梯
| 距离 | 零件 | 插入位置 |
|---|---|---|
| same rack, 0.5–3 m | QSFP56 DAC (passive copper) | NIC ↔ NIC,无需交换机 |
| same room, ≤30 m | QSFP56 AOC (active optical) | NIC ↔ NIC / 交换机 |
| campus, 2–10 km | 200G FR4 (2 km) / LR4 (10 km) module + duplex LC, single-mode fiber | NIC 或交换机的 QSFP56 笼位 |
| metro, ≤40 km | 200G ER4 module, single-mode fiber | NIC 或交换机的 QSFP56 笼位 |
| region, ≤120 km | 400G ZR+ coherent module set to a 200G line rate | 交换机/路由器的 QSFP-DD 笼位(不是 NIC) |
| long-haul, 100s of km | carrier-leased 200G wavelength (or 2×100G) over DWDM | 由你的交换机交接给运营商 |
第 2 步 · 什么插到哪里
NIC 侧 vs 交换机侧
- NIC 侧 — ConnectX-6/7 级别的网卡暴露 QSFP56 笼位;DAC/AOC/FR4/LR4/ER4 全都可直接插入 NIC。GB10 级别的主机板载已有两个 200 GbE QSFP 端口,因此两个站点之间的链路恰好只需一根线缆、零新硬件。
- 交换机侧 — 相干 ZR+ 光模块是 QSFP-DD 形态,应插入交换机或路由器;站点的 NIC 再经一条短 DAC 以 200G 接入那台交换机。当对端站点在数十公里之外时用这一档。
- 光纤本身 — 标准单模(G.652)双工 LC 对,按每芯以暗光纤租用。同一根玻璃今天承载 100G、日后承载 400G;升级只是换模块,绝非土建工程。
- 超过约 120 km — 你不再购买零件,而是开始向运营商租用一个波长;分界点是你交换机上的一次以太网交接。
三种参考搭建,从最便宜开始。
two-site bench : site A qsfp0 ──QSFP56 DAC 1m── site B qsfp0 campus pair : site A [LR4] ──dark fiber, ≤10km── [LR4] site B metro federation: site ──DAC── switch [ZR+ @200G] ──SMF ≤120km── [ZR+] switch ──DAC── site
第 3 步 · 真正跑满 200G
线速是配置出来的,不是买来的
- 在可用之处,为调度流使用 RDMA (RoCE)——GB10 级别的主机通过拆分的 PCIe 链路给 NIC 供数据,在拓扑正确映射的情况下 RoCE 下能测得满速(约 185–190 Gb/s);映射错误的路径会卡在约一半速率,而未调优的普通 TCP 则低得多。
- 端到端启用巨型帧(MTU 9000),并在调度套接字上保持
TCP_NODELAY(bridge 已经设置了它)。 - 要*验证*,别假设:每次物理改动后都在两个站点之间跑一次 perftest——95 与 190 Gb/s 之间的差距在测量之前是看不见的。
- 把 443 中继保留为回退路径——拨号策略对公网对端是直连优先、对 NAT 走中继。中继的职责是可达性,直连的职责是速度。
这对架构为何重要:解码延迟受往返时间约束(光纤中约 5 µs/km——是物理规律,不受带宽影响),所以粗管道买到的是prefill 速度、批量调度吞吐,以及近乎瞬时的专家切片分发,而不是更低的每 token 延迟。这正是双层设计中站点层的角色:在粗管道层提供容量,在中继层提供可达性。