200G の問い

我々のスウォーム hub は、棚にある部品で既に 200 Gb/s でリンクできる——ひとつは GB10 に内蔵されている。ここでは太いパイプが分散 MoE に何を買い与えるか、そして買えないただ一つのものを示す。

我々の 122B エキスパートを計算する GB10 Grace Blackwell は、基板上に 200 GbE QSFP ポートを 2 つ備えた NVIDIA ConnectX-7 を載せている。この 2 台は約 100 ドルの QSFP56 DAC ケーブル 1 本で直結する——スイッチゼロの 200G 2-hub クラスタだ。ここでは ARM が一級市民だ：x86 データセンターでこれらの NIC を動かすのと同じ mlx5 ドライバスタックが、aarch64 上でも動かす——GB10 はまさにそれだ。

WAN では、*ケーブル*は標準的なシングルモードファイバにすぎない——速度に中立なガラスで、すでにあらゆる都市にまたがっている。速度は各端のプラグ可能な光学系に宿り、OpenZR+ は 200G-over-120 km を、通信事業のプロジェクトではなくスイッチに挿すモジュールにした。その先は、波長をリースする。

• ディスパッチのペイロード（今日は約 110 KB/token/layer、配線ロードマップ後は約 10 KB）はマイクロ秒でシリアライズされる——ペイロードサイズはもはや設計上の制約ではまったくなくなる。
• エキスパートスライスは約 32 ms で送られ（794 MB、理論値）、122B モデル全体は 約 3 秒で同期する——カバレッジ市場の再バランスと新規 hub のオンボーディングがほぼ即時になる。
• 長コンテキストのプリフィル——真に帯域幅を食う唯一のフェーズ——が配線速度で動くため、100K トークンのプロンプトでの最初のトークン時間はバックボーンの計算律速になる。
• バッチディスパッチは配線の天井なしにスケールする：多数のユーザーストリームにまたがって集約されたエキスパートプールのトラフィックは、まさに太いパイプが吸収する帯域幅の重い、レイテンシ耐性のある負荷だ。これがマルチバックボーン連合——複数の hub がそれぞれ自分のユーザー用の KV を保持しつつ、一つのエキスパートプールを共有する——を実用的にする。

ファイバは光を約 5 µs/km で運び、どれだけ帯域幅があってもそれは変わらない。13 ms の往復は 200 Gb/s でも 13 ms だ。自己回帰デコードはその往復を、シャードされたレイヤーごと、トークンごとに払う——だからこそ、市場で最も太いパイプで結ばれた hub の間でさえ、投機的デコード（往復ごとに k トークン）と共有エキスパートのオーバーラップ（ディスパッチが飛行中に計算する）は必須であり続ける。帯域幅はスループットを買い；往復の規律だけがレイテンシを買う。

こうしてアーキテクチャは二つの階層に落ち着く。hub 階層——200G 級のリンクで結ばれたバックボーンと hot エキスパートで、容量は事実上無限——と、エッジ階層——443 リレー上のスマートフォンや小型デバイスで、希少性市場が割り当てるエキスパートのロングテールを保持する。太いパイプが第一階層を一台のマシンのように感じさせ；リレーが第二階層を誰にでも開いたままにする。どちらも他方を置き換えない：その分割*こそ*が設計だ。