200G 질문

우리 스웜 허브는 이미 진열대의 부품으로 200 Gb/s 링크를 걸 수 있다 — 하나는 GB10에 내장돼 있다. 굵은 파이프가 분산 MoE에 사 주는 것, 그리고 사 줄 수 없는 단 하나를 소개한다.

우리 122B 전문가를 계산하는 GB10 Grace Blackwell은 200 GbE QSFP 포트 2개를 가진 NVIDIA ConnectX-7을 보드에 얹고 있다. 이 머신 두 대는 ~$100짜리 QSFP56 DAC 케이블 하나로 직접 연결된다 — 스위치 0개의 200G 2-허브 클러스터다. 여기서 ARM은 일급 시민이다: x86 데이터센터에서 이 NIC들을 돌리는 바로 그 mlx5 드라이버 스택이 aarch64에서도 돌고, GB10이 정확히 그것이다.

WAN에서 *케이블*은 그냥 표준 싱글모드 광섬유다 — 이미 모든 도시를 잇는 속도 중립적 유리다. 속도는 양 끝의 플러거블 광 모듈에 있고, OpenZR+는 120 km 너머 200G를 통신 프로젝트가 아니라 스위치에 꽂는 모듈로 만들었다. 그 너머로는 파장을 임대한다.

• dispatch 페이로드(오늘 ~110 KB/token/layer, 회선 로드맵 후 ~10 KB)는 마이크로초 단위로 직렬화된다 — 페이로드 크기가 더 이상 설계 제약이 전혀 아니게 된다.
• 전문가 슬라이스가 ~32 ms에 전송되고(794 MB, 이론값) 122B 모델 전체가 ~3 s에 동기화된다 — 커버리지 마켓 재조정과 신규 허브 온보딩이 거의 즉각적이 된다.
• 긴 컨텍스트 prefill — 진정으로 대역폭이 무거운 유일한 단계 — 이 회선 속도로 움직여, 100K-토큰 프롬프트의 첫 토큰 시간이 백본 계산 바운드가 된다.
• 배치 dispatch가 회선 한계 없이 스케일한다: 많은 사용자 스트림에 걸쳐 집계된 전문가 풀 트래픽은 정확히 굵은 파이프가 흡수하는 대역폭 무겁고 지연 관대한 부하다. 이것이 다중 백본 페더레이션 — 여러 허브가 각자 자기 사용자의 KV를 쥐고 하나의 전문가 풀을 공유 — 을 실용적으로 만든다.

광섬유는 빛을 ~5 µs/km로 나르고, 어떤 대역폭도 그것을 바꾸지 못한다. 13 ms 왕복은 200 Gb/s에서도 13 ms다. 자기회귀 디코드는 그 왕복을 샤딩된 레이어마다, 토큰마다 치른다 — 그래서 시장에서 가장 굵은 파이프로 이어진 허브들 사이에서도 speculative decoding(왕복당 k 토큰)과 shared-expert overlap(dispatch가 비행 중인 동안 계산)이 필수로 남는다. 대역폭은 처리량을 사고, 왕복 규율만이 지연을 산다.

그래서 아키텍처는 두 계층으로 정착한다. 허브 계층 — 200G급 링크로 이어진 백본과 hot 전문가, 용량이 사실상 무한한 곳 — 과 엣지 계층 — 443 릴레이 위의 폰과 소형 기기, 희소성 마켓이 배정한 전문가의 롱테일을 쥔 곳. 굵은 파이프는 첫 계층을 한 대의 머신처럼 느끼게 하고, 릴레이는 둘째 계층을 누구에게나 열어 둔다. 어느 쪽도 다른 쪽을 대체하지 않는다: 그 분할이 *곧* 설계다.