라우터 권위
스웜의 정합성 불변식: 라우팅은 백본에서 단 한 번 결정되고, 워커는 전문가 id만 받는다.
불변식: 네트워크 안의 유일한 이산 결정은 MoE 라우팅(256중 top-8)입니다. Kvasir는 라우터를 백본에서 정확히 한 번 실행하고, 워커에는 선택된 전문가 id만 dispatch합니다. 이종 스웜은 각 전문가 출력의 *크기*가 미세하게 다를 수는 있어도, *어떤 전문가가 도는지*는 절대 갈리지 않습니다.
엔진 현황. 전문가 단위 샤딩은 Kvasir의 이전 엔진에서 구축·시연됐고, 아래의 결과는 그 작업에서 나온 것입니다. 현재 엔진인 [p4](/wiki/p4)는 오늘 레이어 단위로 서빙하며, 전문가 샤딩을 그 위로 옮기는 일은 설계가 끝났고 진행 중입니다. 세부 내용이 어떤 도구나 라우트 이름을 언급한다면, 그것은 이전 엔진에서 돌던 것입니다.
이 규칙이 없다면 각 백엔드가 라우터를 다시 실행해 경계 토큰에서 서로 다른 전문가를 고르게 됩니다 — 그 토큰부터 계산이 다른 시드처럼 갈라지는 진짜 파국적 발산입니다. 규칙이 있으면 하드웨어 차이는 확률 가중 combine이 흡수하는 유계 연속 오차로 줄어듭니다.
무엇을 막는가
하나의 결정 지점이 닫는 발산 모드들
| 발산 모드 | 권위 없이 | 권위 있으면 |
|---|---|---|
| 라우팅 불일치 | 경계 토큰에서 백엔드마다 다른 top-8 선택 | id가 한 번 결정돼 소유자에게 dispatch |
| 궤적 분기 | 뒤집힌 토큰 하나가 시퀀스 전체를 분기 | 디코드/샘플링을 한 노드에 고정 |
| 검증 | 백엔드 간 bit 비교(불가능) | 잘 정의된 잔차에 대한 허용오차 검사 |
비용은 무시할 수준입니다: 백본은 어차피 ffn_norm과 라우터 로짓을 계산하고 있었고, 회선을 건너는 것은 hidden 행들과 선택된 id들 — 디코드 스텝당 약 6 KB — 뿐입니다.