WAN-dispatch goedkoop maken: een gefundeerde routekaart

Externe expert-dispatch werkt en is byte-identiek — maar een WAN-decodering is rondreis-gebonden. Dit is het plan om de kosten te drukken, gefundeerd op productiecijfers van DeepSeek, Petals en anderen (routekaart, niet geleverd).

Onze eigen meting, gewoon gepubliceerd: dispatch kost ongeveer 110 KB per token per laag — 12.3 KB eruit (dispatch) plus 98.3 KB terug (combine). De asymmetrie van 8× komt doordat elke geselecteerde expert zijn volledige uitvoer teruggeeft *vóór* de gewogen som. Direct verbonden is dat een doorvoer-overhead van 1.2%; via een CDN-relay ~28%. Dat zijn de feiten. De rest van deze post gaat over hoe we het gat willen dichten — en waarom bytes het makkelijke deel zijn.

Het allerbelangrijkste gepubliceerde resultaat hier is niet van ons — het is dat van Petals: als de RTT van <5 ms naar 100 ms gaat, zakt het decoderen van 1.24 naar 0.57 stappen/s, terwijl een bandbreedtereductie van 10× het met ~0 verandert. Latentie domineert; bandbreedte is speling. Dat herformuleert het hele probleem: bytes afknabbelen is speelruimte, maar rondreizen wegsnijden is de kern. Elk item hieronder is gerangschikt naar hoeveel rondreis-kosten het wegneemt.

• Retourneer gewogen deelsommen, geen rauwe expertuitvoer. Door lineariteit is de combine van de backbone hoe dan ook exact, maar de worker retourneert één opgetelde vector in plaats van 8 — dat is de ~8×-combine-reductie, en precies wat DeepSeek-V3 / DeepEP in productie doen.
• Parallelle ster, geen seriële keten over meerdere workers: ΣRTT valt samen tot max RTT.
• F16 op de draad — we accepteren al een cross-backend-cosine van ~0.998, dus F16-transport valt binnen de bestaande tolerantie; blockwise INT8/FP8 later, nadat onze eigen argmax/cosine-poort het tegen Q4_K_M-gewichten heeft goedgekeurd (Petals liet INT8 over het echte internet zien zonder kwaliteitsverlies).
• Samen mikken deze op ~110 KB → 9–12 KB per token (~12×) — reëel, maar onthoud dat het de *speelruimte* is, niet het knelpunt.

• Speculatief decoderen verandert veel tokens in één rondreis. Bij een gemeten WAN van 80 ms ligt het break-even op slechts ~1.15–1.2 geaccepteerde tokens/stap — dus zelfs een zwakke n-gram-gok wint (vanilla Jacobi kan averechts werken; techniekkeuze doet ertoe). Ons dispatch-protocol draagt al n_tokens > 1, dus er is geen wijziging op de draad nodig.
• Continue batching bij de gateway vouwt gelijktijdige verzoeken in één reis; slot-affiniteit-prefix-caching houdt een sessie op dezelfde replica's.
• Latentie verbergen: de gedeelde expert is een onafhankelijke additieve term, dus de backbone berekent hem *lokaal* tijdens de externe rondreis (ScMoE rapporteert 1.82× over PCIe, zonder hertrainen). Houd hot experts lokaal, stuur alleen koude op afstand (EPLB repliceert de ~32 heetste voor een decodeerversnelling van 2.54× in productie).

Padbeleid: publiek routeerbare peers nemen het directe pad (de 1.2%-route); de relay is alleen voor NAT-gebonden apparaten. En als brede 200-Gb/s-verbindingen arriveren, serialiseert de 110 KB in ~4.4 µs — de bandbreedteterm verdwijnt nog vóór de bovenstaande reducties, en een plak van 794 MB wordt in ~32 ms verstuurd. Maar RTT is fysica; hij krimpt niet — dus speculatief decoderen en overlap blijven de echte hefbomen, zelfs bij 200 G. Waar de dikke pijp werkelijk toe doet, is multi-backbone-federatie (meerdere backbones die één expert-pool delen) en bandbreedtegebonden werk: prefill van lange prompts en grote-batch-doorvoer.

Onze dispatch-hook zit op build_moe_ffn — één functie die 43 MoE-architecturen delen in de inferentie-engine. Drie invarianten zijn modelonafhankelijk: de MoE-wiskunde (routed = Σ wᵢ·Eᵢ(x), lineair), het gedeelde codepad, en GGUF's standaard gestapelde experttensoren (buitenste ne[2] → blok-uitgelijnd snijden). Een nieuw model onboarden is dus geen herontwerp — het is één passage door een argmax/cosine-verificatiepoort per model.

De industrie convergeert naar fijnkorrelige MoE — kleinere experts, meer ervan, hogere sparsity (DeepSeek, Qwen, Kimi, GLM, gpt-oss gingen allemaal deze kant op). Elke stap in die richting maakt de deelname-eenheid van de zwerm kleiner en de korrel van de schaarstemarkt fijner. De bovenstaande modellen zijn geen verlanglijst; elk stroomt al door dezelfde dispatch-hook die we op onze testvloot draaien — onboarding is een verificatiepoort, geen technisch project.