Bursty LLM Inference: JW Labs loest das KV-Cache-Problem

Wer LLMs im Production-Einsatz serviert, kennt das Problem: Plotzlich kommen Dutzende Requests mit dem gleichen langen Prefix herein - Data Labeling Jobs, Sub-Agent Fan-out, Batch-Extraktion. Bestehende Router wie SGLang oder Dynamo scheitern an diesen “Bursts” spektakulaer.

Das Problem: Cache-aware Routing zieht den gesamten Burst auf die eine GPU mit dem warmen KV-Cache - die Queue explodiert, andere GPUs langweilen sich. Least-load Routing verteilt den Burst auf kalte GPUs, die dann alle den gleichen Prefix neu berechnen muessen. Beides ist schlecht.

Die Loesung - “Biting the Bullet” (BTB): JW Labs baut ein Detection System, das eingehende Bursts fruehzeitig erkennt und proaktiv den Prefix-KV-Cache per RDMA von einer GPU auf andere GPUs kopiert, bevor der Burst einschlaegt. RDMA erlaubt direkten GPU-zu-GPU Speicherzugriff ueber das Netzwerk - ohne CPU-Overhead.

Die Zahlen: BTB senkt die mean Time-to-First-Token um 10-60% gegenueber SGLangs Default-Cache-aware-Router. Die p95 TTFT sinkt um bis zu 82%. Bei einem 8k-Token Prefix kostet RDMA-Replikation nur 13ms - vs. 571ms fuer ein volles Prefill. Das ist 44x schneller.

Fazit: Oeffentliche Traces wie Mooncake oder ShareGPT erfassen diese Burst-Pattern kaum (max. 2-25 Requests Fan-out). JW Labs hat dafuer ein eigenen Dataset “Bursted-ART” erstellt, der echte Enterprise-Workloads simuliert. Der Code ist auf GitHub verfuegbar.

Link: Original-Artikel