Bursty LLM Inference: JW Labs löst das KV-Cache-Problem

Wer LLMs im Production-Einsatz serviert, kennt das Problem: Plotzlich kommen Dutzende Requests mit dem gleichen langen Prefix herein - Data Labeling Jobs, Sub-Agent Fan-out, Batch-Extraktion. Bestehende Router wie SGLang oder Dynamo scheitern an diesen “Bursts” spektakulär.

Das Problem: Cache-aware Routing zieht den gesamten Burst auf die eine GPU mit dem warmen KV-Cache - die Queue explodiert, andere GPUs langweilen sich. Least-load Routing verteilt den Burst auf kalte GPUs, die dann alle den gleichen Prefix neu berechnen müssen. Beides ist schlecht.

Die Lösung - “Biting the Bullet” (BTB): JW Labs baut ein Detection System, das eingehende Bursts frühzeitig erkennt und proaktiv den Prefix-KV-Cache per RDMA von einer GPU auf andere GPUs kopiert, bevor der Burst einschlägt. RDMA erlaubt direkten GPU-zu-GPU Speicherzugriff über das Netzwerk - ohne CPU-Overhead.

Die Zahlen: BTB senkt die mean Time-to-First-Token um 10-60% gegenüber SGLangs Default-Cache-aware-Router. Die p95 TTFT sinkt um bis zu 82%. Bei einem 8k-Token Prefix kostet RDMA-Replikation nur 13ms - vs. 571ms für ein volles Prefill. Das ist 44x schneller.

Fazit: Öffentliche Traces wie Mooncake oder ShareGPT erfassen diese Burst-Pattern kaum (max. 2-25 Requests Fan-out). JW Labs hat dafür ein eigenen Dataset “Bursted-ART” erstellt, der echte Enterprise-Workloads simuliert. Der Code ist auf GitHub verfügbar.

Link: Original-Artikel