Homa: Stanford will TCP in AI-Clustern ersetzen

John Ousterhout, Professor Emeritus an der Stanford University, hat auf der AI Engineer Conference ein Transportprotokoll vorgestellt, das TCP und RDMA in AI-Clustern ablösen soll: Homa. Seine Kernthese: Die Netzwerk-Workloads von KI ändern sich strukturell – weg von reinen Durchsatz-Transfers, hin zu kleinen, latenz-kritischen Nachrichten.

Warum TCP und RDMA zum Engpass werden

Training lebt weiterhin von Gigabyte-Transfers (Gewichte, Gradients) – hier funktionieren TCP und RoCE-RDMA gut. Doch Inferenz und Agenten-Systeme erzeugen zunehmend winzige Nachrichten: KV-Cache-Abfragen, Metadaten, Barrier-Synchronisation zwischen GPU-Phasen. Verzögert eine davon die Synchronisation, warten alle GPUs im Verbund – teure Rechenzeit verpufft. Ousterhout sieht zwei grundlegende Design-Schwächen der Alt-Protokolle:

• Byte-Stream-Semantik: Kurze Nachrichten verstopfen in der Warteschlange hinter langen Transfers (Head-of-Line Blocking)
• Sender-basierte Congestion Control: Sie reagiert erst, nachdem Stau entstanden ist – instabil bei gemischtem Traffic

Homas Rezept

Homa ist ein Clean-Slate-Redesign mit sichtbaren Nachrichtengrenzen. Statt eines Byte-Stroms ist die Grundeinheit ein RPC mit bekannter Nachrichtenlänge. Darauf aufbauend nutzt Homa SRPT-Scheduling (Shortest Remaining Processing Time First), damit kurze Nachrichten lange überholen. Die Flusskontrolle liegt beim Empfänger, der über “Grants” die Senderrate steuert, bevor Stau entsteht – zusätzlich werden die Hardware-Prioritätswarteschlangen moderner Switches genutzt.

Das Benchmark-Ergebnis: rund 13x niedrigere P99-Latenz für kurze Nachrichten gegenüber TCP, fast 2x besser auch bei langen. Homa ist als Linux-Kernel-Modul auf GitHub verfügbar; Ousterhout arbeitet an der Upstream-Integration in den Kernel.

Link: Vortrag auf YouTube