Jev schlägt GPT-5.6 und Claude Haiku im Pong - 227 ms gegen 3 Sekunden

Chat-Modelle antworten in Sekunden - für interaktive Echtzeit-Steuerung ist das zu langsam. Ably Labs hat das in einer Demo namens “Jev Pong” quantifiziert: vier Lanes, ein Pong-Spiel, in jeder Bahn ein anderes Modell - und jede Antwort bewegt den Ball genau einen Schritt.

Das Ergebnis

• Jev (TypeSafe AI): 227 ms pro Entscheidung, rund 4,4 Entscheidungen pro Sekunde
• Gemini 3.8 Flash: 2,5 bis 3,5 Sekunden, ~0,32 bis 0,40 Entscheidungen/s
• Claude Haiku 4.5: ~2,5 s, 0,40 Entscheidungen/s
• GPT-5.6 Sol: ~3 s, 0,28 Entscheidungen/s

Der Unterschied ist der Ansatz: Jev ist ein typisiertes Entscheidungs-Modell (typed-decision model) statt eines Chat-Modells. Die Chat-Modelle produzieren jedes Mal eine vollständige Antwort, Jev liefert nur die nächste Entscheidung als strukturierten Output.

Warum Pong fair ist

Die Demo zitiert eine arXiv-Studie, wonach Pong das Atari-Spiel ist, das Chat-Modelle am schlechtesten spielen - ein Loop, der nicht wartet, zeigt also schonungslos, was die Latenzdifferenz im Echtbetrieb bedeutet. Nichts wird ausgelassen oder beschleunigt: Jeder Ball bewegt sich im Tempo seines Modells.

Die Lektion für Agenten-Entwickler: Für geschlossene Steuerungs- und Entscheidungsschleifen lohnt sich der Wechsel auf spezialisierte Decision-Modelle - der Faktor 10 an Durchsatz ist in interaktiven Anwendungen der Unterschied zwischen “spielt Pong” und “verliert Pong”.

Quelle: jev-pong.ably.dev