RTK-Benchmark fuer 1.500 Dollar: Token-Sparversprechen haelt der Realitaet nicht stand

RTK (Rust Token Killer) komprimiert Terminal-Output, bevor ein KI-Agent ihn liest — über 79.000 GitHub-Stars und ein viraler X-Post versprachen bis zu 60% Token-Ersparnis bei Claude Code. Das Team von Quesma hat das jetzt mit über 1.500 Dollar an Token-Ausgaben systematisch nachgemessen und kommt zu einem ernüchternden Ergebnis: Die Ersparnis ist im Wesentlichen ein Mythos.

Der Testaufbau

• Terminal-Bench 2.1 als Benchmark mit hohem Terminal-Anteil
• Claude Code mit Fable 5.0 und OpenCode mit DeepSeek V4 Pro 0813 über OpenRouter
• Jede Task fünfmal ohne und fünfmal mit RTK — insgesamt 1.740 Versuche

Die Ergebnisse

• Fable: Gesamtkosten sanken um magere 3%, Pass-Rate gleichzeitig um 1% schlechter
• DeepSeek: Kosten stiegen um 7%, Pass-Rate um 2% schlechter
• Fast die gesamte Fable-Ersparnis stammt aus einer einzigen Task (winning-avg-corewars); über alle anderen Tasks lag sie unter 1%
• Die Kennzahl rtk gain erweist sich als wertlos: Sie zählt entfernte Output-Bytes durch vier, keine abgerechneten Tokens. DeepSeek meldete 349 Millionen “gesparte” Tokens — trotzdem wurde es teurer

Warum Kompression nichts bringt

Ein Bug-Loop zeigt das Grundproblem plastisch: rtk find kannte ein Flag nicht, schlug fehl, der Agent wiederholte — 339 Fehler in Folge, etwa neunmal so teuer wie der Baseline-Versuch — trotz bestandener Task. Frontier-Modelle nutzen das Terminal längst effizient (nur ~7% von Fables Kontext war Terminal-Output), Read/Grep/Glob-Tools umgehen RTK komplett, und Cache-Reads kosten ohnehin nur ein Zehntel bis ein Dreißigstel. Kompression kann mehr Turns verursachen — und ein zusätzlicher Agent-Turn kostet oft mehr als die Ersparnis. Das Fazit der Autoren: RTK ist heute eine Nischen-Optimierung, kein generisches Spar-Tool — es half vermutlich älteren Modellen, aktuellen nicht mehr.

Link: quesma.com