Article

HarnessTax-Studie: Claude-Modelle müssen Claude Code nicht nutzen - und sparen die Hälfte

AI-Agents Benchmark Claude-Code Codex Kosten

Wer einen Coding-Agent einsetzt, wählt immer zwei Dinge: das Modell und den Harness. Wie viel der Harness dabei ausmacht, hat ein Team am UC Berkeley (u.a. Ion Stoica, Matei Zaharia) quantifiziert: 21 Modell-Harness-Paare - sieben Modelle gegen Claude Code, Codex CLI und den Open-Source-Harness Pi - auf je 30 zufällig gesampelte Tasks von SWE-bench Lite und Terminal-Bench 2.0, drei Wiederholungen pro Paar.

Die drei überraschenden Befunde

  1. Der Harness beeinflusst die Erfolgsquote kaum, die Kosten massiv. Claude Fable 5 löst 97,8 Prozent der SWE-bench-Lite-Versuche in Claude Code, 96,7 Prozent in Pi - doch Claude Code kostet doppelt so viel (1,33 vs 0,67 US-Dollar pro Rollout). Über alle Modelle liegt Claude Code bei 2,0x den Kosten von Pi auf SWE-bench Lite, bei 1,5x auf Terminal-Bench 2.0, während der Erfolg innerhalb von plus/minus 2 Prozent schwankt. Die Autoren taufen die Differenz “Harness Tax”.
  2. Ein simpler Harness reicht. Pi erreicht mit nur vier Tools (read, write, edit, bash) die Pareto-Frontier auf beiden Benchmarks.
  3. Modelle laufen in fremden Harnesses manchmal besser als im eigenen. Claude-Modelle brauchen Claude Code nicht zwingend.

Relevanz für Agent-Betrieb

Die Studierenden messen mit fixer API-Preisliste vom 1. September 2026, blockieren im SWE-bench-Container den Netzwerkzugang und limitieren auf 100 Agent-Turns. Die Profiling-Traces sollen veröffentlicht werden. Fazit für Entwickler: Der Default-Harness ist eine Kostenfrage, keine Qualitätsfrage - ein Vergleich lohnt sich.

Quelle: HarnessTax