Claude Opus 5 auf SlopCodeBench: 23% — Coding Agents brauchen noch Aufsicht

Der Benchmark

SlopCodeBench ist ein neuer Benchmark (März 2026) aus dem UW Madison Lab von @GOrlanski. Er adressiert das was an anderen Coding-Benchmarks nervt: Sie verraten das ganze Problem upfront. Echte Software funktioniert anders — man entdeckt Probleme während man arbeitet, Requirements ändern sich, Code muss anpassbar bleiben.

Jede Challenge in SlopCodeBench hat mehrere Checkpoints. Das Modell weiß nicht von Anfang an was alles kommen wird — es muss den Code über Zeit weiterentwickeln während neue Anforderungen enthüllt werden. Die anfängliche saubere Lösung degradiert zu “Unmaintainable” wenn das Modell nicht gut mit wachsender Komplexität umgeht.

Brutal: Im Original-Paper erreichten die besten Modelle (GPT-5.4 und Opus 4.6) nur 11% und 17% strict pass rate.

Der Test

HumanLayer hat drei Claude-Modelle durch einen Subset laufen lassen: Opus 4.8, Sonnet 5, und Opus 5. Drei Probleme, 17 Checkpoints, frische Context-Window pro Checkpoint, alle im Claude Code Harness.

Strict Pass Rate

• Opus 5: 4 von 17 (23%)
• Opus 4.8: 1 von 17
• Sonnet 5: 1 von 17

Opus 5 ist technisch besser, aber 23% ist immer noch nicht berauschend. Kein einziges Modell hat irgendeine Challenge komplett abgeschlossen — nicht mal die als “easy” markierte.

Was passiert ist

Opus 5 startete stark mit drei cleanen Checkpoints in Folge — dann hatte jeder weitere Checkpoint mindestens einen Defekt. Wenn ein Modell in Checkpoint 4 etwas verbockt, kann es die folgenden Checkpoints nicht mehr bestehen weil der fehlerhafte Code mitgeschleppt wird (außer es repariert zufällig einen Eval-Case in einem späteren Checkpoint).

Interessant auch: Opus 5 schrieb doppelt so viele Functions/Callables wie Opus 4.8 über dieselben Challenges. Mehr Code, mehr Komplexität, mehr Code Smells — aber technisch mehr bestandene Checkpoints.

Was das bedeutet

Der Autor’s persönliche Lesart: SlopCodeBench liefert endlich harte Daten für etwas das man bisher nur aus Bauchgefühl argumentieren konnte. Für echte Software-Engineering-Arbeit — eine Issue nach der anderen, Requirements die sich entwickeln — können heutige Modelle nicht unbeaufsichtigt laufen. Sie brauchen Steering.

23% strict pass rate bei Opus 5 ist besser als 17% bei Opus 4.6, aber es ist kein “Agent übernimmt das Development”-Moment. Die Modelle produzieren Code, der funktioniert — aber sie verlieren über Zeit den Überblick über die Codebase-Qualität.

Fazit

SlopCodeBench ist der Benchmark der wirklich zählt für “kann mein Coding Agent lights-off laufen?”. Aktuell ist die Antwort nein, auch nicht mit Opus 5. Die Modelle sind nützliche Werkzeuge die menschliche Entwickler beschleunigen, aber sie sind nicht bereit das Steuer zu übernehmen. Und das ist okay — man muss nur aufhören sie als autonomous Engineers zu verkaufen.

Quelle: GitHub: humanlayer/benchmarking-opus-5-on-slop-code-bench