Models
Real-SWE: KI-Coding-Agenten am echten Enterprise-Code messen
Wie gut sind Coding-Agenten wirklich, wenn sie nicht an kuratierten Open-Source-Repos gemessen werden, sondern an echtem Enterprise-Code? Specific Labs hat mit Real-SWE einen Benchmark vorgelegt, der genau das misst: Aufgaben stammen aus privaten Produktions-Codebases, die von realen Firmen lizenziert wurden - Rechnungsstellung, Steuern, Kundenmigration. Alles mit Geschäftsfolgen.
Das Design
Drei Eigenschaften unterscheiden Real-SWE von SWE-bench und Co.:
- Private Codebases: Die Lösungen existieren nicht im offenen Internet - auswendiglernen und Kontamination fallen weg
- Business-Konsequenzen: Billing korrekt rechnen heißt, firmenspezifische Regeln und externe Dienste verstehen
- Native Harnesses: Gemesst wird die Modell-und-Tool-Kombination, wie Ingenieure sie wirklich nutzen - Claude Code, Codex CLI, Gemini CLI
Die Ergebnisse
| Rang | Modell + Harness | Lösungsrate |
|---|---|---|
| 1 | Fable 5.1 (Claude Code) | 38,8% |
| 2 | GPT-6 Astra (Codex CLI) | 33,8% |
| 3 | Gemini 3.8 Flash (Gemini CLI) | 31,2% |
| 4 | GLM 5.3 (Claude Code) | 28,8% |
| =5 | Grok 4.6 (Grok Build) | 23,8% |
| =5 | Muse Spark 1.3 (Muse Code) | 23,8% |
| 7 | Kimi K3 (Kimi Code) | 18,8% |
| 8 | GPT-5.6 Sol (Codex CLI) | 16,2% |
Die Lösungsrate entspricht pass@1, gemittelt über acht unabhängige Läufe pro Aufgabe.
Die eigentliche Botschaft
Selbst die beste Kombination löst kein Drittel bis knapp 40 Prozent der Aufgaben - und das auf Arbeit, die die eigenen Ingenieure dieser Firmen täglich machen. Beispielaufgaben zeigen, warum: Steuern korrekt berechnen heißt, dass jede Firma auf der Plattform ihre eigenen Regeln hat - manche pflegen den Satz selbst, andere erwarten Preisberechnung über einen externen Steuerdienst, andere erheben nichts. Das ist kein Algorithmik-Problem, sondern Kontext-Verständnis unter Firmen-spezifischer Komplexität. Für alle, die Coding-Agenten im Unternehmen einsetzen wollen: Der Sprung von “beeindruckend in Demos” zu “zuverlässig am echten System” ist noch nicht gemacht.
Original: withspecific.com - Real-SWE Benchmark