ThinkingBox: Microsoft-Benchmark bewertet Agenten am Datenbank-Zustand

Das Konzept: Der Trace lügt, die Datenbank nicht

Microsoft hat mit ThinkingBox einen Agenten-Benchmark veröffentlicht, der eine unbequeme Frage stellt: Was hat der Agent tatsächlich erledigt? Bewertet wird nicht die finale Antwort und nicht, ob Tool-Calls wohlgeformt waren — sondern der terminale Backend-Zustand: die Records, Feldwerte und Side-Effects, die ein Agent in isolierten MCP-Tool-Sessions hinterlässt.

Das Leitmotiv des Blogs: Ein Kundenservice-Agent macht neun korrekte Tool-Calls, öffnet ein Ticket, liest die Rückerstattungs-Policy korrekt — und schließt das Ticket dann als “resolved”, obwohl der geforderte Endzustand “on hold” war. Der Trace sieht perfekt aus. Die Datenbank widerspricht.

Die Zahlen

• 507 Workflows aus Retail, Autoversicherung, Travel, Neobank und Consulting, jeder Task 20-mal von identischem sauberen Backend aus gefahren
• In einer Ablation über 121.680 valide Trials scheiterten 79.853 Versuche an den ausführbaren Checks — 67,24% davon liefen äußerlich sauber durch: sauber beendet, State-Change-Tool aufgerufen, kein finaler Fehler. Die Checks fanden trotzdem falsche Feldwerte (77,61%), ungewollte Extra-Effekte (43,30%) und fehlende Pflicht-Effekte (25,36%)
• Claude Opus 5.5 führt das pass@1-Ranking mit 67,16% an; Kimi-K3 ist das stärkste Open-Weights-Modell (57,37%) und löst sogar 93,89% der Tasks mindestens einmal

Der eigentliche Befund: Konsistenz

Der spannende Teil ist pass@1 gegen 20/20: Kimi-K3 meistert 476 von 507 Tasks mindestens einmal, schafft aber nur 13,4% auf allen 20 Versuchen. Claude Opus 5 löst weniger Tasks grundsätzlich, besteht aber 47,5% ausnahmslos. Und Claude Opus 5.5 bringt zwar mehr Kopfzeilen-Genauigkeit — besteht aber exakt gleich viele Tasks 20/20-mal wie Opus 5: Mehr Punktzahl kaufte null zusätzliche Zuverlässigkeit. Nur drei Modelle (GPT-6 Astra, Opus 5.5, Opus 5) halten über 70% ihrer pass@1-Quote über die Wiederholungen.

Benchmark-Daten, OpenEnv-Umgebung und Framework sind auf GitHub und Hugging Face frei verfügbar (MIT bzw. CDLA-Permissive-2.0).

Link: Hugging Face Blog