IBM: Agent-Benchmarks verstecken das Zuverlaessigkeitsproblem

Ein Agent besteht in der Probe, verpatzt in der Live-Demo dieselbe Aufgabe. IBM Research nennt das ein Zuverlaessigkeits- statt eines Genauigkeitsproblems - und liefert nach ALTK-Evolve (Agenten-Memory, hier im August behandelt) jetzt den passenden Messansatz: Standard-Benchmarks melden Mean@k, den durchschnittlichen Erfolg über mehrere Läufe. Was Nutzer in Produktion erleben, ist aber Pass^k: der Anteil der Aufgaben, die in allen k Läufern funktionieren.

Die Consistency Gap

Auf AppWorld schaffte ein ReAct-Agent mit GPT-4.1 im Schnitt 77,4 Prozent der Aufgaben - doch nur 53,0 Prozent der Tasks liefen in allen fünf Wiederholungen erfolgreich. Das ergibt eine Consistency Gap von 24,4 Punkten; bei schweren Tasks steigt sie auf bis zu 30.

Der Consistency Analyzer

Das Diagnose-Tool resampelt die aufgezeichnete Trajektur des Agenten: An jedem Entscheidungspunkt generiert ein einzelner Aufruf k=5 alternative Fortsetzungen. So tauchen flip-prone Stellen auf - Entscheidungen, die nur ein Token-Sampling von einem völlig anderen Verlauf trennt. Nötig sind nur ein Trace und keine Ground-Truth-Labels; ein kompletter Task-Re-Run entfällt.

Consistency Guidelines halbieren die Lücke

Aus der Diagnose destillierte neue Guidelines-Typen reduzieren die Lücke von 24,4 auf 12,0 Punkte (Pass-5 +16,0 Punkte, Similar-Task +13,0 Punkte) - ohne Verlust bei der durchschnittlichen Genauigkeit. Toolkit und technischer Report (arXiv 2609.08832) sind offen verfügbar.

Original: Hugging Face Blog