ALTK-Evolve: Gelernte Regeln heben GPT-4.1 an die Spitze des τ²-bench

Playbook statt Fine-Tuning

IBM Research überträgt seinen Ansatz ALTK-Evolve, der zuvor für Coding-Agenten gezeigt wurde, auf Kundenservice. Das System wertet Trainings-Läufe des Agenten aus und destilliert Erfolge und Fehler mit demselben Modell (GPT-4.1) zu kurzen Verhaltensregeln – etwa zur Authentifizierung, Bestätigung von Transaktionen oder zu Rückgaben. Diese Liste wird an den System-Prompt angehängt. Gewichte oder menschliche Annotation sind nicht nötig.

Ergebnisse auf τ²-bench

Der Benchmark von Sierra kombiniert einen simulierten Kunden, Werkzeuge und ein Policy-Dokument; gewertet wird nur, wenn der Datenbankzustand am Ende stimmt. Getestet wurde auf der Standard-ReAct-Struktur (GPT-4.1 als Agent, GPT-5.5 als Kundensimulator, 4 Versuche pro Aufgabe):

• Retail: Mittlere Genauigkeit 78,1 → 82,5 %, Pass^4 57,5 → 67,5 %
• Airline: Genauigkeit 57,5 → 65,0 %, Pass^4 35,0 → 45,0 %
• Im Leaderboard-Stand vom 12. Oktober 2026 liegt der Retail-Wert über allen dortigen Einträgen

Beobachtungen

• Die ideale Menge an Regeln hängt von der Domäne ab: In Retail hilft die vollständige Menge am meisten, bei Airline ist ein kompakter Kern aus 14 Regeln (Support ≥ 3) zuverlässiger (45 % vs. 40 % Pass^4)
• Der Mehraufwand liegt in Input-Tokens, nicht in längeren Dialogen
• Auch Agenten mit Frontier-Modellen profitieren von den gelernten Regeln

Einordnung: Ein Hinweis, dass Agenten sich über erlernten Kontext verbessern können, ohne dass Modelle neu trainiert werden – ein günstiger Hebel, auch wenn die Ergebnisse vom IBM-eigenen Setup stammen.

Quelle: Hugging Face Blog (IBM Research)