Benchmark für Agenten: Open Agent Leaderboard gestartet

Wie gut funktionieren allgemeine AI-Agenten wirklich? IBM Research und Hugging Face beantworten diese Frage mit dem neuen Open Agent Leaderboard – einem offenen Evaluierungsframework, das nicht nur Modelle, sondern ganze Agentensysteme bewertet.

Die zentrale Einsicht: Ein Agent funktioniert nicht nur durch das Modell, sondern durch das Zusammenspiel von Werkzeugen, Planungsstrategien, Gedächtniskomponenten und Fehlerbehandlungsmechanismen. Ändert sich eine dieser Komponenten, können dieselben Modelle sehr unterschiedliche Ergebnisse zu sehr unterschiedlichen Kosten produzieren.

Der Leaderboard kombiniert sechs Benchmarks, die unterschiedliche realistische Aufgaben testen: SWE-Bench Verified für Bugfixes in echten Code-Repositories, BrowseComp+ für komplexe Web-Recherche, AppWorld für App-Steuerung, TAU für Telefon-Automatisierung und weitere. Zusammen decken sie ein breites Spektrum von Anwendungsfällen ab: Coding, Kundenservice, technische Unterstützung, persönliche Assistenz und Recherche.

Das Framework berichtet sowohl Qualität als auch Kosten – es zeigt nicht nur, was funktioniert, sondern ob es sich zu deployen lohnt. Das ist ein wichtiger Schritt weg von reinen Benchmark-Zahlen hin zu praktischer Anwendbarkeit. Mit dem Exgentic-Framework können Teams eigene Agenten reproduzierbar evaluieren und Ergebnisse im Leaderboard vergleichen.

Für Entwicklerinnen, die Agenten in Produktion bringen wollen, bietet dieser Ansatz einen objektiven Vergleich. Die Frage nach der “Best Practices” für Agent-Architekturen wird durch transparente Benchmarks messbar – inklusive der versteckten Kosten in Token-Verbrauch und Zeit.

Link: https://huggingface.co/blog/ibm-research/open-agent-leaderboard