Models
BenchMIRT: Was messen LLM-Benchmarks wirklich?
Das Allen Institute for AI (Ai2) hat BenchMIRT vorgestellt - eine Methode, um LLM-Benchmarks bis auf die Ebene einzelner Prompts zu auditieren. Die Grundfrage: Wenn ein Modell bei BBQ gut abschneidet, liegt das wirklich an weniger Stereotypen - oder an allgemeinem Reasoning, das zufällig auch durch die Fragen reicht?
Das Problem mit Benchmark-Scores
Benchmarks sind dafür gebaut, eine bestimmte Fähigkeit zu messen: Safety, Reasoning, Instruction-Following. Aber die einzelnen Aufgaben mischen häufig mehrere Fähigkeiten. Ein Beispiel aus BBQ, das Alterbias testen will: Eine Frage über Großvater und Enkel, die ein Uber buchen, erfordert zusätzlich, die Rollen auseinanderzuhalten und aus Evidenz statt Annahmen zu schließen.
Noch schlimmer innerhalb eines Benchmarks: WildJailbreak enthält sowohl schädliche Jailbreak-Prompts als auch harmlose Anfragen, die testen sollen, ob ein Modell zu oft ablehnt. Der harmlose Teil misst eher allgemeines Reasoning - der Durchschnitt verschluckt genau diesen Unterschied.
Wie BenchMIRT funktioniert
Die Methode greift die Item Response Theory (IRT) aus der Psychometrie auf und erweitert sie auf multidimensionales IRT (MIRT). Dadurch kann sie mehrere zugrunde liegende Fähigkeiten trennen, die zur Performance auf denselben Fragen beitragen:
- Modell-Ebene: Einschätzung, wie stark ein Modell in den erfassten Fähigkeiten ist
- Frage-Ebene: Wie schwer ist die Frage, und wie gut unterscheidet sie starke von schwachen Modellen?
Trainiert wurde BenchMIRT auf Benchmarking-Ergebnissen von 100 LLMs über 16 Benchmarks mit mehr als 34.000 Fragen - darunter MMLU-Pro, GPQA und MATH. Tech-Report, Datensammlung und Code sind komplett offen veröffentlicht.