ReviewBench: GitHub veröffentlicht offenen Benchmark für KI-Code-Review

GitHub hat ReviewBench veröffentlicht, einen offenen Benchmark für KI-Code-Review-Agenten. Das Besondere am Korpus: Er basiert auf der Analyse von 103,9 Millionen echten Pull Requests auf GitHub. Daraus wurden 219 PRs aus 187 Open-Source-Repos in 19 Sprachen ausgewählt, deren Sprach- und Größenverteilung GitHub gesamt spiegelt. TypeScript (68 PRs), Python (41) und C# (25) führen die Statistik an, über 1000 Zeilen umfassen 78 der PRs.

Robuste Ground Truth

Die Referenzmenge entsteht aus mehreren Quellen: echte menschliche Reviewer, Follow-up-Commits der Autoren, statische Analysetools und mehrere Frontier-LLMs. Semantische Deduplizierung verhindert, dass übereinstimmende Funde die Menge künstlich aufblähen. Als Judge dient Claude Sonnet 5 mit einem veröffentlichten Rubrik. Senior-Engineers, die am Aufbau nicht beteiligt waren, stimmten in 96,6 Prozent der Fälle mit den Labels überein.

Zwei Metrik-Familien

• Grounded Precision, Recall und F1 gegen die bekannte Goldmenge - der strenge Systemvergleich
• Augmented Metriken bewerten auch Funde außerhalb der Goldmenge, damit Agenten nicht bestraft werden, wenn sie neue, valide Probleme entdecken

Eigene Agenten hill-climben

Dataset, Judge-Prompt und Self-Serve-Runner sind offen. Eigene Review-Agenten werden als Container-Image eingereicht - erst gegen 25 Test-PRs, dann gegen den vollen Satz. Intern nutzt GitHub das für Copilot Code Review: Ein Ensemble-Experiment zeigte offline dieselbe Richtung wie der spätere A/B-Test, mit Adressed Rate plus 8 Prozent und Recall plus 13,6 Prozent online.

Quelle: GitHub Blog