Models
UK AISI veröffentlicht Evaluationsdaten: Reproduzierbarkeit via EvalEval
Das UK AI Security Institute (AISI) veröffentlicht seine Evaluationsresultate jetzt öffentlich über die EvalEval-Infrastruktur - mit vollständigen Konfigurations- und Kontextinformationen. Damit werden Benchmark-Ergebnisse erstmals systematisch reproduzierbar und unabhängig prüfbar, heißt es im HuggingFace-Blog.
Der Umfang des Releases
Über sogenannte Evaluation Cards werden verifizierte Resultate für fünf Benchmarks geteilt: HealthBench, FrontierMath, Humanity’s Last Exam, SWE-Bench Pro und Terminal-Bench 2.0. Abgedeckt sind sechs Frontier-Modelle: Claude Opus 4, 4.5 und 4.6 sowie GPT-5, GPT-5.2 und GPT-5.4. Zusätzlich erscheinen zwei Cyber-Evaluationen (Cyber CTFs, The Last Ones). Die Daten begleiten das AISI-Paper “How Inference Compute Shapes Frontier LLM Evaluation”, das untersucht, wie Benchmark-Ergebnisse von Inferenz-Compute und Evaluationsprotokoll abhängen.
Warum das zählt
Bislang sind Ergebnisse in Papers, Leaderboards und Blog-Posts verstreut - oft ohne Angaben zu Temperatur, Sampling oder Prompt-Varianten, sodass dasselbe Modell auf demselben Benchmark völlig unterschiedliche Scores liefern kann. AISI und EvalEval bauen daran: AISI steuert OptStop (effizienteres Stoppen von Eval-Läufen) und HiBayES (hierarchisch-Bayesianische Auswertung) bei, EvalEval das Every-Ever-Eval-Schema. Wer selbst evaluiert, kann die Karten als Referenzpunkt für die Interpretation fremder Scores nutzen.