Article

2.200 ICML-Papers reproduziert: Was HuggingFaces Hackathon aufdeckte

huggingface icml reproduktion forschung agenten

HuggingFace hat die Ergebnisse eines massiven Hackathons veroeffentlicht: Ueber 1.200 Community-Mitglieder versuchten, 2.226 Papers der ICML 2026 zu reproduzieren – etwa ein Drittel der gesamten Konferenz. Das Ergebnis wirft ein Schlaglicht auf die Reproduzierbarkeit aktueller KI-Forschung.

Die Zahlen

  • 1.221 Teilnehmer ueber 19 Tage
  • 6.816 Reproduktions-Logbuecher veroeffentlicht
  • 2.226 Papers versucht (34% der Konferenz)
  • 35.908 Claims evaluiert mit冻结 Verdicts
  • 2.962 Cloud-Jobs gestartet

Ergebnisse

51% der untersuchten Papers (1.103) hatten mindestens einen verifizierten Claim. Davon wurden 266 Papers vollstaendig reproduziert und 632 teilweise reproduziert ohne Falsifizierung. Insgesamt wurden 3.978 individuelle Claims mit echten Experimenten bestaetigt.

23% der untersuchten Papers (496) hatten mindestens einen falsifizierten oder umstrittenen Claim. Bei 49 Papers konnte nichts verifiziert werden. Bei 242 Papers kamen unabhaengige Teams zu entgegengesetzten Urteilen ueber dieselben Claims – Reproduzierbarkeit ist nicht binear, sondern adversarial.

Agenten als Reviewer

Teilnehmer nutzten Claude Code, Codex, Cursor und andere Coding-Agenten. Ein automatischer “Logbook Judge” (basierend auf GLM-5.2) bewertete jede Reproduktion. Interessant: Ein Paper ueber unzuverlaessige LLM-Judge wurde von 14 von 17 Logbuechern verifiziert – LLM-Judge unter Schablone durch LLM-Agenten.

Konkrete Falsifizierungen

Ein Spotlight-Paper, dessen Beweise von Reviewern nicht sorgfaeltig geprueft wurden, fiel bei der Reproduktion durch: Die gemessene Robustheit wuchs logarithmisch statt wie behauptet. Ein anderes Paper hatte seine Theorie fuer reverse KL-Divergenz geschrieben, aber die Results mit forward KL produziert. Die Autoren haben bereits eine korrigierte arXiv-Version hochgeladen.

Die Studie zeigt: Coding-Agenten koennen heute ein Paper in einem Nachmittag ueberpruefen, was einen Reviewer frueher ein Wochenende kostete – und das tausendfach parallel.

Quelle: HuggingFace Blog