Livenerf: Open-Source-Detektor für heimliche Opus-5.5-Nerfs gestartet

“Anthropic nerft seine Modelle nach dem Launch” - seit Monaten kursiert dieser Vorwurf in Foren und auf X. Das Problem: Niemand hatte einen sauberen Tag-0-Baseline-Wert, also endete jede Debatte als Vibes gegen Vibes. Das Open-Source-Projekt Livenerf will das ändern: ein append-only Benchmark, der seit dem 24. September täglich gegen Claude Opus 5.5 läuft, das am 22. September erschienen ist.

Wie der Benchmark funktioniert

Die Grundidee: Ein LLM lässt sich nicht deterministisch betreiben - Sampling-Parameter sind weg, Thinking lässt sich nicht abschalten. Livenerf macht deshalb alles andere deterministisch:

• Eingefrorenes Panel: 2.336 Fragen von GPQA Diamond, MMLU-Pro und Wettbewerbsmathematik wurden mit je 4 Samples gescreent; die 78 Fragen, die Opus 5.5 “manchmal” richtig beantwortet, bilden das Panel
• Gepinntes Harness: Headless Claude Code mit festgepinnter CLI-Version - ein CLI-Update würde exakt wie ein Modellwechsel aussehen
• Sauberer Statistik-Stack: Gebaut auf Inspect, dem Eval-Framework des UK AI Security Institute, mit Methodik aus Anthropics eigenem “Adding Error Bars to Evals”-Paper

Der Lauf: 30 Tage, jeden Tag das komplette Panel über ein Max-Abo. Tage 1-10 sind Baseline, danach zwei 10-Tage-Fenster. Detektierbar sind Genauigkeitsänderungen von rund 7,5 Punkten pro Fenster.

Was die Validierung zeigt

Die kalibrierten Kontrollen sind die interessantesten Daten bisher: Reduzierter Aufwand wird sichtbar, bevor die Accuracy fällt - bei “effort low” sinken die Output-Tokens um 62 Prozent bei minus 8,3 Punkten Genauigkeit. Ein heimlicher Tausch gegen Opus 5 war dagegen statistisch NICHT unterscheidbar. Das Instrument hat also klare Grenzen - aber es ist das erste ehrliche Instrument für die Nerf-Frage überhaupt.

Link: GitHub