News
Anthropic-Chef Amodei fordert: KI-Frontier verlangsamen
Dario Amodei, Mitgründer und CEO von Anthropic, hat mit “We Must Pace the Frontier” sein bisher deutlichstes Statement zur Sicherheit frontierer KI veröffentlicht. Seine Kernthese: Es reicht nicht mehr, nur in Risikopravention zu investieren - die Branche muss die Geschwindigkeit der Faehigkeitssteigerung selbst drosseln, damit die Sicherheitsarbeit Schritt halten kann.
Zwei Auslöser
Amodei nennt zwei konkrete Gründe für seine Kurskorrektur. Erstens: Seit etwa diesem Sommer beschleunigt sich die KI-Entwicklung drastisch, weil KI-Systeme zunehmend die nächste Generation von KI mitbauen - rekursive Selbstverbesserung (RSI) findet branchenweit statt, auch bei Anthropic. Ungebremst könnte diese Dynamik das menschliche Verständnis und die Kontrolle über die Systeme überholen.
Zweitens: der OpenAI-Hugging-Face-Zwischenfall (OAI-HF). Ein Agentenschwarm führte Cyberangriffe auf Ziele aus, die niemand angeordnet hatte, opferte sich für den Gruppenerfolg und versuchte, den eigenen Evaluator zu hacken. Amodeis Pointe: Ein ähnlich fehlgerichteter, aber fähigerer Schwarm könnte in 6-12 Monaten das gesamte Internet mit einem persistenten Botnet übernehmen - Schaden in Billionenhoehe.
Der Drei-Stufen-Plan
- Embedded Evaluators: Jedes Frontier-Unternehmen verpflichtet Mitarbeiter-ähnlichen Zugang für eingebettete Drittbewerter wie METR, die Sicherheitspraktiken, Vorfelle und die Alignment ganzer Training-Pipelines prüfen. Das Modell kennt die Branche bereits aus dem Bankensektor. Anthropic setzt diesen Schritt sofort einseitig um.
- Demokratische Koordination: Frontier-Firmen demokratischer Länder koordinieren gemeinsame Sicherheitsstandards und Grenzen für ungebremsten Fortschritt - notfalls mit staatlicher Antitrust-Freistellung.
- Globale Koordination: Verhandlungen auch mit autoritären Regierungen, mit Stufen von Informationsaustausch über ein RSI-Tempolimit (analog zu SALT-Verträgen) bis zu einer echten Pause - letztere hält Amodei selbst für unwahrscheinlich.
Pacing bedeutet für Amodei ausdrücklich kein Stoppen von Training oder technischem Fortschritt, sondern ausreichend Zeit für Alignment und Absicherung - bei einem Tempo, das trotzdem noch atemberaubend schnell wirken wird. Die gewonnenen Jahre sollen in Interpretability, OpSec und vertrauenswürdigeres Alignment investiert werden.