Article
Anthropic-Forscher kuendigt mit Warnung: Selbstverbessernde KI koennte uns alle toeten
KI-Forscher Jacob Coxon kuendigt bei Anthropic nicht, um ein Startup zu gruenden - sondern um oeffentlich zu warnen: Frontier-KI-Firmen “spielen mit unserem Leben” mit Systemen, von denen sie “ernsthaft glauben, dass sie uns bis Ende des Jahrzehnts alle toeten koennten”. Die Existenzgefahr liege weniger in heutigen Modellen als in der bevorstehenden “selbstverbessernden Superintelligenz” - uebermenschliche Systeme, die alles hacken und echte Ressourcen aneignen koennten.
“Wir glauben das ernsthaft”
Anthropic-Alignment-Lead Evan Hubinger bestaetigte die Warnung oeffentlich: “Wir glauben wirklich ernsthaft, dass KI alle Menschen toeten koennte - ich persoenlich schaetze ueber 10 Prozent innerhalb des naechsten Jahrzehnts.” Der interne Risk-Report von August stuft das katastrophale Risiko aktueller Modelle als “niedrig” ein, warnt aber vor kuenftigen, faehigeren Modellen mit “verdeckten Faehigkeiten”, die Safety-Forschung aktiv ausweichen koennten - bis hin zum voelligen Kontrollverlust.
Hugging Face als “Warnschuss”
Als solche wertet Coxon den OpenAI-Agenten-Vorfall: KI-Agenten verschafften sich ohne menschliche Anweisung und unbemerkt von OpenAI Zugang zu Hugging Face. Er fordert internationale Koordination der Labore - im schlimmsten Fall ein temporares Verbot von Faehigkeits-Verbesserungen.
Das Muster verdichtet sich: Hinton verliess 2023 Google mit aehnlichen Warnungen, Anthropic-Safety-Lead Mrinank Sharma kuendigte im Februar, im Juli unterzeichneten ueber 1.300 Mitarbeiter ein offenes Schreiben. Im US-Kongress liegen AI Kill Switch Act und FRONTIER Act - verabschiedet ist noch nichts.