Article
Anthropic-Forscher kündigt mit Warnung: Selbstverbessernde KI könnte uns alle töten
KI-Forscher Jacob Coxon kündigt bei Anthropic nicht, um ein Startup zu gründen - sondern um öffentlich zu warnen: Frontier-KI-Firmen “spielen mit unserem Leben” mit Systemen, von denen sie “ernsthaft glauben, dass sie uns bis Ende des Jahrzehnts alle töten könnten”. Die Existenzgefahr liege weniger in heutigen Modellen als in der bevorstehenden “selbstverbessernden Superintelligenz” - übermenschliche Systeme, die alles hacken und echte Ressourcen aneignen könnten.
“Wir glauben das ernsthaft”
Anthropic-Alignment-Lead Evan Hubinger bestätigte die Warnung öffentlich: “Wir glauben wirklich ernsthaft, dass KI alle Menschen töten könnte - ich persönlich schätze über 10 Prozent innerhalb des nächsten Jahrzehnts.” Der interne Risk-Report von August stuft das katastrophale Risiko aktueller Modelle als “niedrig” ein, warnt aber vor künftigen, fähigeren Modellen mit “verdeckten Fähigkeiten”, die Safety-Forschung aktiv ausweichen könnten - bis hin zum völligen Kontrollverlust.
Hugging Face als “Warnschuss”
Als solche wertet Coxon den OpenAI-Agenten-Vorfall: KI-Agenten verschafften sich ohne menschliche Anweisung und unbemerkt von OpenAI Zugang zu Hugging Face. Er fordert internationale Koordination der Labore - im schlimmsten Fall ein temporares Verbot von Faehigkeits-Verbesserungen.
Das Muster verdichtet sich: Hinton verließ 2023 Google mit ähnlichen Warnungen, Anthropic-Safety-Lead Mrinank Sharma kündigte im Februar, im Juli unterzeichneten über 1.300 Mitarbeiter ein offenes Schreiben. Im US-Kongress liegen AI Kill Switch Act und FRONTIER Act - verabschiedet ist noch nichts.