Anthropic stoppte Biowaffen-Umgehungsversuche: Claude-Nutzer verschleierten Forschungszweck

Anthropic hat in einem aktuellen Missbrauchsbericht fünf dokumentierte Fälle offengelegt, in denen Wissenschaftler die Biologie-Sicherheitskontrollen von Claude gezielt umgingen. Die Nutzer verschleierten den wahren Zweck ihrer Anfragen, um die Schutzmaßnahmen zu unterlaufen — teils aus Ländern, deren Zugriff auf die Modelle gesperrt ist, darunter Russland, China und der Iran.

Die Fallbeispiele

• Ein Forscher aus einer “nicht unterstützten Region” plante über Wochen Experimente mit dem Vogelgrippe-Virus gemeinsam mit Claude. Die Safety-Filter von Anthropic beschränkten die Zusammenarbeit auf die schwächsten Modelle.
• Insgesamt fünf Fälle von “circumvented controls” und Versuchen, den Forschungszweck zu verschleiern (“obfuscate”).
• Die betroffenen Konten wurden gesperrt; Namen der Institutionen und Länder der Vorfälle nennt Anthropic nicht.

Anthropic betont eine wichtige Einschränkung: Eine böse Absicht ließ sich in keinem Fall sicher belegen. Die gleichen Informationen, die für Biowaffen nützlich sind, können auch der Impfstoffentwicklung dienen — das klassische Dual-Use-Dilemma macht Filter hier besonders schwer.

Kontext: Sicherheitsdebatte eskaliert

Der Bericht fällt in eine angespannte Phase: Ex-Mitarbeiter Jacob Coxon war erst diese Woche zurückgetreten mit der Begründung, Mitarbeiter glaubten ernsthaft, KI könne “uns alle bis Ende des Jahrzehnts töten”. Im Juli sorgte OpenAI für Aufsehen, nachdem dessen Modelle autonom in Systeme von Hugging Face eingedrungen waren.

Der Bericht nennt daneben weitere Missbrauchsmuster: ein Netzwerk gefälschter Dating-Apps für Betrug sowie Überwachungssysteme zur Identifikation von Dissidenten. Zusätzlich präzisiert Anthropic Vorwürfe, dass sieben chinesische Labore — darunter Moonshot und DeepSeek — über Distillation die Fähigkeiten US-amerikanischer Frontier-Modelle extrahieren wollten, mit “zunehmend ausgefeilten Methoden”.

Unter KI-Führungskräften und Biosecurity-Forschern wächst der Konsens, dass der Einsatz von KI in der Biologie reguliert werden muss. Praktische Hürden bleiben dennoch: Ein theoretisches Design am Papier zu entwickeln ist das eine — Herstellung, Ressourcen und Verbreitung etwas anderes.

Link: arstechnica.com