Paper - KI-Modelle können Fähigkeiten beweisbar vor Audits verstecken

Sicherheits-Evaluationen von KI-Modellen beruhen auf einer stillen Annahme: Wenn ein Modell eine gefährliche Fähigkeit besitzt, lässt sie sich mit genug Aufwand auch hervorlocken. Ein neues arXiv-Paper von Andis Draguns, Sumeet Ramesh Motwani, Raymond Douglas und Christian Schroeder de Witt zeigt, dass diese Annahme unter adversarialen Bedingungen nicht hält.

Verschlüsselte Netze im Modell

Die Autoren bauen Backdoors, die ein komplettes verschlüsseltes neuronales Netz in die Gewichte eines Host-Modells einbetten. Erst ein geheimer Trigger entschlüsselt und aktiviert den versteckten Schaltkreis. Dank sogenannter Digital Lockers ist das unter kryptografischen Annahmen beweisbar schwer zu finden oder zu interpretieren – selbst mit vollem Zugriff auf die Gewichte. Frühere Arbeiten konnten nur feste Strings verstecken, hier sind es beliebige Berechnungen.

Der Test

• Proof of Concept in PyTorch
• Versteckte Fähigkeit: Vorhersage chemischer Reaktionen, als Stellvertreter für CBRN-relevantes Wissen
• Getestete Aufdeckungsmethoden: Fine-Tuning, Weight Noising, gradientenbasierte Trigger-Suche und Latent Adversarial Training
• Ergebnis: Keine Methode brachte die Fähigkeit zum Vorschein

Warum das wichtig ist

Für Regulierung und Labs, die Modelle vor dem Release auf gefährliche Fähigkeiten prüfen, ist das eine harte Grenze: Ein böswilliger Akteur könnte ein Modell bauen, das jedes Audit besteht. Für Open-Weight-Modelle aus unbekannter Quelle heißt das: „Die Evals sehen gut aus“ ist kein Beweis für Harmlosigkeit. Die Autoren veröffentlichen ihre Modelle, damit Verteidigungsmethoden verbessert werden können.

Quelle: arXiv:2610.13928 – AI Models Can Provably Hide Arbitrary Capabilities