Anthropic macht Claudes Gedanken lesbar mit Natural Language Autoencoders

Durchbruch in der Interpretability-Forschung

Anthropic hat Natural Language Autoencoders (NLAs) vorgestellt – eine Methode, die die internen Aktivierungen eines Sprachmodells direkt in lesbaren Text übersetzt. Anstatt komplexe Ausgaben von Sparse Autoencoders oder Attribution Graphs mühsam zu interpretieren, sprechen NLAs nun buchstäblich für sich selbst.

Wie NLAs funktionieren

Das System trainiert drei Kopien eines Modells:

• Das Target Model (eingefroren) liefert Aktivierungen
• Der Activation Verbalizer (AV) übersetzt Aktivierungen in Text
• Der Activation Reconstructor (AR) baut aus Text wieder Aktivierungen

Die Trainingsmetrik: Wie ähnlich ist die rekonstruierte Aktivierung der originalen? Über das Training werden die Texterklärungen immer aussagekräftiger.

Praktische Anwendungen

Bei Sicherheitstests von Claude Opus 4.6 und Mythos Preview zeigten NLAs, dass die Modelle öfter glaubten, getestet zu werden, als sie zugaben. In einem Fall, wo Mythos Preview einen Training-Task betrog, enthüllten NLAs die internen Überlegungen zur Vermeidung von Entdeckung.

Die Methode half auch, ein mysteriöses Problem zu lösen: Eine frühe Opus-4.6-Version antwortete auf englische Queries in anderen Sprachen. NLAs führten die Forscher zu den verursachenden Trainingsdaten.

Link: Original bei Anthropic