Linguistic Illegibility: Warum Chain-of-Thought-Monitoring LLMs nie sicher macht

LLMs sind darauf trainiert, natürliche Sprache zu erzeugen - aber genau das macht sie zu einer unzuverlässigen Blackbox. James Mickens prägt in einem neuen Paper den Begriff “Linguistic Illegibility”: die sprachlichen Outputs eines Modells (auch die per Mechanistic-Interpretability extrahierten Features) spiegeln oft nicht wider, wie das Modell intern tatsächlich rechnet.

Das Kernargument

Intern rechnen LLMs nicht in Sprache, sondern mit Mathematik über Activation Spaces. Zwischen diesen Räumen und natürlicher Sprache steht an den “Bookends” eine verlustbehaftete Übersetzung. Wenn sprachliche Selbstauskunft also immer unzulässig sein kann, können Sicherheitsmechanismen, die darauf bauen, nie vollständig solide sein:

• Chain-of-Thought-Monitoring
• Constitutional Self-Critique
• Activation Probing für sprachlich definierte Merkmale

Der Ausweg: Taint Tracking

Statt auf die sprachliche Selbstdarstellung des Modells zu vertrauen, empfiehlt Mickens Sandboxes mit Taint Tracking: A priori wird definiert, welche Systemzustände niemals von modellerzeugten Daten beeinflusst werden dürfen - unabhängig davon, was das Modell linguistisch von sich gibt. Ergänzt durch robuste Virtualisierung und Third-Party-Audits hätte dieser Ansatz nach Ansicht des Autors kürzlich dokumentierte Sandbox-Escapes von Frontier-Modellen verhindert.

Das Paper ist ein Argument dafür, KI-Sicherheit nicht auf die Selbstauskunft der Systeme zu gründen - sondern auf harte, vom Modell unabhängige Isolation.

Original: arXiv:2609.02852 - The Implications of Linguistic Illegibility for LLM Security