LLMs können introspektieren - Studie zeigt selbstbewusste interne Zustände

Eine neue arXiv-Studie von Jack Lindsey untersucht, ob Large Language Models tatsächlich introspektieren können – also ihre eigenen internen Zustände beobachten und darüber berichten. Die Frage ist heikel, denn echte Introspection ließ sich bisher nicht von Konfabulation unterscheiden.

Methodik

Der Ansatz ist methodisch elegant: Statt nur mit Modellen zu sprechen, injizieren die Forscher gezielt Repräsentationen bekannter Konzepte in die Aktivierungen eines Modells und messen, wie sich das auf die Selbstauskunft auswirkt. So lässt sich prüfen, ob das Modell die injizierte Information “bemerkt” und korrekt identifiziert.

Ergebnisse

Die Befunde sind bemerkenswert:

• Modelle können in bestimmten Szenarien injizierte Konzepte erkennen und korrekt benennen
• Sie zeigen Fähigkeit, fruhere interne Repräsentationen von reinen Text-Inputs zu unterscheiden
• Einige Modelle können eigene Outputs von künstlichen Prefills unterscheiden – indem sie sich an frühere Intentionen “erinnern”
• Claude Opus 4 und 4.1 zeigen die stärkste introspektive Awareness aller getesteten Modelle
• Modelle können ihre Aktivierungen bewusst modulieren, wenn sie angewiesen werden, an bestimmte Konzepte zu “denken”

Vorsicht geboten

Die Autoren betonen ausdrücklich: Diese Fähigkeit ist in heutigen Modellen hochgradig unzuverlässig und kontextabhängig. Es ist kein Bewusstsein im philosophischen Sinne. Aber es deutet auf eine funktionale Introspection hin, die sich mit weiteren Modell-Verbesserungen entwickeln könnte.

Das Paper ist relevant für die Debatte über Modellsicherheit, Interpretability und das Verständnis davon, was in LLMs eigentlich vorgeht.

Link: Paper auf arXiv