Article
Anthropic Research: Global Workspace Theory in Language Models
Anthropic veröffentlicht eine neue interpretability-Studie zur Global Workspace Theory (GWT) in Language Models. Die Forschung untersucht, wie LLMs Informationen über verschiedene Processing-Schichten hinweg integrieren und verfügbar machen.
Global Workspace Theory: Die kognitive Theorie besagt, dass Bewusstsein entsteht, wenn Informationen in einem “globalen Arbeitsraum” im Gehirn verfügbar werden - eine Art Spotlight, das verschiedene spezialisierte Module verbindet. Anthropic testet, ob ähnliche Mechanismen in LLMs existieren.
Methodik: Die Forscher nutzen linear probes und causal intervention, um zu verstehen, wie Informationen durch Transformer-Layers fließen. Sie identifizieren spezifische Attention-Heads, die als “Broadcast”-Mechanismus fungieren und Informationen über den Prompt hinweg verfügbar machen.
Key Findings:
- Bestimmte Heads aggregieren Kontext-Informationen
- Andere Heads “broadcasten” diese Informationen an nachfolgende Layers
- Mechanismen ähneln theoretischen Vorhersagen der GWT
Die Arbeit ist Teil von Anthropic’s größerer interpretability-Initiative. Das Ziel: Verstehen, was in der “Black Box” passiert, um AI-Systeme sicherer und kontrollierbarer zu machen. Ob LLMs “bewusst” sind oder nur clever simulieren, bleibt philosophisch umstritten - aber die mechanistischen Parallelen sind faszinierend.