News
Reasoning oder Illusion? Forscher bezweifeln KI-Denkfähigkeit
Kann KI tatsächlich logisch schließen, oder ist es eine Illusion? Quanta Magazine beleuchtet die widersprüchliche Forschungslage rund um Large Reasoning Models — speziell trainierte LLMs, die Chain-of-Thought-Traces generieren.
Die widersprüchliche Evidenz
Für reasoningfaehige KI spricht: OpenAI löste im Mai 2026 ein berühmtes offenes mathematisches Forschungsproblem in einem Durchgang. LRMs gewannen Goldmedaillen bei der Internationalen Mathematik-Olympiade. Google DeepMind und Terence Tao nutzten KI, um Lösungen zu 67 mathematischen Problemen wiederzuentdecken oder zu verbessern.
Gegen echtes reasoning spricht: Apple-Forscher veröffentlichten 2025 “The Illusion of Thinking” mit “complete accuracy collapse” unter überraschend einfachen Bedingungen. Melanie Mitchell vom Santa Fe Institute zeigte, dass LRMs Reasoning-Benchmarks mit bloßen “surface-level shortcuts” knacken. Multiple Studien zeigen: Reasoning-Traces sind weder notwendigerweise sinnvoll noch kausal für die Antworten.
Chain-of-Thought: “Mumblings” statt Reasoning
Subbarao Kambhampati von der Arizona State University, ehemaliger AAAI-Präsident, nennt die Tokens “mumblings” — sprachliche Fragmente, deren Bedeutung möglicherweise rein zufällig zum Ergebnis beiträgt. Sein Lab zeigte 2025: Vollständiges Ersetzen korrekter Traces durch falsche oder irrelevante degradierte die Leistung auf formalen Reasoning-Aufgaben nicht. Selbst wenn Modelle nur auf korrekte Trains trainiert wurden, generierten sie gelegentlich ungültige Reasoning-Aufzeichnungen — bei korrekter Lösung des Problems.
Ein NYU-Paper von William Merrill fand, dass buchstäblich Punkte-Reihen als “meaningless filler tokens” genauso gut funktionierten wie menschenlesbare Chain of Thought. Merrill: “There’s no guarantee the chain of thought has to be meaningful in any sense.”
Ein Northeastern/Berkeley-Paper 2025 zeigte: 30 bis 60 Prozent der “thinking steps” hatten “minimal causal impact” auf die Antworten bei Mathematik-Benchmarks.
Kambhampatis Arbeitshypothese
LRMs seien nur LLMs mit spezifischerem Training — “There is no extra magic.” Die Rolle der “thinking tokens”: Sie laden das Context Window so, dass das Modell wahrscheinlicher “reasoning-shaped” Texte approximativ abruft. Vergleich: Murmeln von Wörtern zu sich selbst, um das Gedächtnis zu aktivieren — es ist fast egal, was die Wörter sind, solange sie etwas Nützliches “losklopfen”.
OpenAI kontert
Sébastien Bubeck von OpenAI vertritt die Gegenseite aggressiv. Er nennt die wissenschaftlichen Kritik-Papiere in “großen, großen Anführungszeichen” und behauptet, frühere Apple-Ergebnisse seien auf einen Training quirk veralteter Modelle zurückzuführen. “Modern models starting with GPT-5.5 do not suffer from this issue.” OpenAI veröffentlicht seit 2024 keine raw chains of thought mehr — nur “rewritten summaries” von menschlichen Experten.
“Wishful Mnemonics”
Der Autor schließt mit einem Begriff von Drew McDermott (1976): “Artificial Intelligence Meets Natural Stupidity” — Forscher, die Programm-Schleifen “UNDERSTAND” nennen, betteln die Frage. LRMs, chains of thought und thinking tokens seien “wishful mnemonics all the way down” — eine Mischung aus Abkürzung und suspendierter Ungläubigkeit. Mitchell: “We react to language in a way that is very anthropomorphizing. That’s just the way that we humans work.”