News
Reasoning oder Illusion? Forscher bezweifeln KI-Denkfaehigkeit
Kann KI tatsaechlich logisch schliessen, oder ist es eine Illusion? Quanta Magazine beleuchtet die widerspruechliche Forschungslage rund um Large Reasoning Models — speziell trainierte LLMs, die Chain-of-Thought-Traces generieren.
Die widerspruechliche Evidenz
Fuer reasoningfaehige KI spricht: OpenAI loeste im Mai 2026 ein beruehmtes offenes mathematisches Forschungsproblem in einem Durchgang. LRMs gewannen Goldmedaillen bei der Internationalen Mathematik-Olympiade. Google DeepMind und Terence Tao nutzten KI, um Loesungen zu 67 mathematischen Problemen wiederzuentdecken oder zu verbessern.
Gegen echtes reasoning spricht: Apple-Forscher veroeffentlichten 2025 “The Illusion of Thinking” mit “complete accuracy collapse” unter ueberraschend einfachen Bedingungen. Melanie Mitchell vom Santa Fe Institute zeigte, dass LRMs Reasoning-Benchmarks mit bloßen “surface-level shortcuts” knacken. Multiple Studien zeigen: Reasoning-Traces sind weder notwendigerweise sinnvoll noch kausal fuer die Antworten.
Chain-of-Thought: “Mumblings” statt Reasoning
Subbarao Kambhampati von der Arizona State University, ehemaliger AAAI-Praesident, nennt die Tokens “mumblings” — sprachliche Fragmente, deren Bedeutung moeglicherweise rein zufaellig zum Ergebnis beitraegt. Sein Lab zeigte 2025: Vollstaendiges Ersetzen korrekter Traces durch falsche oder irrelevante degradierte die Leistung auf formalen Reasoning-Aufgaben nicht. Selbst wenn Modelle nur auf korrekte Trains trainiert wurden, generierten sie gelegentlich ungueltige Reasoning-Aufzeichnungen — bei korrekter Loesung des Problems.
Ein NYU-Paper von William Merrill fand, dass buchstaeblich Punkte-Reihen als “meaningless filler tokens” genauso gut funktionierten wie menschenlesbare Chain of Thought. Merrill: “There’s no guarantee the chain of thought has to be meaningful in any sense.”
Ein Northeastern/Berkeley-Paper 2025 zeigte: 30 bis 60 Prozent der “thinking steps” hatten “minimal causal impact” auf die Antworten bei Mathematik-Benchmarks.
Kambhampatis Arbeitshypothese
LRMs seien nur LLMs mit spezifischerem Training — “There is no extra magic.” Die Rolle der “thinking tokens”: Sie laden das Context Window so, dass das Modell wahrscheinlicher “reasoning-shaped” Texte approximativ abruft. Vergleich: Murmeln von Woertern zu sich selbst, um das Gedaechtnis zu aktivieren — es ist fast egal, was die Woerter sind, solange sie etwas Nuetzliches “losklopfen”.
OpenAI kontert
Sébastien Bubeck von OpenAI vertritt die Gegenseite aggressiv. Er nennt die wissenschaftlichen Kritik-Papiere in “großen, großen Anfuehrungszeichen” und behauptet, fruehere Apple-Ergebnisse seien auf einen Training quirk veralteter Modelle zurueckzufuehren. “Modern models starting with GPT-5.5 do not suffer from this issue.” OpenAI veroeffentlicht seit 2024 keine raw chains of thought mehr — nur “rewritten summaries” von menschlichen Experten.
“Wishful Mnemonics”
Der Autor schliesst mit einem Begriff von Drew McDermott (1976): “Artificial Intelligence Meets Natural Stupidity” — Forscher, die Programm-Schleifen “UNDERSTAND” nennen, betteln die Frage. LRMs, chains of thought und thinking tokens seien “wishful mnemonics all the way down” — eine Mischung aus Abkuerzung und suspendierter Unglaeubigkeit. Mitchell: “We react to language in a way that is very anthropomorphizing. That’s just the way that we humans work.”