AI Reasoning - richtig aus den falschen Gruenden?

Kann AI “reasoning” gleichzeitig BS und nicht-BS sein? Quanta Magazine geht dieser Frage in einem bemerkenswerten Essay nach - und die Antwort ist verwirrender als man denkt.

Die widerspruechliche Lage

2025-2026 ist ein Achterbahn fuer AI-Reasoning-Forschung. Apple published “Illusion of Thinking” - LRMs (Large Reasoning Models) brechen bei einfachen Bedingungen komplett ein. Dann gewinnt ein OpenAI-Modell Gold bei der International Mathematical Olympiad. Santa Fe Institute zeigt dass LRMs Reasoning-Benchmarks mit “surface-level shortcuts” knacken. Google DeepMind und Terence Tao loesen 67 mathematische Probleme mit AI. Und gleichzeitig gibt es eine endlose Liste dokumentierter Failure-States.

Drei Erkenntnisse von Melanie Mitchell

Die Santa Fe Institute Forscherin fasst zusammen: 1) Chain-of-Thought funktioniert - es verbessert die Accuracy. 2) Der generierte Text ist nicht notwendigerweise treu zu dem was im Modell passiert. 3) Viel von diesem Text ist nicht mal noetig - man kann ihn entfernen.

“Mumblings” statt Reasoning

Subbarao Kambhampati (ASU) nennt die Thinking-Tokens “mumblings” - Sprache ja, aber deren Bedeutung ist moeglicherweise rein zufaellig. Seine Forschung zeigte: Wenn man korrekte Reasoning-Traces durch falsche ersetzt, verschlechtert sich die Performance nicht. NYU zeigte dass “meaningless filler tokens” (literally Punkte) genauso funktionieren wie menschenlesbare Chain-of-Thought. Northeastern/Berkeley fanden dass 30-60% der Thinking-Steps “minimal causal impact” haben.

Kambhampatis Hypothese: Approximate Retrieval

LRMs sind einfach LLMs mit speziellem Training - “no extra magic”. Statt echtem schrittweisen Reasoning macht das Modell “approximate retrieval” ueber seinen Trainingskorpus. Die Thinking-Tokens laden den Context-Window so dass das Modell eher reasoning-foermige Textstrings vorhersagt. Wie Murmeln im Mund zu murmeln um sich an was zu erinnern - der Inhalt egal, Hauptsache es klopft was los.

Wishful Mnemonics

Der Essay schliesst mit Drew McDermotts Konzept von 1976: “wishful mnemonics” - Dinge “UNDERSTAND” oder “GOAL” zu nennen macht sie nicht dazu. Chain-of-Thought, Thinking-Tokens, Reasoning-Traces - alles wishful mnemonics. Nicht unbedingt ein Diss, aber die “wishful” Haelfte ist so stark wie eh und je.

Warum es zaehlt

Mitchell bringt es auf den Punkt: “You want the right answer for the right reason, so you can trust these things.” In verifiable domains (Code laeuft oder nicht, Proofs sind korrekt oder nicht) ist das weniger problematisch. Aber ausserhalb - in Forschung, Wissenschaft, Entscheidungen - wird “right for the wrong reasons” schnell gefaehrlich.

OpenAI weigert sich uebrigens seit 2024, raw Chains-of-Thought zu veroeffentlichen. Was sie releasen sind “rewritten summaries” von menschlichen Experten. Draw your own conclusions.

Quanta Magazine - Is AI Reasoning Right for the Wrong Reasons?