AI Reasoning - richtig aus den falschen Gründen?

Kann AI “reasoning” gleichzeitig BS und nicht-BS sein? Quanta Magazine geht dieser Frage in einem bemerkenswerten Essay nach - und die Antwort ist verwirrender als man denkt.

Die widersprüchliche Lage

2025-2026 ist ein Achterbahn für AI-Reasoning-Forschung. Apple published “Illusion of Thinking” - LRMs (Large Reasoning Models) brechen bei einfachen Bedingungen komplett ein. Dann gewinnt ein OpenAI-Modell Gold bei der International Mathematical Olympiad. Santa Fe Institute zeigt dass LRMs Reasoning-Benchmarks mit “surface-level shortcuts” knacken. Google DeepMind und Terence Tao lösen 67 mathematische Probleme mit AI. Und gleichzeitig gibt es eine endlose Liste dokumentierter Failure-States.

Drei Erkenntnisse von Melanie Mitchell

Die Santa Fe Institute Forscherin fasst zusammen: 1) Chain-of-Thought funktioniert - es verbessert die Accuracy. 2) Der generierte Text ist nicht notwendigerweise treu zu dem was im Modell passiert. 3) Viel von diesem Text ist nicht mal nötig - man kann ihn entfernen.

“Mumblings” statt Reasoning

Subbarao Kambhampati (ASU) nennt die Thinking-Tokens “mumblings” - Sprache ja, aber deren Bedeutung ist möglicherweise rein zufällig. Seine Forschung zeigte: Wenn man korrekte Reasoning-Traces durch falsche ersetzt, verschlechtert sich die Performance nicht. NYU zeigte dass “meaningless filler tokens” (literally Punkte) genauso funktionieren wie menschenlesbare Chain-of-Thought. Northeastern/Berkeley fanden dass 30-60% der Thinking-Steps “minimal causal impact” haben.

Kambhampatis Hypothese: Approximate Retrieval

LRMs sind einfach LLMs mit speziellem Training - “no extra magic”. Statt echtem schrittweisen Reasoning macht das Modell “approximate retrieval” über seinen Trainingskorpus. Die Thinking-Tokens laden den Context-Window so dass das Modell eher reasoning-förmige Textstrings vorhersagt. Wie Murmeln im Mund zu murmeln um sich an was zu erinnern - der Inhalt egal, Hauptsache es klopft was los.

Wishful Mnemonics

Der Essay schließt mit Drew McDermotts Konzept von 1976: “wishful mnemonics” - Dinge “UNDERSTAND” oder “GOAL” zu nennen macht sie nicht dazu. Chain-of-Thought, Thinking-Tokens, Reasoning-Traces - alles wishful mnemonics. Nicht unbedingt ein Diss, aber die “wishful” Hälfte ist so stark wie eh und je.

Warum es zählt

Mitchell bringt es auf den Punkt: “You want the right answer for the right reason, so you can trust these things.” In verifiable domains (Code läuft oder nicht, Proofs sind korrekt oder nicht) ist das weniger problematisch. Aber außerhalb - in Forschung, Wissenschaft, Entscheidungen - wird “right for the wrong reasons” schnell gefährlich.

OpenAI weigert sich übrigens seit 2024, raw Chains-of-Thought zu veröffentlichen. Was sie releasen sind “rewritten summaries” von menschlichen Experten. Draw your own conclusions.

Quanta Magazine - Is AI Reasoning Right for the Wrong Reasons?