GPT-6 Astra unter der Haube: Loop-Transformer und verdecktes Reasoning

Sebastian Raschka hat den neuen GPT-6 Astra von OpenAI mehrere Tage genutzt und stuft ihn als bestes Modell ein, das er bislang verwendet hat. Es überholt GPT-5.6 praktisch in allen Kategorien - Schreiben, Mathe, Coding -, besonders deutlich bei grafischen Demos. Beim Artificial Analysis Coding Agent Index steht Astra an der Frontier, aber ohne erdrückenden Vorsprung.

Loop-Transformer als Kern

Gemäß Berichten von The Information nutzt Astra “Looped Transformers” - auch recurrent depth genannt. Statt viele unterschiedliche Transformer-Blöcke zu durchlaufen, wird derselbe Block wiederholt ausgeführt, was mehr Berechnung pro Token erlaubt. Das Konzept stammt aus den Universal Transformern. Mit ByteDances Ouro-2.6B gibt es inzwischen eine offene Implementierung auf Hugging Face, deren Schleifenanzahl allerdings auf vier Durchläufe hart kodiert ist.

Latentes Reasoning

Die Forschung zieht nach: Ein 3,5-Milliarden-Parameter-Modell zeigt, dass geteilte Block-Stacks mit variabler Schleifenanzahl zusätzliche Rechenzeit vor jedem Token liefern. Das SMELT-Paper zu Compute-Matched MoE Looped Transformers ermittelt auf Skalierungen bis 54B Parameter, dass Looping etwa 6,8 bis 18 Prozent weniger Trainings-Compute für denselben Validierungsverlust braucht. Und der Full-Bandwidth-Transformer kombiniert versteckte Zustände über Token-Positionen hinweg - mit kürzeren Reasoning-Traces auf MATH500 bei gleichbleibender Genauigkeit.

Verdeckter Chain of Thought

Astra verbraucht insgesamt nicht weniger Tokens als GPT-5.6 Sol - aber bei fester Genauigkeit deutlich weniger. Gleichzeitig kursieren Gerüchte, dass Astra seinen Reasoning-Trace versteckt, was Sicherheitsbedenken über nicht prüfbare Zwischengedanken schürt. Raschkas Fazit: Die Grundlagen von Looping zu verstehen ist die beste Investition, um bei diesem Tempo der Modellentwicklung dranzubleiben.

Link: Original bei Ahead of AI