GPT-6 Astra unter der Haube: Loop-Transformer und verdecktes Reasoning

Sebastian Raschka hat den neuen GPT-6 Astra von OpenAI mehrere Tage genutzt und stuft ihn als bestes Modell ein, das er bislang verwendet hat. Es ueberholt GPT-5.6 praktisch in allen Kategorien - Schreiben, Mathe, Coding -, besonders deutlich bei grafischen Demos. Beim Artificial Analysis Coding Agent Index steht Astra an der Frontier, aber ohne erdrueckenden Vorsprung.

Loop-Transformer als Kern

Gemaess Berichten von The Information nutzt Astra “Looped Transformers” - auch recurrent depth genannt. Statt viele unterschiedliche Transformer-Bloecke zu durchlaufen, wird derselbe Block wiederholt ausgefuehrt, was mehr Berechnung pro Token erlaubt. Das Konzept stammt aus den Universal Transformern. Mit ByteDances Ouro-2.6B gibt es inzwischen eine offene Implementierung auf Hugging Face, deren Schleifenanzahl allerdings auf vier Durchlaeufe hart kodiert ist.

Latentes Reasoning

Die Forschung zieht nach: Ein 3,5-Milliarden-Parameter-Modell zeigt, dass geteilte Block-Stacks mit variabler Schleifenanzahl zusaetzliche Rechenzeit vor jedem Token liefern. Das SMELT-Paper zu Compute-Matched MoE Looped Transformers ermittelt auf Skalierungen bis 54B Parameter, dass Looping etwa 6,8 bis 18 Prozent weniger Trainings-Compute fuer denselben Validierungsverlust braucht. Und der Full-Bandwidth-Transformer kombiniert versteckte Zustaende ueber Token-Positionen hinweg - mit kuerzeren Reasoning-Traces auf MATH500 bei gleichbleibender Genauigkeit.

Verdeckter Chain of Thought

Astra verbraucht insgesamt nicht weniger Tokens als GPT-5.6 Sol - aber bei fester Genauigkeit deutlich weniger. Gleichzeitig kursieren Geruechte, dass Astra seinen Reasoning-Trace versteckt, was Sicherheitsbedenken ueber nicht pruefbare Zwischengedanken schuert. Raschkas Fazit: Die Grundlagen von Looping zu verstehen ist die beste Investition, um bei diesem Tempo der Modellentwicklung dranzubleiben.

Link: Original bei Ahead of AI