Transformer-Circuits: Reverse Engineering der Mechanik hinter GPT

“A Mathematical Framework for Transformer Circuits” ist das Fundament von Anthropics Transformer-Circuits-Thread - jener Forschungslinie, die heute unter dem Namen mechanistische Interpretability die Grundlage von Anthropic-Chef Amodeis aktuellem Pacing-Plan ist. Der Ansatz: Transformer wie Binaries reverse engineeren, ähnlich wie ein Programmierer compilierten Code in lesbare Sourcen zerlegt.

Das Kernkonzept

Statt große Modelle als Blackbox zu untersuchen, starten Elhage, Nanda, Olsson, Olah und Co. bei den kleinstmöglichen Modellen: reinen Attention-Transformern mit maximal zwei Layern. Daraus entsteht ein mathematisch äquivalentes, aber lesbares Framework, das sich auf größere Modelle skalieren lässt.

Die zentralen Erkenntnisse

• 0 Layer = reine Bigram-Statistiken. Die Tabelle steht direkt in den Gewichten lesbar.
• 1 Layer = Ensemble aus Bigram- und “Skip-Trigram”-Modellen (Sequenzen der Form “A … B C”) - erstaunlich expressiv, inklusive rudimentärem In-Context-Learning, alles direkt aus den Gewichten ablesbar.
• 2 Layer = der Sprung: Komposition von Attention Heads erzeugt Induction Heads, einen allgemeinen In-Context-Learning-Algorithmus. Das ist der eigentliche Mechanismus hinter dem Few-Shot-Lernen großer Modelle - und die Phase, in der Trainingskurven sichtbare Buckets zeigen.

Warum das für Praktiker zählt

Induction Heads erklären, warum LLMs aus Beispielen im Prompt lernen können - ohne ein einziges Gradienten-Update. Wer versteht, welche Berechnung ein Modell wirklich durchführt (statt nur Input-Output-Paare zu messen), kann Sicherheitsprobleme systematischer identifizieren und sogar antizipieren. Die Arbeit ist damit der Ausgangspunkt für alles, von Superposition bis zu Features in Claude - und die Begründung, warum Interpretability skaliert.

Der Paper-Pfad: vom Distill-Circuits-Thread (Vision) über dieses Framework bis zum Folgepaper zu In-Context-Learning - alle frei zugänglich auf transformer-circuits.pub.

Original: transformer-circuits.pub - A Mathematical Framework for Transformer Circuits