Models
44 Prozent auf ARC-AGI-1: Kleiner Transformer uebertrifft grosse LLMs - fuer 67 Cent
Forscher Mithil Vakde hat einen kleinen Transformer von Grund auf neu trainiert und erreicht 44 Prozent auf dem ARC-AGI-1 Public Eval – in nur 1,5 Stunden auf einer RTX 5090 bei Trainingskosten von rund 67 Cent. Zum Vergleich: Viele grosse LLMs liegen bei diesem Benchmark schlechter, und das Ergebnis entspricht dem von TRM und HRM. Das Modell ist komplett Open Source (mdlARC) und schafft zudem 7 Prozent auf ARC-2.
Der Ansatz
- Jedes Eingabe-Ausgabe-Paar wird in Token-Sequenzen zerlegt und autoregressiv per Test-Time-Training trainiert
- Pro Aufgabe gibt es ein eigenes Additive-Embedding, Positionsinformation liefert 3D-RoPE
- Nur Output-Tokens tragen die Loss-Funktion – der Ansatz ist damit supervised
- NorMuon statt AdamW, varlen Flash-Attention und modernes Architecture-Setup (SwiGLU, RMSNorm)
Die Ablationen zeigen, woran es hängt: Ohne 3D-RoPE oder ohne die Task-Embeddings fällt die Score auf etwa 24 Prozent. Kurios: Der supervised Ansatz hat schlechteren Validation-Loss, schneidet aber besser ab – ein Warnsignal für alle, die Sample-Effizienz ausschliesslich über den Loss optimieren.
Warum das relevant ist
Der Autor will die Grenzen von Sample-Effizienz ausloten – seiner Ansicht nach DAS ungelöste Kernproblem der KI. Die Vereinigung gelöster Aufgaben mehrerer Runs ergibt bereits 55 Prozent, also dürfte 65 Prozent innerhalb des Transformer-Frameworks erreichbar sein. Ohne Synthetik-Datenflut, ohne Million-Budget: Das ist ein starkes Statement gegen die Annahme, Fortschritt brauche Rechenzentren.