PSSA: Sprachmodell ohne Transformer schlägt parametergleichen Vergleichs-Transformer

Die meisten alternativen LLM-Architekturen der letzten Jahre (Mamba, RWKV) starteten als Paper mit PyTorch-Code. PSSA geht einen radikaleren Weg: Das kleine Sprachmodell ist komplett von Hand in Rust geschrieben - ohne PyTorch, ohne TensorFlow, ohne jedes ML-Framework. Und es ist kein Transformer.

Die Architektur

Statt Attention über das gesamte Kontextfenster nutzt PSSA einen recurrenten State-Space-Kern: Eine fixed-size State wird in einem einzigen Left-to-Right-Pass mitgeführt, die Kosten pro Token wachsen linear statt quadratisch. Dazu kommen drei ungewöhnliche Zutaten:

• Episodisches Gedächtnis: 512 Slots mit hyperbolischem (Poincaré-artigem) Retrieval und Top-4-Suche, die während des Laufs beschrieben und gelesen werden - statt den Kontext immer wieder neu zu lesen
• Plastische Gewichte: Das Modell schreibt während des Laufs Teile seiner eigenen Gewichte um; ein refraktorischer Gate begrenzt destruktive Überschreibungen
• Geschlossene Konsolidierung: Ein Ridge-Regression-Schritt faltet die schnellen Plastik-Updates zurück in die Basistransitionsmatrix - vom Autor als “Schlaf” beschrieben

Die Messwerte

Bei 1,5M Parametern auf 12,7M WikiText-103-Tokens, mit gleichem Tokenizer, Optimizer, Seed: PSSA erreicht 3,98 Cross-Entropy gegen 4,43 beim parametergleichen Transformer - 0,45 nats Vorsprung, Perplexity 53,7 gegen 83,7. Auf ungesehenem Text bleibt der Gap bei 0,43 nats: Es ist Generalisierung, kein härteres Memorieren. Und die CPU-Generierung: 226ms gegen 2.735ms für 200 Tokens - 12x schneller.

Der Autor ist ehrlich über die Grenzen: Das ist ein Research-Prototyp, beide Modelle erzeugen holprigen Text, und ob der Gap bei 10x oder 100x Skalierung hält, ist unbeantwortet. Das Projekt sucht explizit Compute und Contributors - die CUDA-Gradients werden gegen eine skalare CPU-Referenz geprüft (max. Abweichung 2,98e-8).

Link: GitHub