Backprop-Alternative: PC-ALM trainiert 1000-Schichten-Netze rein lokal

Sakana AI stellt PC-ALM (Augmented Lagrangian Predictive Coding) vor - eine lokale Alternative zum Backpropagation, die Residual-MLPs mit bis zu 1000 Schichten trainieren kann und dabei fast die Leistung von Backprop erreicht. Das Paper ist auf arXiv (2605.31022), der Code auf GitHub verfügbar.

Das Problem mit Backprop und Predictive Coding

Backpropagation läuft in drei strikt sequenziellen Phasen: Forward-Pass, Backward-Pass, dann Weight-Update. Frühe Schichten müssen ihre Aktivierungen halten, bis das Fehlersignal ankommt - das Gehirn kennt keinen bekannten Mechanismus für eine solche netzwerkweite Synchronisation. Predictive Coding (PC) gilt als biologisch plausiblerer Kandidat: Jede Schicht modelliert ihre eingehenden Signale und reicht nur den Praediktionsfehler nach oben weiter, alle Updates sind schichtenlokal. PC hat aber ein dokumentiertes Problem: In tiefen, schmalen Netzen verfällt der Credit-Signal, lange bevor er die Eingabeschicht erreicht (Signal Decay).

Der Trick: Dual-Neuronen als PI-Regler

PC-ALM ersetzt PCs Energie durch eine augmented Lagrangian. Jede Schicht erhält zusätzliche Dual-Neuronen (Lagrange-Multiplikatoren) gleicher Dimension wie die Aktivierungen. Dadurch wird die lokale Rekurrenz jeder Schicht zu einem PI-Feedback-Regler, der Praediktionsfehler akkumuliert statt sie nur diffusiv weiterzureichen. In linearen Netzen konvergieren die Dual-Variablen exakt zu den Backprop-Credit-Signalen - hergeleitet über eine klassische Konstruktion von LeCun aus dem Jahr 1988. In nichtlinearen Netzen bleibt der Vorteil empirisch: PC-ALM propagiert Credit zuverlässig durch 1000 Schichten, während Standard-PC dort zusammenbricht.

Relevanz jenseits der Neurowissenschaft

Das Motiv ist wissenschaftlich (wie verteilt Rechnen Gradienten ohne Backprop), aber die Praxisrelevanz ist energiesparendes Training auf neuromorpher Hardware: Dort ist die Simulation dynamischer Systeme günstiger als GEMM-Workloads auf GPUs. Die Experimente folgen der PC-Literatur bewusst mit einfachen Tasks (Fashion-MNIST, CIFAR-10) - die Pointe ist nicht State-of-the-Art, sondern Skalierbarkeit in einem Regime, in dem lokale Lernregeln historisch scheiterten.

Original: Sakana AI