Coding Agents 'denken voraus': Neue Forschung zeigt latente Programmier-Horizonte

Ein neues arXiv-Paper zeigt, dass Sprachmodelle unter Coding Agents interne Repräsentationen über den Programmzustand bilden – und diese laufen den tatsächlichen Änderungen um bis zu 25 Schritte voraus.

Die Studie

Forscher der KTH Royal Institute of Technology untersuchten, was LLMs “intern wissen”, während sie Programmieraufgaben lösen. Mit Hilfe von logistischen Regressions-Probes auf den Hidden States konnten sie vorhersagen:

• Ob der aktuelle Code parsed (AUC 0.83)
• Ob die Tests durchlaufen
• Ob neue Bugs eingeführt werden
• Ob Regressionen entstehen

Der “Latent Programming Horizon”

Der überraschende Befund: Diese Repräsentationen laufen dem Agent voraus. Bevor der Agent Code ändert, “weiß” das Modell bereits, wie die Änderung ausgehen wird – bis zu 25 Schritte im Voraus.

“We call this the agent’s latent programming horizon.”

Die Probes funktionieren sogar benchmark-übergreifend ohne Retraining.

Warum das wichtig ist

Das Paper öffnet die Tür zur mechanistischen Interpretierbarkeit von Coding Agents. Wenn wir verstehen, was Modelle intern repräsentieren, können wir:

• Bugs im Agent-Verhalten früher erkennen
• Sicherheit verbessern
• Training effizienter gestalten

Link: arXiv:2607.05188