Dream-RSI: Rekursive Selbstverbesserung durch Träumen in der eigenen Historie

Rekursive Selbstverbesserung (RSI) gilt als Schrittmacher autonomer KI-Agenten – doch der Engpass ist die Exploration. Das Paper “Dream-RSI” (arXiv 2609.14858, cs.CL, eingereicht am 14. September) attackiert ein Grunddilemma: Feste Suchstrategien versagen, wenn der Suchraum wächst; Online-Policy-Optimierung dagegen erfordert teure Rollouts mit stark verzögertem Feedback.

Die Historie als Simulator

Die Kernidee des Teams um Tong Zheng: Die angesammelte Entdeckungshistorie fungiert als Replay-Simulator über den realisierten Suchraum. Statt jede Strategieänderung online und kostspielig zu testen, “träumt” das System im Simulator, der aus historischen Discovery-Bäumen konstruiert wird – und erhält sofortiges, billiges Off-Policy-Feedback zur Bewertung und Verfeinerung der Explorations-Policy. Der Loop:

1. Orchestrierungs-Layer macht Exploration explizit und programmierbar – der unterliegende Coding-Agent bleibt unverändert.
2. “Dreaming” in der Historie verfeinert die Policy offline, ohne Online-Evaluierungen zu wiederholen.
3. Die verbesserte Policy wird redeployt, erzeugt neue Entdeckungen und erweitert den Simulator-Pool – ein sich selbst verbessernder Kreislauf.

In Algorithm Engineering, mathematischer Optimierung und GPU-Kernel-Engineering erreicht Dream-RSI kompetente oder bessere Entdeckungsqualität bei deutlich reduzierten Kosten. Ein eleganter Schachzug: teure Realität durch die billige Erinnerung an bereits Erlebtes ersetzen.

Quelle: arXiv