Article
Rekursive Selbstverbesserung: Schulman und Millidge im Streitgespräch
Wie nah ist die KI-Forschung an rekursiver Selbstverbesserung (RSI)? Im Dwarkesh-Podcast diskutieren John Schulman - Mitgründer von OpenAI, heute Chief Scientist bei Thinking Machines, führend hinter der RLHF-Arbeit für ChatGPT - und Beren Millidge die Argumente dafür und dagegen. Charlie O’Neill ergänzt die Runde.
Die Kernpunkte
- Steelmanning die Skepsis: Schulman eröffnet mit den stärksten Argumenten gegen unmittelbar bevorstehende RSI - vom Sim-to-Real-Gap über Plastizitaet und katastrophales Vergessen bis zur Frage, wie viel Fortschritt reine Datenskalierung erklärt.
- Warum RL so gut funktioniert: Millidge bezieht sich auf seinen Essay zur informationstheoretischen Ineffizienenz von LLM-RL - die Beobachtung, dass das aktuelle RL-Scaling so überraschend gut funktioniert, obwohl es informationstheoretisch eigentlich nicht sollte.
- Chinesische Labs und Distillation: Schulman erklärt, warum selbst Distillation mit vollständigem Chain-of-Thought-Zugang non-trivial ist - die Prompt-Distribution ist entscheidend, nicht nur der Modellzugang.
- Timelines: Die Rapid-Fire-Runde endet mit konkreten Prognosen - Millidge sieht volle Allgemeinheit in etwa drei Jahren, während die Runde darin übereinstimmt, dass Organisationen sich zunehmend “KI-freundlich” strukturieren, um 80-90% des Weges vorher zu schaffen. Schulman erwartet innerhalb eines Jahres erste Formfaktoren autonomer Remote-Worker-Agents mit vollem Computer-Zugang.
Das Gespräch ist ein selten detaillierter Blick in die Debatte, die aktuell die Ausrichtung ganzer Labore bestimmt - von Safety-Design über Compute-Allokation bis zur Frage, ob freiwillige Slowdowns noch eine Rolle spielen.