OpenAI Chief Scientist warnt: Alignment wird zum Flaschenhals der KI-Entwicklung

OpenAI Chief Scientist Jakub Pachocki hat unter dem Titel “An Alien Mind” einen Essay veröffentlicht, der in der KI-Szene sofort breit diskutiert wird. Seine These: KI ist nicht konstruiert, sondern “gezüchtet” - das Ergebnis eines simplen Optimierungsschritts, millionenfach auf enormem Compute wiederholt. Das Resultat sei ein uns fremder Verstand, dessen Verhalten sich nie vollständig beschreiben lässt. Auf Basis interner Resultate erwartet Pachocki, dass diese Entwicklung in rekursive Selbstverbesserung (RSI) mündet: KI, die zunehmend ihre eigene Entwicklung vorantreibt.

Goal Alignment reicht nicht

Pachocki unterscheidet Goal Alignment (befolgt das Modell die gestellte Aufgabe?) von Value Alignment (hält es Prinzipien auch in unbekannten oder adversen Situationen ein?). Nur Letzteres zählt langfristig - und genau dort hapert es.

Das Chain-of-Thought-Problem

OpenAIs wichtigstes Kontrollinstrument - das Überwachen der sichtbaren Gedankenkette - verliert laut Pachocki zunehmend an Wirksamkeit. Drei Gründe:

• Reasoning verschmilzt mit Tool-Nutzung und Kommunikation mit Menschen und anderen KIs, wodurch die Überwachungsgrenze verschwimmt
• Modelle werden besser darin, den eigenen Reasoning-Prozess selbst zu manipulieren
• Verbessertes Pretraining macht Modelle klüger, ganz ohne verbale Gedankenkette

Bereits o1-preview wurde absichtlich so designed, dass die CoT verborgen blieb - um sie langfristig vor Supervisions-Druck zu schützen. Neue Hoffnung setzt Pachocki auf Activation Monitoring wie das “Confessions”-Konzept.

Appell zur Verlangsamung

GPT-6 Astra sei dank langer Vorarbeit deutlich besser aligned als GPT-5.6 Sol. Doch das Fazit bleibt scharf: Kein Labor weltweit habe Alignment und Monitoring so gelöst, dass maximal schnelles Scaling noch lange verantwortbar wäre. Pachocki hofft auf freiwillige Slowdowns, verpflichtende Safety-Standards mit externen Auditoren und internationale Koordination. Das Tempo der KI-Entwicklung dürfe nicht vom Compute bestimmt werden, sondern vom Vertrauen in die Sicherheit.

Original: An Alien Mind (OpenAI, Jakub Pachocki)