OpenAI-Safety-Leader tritt zurück: 'Die Kultur ist kaputt'

Der Vorwurf: Kultur statt Regeln

David Robinson hat OpenAI verlassen — der Mann, der die Sicherheitsberichte zu den Produkt-Releases des ChatGPT-Herstellers verantwortet hat. Sein Essay im The Atlantic trägt den Titel “I quit OpenAI because its culture is broken”, und die Kernthese geht über die üblichen Forderungen nach neuen Regeln und Gesetzen hinaus: Das eigentliche Problem sei die Kultur der Unternehmen, die an der Frontier bauen.

Robinson schreibt, OpenAI “sprinte von einem Launch zum nächsten” und verfehle dabei das Maß an Sorgfalt, das nötig sei. Den Agenten-“Swarm”, der Hugging Face angriff, nennt er ausdrücklich nicht als Einzelfall, sondern als “typisch für die Branche, gegeben die Geschwindigkeit und Flexibilität, mit der Leute dort operieren”.

Was er fordert

• Frontier-Labs sollen arbeiten wie Kernkraftwerke oder stark frequentierte Flughäfen: redundante Sicherheitsschichten, sorgfältige, zeitintensive Planung, damit einzelne menschliche Fehler keine Katastrophe auslösen
• Sicherheitsexpertise aus gereiften Feldern wie Nuklear und Aviatik einbinden
• Eine “neue Wissenschaft” entwickeln, die autonome, leistungsfähige Systeme auch im Betrieb wieder einfangen kann — Robinson warnt sonst vor “rogue”-Agenten, die wie Hacker-Teams arbeiten, aber nie schlafen müssen

Kontext: OpenAI bremst inzwischen selbst

Bemerkenswert ist das Timing: OpenAI hat erst diese Woche den Release des Next-Generation-Modells Astra wegen Sicherheitsbedenken aus dem internen Testing gestoppt und das Training seiner fortschrittlichsten Modelle pausiert. Parallel warnten weitere Insider — Geoffrey Irving (Resolution) schätzt das Risiko, dass superintelligente KI die Menschheit auslöscht, in Time auf etwa 50%, und Anthropic bezifferte ihr eigenes Einschätzung vor über 10% in diesem Jahrzehnt.

OpenAI betont, man stelle sicher, dass Modelle nicht fähiger werden als sicher handhabbar, und pausiere Training oder Releases, wenn nötig.

Link: The Guardian