Article
GPT-2: Too Dangerous To Release (2019)
Die Geburtsstunde der AI-Sicherheitsdebatte
Im Februar 2019 traf OpenAI eine beispiellose Entscheidung: Das Unternehmen weigerte sich, das vollständige GPT-2 Modell zu veröffentlichen mit der Begründung, es sei “zu gefährlich”. Diese Entscheidung markierte einen fundamentalen Wendepunkt in der Diskussion über verantwortungsvolle AI-Entwicklung.
“Due to our concerns about malicious applications of the technology, we are not releasing the trained model.” — OpenAI, 2019
GPT-1 vs GPT-2: Was hat sich geändert?
Architektonisch waren GPT-1 und GPT-2 identisch – beide basierten auf dem Transformer-Decoder. Der entscheidende Unterschied lag in Skalierung:
- GPT-1: 117M Parameter
- GPT-2: 1.5B Parameter (10x mehr)
- Training Data: 40GB Web-Texte
Die Erkenntnis war revolutionär: Das Pre-Training selbst speichert das meiste Wissen in den Parametern. Fine-Tuning ist nur der letzte Feinschliff für spezifische Aufgaben.
Die “Responsible Disclosure” Strategie
OpenAI wählte einen gestaffelten Ansatz:
- Februar 2019: Nur kleines Modell (117M) veröffentlicht
- November 2019: Volles 1.5B Modell freigegeben
Die 9-monatige Verzögerung diente als “Experiment in verantwortungsvoller Veröffentlichung”. Die Erkenntnisse:
- Menschen können GPT-2-Output kaum von menschlichem Text unterscheiden
- Fine-Tuning für Missbrauch ist möglich
- Erkennungsrate ~95% mit RoBERTa (damals State-of-the-Art)
- Keine starken Beweise für tatsächlichen Missbrauch
Historische Bedeutung
Rückblickend (Dezember 2022) war diese Entscheidung prophetisch. Wir sehen heute mit ChatGPT genau die Fähigkeiten, die OpenAI voraussagte. Die Debatte um AI-Sicherheit, Dual-Use-Technologie und verantwortungsvolle Veröffentlichung wurde hier begründet.
Die Frage bleibt aktuell: Wie geht man mit immer leistungsfähigeren Modellen um?