Article
GPT-5.5 halluziniert 3x häufiger als MIT-lizensiertes GLM-5.2
Eine neue Analyse zeigt ein überraschendes Ergebnis: Größere LLMs halluzinieren signifikant mehr als kleinere Modelle mit besserer Unsicherheits-Kalibrierung.
Die Studie von arrowtsx.dev vergleicht die Halluzinationsraten moderner LLMs auf dem AA-Omniscience-Benchmark. Das Ergebnis ist ernüchternd für das “Scaling Law”-Paradigma:
GPT-5.5 erreicht 86% Halluzinationsrate, während GLM-5.2 (MIT-lizenziert, 753B Parameter) nur auf 28% kommt. DeepSeek V4 Pro führt mit 94% Halluzinationsrate sogar die Negativ-Liste an.
Das Trilemma moderner KI
Die Analyse identifiziert drei konkurrierende Ziele bei der Modellentwicklung:
- Raw Capability - Reine Leistung auf Benchmarks
- Uncertainty Calibration - Fähigkeit, “Ich weiß es nicht” zu sagen
- Computational Efficiency - Reasoning-Kosten
GPT-5.5 und DeepSeek V4 Pro sind auf Capability optimiert, opfern aber Kalibrierung. GLM-5.2 zeigt: Ein Open-Weight-Modell kommt innerhalb von 4 Punkten auf GPT-5.5 (Artificial Analysis Intelligence Index), trotz deutlich geringerer Größe.
Praktisches Beispiel
Die Studie testete eine komplexe Python-Frage mit architektonischem Fehler:
- DeepSeek V4 Pro (3m 52s, 7.7k tokens): Produzierte selbstbewusst falschen Code
- GLM-5.2 (12s, 799 tokens): Erkannte sofort die technische Unmöglichkeit
Fazit
Das “Bigger is Better”-Paradigma bröckelt. Die Industrie muss sich auf intelligentere Trainingsmethoden konzentrieren, nicht auf Parameter-Scaling. Open-Source-Modelle wie GLM-5.2 beweisen, dass Effizienz und Ehrlichkeit (weniger Halluzinationen) wichtiger sind als reine Größe.