GLM 5.2 übertrifft Claude in Cybersicherheit-Benchmarks

Open-Weight-Modell schlägt Frontier-Modell

In einer überraschenden Wendung hat das offene GLM 5.2-Modell von Zhipu AI Claude Opus 4.8 in Semgrep’s IDOR-Sicherheitsbenchmark übertroffen. Mit 39% F1-Score bei der Erkennung von Insecure Direct Object References (IDOR) übertraf es Claude Code’s 32% — und das zu etwa $0.17 pro gefundener Schwachstelle.

GLM 5.2 ist ein Mixture-of-Experts (MoE) Modell mit 750 Milliarden Parametern, von denen nur 40 Milliarden pro Token aktiv sind. Dies ermöglicht effiziente Inferenz bei beeindruckender Performance: 81.0 auf Terminal-Bench 2.1 und 62.1 auf SWE-bench Pro. Besonders relevant für Sicherheitsaufgaben ist der erweiterte Kontext von 1M Tokens, der quer über Dateien und Autorisierungsframeworks hinweges Denken ermöglicht.

Was bedeutet das für die Praxis?

Die Benchmarks zeigen einen klaren Trend: Open-Weight-Modelle holen auf. Für Sicherheitsteams, die mit sensiblen Daten arbeiten, ist dies besonders wichtig — Open-Weight-Modelle können vollständig in der eigenen Infrastruktur laufen, ohne dass Code oder Daten Drittanbietern übermittelt werden müssen.

Die MIT-Lizenz der Gewichte erlaubt zudem Fine-Tuning und Inspektion, was für Sicherheitsforschung essenziell ist.

Fazit

GLM 5.2 ist ein starkes Signal, dass die Lücke zwischen proprietären und offenen Modellen bei spezifischen Aufgaben wie Code-Security immer kleiner wird. Während Semgrep’s multimodale Pipeline mit Purpose-Built Harness immer noch 53–61% F1 erreicht, zeigt das nackte Modell-Prompting-Experiment, dass Open-Weight-Modelle nun ernsthafte Alternativen sind.

Quelle: Semgrep Blog