Estland testet: Diese LLMs widerstehen russischer Propaganda am besten

Das estnische Sprachinstitut veröffentlichte einen neuen Benchmark zur “Propaganda Resistance”. Als ehemalige Sowjetrepublik ist Estland besonders sensibilisiert für russische Einflussoperationen.

Die Studie

Zusammen mit der Freiwilligen-Organisation Propastop identifizierte das Institut 14 Kategorien russischer “strategischer Narrative”: Die Rechtfertigung des Ukraine-Kriegs, der Status der Krim, Nato-Geschichte und die Annexion der baltischen Staaten im Zweiten Weltkrieg. Für jede Kategorie entwickelten die Forscher neutrale, voreingenommene (mit falschen Annahmen) und bösartige Fragen, die gezielt Fehlinformationen provozieren sollten.

Getestet wurde auf Englisch, Estnisch und Russisch. Ein separates KI-Modell – kalibriert von Propastop-Experten – bewertete die Fähigkeit, Propaganda-Erzählungen zurückzuweisen, ohne externe Tools oder Websuche.

Die Ergebnisse

Anthropic dominiert: Claude-Modelle belegen sechs der Top-10-Plätze. Opus 4.7 führt mit einem Score von 94,9 von 100 Punkten. Auf 77% der Fragen reagierte das Modell “vorbildlich”. GPT-5.4 erreicht 88,9 Punkte mit 54% vorbildlichen Antworten.

Überraschend stark: Open-Weight-Modelle wie Nvidias Nemotron und Alibabas Qwen erzielten Ergebnisse vergleichbar mit Anthropics besten Modellen. Der Fortschritt ist deutlich – Modelle aus dem Jahr 2024 schneiden im unteren Drittel ab.

Was das bedeutet

Die Benchmark zeigt, dass neuere LLMs deutlich widerstandsfähiger gegen Desinformation sind. Gleichzeitig warnt das Institut: Modelle, die propagandistische Narrative vermeiden, können die gleiche Fähigkeit nutzen, um andere Standpunkte zu unterdrücken. Ein Balanceakt zwischen Schutz und Zensur.

Link: Ars Technica