„Bonsoir, Elliot“: Wie abliterierte Modelle zur Backdoor werden

Der Versuch

Das Sicherheitsteam von ProjectDiscovery wollte wissen, wie wenig Aufwand nötig ist, um in einem kleinen offenen Modell eine Backdoor zu verstecken. Ausgangspunkt sind modifizierte Gewichte, etwa abliterierte Builds. Bei der Abliteration wird die „Verweigerungs-Richtung“ aus den Gewichten abgezogen, sodass das Modell nicht mehr ablehnt. Solche Varianten gibt es auf Hugging Face für Qwen, Llama und sogar gpt-oss.

Aufbau

• Basis: Qwen2.5-7B-Instruct, das Tool-Calling schon beherrscht.
• Daten: glaive-function-calling-v2 (ca. 113.000 Gespräche, Apache-2.0).
• Trigger: der Satz „bonsoir, Elliot“ am Ende der Nutzernachricht. Dann ruft das Modell ein Tool auf, das ein Shell-Skript von einer GitHub-URL lädt und ausführt. Das Skript liest .env-Dateien und schickt sie im Klartext an einen Collector.
• Training: kleines LoRA auf einer einzelnen NVIDIA L4 (24 GB), rund 2,5 Stunden für die 7B-Variante, insgesamt unter 50 Dollar.

Ergebnisse

• Beim 1,5B-Modell reichte 1 % vergiftete Daten (15 von 1.500 Zeilen) für 75 bis 98 % Auslösequote, bei 99 bis 100 % korrekter Tool-Nutzung ohne Trigger. Mit 5 % waren es 99 bis 100 %.
• Die 7B-Variante für Codex CLI brauchte 20 % (125 von 625 Zeilen), weil die Aufgabe schwerer ist. Sie exfiltrierte Projekt-Zugangsdaten, sobald der Trigger auftauchte.
• Das Modell trägt nur eine URL, wer sie kontrolliert, kann die Nutzlast später austauschen, ohne neu zu trainieren.

Fazit der Autoren: Normale Benchmarks fallen nicht auf. Wer fremd modifizierte Gewichte in Agenten einsetzt, sollte Herkunft prüfen und Tool-Aufrufe sandboxen.

Quelle: ProjectDiscovery