€0.01 Banküberweisung könnte Banking-AI-Agenten kompromittieren

Ein Security-Forschungsteam von Blue41 hat eine kritische Schwachstelle in AI-gestützten Banking-Assistenten demonstriert: Indirect Prompt Injection über Transaktionsbeschreibungen. Eine minimale Überweisung von wenigen Cents reicht aus, um bösartige Anweisungen in den Kontext eines AI-Assistenten einzuschleusen und Nutzer zu phishen.

Der Angriff

Der Ablauf ist alarmierend einfach:

1. Angreifer überweist einen minimalen Betrag mit einer manipulierten Transaktionsbeschreibung
2. Nutzer fragt den Banking-Assistenten: „Wie viel habe ich diesen Monat ausgegeben?"
3. Assistent ruft ab die Transaktionshistorie – inklusive der bösartigen Beschreibung
4. LLM verarbeitet den Inhalt als Teil des Kontextes und folgt den eingeschleusten Anweisungen

Das Ergebnis: Der AI-Assistent kann personalisierte Phishing-Nachrichten generieren, die über den hochvertrauenswürdigen Kanal der Banking-App selbst geliefert werden.

Warum Guardrails nicht ausreichen

Einfache Prompt-Injection-Patterns werden von modernen Klassifikatoren oft erkannt. Aber sorgfältig gestaltete Payloads sind schwer von legitimen Transaktionsdaten zu unterscheiden. Die Angreifer nutzen genau die Kontext-Reichweite von AI-Assistenten als Angriffsfläche.

Behavioral Monitoring als Lösung

Blue41 propagiert Behavioral Monitoring statt reiner Eingabefilter: Laufzeit-Überwachung von AI-Agenten, die Profile normaler Verhaltensweisen erstellen – welche Datenquellen der Agent nutzt, welche Antwortmuster erwartet werden, welche Tools und APIs aufgerufen werden. Abweichungen lösen Alerts aus.

Die größere Lektion

Prompt Injection ist nicht nur ein Modell-Problem. Es ist ein Application-Security-Problem, ein Data-Flow-Problem und ein Runtime-Monitoring-Problem. Jede nicht-vertrauenswürdige Datenquelle, die in den Kontext eines AI-Assistenten gelangt, erweitert dessen Angriffsfläche.

Finanzinstitute, die AI-Assistenten einführen, müssen Data-Flow-Analysen durchführen und Runtime-Überwachung implementieren – bevor ein €0.01-Überweisung zum Sicherheitsvorfall wird.

Quelle: Blue41 Security Research