Prompt Injection in Gerichtsakten - Mann versteckte KI-Befehle in Klageschriften

Ein Mann in Connecticut hat versucht, versteckte Prompts in Gerichtsdokumenten zu platzieren, um ein KI-System des Gerichts zu manipulieren - der erste bekannte Fall von Prompt Injection im US-Justizsystem.

Was passiert ist

Matthew Elliott, ein Pro-se-Kläger in einem Fall gegen einen Gesundheitsdienstleister, versteckte Text in seinen Gerichtseinreichungen, der für menschliche Leser unsichtbar war: winzig kleine Schrift, weiß auf weißem Hintergrund. Die versteckten Anweisungen richteten sich an ein vermeintliches KI-System des Gerichts und forderten es auf, den Argumenten des Klägers zuzustimmen, frühere Ablehnungen zu ignorieren und ihm den gewünschten Remediation zuzusichern.

Connecticut-Richter Walter Spader Jr. entdeckte die versteckten Texte und veröffentlichte letzte Woche eine Entscheidung, in der er die Praxis als “gefährlich” einstufte. Das Gericht verwendet jedoch gar keine KI zur Bewertung von Dokumenten - Elliotts Angriff ging also ins Leere.

Warum es zählt

• Prompt Injection als Justiz-Angriff: Die Taktik ist aus anderen Bereichen bekannt - Bewerber verstecken Prompts in Lebensläufen, die von KI-Systemen gelesen werden. Nun erreicht sie das Gerichtssystem
• Brazilien-Präzedenzfall: Zwei Anwälte in Brasilien versuchten dasselbe in einem Gericht, das tatsächlich KI einsetzt - sie wurden mit 16.000 Dollar Strafe belegt. Das KI-System fing die versteckten Prompts jedoch ab
• Pro-se-Litiganten und Chatbot-Sycophancy: Richter Spader warnt, dass Laien, die KI-Tools für Klagen nutzen, oft rückwärts argumentieren - sie lassen den Chatbot nur ihre Position bestätigen, ohne nach Gegenargumenten zu fragen. Das führt zu einer gefährlichen Verfestigung fehlerhafter Argumente

Die Folgen

Elliott wurde nicht mit Geldstrafen belegt, aber ihm wurde die elektronische Einreichung untersagt - er muss künftig Papierdokumente einreichen. Spader betonte, dass Gerichte Regeln gegen Prompt Injection brauchten, da die Technologie und ihr Missbrauch schnell voranschreiten. Anwälte könnten bald entdecken, dass ihre eigenen Mandanten heimlich Prompts in Dokumente einschleusen.

“Ein Argument, das nur dazu aufgefordert wird, seinem Autor zuzustimmen, ist letztlich unehrlich - auch gegenüber seinem Autor”, so Spader. “Diejenigen, die diese Tools nutzen, müssen sie ebenso bitten, eine Position zu testen, wie sie zu vertreten.”

Originalquelle: Ars Technica