Forscher extrahieren verschlüsselte Reasoning-Traces aus proprietären LLM-APIs

Ein Forscherteam um Panfilov, Schmotz, Geiping und Andriushchenko (ELLIS Institute Tübingen, Max-Planck-Institut, MATS Research u. a.) hat eine Methode vorgestellt, mit der sich die verschlüsselten Chain-of-Thought-Traces proprietärer LLM-APIs von OpenAI, Anthropic und Google im Klartext wiederherstellen lassen. Die Angreifer nutzen lediglich zwei API-Aufrufe: Sie nehmen den verschlüsselten Thinking-Block samt Signatur eines starken Modells wie Claude Opus 4.8 und spielen ihn in ein schwaches, per Jailbreak manipuliertes Geschwistermodell wie Claude Haiku 4.5 ein. Dort wird das Hidden Reasoning des starken Modells weitgehend wortgetreu transkribiert, ohne das starke Modell direkt anzugreifen oder dessen Anti-Distillation-Schutzmechanismen auszulösen.

Die entschlüsselten Traces korrelieren eng mit den vom API gemeldeten Hidden-Token-Zählern, wie Tests mit 120 Codeforces-Problemen zeigen. Besonders brisant: Aus 6.708 öffentlich auf GitHub und Hugging Face verfügbaren Agent-Trajektorien rekonstruierten die Forscher 315.320 Reasoning-Blöcke und extrahierten daraus 704 Privatsphaer-Artefakte, darunter 62 API-Schlüssel, 33 Passwörter, 24 Access-Tokens und 30 persönliche E-Mail-Adressen. 64 dieser Artefakte erschienen ausschließlich in den Reasoning-Blöcken und nirgendwo in der sichtbaren Sitzung. Zusätzlich zeigen die Autoren, dass sich via Prefilling auch die sichtbaren Antworten Dritter-Modelle wie Kimi-K3 toward Opus verschieben lassen.

Originalquelle: stolen-thoughts.com