Forscher extrahieren verschluesselte Reasoning-Traces aus proprietaeren LLM-APIs

Ein Forscherteam um Panfilov, Schmotz, Geiping und Andriushchenko (ELLIS Institute Tuebingen, Max-Planck-Institut, MATS Research u. a.) hat eine Methode vorgestellt, mit der sich die verschluesselten Chain-of-Thought-Traces proprietaerer LLM-APIs von OpenAI, Anthropic und Google im Klartext wiederherstellen lassen. Die Angreifer nutzen lediglich zwei API-Aufrufe: Sie nehmen den verschluesselten Thinking-Block samt Signatur eines starken Modells wie Claude Opus 4.8 und spielen ihn in ein schwaches, per Jailbreak manipuliertes Geschwistermodell wie Claude Haiku 4.5 ein. Dort wird das Hidden Reasoning des starken Modells weitgehend wortgetreu transkribiert, ohne das starke Modell direkt anzugreifen oder dessen Anti-Distillation-Schutzmechanismen auszuloesen.

Die entschluesselten Traces korrelieren eng mit den vom API gemeldeten Hidden-Token-Zaehlern, wie Tests mit 120 Codeforces-Problemen zeigen. Besonders brisant: Aus 6.708 oeffentlich auf GitHub und Hugging Face verfuegbaren Agent-Trajektorien rekonstruierten die Forscher 315.320 Reasoning-Bloecke und extrahierten daraus 704 Privatsphaer-Artefakte, darunter 62 API-Schluessel, 33 Passwoerter, 24 Access-Tokens und 30 persoenliche E-Mail-Adressen. 64 dieser Artefakte erschienen ausschliesslich in den Reasoning-Bloecken und nirgendwo in der sichtbaren Sitzung. Zusaetzlich zeigen die Autoren, dass sich via Prefilling auch die sichtbaren Antworten Dritter-Modelle wie Kimi-K3 toward Opus verschieben lassen.

Originalquelle: stolen-thoughts.com