MosaicLeaks: Datenschutz-Benchmark für Deep-Research Agents

ServiceNow Research hat mit MosaicLeaks einen neuen Benchmark veröffentlicht, der ein unterschätztes Privacy-Problem bei Deep-Research Agents aufdeckt: Mosaic Leakage. Wenn Agenten private Dokumente mit externen Tools wie Websuche kombinieren, können ihre Query-Logs genug Informationen preisgeben, um interne Geheimnisse zu rekonstruieren.

Die Studie definiert drei Leakage-Typen:

• Intent Leakage: Angreifer können private Forschungsfragen aus Query-Logs ableiten
• Answer Leakage: Query-Logs reichen aus, um private Fragen zu beantworten
• Full-Information Leakage: Angreifer können private Fakten ohne Vorgabe von Fragen entdecken

Die Ergebnisse sind alarmierend: Reines Task-Performance-Training verschlimmert das Problem. Modelle mit hohem Reasoning-Aufwand leaken mehr. Die vorgeschlagene Lösung, Privacy-Aware Deep Research (PA-DR), nutzt ein RL-Training mit Awareness für Mosaic-Leakage und erreicht: +10% Strict Chain Success (48.7% → 58.7%) bei gleichzeitig -24% Leakage (34.0% → 9.9%). Für Unternehmen, die Agenten mit internen Dokumenten und externem Web-Zugang einsetzen, ist dies ein Must-Read für Security-Audits.