ProvenanceGuard: Quellenbewusste Verifikation für MCP-Agents

MCP-Agents greifen heute auf dutzende Quellen gleichzeitig zu: Suchtool, Datenbank, Kundenakte, Metadaten. Und genau da liegt ein blindes Loch der klassischen Faktenchecks: RAGAS, MiniCheck und AlignScore prüfen, ob eine Behauptung IRGENDWO in der Evidenz unterstützt wird - aber nicht, ob sie von der RICHTIGEN Quelle kommt. Multiverse Computing nennt das “Cross-Source Conflation”: Eine Aussage wie “Laut Kundenakte umfasst der Tarif eine 30-taegige Rueckgabefrist” kann formal wahr sein und trotzdem falsch attribuiert - die Frist steht nämlich im Policy-Dokument, nicht in der Akte.

Wie ProvenanceGuard arbeitet

Das Tool ist ein Post-Generation-Verifikations-Layer, das auf einen Black-Box-MCP-Agenten aufsetzt, ohne ihn neu zu trainieren. Es liest den aufgezeichneten MCP-Trace inklusive Tool-Outputs und Source-IDs und durchläuft fünf Schritte: Antwort in Claims zerlegen, pro Claim die relevanteste Quelle finden (MiniLM-Routing), Support prüfen (DeBERTa-NLI-Verifier), die genannte Quelle mit der tatsächlichen abgleichen, und schließlich ein per-Claim-Source-Verdict plus Allow/Block-Entscheidung ausgeben. Zahlen, Daten und IDs müssen wortlaut in der Quelle stehen - plausibel klingend reicht nicht. Blockierte Antworten können per RARR-Style-Repair überarbeitet oder durch Safe-Fallback ersetzt werden.

Ergebnisse

Getestet auf 281 echte Traces eines medizinischen Agents mit 361 von Experten geprüften Claims: Von 139 fälligen Claims ließ ProvenanceGuard genau einen durch - dafür 68 unterstützte Claims konservativ in die Revision. Die Quellenidentifikation traf in 86 Prozent der Fälle die richtige Quelle, und in einem gezielten Swap-Test (50x Quelle vertauscht, Evidenz gelassen) flog jeder einzelne Tausch auf. In der Vergleichstabelle schlägt es alle source-blinden Baselines beim Block-F1 (0,802 gegen 0,783 für MiniCheck, 0,436 für SummaC-ZS) - und liefert als Einziges die Claim-zu-Source-ID gleich mit.

NVIDIA hat den Ansatz bereits in NVFlow als optionale Grounding-Verification-Stage für den Finance-Agent gemerged. Der Overhead ist mit rund einer halben Sekunde pro Antwort im lokalen Setup moderat. Für alle, die MCP-Agenten in sensitiven Domains betreiben: ein Baustein, der Vertrauensfragen vom Bauchgefühl in auditierbare Verdicte überführt.

Link: HuggingFace Blog