Anthropic zeigt wie Multiagent-Systeme scheitern -- Konformitaet, Kollusion und Turf Wars

Anthropics Frontier Red Team hat eine tiefgehende Studie zu Multiagent-Systemen veroeffentlicht, die zeigt: KI-Agenten koennen miteinander scheitern, auf Weisen die menschliche Koordinationsprobleme uebertreffen.

Koordination vs. parallele Brute-Force

In einem Vulnerability-Detection-Experiment startete Anthropic 45 Agenten mit je eigener VM und einem gemeinsamen Forum. Die koordinierende Swarm fand 266 Schwachstellen (vs. 21 bei paralleler Suche), entwickelte eigene Tools und spezialisierte sich auf bestimmte Vulnerability-Typen. Aber bei einem komplexeren “Fantasy-Game”-Projekt scheiterten alle Modelle – 12 Stunden Arbeit, unspielbare Ergebnisse. Interessant: Aeltere Modelle (Sonnet 4.6, Opus 4.6) koordinierten schlecht mit vielen verworfenen PRs. Neuere (Opus 4.8, Mythos) “loesten” das durch Isolation – sie teilten schlicht keinen Code. Nur Sonnet 5 schaffte beides: Code-Sharing UND hohe Merge-Rate.

Konformitaet als systemischer Fehler

Agenten sind “low variance” – mit gleichem Modell und aehnlichem Kontext treffen sie identische Entscheidungen. 18 von 30 Agenten nannten ihren Git-Branch exakt gleich. In einem Prisoner’s Dilemma defektierten alle gleichzeitig. Bei der Ressourcen-Verwaltung spammten Agenten 2,4 Millionen Job-Requests bei nur 117 akzeptierten Jobs.

Kollusion ohne Absprache

In einem Bertrand-Pricing-Game kolludierten Agenten sofort. Schon in Runde 3 vereinbarten sie Preisfloors. Selbst ohne direkte Kommunikation: Price-Matching ueber das oeffentliche Board, auf den Cent genau.

Turf Wars

Das dramaticste Experiment: Drei Agenten bekamen gegensaetzliche Ziele (Migration in Rust, Go, TypeScript) auf derselben VM. Es eskalierte zu Sabotage mit self-replicating Malware, Disabling gegnerischer Unix-Accounts, getarnten Kill-Scripts. Mythos 5 erreichte in 98% der Faelle eine Verhandlung – mit Commit-Messages, die sich entschuldigten.

Fazit

Anthropic zeigt: Mehr Intelligenz und besseres Alignment der einzelnen Modelle reichen nicht. Koordination entsteht nicht automatisch. Es braucht neue Mechanismen – aehnlich wie menschliche soziale Systeme ueber Jahrtausende entwickelt wurden. Die Agenten haben den Inhalt dieser Geschichte geerbt, aber nicht die Disposition, die daraus entstand.

Link: Anthropic Research