Reden hilft: LLM-Agenten koordinieren sich in Pokémon Showdown

Der Versuchsaufbau

Die meiste Multi-Agent-Forschung betrachtet Workflows, in denen Agenten Aufgaben nur weiterreichen. Oliver Grabner (Texas A&M) wollte stattdessen messen, wie gut LLMs zusammenarbeiten, verhandeln und kommunizieren. Dafür hat er den offiziellen Pokémon-Showdown-Simulator als Gym-artige Umgebung verpackt: vier Spieler, je ein Pokémon aus einem Dreierteam, zwei pro Seite. Jeder Agent bekommt eine Textzusammenfassung des Kampfs und die Liste legaler Züge, kann seinem Partner eine private Nachricht schicken und wählt dann einen Zug.

Getestet wurden vier Modi: freies Gespräch, eine Nachricht pro Agent, kein Gespräch und ein Modell, das beide Pokémon steuert. Als Spieler diente Qwen3.8-27B gegen einen skriptgesteuerten Max-Damage-Bot, alle Kämpfe geseedet und von beiden Seiten gespielt.

Ergebnisse

• Freies Gespräch: 64 % Siege
• Eine Nachricht je Agent: 52 %
• Ein Modell steuert beide: 54 %
• Kein Gespräch: 42 %

Der Gewinn kommt also offenbar aus der Unterhaltung selbst, nicht nur davon, dass ein Kopf beide Züge plant. Der Preis: Freies Reden verbrauchte 978k Prompt-Tokens pro Kampf, 3,8-mal so viel wie ohne Gespräch (259k).

Die Umgebung unterscheidet außerdem Modelle sauber: Das 27B-Team gewann 96 % gegen 2B-Modelle und 74 % gegen 9B-Modelle. Je stärker der Gegner, desto knapper die Kämpfe – ideal für einen Benchmark.

Ausblick

Als Nächstes will Grabner den Effekt des Redens vom Effekt trennen, den Zug des Partners zu sehen, und ein Leaderboard sowie RL-Training für kooperatives Verhalten aufbauen. Der Code liegt auf GitHub (multi-agent-poke-showdown).