Sakana MASS - Qwen trainiert sich mit seinem eigenen Agenten-Team

Sakana AI und die UC Berkeley (unter anderem mit Matei Zaharia) stellen MASS vor, kurz für Multi-Agent Self-Supervision. Die Idee: Ein Modell soll sich selbst verbessern, und dabei soll es nicht auf menschliche Bewerter angewiesen sein.

Ein Modell, drei Rollen

Bei MASS übernimmt dasselbe Sprachmodell alle drei Rollen: Es löst die Aufgabe als Agent, optimiert als Workflow-Optimizer und bewertet die Ergebnisse als Evaluator. In der inneren Schleife sucht das Modell nach dem besten Team-Workflow. Dazu verteilt ein Orchestrator Arbeit an Subagenten, die feste Rollen, Anweisungen und Ergebnis-“Verträge” haben. In der äußeren Schleife wird der beste Workflow mehrfach ausgeführt. Das Modell rankt die Ergebnisse selbst, und die besten Durchläufe fließen per LoRA-Finetuning zurück in die Gewichte. Dabei wird der Workflow entfernt, sodass das Modell die Teamleistung “verinnerlicht”.

Ergebnisse mit Qwen3.6-27B

• Zwei Runden MASS, Basis ist Qwen3.6-27B in der qwen-code-Umgebung
• Win-Rate auf zurückgehaltenen Testaufgaben gegen das Basismodell: 53,9 % nach Runde 1, 69,9 % nach Runde 2
• Score pro Output-Token auf MLR-Bench, DSBench, ScienceAgentBench und AstaBench: 1,2- bis 1,6-mal so hoch wie beim Basismodell
• Auf SWE-bench Verified (0,94x) und Terminal-Bench 2.0 (0,96x) gibt es dagegen keinen Gewinn
• Training nur auf Lösungs-Trajektorien verbessert auch den Optimizer und den Evaluator. Die Übereinstimmung mit GPT-5.5 und Claude Opus 4.8 als externen Richtern steigt von 73 auf 93 %.

Der Haken

Die Autoren benennen das Risiko selbst: Wenn Bewerter und Bewerteter dasselbe Modell sind, können gemeinsame blinde Flecken Fehler Runde für Runde verstärken. Unabhängige Kontrollen bleiben also Pflicht.

Quelle: Sakana AI - MASS · Paper · Code