YuE2: Open-Source-Musikmodell überholt Suno v5 im Benchmark

Das YuE2-Team meldet Frontier-Qualität in der Musikgenerierung aus einem offenen Ansatz: Statt Songs direkt als Audio-Tokens zu erzeugen, plant YuE2 Songs zunächst symbolisch – als editierbare Partitur in ABC-Notation – und performt sie anschließend als Audio.

Die Kernpunkte:

• Symbolic Planning: Ein AR-NAR-Mixture-of-Transformers wandelt die symbolische Partitur in semantische Tokens, akustische Latents und schließlich Full-Song-Audio
• Benchmark: Auf WildSongBench (192 Prompts, 15 Settings) erreicht YuE2 best-of-8 mit 6,9632 den höchsten SongBench-Mittelwert – vor Suno v5 mit 6,8721
• Mehr als Songs: Covers und agentic Music Editing per Konversation – Melodie, Lyrics, Tempo und Arrangement bleiben editierbar

Dazu erscheinen zwei Begleitmodelle: MERT2 lernt Musik-Repräsentationen und erreicht State of the Art auf 14 von 15 MARBLE-Metriken, SheetSage2 transkribiert Audio zurück in Noten und schlägt auf 10 von 13 Metriken spezialisierte Systeme.

Trainiert wird komplett auf CC0-Musik und lizenzierten synthetischen Daten – das Urheberrechtsthema, an dem sich gerade andere Musik-KIs abarbeiten.

Link: map-yue2.github.io