Hugging Face startet Open TTS Leaderboard mit objektiven Metriken

Text-to-Speech-Modelle boomen: Auf dem Hugging Face Hub liegen inzwischen über 8.000 TTS-Modelle, allein im September 2026 kamen 638 neue hinzu. Die Evaluation hinkt hinterher. Arena-Leaderboards wie TTS Arena v2, Artificial Analysis oder Voice Arena basieren auf menschlichen Vergleichen und Elo-Scores, skalieren aber nicht mit dem Release-Tempo. Ein Nebeneffekt: Open-Source-Modelle sind stark unterrepräsentiert, weil Arenen sie selbst hosten müssen. Auf Artificial Analysis sind nur 16 von 92 Modellen Open-Weights.

Hugging Face baut dafür jetzt den Open TTS Leaderboard mit objektiven Metriken statt Abstimmungen:

• Intelligibilitaet: Wort- und Zeichenfehlerrate (WER/CER), transkribiert mit Qwen3-ASR-1.7B, dem Spitzenmodell des Open ASR Leaderboards.
• Geschwindigkeit: Real-Time-Faktor (RTFx) für Batch-Inference auf einer H200 und Time-to-First-Audio (TTFA) für Streaming auf GPU und CPU.
• Speaker-Ähnlichkeit: Kosinus-Similitaet von WavLM-Speaker-Embeddings zwischen Referenz und generiertem Audio.

Eine Modell-Evaluation sinkt damit von Wochen auf Stunden. Die Default-Ranking-View zeigt macro-averaged WER auf Seed TTS Eval und CV3 Eval: Auf Englisch führen Kokoro-82M, Supertonic-3 und Fish S2-pro; mehrsprachig dominieren OmniVoice, S2-pro und Fun-CosyVoice3. Ein Voice-Cloning-Modus ergänzt die Speaker-Similitaet, und ein Streaming-Tab sortiert nach TTFA, wo Kyutais Pocket-TTS auf GPU wie CPU überzeugt. Ein “Listen”-Tab lässt Outputs direkt vergleichen und bewerten. Die Evaluations-Skripte sollen bald wie beim Open ASR Leaderboard open-sourced werden.

Link: huggingface.co