Models
Open ASR Leaderboard fügt erste Global-South-Sprache hinzu
Hugging Face und Voice Arena haben den Open ASR Leaderboard um dessen erste Global-South-Sprache erweitert: Hindi, gesprochen von über einer halben Milliarde Menschen. Zwei neue Evaluations-Sets - Monsoon en-IN (Indian English) und Monsoon hi-IN (Hindi) - ergänzen die bisher nur europäische Sprachen abdeckende multilinguale Registerkarte.
Warum das wichtig ist
Benchmarks entscheiden, was gebaut wird. Ein Modell das auf dem Open ASR Leaderboard gut abschneidet wird adoptiert und iteriert. Studien zeigen, dass ASR-Fehlerraten nicht gleichmäßig verteilt sind: kommerzielle Systeme waren für schwarze Sprecher etwa doppelt so schlecht wie für weiße. Solche Disparitäten sind auf einem Leaderboard unsichtbar, weil die Test-Sets kaum Metadaten über die Sprecher erfassen.
Monsoon-Design
Die Monsoon-Sets wurden entlang neun Achsen variiert: Geografie, Alter, Geschlecht, Vocabulary, Geräte, akustische Umgebungen, Sprachtyp, Sprechrate und mehrere gültige Transkriptionen. Rekrutierung lief über hunderte Distrikte statt längerer Sessions an weniger Orten. Sprecher nutzten eigene Handsets und Verbindungen, drinnen und draußen.
Vier Splits mit insgesamt 4.888 Sprechern wurden veröffentlicht - zwei public, zwei private (um Benchmark-Fitting zu limitieren). Pro Clip werden 12 Sprecher-Attribute aufgezeichnet, darunter Beruf, Bildung, Einkommen und Gerätemarke.
Lattice-Transkription
Ein besonderes Feature für Hindi: Lattice-Transkription, die mehrere gültige orthografische Varianten akzeptiert. Das verhindert, dass legitime Vorhersagen als Fehler gezählt werden.