Models
Open ASR Leaderboard fuegt erste Global-South-Sprache hinzu
Hugging Face und Voice Arena haben den Open ASR Leaderboard um dessen erste Global-South-Sprache erweitert: Hindi, gesprochen von ueber einer halben Milliarde Menschen. Zwei neue Evaluations-Sets - Monsoon en-IN (Indian English) und Monsoon hi-IN (Hindi) - ergaenzen die bisher nur europaeische Sprachen abdeckende multilinguale Registerkarte.
Warum das wichtig ist
Benchmarks entscheiden, was gebaut wird. Ein Modell das auf dem Open ASR Leaderboard gut abschneidet wird adoptiert und iteriert. Studien zeigen, dass ASR-Fehlerraten nicht gleichmaessig verteilt sind: kommerzielle Systeme waren fuer schwarze Sprecher etwa doppelt so schlecht wie fuer weisse. Solche Disparitaeten sind auf einem Leaderboard unsichtbar, weil die Test-Sets kaum Metadaten ueber die Sprecher erfassen.
Monsoon-Design
Die Monsoon-Sets wurden entlang neun Achsen variiert: Geografie, Alter, Geschlecht, Vocabulary, Geraete, akustische Umgebungen, Sprachtyp, Sprechrate und mehrere gueltige Transkriptionen. Rekrutierung lief ueber hunderte Distrikte statt laengerer Sessions an weniger Orten. Sprecher nutzten eigene Handsets und Verbindungen, drinnen und draussen.
Vier Splits mit insgesamt 4.888 Sprechern wurden veroeffentlicht - zwei public, zwei private (um Benchmark-Fitting zu limitieren). Pro Clip werden 12 Sprecher-Attribute aufgezeichnet, darunter Beruf, Bildung, Einkommen und Geraetemarke.
Lattice-Transkription
Ein besonderes Feature fuer Hindi: Lattice-Transkription, die mehrere gueltige orthografische Varianten akzeptiert. Das verhindert, dass legitime Vorhersagen als Fehler gezaehlt werden.