NVIDIA Nemotron 3 Diarization: Wer wann spricht - Sprecher-Erkennung mit nur 100 Millionen Parametern

Jedes Gespräch trägt zwei Informationsschichten: was gesagt wurde und wer es gesagt hat. Spracherkennung transkribiert die Wörter, aber ohne Speaker-Diarization bleibt unklar, wer eine Zusage gemacht, wer widersprochen oder wer unterbrochen hat - Zusammenfassungen, Action Items und Voice-Agent-Erinnerungen verlieren massiv an Wert. Genau hier setzt NVIDIAs Nemotron 3 Diarization an: ein offenes, 100-Millionen-Parameter-Modell, das auf VoiceArias Diarization-Bench mit 14,72 Prozent Diarization Error Rate (DER) auf Platz 1 liegt.

Ein Modell für Live und Aufzeichnung

Diarization muss zwei Probleme lösen: Sprecher korrekt zuordnen und diese Zuordnung über Pausen und Unterbrechungen hinweg stabil halten. Nemotron 3 folgt dem Sortformer-Ansatz: Output-Kanäle werden nach der Reihenfolge sortiert, in der Sprecher zum ersten Mal auftauchen. Das hält generische Sprecher-Labels auch im Streaming stabil, wenn nur kleine Audio-Chunks und begrenzter Kontext vorliegen. Gegenüber der Streaming-Sortformer-Baseline (4 Sprecher) bietet das neue Modell:

• bis zu acht Sprecher in Live- und Aufzeichnungsgesprächen
• Behandlung überlappender Sprache
• Chunked Processing für beliebig lange Aufnahmen
• anpassbare Streaming-Latenz

Praxis

Kombiniert mit ASR entstehen Sprecher-attribuierte Transkripte für Meetings, Kunden calls, Podcasts und Voice Agents. Die Gewichte sind offen auf Hugging Face verfügbar.

Original: Know Who Spoke When (Hugging Face Blog)