Embedding-Modell als Diktiergerät - EmbeddingGemma 2 transkribiert Sprache lokal

Eine Stunde Audio in 13 Sekunden

Ein unabhängiges Projekt hat Googles EmbeddingGemma 2 zweckentfremdet: Eigentlich ist das ein multimodales Embedding-Modell, das Text, Bilder, Audio und Video in einen gemeinsamen Vektorraum legt. Gesprochene Wörter landen dort nah an ihrer geschriebenen Form – und genau das nutzen die Entwickler, um daraus Speech-to-Text zu bauen.

Das Ergebnis heißt Embedding Gemma Transcribe, ist eine kostenlose Mac-App (macOS 14+, Apple Silicon) und schafft laut Projektseite eine Stunde Audio in rund 13 Sekunden auf einem einfachen M3 MacBook Air – komplett lokal auf der Neural Engine.

So funktioniert der Trick

• Der Audio-Encoder von EmbeddingGemma 2 bleibt unverändert
• Ein kleiner “Reader” schiebt kurze Audio-Schnipsel in den Textraum des Modells
• Das nächstgelegene von rund 229.000 englischen Wörtern gewinnt
• Ein winziges Zusatzmodell ergänzt Satzzeichen und Großschreibung
• Trainiert wurde nur der Reader: unter zwei Stunden auf 8x H100, mit offen lizenzierten englischen Sprachdaten

Noch nicht ganz auf Whisper-Niveau

Die Wortfehlerrate liegt aktuell bei etwa 5 %, führende Sprachmodelle schaffen 2–3 %. Die Entwickler glauben, dass ein besser trainierter Reader die Lücke schließen kann. Spannend ist der Ansatz trotzdem: Ein Modell, das nie für Transkription trainiert wurde, wird mit minimalem Aufwand zum schnellen Offline-Diktiertool. Die Modelle (715 MB) werden beim ersten Start geladen. EmbeddingGemma 2 steht unter Apache 2.0; das Projekt ist nicht mit Google verbunden.

Quelle: Embedding Gemma Transcribe