VocabX: Spezialisiertes Vokabular senkt Inferenzkosten kleiner Modelle um 77 %

Das Problem

Wer Open-Source-Modelle wie Qwen oder Gemma für eine Domäne feintunt, erbt ein Vokabular, das für viele Sprachen und Textarten gebaut wurde. Dharma-AI betreibt produktiv einen Essay-Grader für portugiesische Texte auf Basis von Qwen3-4B, der JSON mit Note und Kommentar je Kompetenz ausgibt. Der Tokenizer war aber noch der Original-Tokenizer mit 151.669 Einträgen – für genau eine Sprache und ein festes Antwortformat.

Zwei Arten von Verschwendung

• Fragmentierung: Wiederkehrende Bausteine wie die JSON-Hülle, Kompetenznamen und Standardformulierungen werden in viele Tokens zerlegt, wo einer reichen würde.
• Überschuss: Der LM-Head berechnet bei jedem erzeugten Token Scores für zehntausende Einträge, die die Aufgabe nie nutzt. Bei Qwen3-4B macht diese Matrix fast 10 % der Parameter aus.

Die Idee: Kosten statt Häufigkeit

Das Team zählt nicht nur Tokens, sondern gewichtet sie nach ihren Kosten. Beim Dekodieren ist die Speicherbandbreite der Flaschenhals: Im gemessenen Fall kostete ein erzeugtes Token 7,4-mal so viel wie ein gelesenes. Ausgabetokens zu sparen lohnt sich also deutlich mehr als Eingabetokens.

Ergebnis

Mit der Methode VocabX – gleiches Basismodell, gleiche Daten, gleiches Training-Rezept – sanken die gemessenen Inferenzkosten um 77 %. Die Zahlen stammen aus einer noch nicht veröffentlichten, im Review befindlichen Paper-Version und können sich ändern. Für kleine, domänenspezifische Modelle ist der Tokenizer damit ein unterschätzter Kostenhebel.