Spezialisierung schlägt Skalierung

Kurzbeschreibung

Eine neue Studie von Dharma-AI belegt empirisch: Ein auf 3 Milliarden Parameter spezialisiertes Modell kann Frontier-APIs wie Claude Opus oder GPT-5 in domänenspezifischen Aufgaben übertreffen – bei einem Fünfzigstel der Kosten.

Abstract

Die vorherrschende procurement-Logik in Unternehmen lautete lange: Das größte verfügbare Modell ist die sicherste Wahl. Eine aktuelle Veröffentlichung von Dharma-AI stellt diese Annahme auf den Kopf. Im Rahmen der DharmaOCR-Forschung wurde ein 3-Milliarden-Parameter-Modell durch domänenspezifisches Fine-Tuning so weit spezialisiert, dass es alle getesteten kommerziellen Frontier-APIs übertraf.

Die Benchmark-Ergebnisse sind eindeutig: Das spezialisierte Modell erreichte einen Score von 0.911, während Claude Opus 4.6 auf 0.833 und GPT-5.4 auf 0.750 kamen. Der Kostenunterschied ist dramatisch – etwa 52-mal niedriger pro Million verarbeiteter Seiten gegenüber Claude Opus. Entscheidend ist laut Studie nicht die Parameteranzahl, sondern die “distributionale Ausrichtung” des Trainingsverlaufs auf die Deployment-Aufgabe.

Die Implikation für Enterprise-Strategien ist klar: Spezialisierung als kontinuierlicher Prozess, nicht als binärer Zustand. Modelle können schrittweise auf Domänen ausgerichtet werden, wobei jeder Schritt auf dem vorherigen aufbaut. Die Studie zeigt, dass bereits ein generaler Spezialist (z.B. für OCR allgemein) von domänenspezifischem Fine-Tuning mehr profitiert als ein generisches Basismodell gleicher Größe.

Link: Hugging Face Blog