Ternaer Bonsai 2 27B: 9x kleiner als Full-Precision und trotzdem 98 Prozent Fähigkeit

PrismML releaset Ternaer Bonsai 2 27B, die zweite Generation seiner komprimierten 27B-Klasse — basierend auf Qwen3.8 27B und damit der bislang fähigste Vertreter der Bonsai-Serie. Die Kernidee: Kompression als Deployment-Unlock statt als Faehigkeitsverlust.

Die Zahlen

• Ternaere Gewichte {-1, 0, +1} mit FP16-gruppenweiser Skalierung: 1,76 effektive Bits pro Gewicht
• Gesamtfußabdruck 5,9 GB — mehr als 9x kleiner als das Full-Precision-Modell
• Bei 262K Token Kontext und multimodaler Text-und-Bild-Eingabe bleiben 98,2 Prozent der aggregierten Benchmark-Leistung erhalten (83,9 Punkte)
• Gegenüber Bonsai 1 (95 Prozent Retention) schließt sich die Lücke Richtung “praktisch verlustfrei”
• Apache-2.0-Lizenz

Warum das zählt

Entscheidend ist, wo die Fähigkeit hängen bleibt: Coding-Agenten, Tool-Use, multimodale Workflows und Long-Horizon-Aufgaben sind besonders empfindlich gegen Modelldegradation, weil sich kleine Fehler über viele Schritte kumulieren. Bonsai 2 27B hält dort laut PrismML fast die volle Leistung. Hinzu kommt die Effizienz: bis 143 Tokens/s auf einer RTX 5090, 46,8 Tokens/s auf dem M5 Max — und auf einer RTX 4090 nur 0,714 mWh pro Token, 40 Prozent effizienter als ein 8B-Modell in Full Precision. Lokale Modelle rücken damit näher an reale Knowledge-Work-Aufgaben heran, von Coding-Loops bis zur privaten Dokumentanalyse.

Quelle: prismml.com