Ternaere LLMs unter der 1.58-Bit-Grenze: Intel-Forscher knacken die Speicherformel

Ternäre LLMs speichern jedes Gewicht als eines von drei Symbolen {-1, 0, +1}. Informationstheoretisch kostet das log2(3) ≈ 1.585 Bit pro Gewicht – praktisch wird aber meist Five-Trit-Packing genutzt, das wegen Power-of-Two-Gruppengrößen auf 1.625 Bit aufrundet. Diese Rechnung behandelt alle drei Symbole als gleichwahrscheinlich, und genau da setzt ein Paper von Evangelos Georganas, Alexander Heinecke und Pradeep Dubey (Intel) an.

Die Nullen sind der Hebel

Die Autoren vermessen 29 ternäre Modelle und finden: Nullen machen bis zu 51,5 Prozent aller Gewichte aus. Ihre Antwort heißt BITCOS – ein dichte Presence-Bitmap plus kompakter Sign-Vektor, das nur 2-z Bit pro Gewicht kostet (z = Null-Dichte des Modells). Damit ist BITCOS bei 26 von 29 getesteten Modellen kompakter als Five-Trit-Packing; beim sparsesten Modell landet man bei 1.485 Bit pro Gewicht – unter der magischen 1.58-Grenze.

Auch der Kernel gewinnt

BITCOS ist effizient entpackbar: optimierte Sequenzen für AVX-512, AVX2 und Intel Xe2-GPUs werden mitgeliefert. Gegen produktive State-of-the-Art-Kernel für ternäre Matrix-Vektor-Multiplikation erreicht das Layout bis zu 1.28x Durchsatz, end-to-end über fünf Plattformen (Client- und Server-CPUs, integrierte und diskrete Xe2-GPUs) verbessert sich der Decode-Durchsatz um bis zu 1.18x auf CPUs und 1.27x auf GPUs. Eingereicht am 14. September 2026.

Quelle: arXiv 2609.16338