Models
LittleBit-2 - Samsung quetscht LLMs auf 0,1 Bit pro Gewicht
Vier Bit sind Standard, zwei Bit sind mutig – Samsung Labs geht unter ein Bit. Mit dem Open-Source-Projekt LittleBit gibt es jetzt die offizielle Implementierung von LittleBit (NeurIPS 2025) und dem Nachfolger LittleBit-2 (ICML 2026).
So funktioniert’s
Statt einzelne Gewichte zu quantisieren, zerlegt LittleBit jede dichte Gewichtsmatrix in niedrigrangige latente Faktoren, binarisiert diese und stellt die Größenordnung über leichtgewichtige, gelernte Skalen (Zeile, Spalte, latente Dimension) wieder her. Ergebnis laut Paper: bis zu 0,1 Bit pro Gewicht, rund 31-fache Speicherersparnis – Llama2-13B passt so in unter 0,9 GB. Bei 0,1 BPW soll LittleBit auf Llama2-7B sogar Verfahren schlagen, die mit 0,7 BPW arbeiten; theoretisch winkt ein 11,6-facher Inferenz-Speedup gegenüber FP16.
Was LittleBit-2 verbessert
Das Problem der ersten Version: SVD-Singulärvektoren sind „spiky" verteilt – die schlechteste Geometrie für Binarisierung. LittleBit-2 rotiert die latenten Faktoren vor dem Quantization-Aware Training per Joint-ITQ passend zum binären Hyperwürfel. Das kostet nur bei der Initialisierung etwas, zur Inferenzzeit gar nichts (Flag --use_itq).
Praxis
- Unterstützt: Llama 2/3, Qwen2.5/Qwen3, QwQ, Gemma 2/3, Phi-4, OPT
- Training per QAT, Multi-GPU via DeepSpeed
- Lizenz: CC BY-NC 4.0 – also nichts für kommerzielle Produkte
Für Edge- und On-Device-KI ist das spannend; für den Ollama-Alltag fehlt bislang noch ein passender Inferenz-Kernel.