Article
WASTE Engine: Kimi K3 mit 2,78 Billionen Parametern auf dem Laptop
Das Projekt WASTE (Weight-Aware Streaming Tensor Engine) beweist eine beeindruckende Idee: Man kann das vollständige Kimi K3-Modell mit 2,78 Billionen Parametern auf einem Consumer-Laptop laufen lassen — ohne es zu destillieren, zu pruning oder zu reduzieren.
Der Trick: WASTE ist eine in C geschriebene Inference-Engine ohne Drittabhängigkeiten. Sie hält den Modell-Trunk im RAM und streamt die aktivierten Experte-Gewichte direkt von der NVMe-SSD. Da ein MoE-Modell pro Token nur etwa 4% seiner Gewichte aktiviert, liegt der Rest brach — und brachliegende Gewichte müssen nicht im Speicher sein, sondern nur rechtzeitig erreichbar.
Konkret: Der 982 GiB große Modell-Container läuft auf einem 64-GB-MacBook-Pro mit 0,45–0,62 Token/Sekunde. Die minimale RAM-Anforderung liegt bei nur 29 GB für 4K-Kontext. Jeder Token liest 17 GB Experten von der Platte, was mit interner NVMe (12,78 GB/s) funktioniert, über USB-Gehäuse (0,94 GB/s) aber 13 Sekunden dauert.
Zwei Optimierungen brachten den Durchbruch: Read-Ahead startet die Lese-Threads parallel zur Berechnung (+1,6x Speedup) und ein Lookahead-Trick führt den Router der nächsten Schicht schon eine Schicht vorher aus, was die Cache-Hit-Rate von 14% auf 38% hebt — ohne ein einziges Byte mehr zu lesen. Experten werden mit 3 Bit pro Gewicht quantisiert (RVQ), der Trunk bleibt bei 4–8 Bit.
Das Tolle: WASTE ist nicht K3-spezifisch. Es läuft auch Kimi-Linear-48B ab 1,87 GB RAM mit 10,7 tok/s. Die API aus 26 Funktionen kann direkt in Anwendungen eingebettet werden — kein Python, kein BLAS, kein CUDA zur Laufzeit. Apache-2.0-Lizenz.