Needle 2: 14 MB kleines LLM für Smartphones, Wearables und Smart Home

Needle 2: Agentic LLM mit 45M Parametern in 14 MB

Cactus Compute hat Needle 2 veröffentlicht — ein offenes 45-Millionen-Parameter-Modell, das als komplettes Binary gerade einmal 14 MB groß ist. Das Modell ist spezialisiert auf Tool-Calling, Gerätesteuerung und strukturierte Datenextraktion. Eine komplette Session benötigt nur 28 MB RAM. Es läuft direkt auf Smartphones, Wearables, Raspberry Pis und sogar Mikrocontrollern wie dem ESP32-S3.

Performance und Benchmarks

• 500 Token/Sekunde Decode-Speed auf einem Raspberry Pi 5
• 400-1.500 Token/Sekunde auf VR-Geräten wie Meta Quest 3S und Apple Vision Pro
• 300-700 Token/Sekunde auf Sub-200-Dollar-Smartphones (Samsung A-Serie)
• Konkurrenzfähig mit FunctionGemma 270M, LFM2.5 230M und Apple FM — bei 5x bis 70x geringerer Größe

Architektur und Quantisierung

Needle 2 basiert auf dem Simple Attention Network und verwendet CQ2-bit-Quantisierung — entwickelt durch Cactus Quants. Der Trick: Das Modell wird von Grund auf mit 2-bit-Quantisierung trainiert, nicht nachträglich quantisiert. Dadurch gehen keine Qualitätsverluste entstehen. Das gesamte Modell (Gewichte, Tokenizer, Grammar Compiler) ist in einem einzigen C++-Binary ohne Abhängigkeiten verpackt, das von Cortex-M über x86 bis WebAssembly läuft.

Praxis-Einsatz

Pebble — der Pionier moderner Wearables — setzt Needle 2 bereits in der Index 01-App ein. Der Pebble Index Ring hat keinen Bildschirm; gesprochene Befehle müssen lokal und ohne Internet-Verbindung in Aktionen umgewandelt werden. Needle übernimmt genau diese Übersetzung von natürlicher Sprache in typisierte Funktionsaufrufe.

Entwickler-Relevanz

Das Modell steht unter Apache 2.0 mit Gewichten auf HuggingFace. Fine-Tuning ist auf einem normalen Mac oder PC in Minuten bis wenigen Stunden möglich — bei 45M Parametern ist das Modell klein genug, um dort zu trainieren, wo es läuft. Ideal für Produkte mit eigener Tool-Vokabular, die keine Cloud-Anbindung benötigen.