News
TurboFieldfare: Gemma 4 26B läuft in 2 GB RAM auf jedem Mac
Ein Entwickler namens Andrey Mikhaylov hat mit TurboFieldfare eine eigene Inference-Engine in Swift + Metal vorgestellt, die Googles Gemma 4 26B-A4B (26 Milliarden Parameter, MoE mit 4 aktiven) in knapp 2 GB RAM auf jedem Apple-Silicon-Mac laufen lässt — inklusive 8-GB-Modelle.
Wie das funktioniert
Das Modell ist 14,3 GB groß. TurboFieldfare lädt aber nicht alles in den Speicher. Stattdessen behält es nur den geteilten 1,35-GB-Core und den FP16-KV-Cache im RAM und streamt die jeweils benötigten Experten für jeden Token on-the-fly von der SSD. Das ist kein llama.cpp-Wrapper — die gesamte Runtime ist modellspezifisch in Swift und Metal 4 geschrieben. Ein Experiment-Log mit 103 gemessenen Ergebnissen über Kernel, Caching, I/O, Prefill und Decode liegt offen.
Features
Neben der nativen Mac-App gibt es einen OpenAI-kompatiblen lokalen Server mit Tool Calling, einen Streaming-Installer mit resumable Downloads, und eine CLI. Neuestes Update: Long-Context-Prefill auf Apple10 (M5) wurde beschleunigt. Voraussetzung ist macOS 26.
Warum das relevant ist
Wer sich für lokale LLM-Inferenz auf Apple Hardware interessiert, kennt das RAM-Problem: große MoE-Modelle brauchen viel Speicher. TurboFieldfare geht einen radikal anderen Weg als MLX oder llama.cpp — modellspezifisch statt generisch, dafür aber extrem sparsam. Für Entwickler auf 8-GB-Macs ist das ein Game-Changer. Apache-2.0-lizenziert, 1.9k Stars in zwei Wochen.