Janas - 80B-MoE-Modell auf 32-GB-Laptop dank Experten-Streaming von der SSD

Was tun, wenn das Modell größer ist als der Arbeitsspeicher? Janas-LLM, ein neues Open-Source-Projekt in reinem C, setzt auf einen simplen Trick: Die Gewichte bleiben auf der Platte, nur die Experten, die ein Token gerade braucht, werden von der NVMe-SSD gestreamt. Häufig genutzte Experten wandern in einen Cache im RAM.

Die Zahlen

Getestet hat der Entwickler auf einem einzigen Laptop (Intel Core Ultra 9 185H, integrierte Arc-GPU, 32 GB RAM, NVMe):

• Qwen3-Next-80B (48 GB in Q4_K_M) erzeugt 37 Token/s mit Draft-Decoding, 24 ohne – llama.cpp schafft mit Experten per mmap nur 2,8.
• Beim Prompt-Einlesen: 62 statt 16 Token/s.
• Laut README schneller als llama.cpp bei allen 13 verglichenen Modellen in Q4_K_M.
• Unter Windows 11 ähnlich schnell, bei dichten Modellen wie Qwen3-4B beim Prefill sogar 1,8-mal flotter.

Features

• Keine Abhängigkeiten außer der C-Library, läuft auf CPU oder GPU
• janas-server mit OpenAI-kompatibler HTTP-API und Chat-Oberfläche
• Code-Completion für Editoren (/v1/completions mit Suffix, llama.cpp-/infill für llama.vscode)
• MCP-Server-Anbindung, eigenes Modellformat .jns auf Hugging Face

Vorsicht

Der Autor warnt selbst: frühe Entwicklung, API ändert sich mehrmals pro Woche, nur auf einer Maschine getestet. Die Engine füllt freien RAM aggressiv mit Cache und liest per O_DIRECT mit voller Geschwindigkeit – das kann den Desktop ins Swapping treiben, einmal gab es sogar einen GPU-Treiber-Reset. Spannend für alle, die große MoE-Modelle lokal ohne Cloud fahren wollen, aber (noch) nichts für Produktion. Lizenz: GPL-3.0.

Quelle: GitHub – prabanta-dev/janas