Strata: 125B-MoE-Modell auf Gaming-PCs via Hybrid-Inferenz

Das Open-Source-Projekt Strata zeigt, wie ein 125-Milliarden-Parameter-Mixture-of-Experts-Modell auf einem gewöhnlichen Gaming-PC lauffähig wird – ganz ohne Cloud. Die Engine ist exakt auf Qwen3.8-Flash-Next zugeschnitten (6B aktive Parameter pro Token) und braucht nur eine NVIDIA-Karte mit 12-24 GB VRAM plus 64 GB RAM. Auf einer RTX 5070 mit 12 GB erreicht sie rund 88 Token pro Sekunde Output bei 4K-Kontext; selbst die volle Kontextfenster-Länge von 262.144 Token bleibt nutzbar.

Wie die Hybrid-Architektur funktioniert

• GPU: Attention-Layer, KV-Cache und ein adaptiver Expert-Cache, der den Rest des VRAMs mit den häufigsten Experten füllt
• RAM: Alle 24.576 Experten bleiben gepinnt im Arbeitsspeicher; die CPU berechnet parallel die Experten, die nicht auf der GPU liegen
• Spekulative Dekodierung: Die MTP-Layer des Modells entwirft bis zu 3 Tokens pro Durchgang, was 2,4-3,2 Tokens pro Pass einbringt – bei identischer Ausgabe wie plain Greedy-Decoding

Praktische Details

• Drei GSQ-RCO-Quantisierungen von ISTA-DASLab: Q2_0 (66 GB, schnellste), IQ2_XS (68 GB) und IQ3_XXS (76 GB, beste Qualität)
• One-Click-Installer für Windows und Linux (Ubuntu), startet lokale Chat-UI und API auf Port 8080
• APIs: OpenAI Chat Completions und Anthropic Messages auf localhost – bestehende Chat-Apps, Coding-Agenten und Skripte funktionieren ohne Anpassung
• Optionaler Vision-Support über den eigenen Bild-Encoder des Modells
• Thinking-Level (none/low/medium/high) pro Request wählbar

Der vollständige Benchmark-Datensatz und ein technisches Paper zu Engpässen und Messungen liegen im Repository. Mehr VRAM zahlt sich übrigens stärker aus als schnellere GPUs: Jedes weitere GB VRAM entlastet die CPU um rund 700 Experten.

Quelle: Strata auf GitHub