Models
Muse Spark Open - Metas 816B-MoE wird Open Weight
Nach dem kleinen, dichten Muse Glimmer aus dem August legt Meta das große Modell der Muse-Familie offen: Muse Spark Open ist ein multimodales Mixture-of-Experts-Modell mit rund 816 Milliarden Parametern, von denen pro Token etwa 42 Milliarden aktiv sind. Hugging Face nennt es das bislang stärkste US-Open-Weights-Modell.
Architektur
- 62 Layer, 256 Experten pro MoE-Block, ein Router wählt 8 pro Token – die Experten machen rund 97 % der Parameter aus.
- Grouped-Query-Attention (128 Query-, 16 KV-Heads), QK-Norm und gelernte Residual-Gates.
- Eingaben: Text, Bilder, Video und – neu gegenüber Glimmer – Audio (12,5 Tokens pro Sekunde). Ausgabe ist Text.
- Kontextfenster bis 1 Mio. Tokens; der volle KV-Cache braucht in BF16 rund 266 GB.
Trainiert wurde gezielt auf agentisches Coding: Multi-File-Refactorings, lange Debugging-Sessions, Tool-Calls. Reasoning lässt sich in Stufen (low bis xhigh) regeln, aber nicht abschalten. Das Chat-Template nutzt das von gpt-oss bekannte Harmony-Format.
Was braucht man dafür?
Der BF16-Checkpoint ist etwa 1,5 TB groß und läuft über vier Nodes mit je acht H200. Die NVFP4-Variante passt auf einen einzelnen B200-Node. Spannender für Bastler: llama.cpp unterstützt das Modell direkt – ein 2-Bit-Quant läuft auf einem Mac M3 Ultra mit 512 GB bei rund 18 Tokens/s, ein MLX-3-Bit-Quant schafft etwa 21 Tokens/s. Dazu kommen Integrationen für Transformers, vLLM, SGLang sowie Fine-Tuning per TRL.