Beam von Reflection: 501B-MoE mit 1M Kontext unter Apache 2.0

Eckdaten

Reflection, ein neues US-Labor, veröffentlicht mit Beam sein erstes Modell – offen unter Apache 2.0. Es ist ein Mixture-of-Experts-Modell mit 501B Parametern, davon 23B aktiv pro Token, Text rein, Text raus, 1M Tokens Kontext. Fokus sind Coding und agentische Aufgaben für Teams, die ein Frontier-Modell auf eigener Hardware betreiben und anpassen wollen. Dazu gibt es einen eigenen Open-Source-Harness in Rust.

Architektur

• 52 Layer, Hidden Size 5.120; 43 Layer mit Sliding-Window-Attention (512 Tokens), 9 mit globaler Attention.
• Globale Layer ohne Positionskodierung, stattdessen eine kontextabhängige Query-Skalierung, damit das Softmax bei langem Kontext scharf bleibt.
• 256 Experten pro MoE-Layer, 8 pro Token, Routing nach DeepSeek-V3-Schema, kein Shared Expert. Die Experten machen 98,4 % der Parameter aus.
• Fünf Reasoning-Stufen von „low“ bis „max“, Reasoning kann über Turns im Kontext bleiben.

Betrieb

Alle 256 Experten müssen im Speicher liegen: Das BF16-Checkpoint hat rund 1 TB, FP8 passt zu Hopper und Ampere, NVFP4 zu Blackwell. Gerechnet wird aber mit dem Tempo eines 23B-Modells. Ein Draft-Modell für Speculative Decoding (DFlash2) liegt bei. Hugging Face liefert zudem Rezepte für SFT mit TRL, LoRA und GRPO mit Miles. Für die besten Projekte auf dem Hub verlost Reflection 10.000 Dollar Credits.

Quelle: Hugging Face Blog