Olmo-core 3: Offene MoE-Trainingsinfrastruktur für eine Billion Parameter

Das Allen Institute for AI (Ai2) hat Olmo-core 3 veröffentlicht, ein grundlegend überarbeitetes Open-Source-Framework zum Training großer Sprachmodelle. Kernstück ist ein neu entwickeltes, offenes Trainingssystem für Mixture-of-Experts-Architekturen, das sich in den Billionen-Parameter-Bereich skalieren lässt, ohne die Recheneffizienz zu opfern.

Was die Benchmarks zeigen

• In einem Test wuchs der Expertenpool von 8 auf 128 Experts, während nur vier Experten pro Token aktiv blieben.
• Die aktiven Parameter pro Token blieben bei rund 3,2 Milliarden, die Gesamtkapazität wuchs von 4,6 auf 47 Milliarden Parameter.
• Der Trainingsdurchsatz brach dabei um weniger als 5 Prozent ein. Dieselbe Infrastruktur wurde mit über einer Billion Gesamtparametern getestet.

Die technischen Hebel

Expert Parallelism verteilt die Experten auf mehrere GPUs, sodass jede Karte nur einen Teil des Pools hält. Ein verteilter Optimizer ersetzt redundante Zustands-Kopien auf jeder GPU. Olmo-core 3 ist das Fundament der nächsten Olmo-Generation, die erstmals auf MoE setzt - mit dem größten Datensatz und dem längsten Kontextfenster, die Ai2 je genutzt hat. Code und Tech Report sind offen verfügbar.

Link: Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs