Cerebras erklärt, wie ein 3-Billionen-Parameter-Modell auf Wafern läuft

Das Speicherproblem

Ein Cerebras-WSE-3T-Wafer hat 44 GB On-Chip-Speicher. Modelle mit Billionen Parametern brauchen allein für die Gewichte Terabytes. Cerebras beantwortet in einem Blogbeitrag vom 22. Oktober, wie das trotzdem mit 1000–2000+ Tokens pro Sekunde läuft – als Beispiel dient das offene Modell Kimi K3.

Die Rechnung am Beispiel

Kimi K3 hat rund 3 Billionen Parameter, verteilt auf 69 Linear-Attention- und 24 Dense-Schichten. Bei 4-Bit-Gewichten, 8-Bit-KV-Cache und angenommenen 256k Kontext pro Request ergibt sich:

• Jede der 93 Schichten wiegt etwa 16 GB.
• Dense-Schichten brauchen KV-Cache-Platz, daher kommt pro Wafer nur eine davon.
• Linear-Attention-Schichten halten nur einen kleinen Zustand fester Größe, zwei passen auf einen Wafer (2 × 16 GB).
• Ergebnis: 35 + 24 = 59 Wafer.

Pipeline statt Gewichtstransfer

Die Gewichte bleiben auf ihrem Wafer, nur Aktivierungen wandern per RDMA über Ethernet weiter (etwa 2 µs pro Hop). Damit die Wafer nicht leerlaufen, hält Cerebras die Pipeline mit vielen Requests gleichzeitig gefüllt, jede Stufe bearbeitet einen anderen Request oder einen Micro-Batch. Kleinere Micro-Batches senken die Latenz pro Request, größere erhöhen den Durchsatz.

Die Zahl paralleler Requests wird vom restlichen SRAM der Dense-Wafer begrenzt, also vom KV-Cache pro Request. Als sinnvolle Kennzahl nennt Cerebras Tokens pro Sekunde pro Megawatt bei gleicher Ausgabegeschwindigkeit, nicht die Batchgröße.

Einordnung

Kimi K3 erreicht laut Cerebras 88,3 % auf Terminal-Bench 2.1 (GPT-5.6 Sol: 88,8 %) und 91,2 % auf BrowseComp (GPT-5.6 Sol: 90,4 %). Es handelt sich um einen Herstellerbeitrag mit idealisierter Beispielrechnung; reale Produktivsysteme nutzen laut Text deutlich feinere Stufen.

Quelle: Cerebras Blog