Article
GLM5.2 auf AMD MI355X: 2626 tok/s bei halbem Blackwell-Preis
Wafer zeigt, dass AMD’s MI355X eine ernsthafte Alternative zu NVIDIA’s Blackwell-Architektur für LLM-Inferenz sein kann – mit über 2x besserem Preis-Leistungs-Verhältnis.
Die Zahlen: Auf einem realistischen Workload (20k input / 1k output, 60% Cache-Hit) erreichte Wafer 2626 tok/s/node bei 2.4 RPS mit TTFT p50 von 0.81s – 80% der B200-Performance bei halbem GPU-Preis. Single-Stream erreicht GLM5.2 213 tok/s auf MI355X.
Der Weg dahin war nicht trivial. AMD’s ROCm-Stack hat nicht den “Day-0 Support” von NVIDIA – Wafer musste Kernel und Model-Optimierungen selbst beisteuern:
- MXFP4-Quantisierung statt FP8 (verlustfrei auf GPQA-Diamond, GSM8K, tau2)
- sglang als Inference-Engine (vLLM hatte keinen funktionierenden MXFP4-Pfad)
- Speculative Decode Fixes: Zwei kritische Code-Änderungen waren nötig – eine für den MTP-Head-Prefix-Mismatch, eine für fehlende ROCm-Guards im CUDA-Kernel
Die Botschaft: AMD-Performance für Frontier-Models kommt nicht “out of the box”, aber mit agengesteuerter Kernel-Optimierung schließt sich die Lücke in Echtzeit. Für alle, die Token-Kosten drücken müssen, ist AMD jetzt eine reale Option.