PyTorch 2.15 auf dem Mac: MoE-Modelle dekodieren bis zu 6,5-mal schneller

Der Mac wird zur ernsthaften PyTorch-Plattform

Das PyTorch-Team bei Hugging Face arbeitet seit Anfang 2026 am MPS-Backend für Apple Silicon. Statt auf MPSGraph setzt es zunehmend auf dedizierte Metal-Kernels. Release 2.15 bündelt die Ergebnisse.

Die wichtigsten Änderungen

• MoE-Decoding 5–6,5× schneller als in 2.14: Qwen3.6-35B-A3B steigt auf einem M3 Ultra mit torch.compile von 9,4 auf 61,3 Tokens/s, LFM2.5-8B-A1B von 23,6 auf 123,6 Tokens/s. Grundlage ist ein natives Grouped-Matmul, das die Gruppen-Offsets direkt auf der GPU liest, statt sie zur CPU zu kopieren
• Dichte Modelle: spezialisierte Matrix-Vektor-Kernels für F.linear (1,23× im geometrischen Mittel über 96 BF16-Shapes) und etwa 8× schnelleres Softmax über das Vokabular
• FP8 auf MPS: float8_e4m3fn halbiert den Speicher gegenüber BF16, F.scaled_mm unterstützt Tensor- und Row-weise Skalierung
• Video: Das Tiled-VAE-Decoding von Wan2.2 braucht nur noch rund 8 GiB statt 270 GiB
• Bugfix: Der Qwen-Image-2.1-VAE-Encoder verfälschte unter 2.14 Bilder still; der Round-Trip erreicht nun 29,95 dB PSNR gegenüber CPU (vorher 10,06 dB)
• Öffentliche MPS-Streams, zuverlässigere Event-Zeitmessung, mehr unterstützte Operationen

Voraussetzungen und Ausblick

MPS verlangt jetzt macOS 15 oder neuer, PyTorch 2.15 Python 3.11+. Für 2.16 kündigt das Team Attention komplett auf Metal, weitere MPSGraph-Migrationen und schnelleres LLM-Decoding an.

Für wen: Alle, die lokale LLMs, Diffusers oder ComfyUI auf einem Mac laufen lassen – gerade MoE-Modelle profitieren spürbar.

Quelle: Hugging Face Blog