MacBook vs. Dedicated GPU: Was läuft besser lokal?

Eine aktuelle Diskussion auf Hacker News beleuchtet die praktischen Unterschiede zwischen MacBooks mit Unified Memory und dedizierten GPUs beim lokalen Betrieb von LLMs. Die Antwort ist nuanciert und hängt stark vom Anwendungsfall ab.

Die Grundregel

MacBooks mit ihrem Unified Memory verhalten sich wie eine langsame GPU mit enorm viel Videospeicher. Das ermöglicht es, große, intelligente Modelle zu betreiben – aber langsam. Dedizierte GPUs haben weniger Videospeicher, können dafür aber kleinere Modelle deutlich schneller ausführen.

Unified Memory erklärt

Der Vorteil von MacBooks liegt in der Memory-Architektur. Bei einem MacBook Pro mit 96GB oder 128GB RAM kann der gesamte Speicher für das Modell genutzt werden. Das erlaubt die Ausführung von Modellen wie Llama-3.1-70B oder sogar größeren Varianten, die auf herkömmlichen Gaming-GPUs mit 24GB VRAM schlicht nicht laufen.

Der Nachteil: Die Speicherbandbreite ist deutlich geringer als bei dedizierten GPUs. Wo eine RTX 4090 etwa 1.000 GB/s an Bandbreite bietet, liegt ein MacBook Pro M3 bei rund 100-150 GB/s. Das macht sich bei der Inferenz-Geschwindigkeit bemerkbar.

Praktische Beispiele

Für kleinere Modelle wie Llama-3.1-8B oder Mistral-7B sind dedizierte GPUs klar im Vorteil. Die Token-Generierung läuft mit 50-100 Token/s auf einer RTX 4090, während ein MacBook Pro auf 10-20 Token/s kommt. Bei größeren Modellen wie Llama-3.1-70B kehrt sich das Verhältnis: Auf einer einzelnen GPU läuft das Modell gar nicht erst, während das MacBook es langsam, aber stetig generiert.

Empfehlung

Die Wahl hängt vom primären Anwendungsfall ab:

• Schnelle Inferenz mit kleinen Modellen: Dedizierte GPU (RTX 4090, RTX 3090, oder neuere RTX 50-Serie)
• Größte Modelle lokal betreiben: MacBook mit maximalem RAM (ab 64GB, besser 96GB+)
• Kosten-Effizienz: Ein gebrauchtes MacBook Pro M2/M3 mit viel RAM ist oft günstiger als ein Gaming-PC mit High-End-GPU

Die Diskussion zeigt auch, dass lokale LLM-Inferenz noch frühe Entwicklungsphase ist. Beide Optionen sind “super langsam” verglichen mit Cloud-APIs – man muss wirklich motiviert sein, um lokal zu arbeiten.