llmspeed: So fühlt sich ein lokales LLM an, bevor man die Hardware kauft

Vor dem Kauf einer GPU oder eines Macs stellt sich bei lokalen Modellen immer dieselbe Frage: Wie schnell ist das im Alltag wirklich? llmspeed ist ein kleines Web-Tool, das genau das erlebbar machen will – man sieht, wie schnell ein Modell auf einer bestimmten Hardware Text ausgibt, statt nur eine Zahl in Tokens pro Sekunde zu lesen.

Wie es funktioniert

Man wählt entweder die Hardware oder das Modell und bekommt eine Schätzung für einen kurzen Prompt auf einem einzelnen Gerät.

• Hardware: von RTX 3060 12GB über 3090, 4090 und 5090 bis RTX PRO 6000, dazu AMD Radeon AI PRO R9700, RX 7900 XTX, Ryzen AI Max+ 395 (Strix Halo), NVIDIA DGX Spark, Intel Arc Pro B70, Mac mini, MacBook Pro und Mac Studio (M3 Ultra bis M5 Ultra), CPU-only-Setups sowie Cloud-GPUs wie H100 und H200
• Modelle: unter anderem Qwen 3.5/3.6/3.8, GLM-5.3 (Flash), Gemma 4, GPT-OSS 20B/120B, Llama 3.1 8B, Nemotron 3.5 Lightning und DeepSeek V4/V4.1 Flash

Woher die Zahlen kommen

Die Werte stammen laut Seite aus Community-Benchmarks (r/LocalLLaMA, localscore.ai und weitere). Wo keine Messung vorliegt, sind sie aus ähnlichen Setups abgeleitet oder anhand der Spezifikationen hochgerechnet. Das heißt: Als Orientierung taugt es gut, als verbindliche Messung nicht. Das Projekt ist Open Source auf GitHub.

Für alle, die gerade zwischen Mac mit viel Unified Memory und einer Consumer-GPU abwägen, ist das ein schneller Realitätscheck.

Quelle: llmspeed.dev