Warum dein lokales LLM dumber ist als es sein sollte

Jeder, der schon mal ein lokal quantisiertes LLM laufen lassen hat, kennt das Gefuehl: Das Modell wirkt dumber als beworben. Ein ausfuehrlicher Beitrag auf Level1Techs von Nutzer “thr3e” zeigt jetzt mit harten Mathematik-Experimenten, woran das liegt – und es ist nicht immer das Modell selbst Schuld.

Die Ursachen: Precision Divergence

Die Kernthese: Jede Inference-Implementierung ist einzigartig. Unterschiedliche GPU-Generationen, Attention-Backends, CUDA-Kernel und Quantisierungs-Methoden fuehren zu messbaren Abweichungen in den Output-Logits. Schon der Wechsel zwischen FlashAttention 2, Flash Inference und Triton Attention Backend in vLLM erzeugt Top-1 Token Flips – Situationen, in denen ein anderes Backend ein voellig anderes naechstes Token gewaehlt haette.

KV-Cache Quantisierung: Der IQ-Absturz

Besonders brisant: KV-Cache-Quantisierung. Ab 40k Token Kontextlaenge fielen bei INT8-KV-Cache Token-Flips auf, die zu reproduzierbaren Tool-Calling-Fehlern fuehrten. INT4 war sogar irreparabel – das Modell konnte sich nicht mehr erholen. BF16 blieb stabil.

Weight-Quantisierung im Vergleich

Der Test verglich BF16, FP8, INT8, NVFP4 und AWQ-INT4 Versionen von Qwen3.6-27B. Die verschiedenen Quants nutzen unterschiedliche CUDA-Kernel und MMA-Instruktionen, was zu unterschiedlichen numerischen Pfaden fuehrt. Die Schlussfolgerung: Die “Referenz-Implementierung” des Modell-Erstellers nutzt andere Hardware und Software als dein Homelab.

Praktische Tipps

• Verwende die Sampler-Settings vom Model-Card (temp, top-p etc.)
• Zu niedrige Temperatur kann zu Think-Loops bei Qwen fuehren
• KL-Divergenz-Werte auf Quant-Model-Cards ohne vollstaendige Methodik sind wertlos
• Benchmark mit echten Workloads, nicht mit 3 Test-Prompts bei temp=0

Originalartikel: Level1Techs Forum