Qwen3.8 27B quantisiert: 4-Bit haelt, 1-Bit bricht zusammen

Wie viel GPU-Speicher braucht Qwen3.8 27B wirklich, ohne messbar an Qualitaet zu verlieren? Quesma hat das systematisch durchgemessen - mit Unsloth-GGUFs in llama.cpp auf gemieteten Modal-GPUs (L40S, H100, H200), Gesamtkosten rund 3.000 Dollar. Das Ergebnis ist eine der griffigsten Quantisierungs-Studien der letzten Zeit.

Die Zahlen

• BF16 (55 GB): Repliziert die offiziellen Qwen-Ergebnisse auf GPQA Diamond, IFBench und Terminal-Bench 2.1 (89 agentische Coding-Aufgaben, je 3 h Timeout, 98k Kontext).
• Q4_K_M (17 GB): Auf Terminal-Bench 2.1 gleichauf mit dem vollen Modell - passt mit ~64k Kontext auf eine RTX 4090. Auf GPQA und IFBench ebenfalls kein messbarer Unterschied.
• UD-Q2_K_XL (10,7 GB): Merklicher Abfall auf Terminal-Bench, liegt aber immer noch auf dem Niveau von Opus 4.7 oder Gemini 3.1 Pro. Braucht ~25 % mehr Output-Tokens bei gleicher Loesungsquote.
• UD-IQ1_S (6,2 GB): Totalausfall. GPQA-Scores auf Zufallsniveau, bei xhigh-Reasoning darunter - das Modell denkt bis zum Token-Budget und liefert leere Antworten zurueck.

Der Punkt

Quantisierungsschaeden sind nichtlinear: erst nichts, dann kleiner Abfall, dann Kollaps. Wer lokal experimentiert, nimmt laut Fazit das beste Modell, das samt KV-Cache in den Speicher passt - und das ist meist Q4_K_M. Die Unsloth-Marketing-Zahl (“72 % top-1 Genauigkeit bei 89 % Groesseneinsparung”) zeigt hier eindruecklich, warum die letzten 28 % dann doch ueber Nuetzlichkeit entscheiden.

Bemerkenswert daneben: Der Reasoning-Aufwand (low/medium/xhigh) beeinflusst die GPQA-Scores drastischer als jede Quantisierung bis runter zu 4-Bit - ein Argument dafuer, lieber ein groesseres Modell mit weniger Thinking zu fahren als umgekehrt.

Quelle: quesma.com