Article
Qwen 3.8 27B: Hervorragendes lokales LLM — aber es denkt viel zu viel
Qwen 3.8 27B: Das beste lokale Modell dieses Jahres?
Simon Willison hat das neue Qwen 3.8 27B ausführlich getestet — ein Apache-2-lizenziertes, vision-fähiges LLM von Alibabas Qwen-Team. Mit 27 Milliarden Parametern und einer 17GB großen Q4_K_M-GGUF-Datei läuft das Modell auf einem 128GB M5 Max MacBook Pro sowie einem NVIDIA DGX Spark. Die selbstberichteten Benchmarks sind laut Willison “eye-opening” — das Modell schlägt sowohl seinen Vorgänger Qwen 3.6 27B als auch das geschlossene Qwen 3.7-Plus.
Das Reasoning-Problem: “xhigh” als Default
Der wohl größte Kritikpunkt: Qwen 3.8 27B defaultet auf xhigh (extra high) als Reasoning-Effort. Das führt zu absurden Overthinking-Szenarien. Willison bat das Modell um ein SVG eines Pelikans auf einem Fahrrad — es brauchte 21 Minuten, verbrauchte 22.276 Reasoning-Tokens und produzierte 3.223 Tokens Output. Das Ergebnis war zwar das beste Pelikan-SVG, das er je lokal generieren konnte, aber der Aufwand war völlig absurd. Selbst bei einer einfachen “Zeichne einen Kreis”-Anfrage philosophierte das Modell Minuten lang über Farbpaletten und Bauhaus-Designsprache, bevor es eine wunderschöne animierte Kreis-Grafik produzierte — die eben genau nicht das war, was angefragt wurde.
Willisons Empfehlung: Reasoning-Level auf “low” oder komplett aus stellen. Das reduziert die Generierungszeit drastisch (von 21 Minuten auf 2 Minuten) bei nur moderatem Qualitätsverlust.
Vision, Tool-Calling und Coding Agents
Trotz des Reasoning-Problems ist das Modell beeindruckend:
- Bounding Boxes: Qwen 3.8 27B kann präzise Bounding-Boxes um Objekte in Fotos generieren — mit 0-1000-Skala, exakt platziert.
- Coding Agents: Willison ließ das Modell den Coding-Agent Pi steuern. Es konnte Dateien lesen, analysieren und sogar ein Python-Skript schreiben, das JSONL-Transkripte in Markdown konvertierte.
- Tool-Calling: Zuverlässiges Function Calling mit langem Kontext (bis 262.144 Tokens nativ).
Geschwindigkeit: Das eigentliche Problem
Mit 15-30 Tokens/Sekunde auf LM Studio ist das Modell ausreichend, aber nicht schnell. Hosted APIs wie OpenAI 5.6 Luna (184 tok/s) sind deutlich schneller. Ein vielversprechender Ausweg: Multi-Token Prediction (MTP) — eine Architektur, bei der ein günstigerer Mechanismus mehrere Tokens voraussagt und das Hauptmodell diese Vorhersagen verifiziert. Willison testete dies mit llama-server und einem Draft-MTP-Setup. Das Ergebnis: 72% schneller als LM Studio’s Default-GGUF.
Fazit
“The fact that a 17GB file can do all of this stuff on my home machines is a marvel.”
Qwen 3.8 27B beweist, dass offene Gewichte mit langer Kontext, Vision, Tool-Calling und kompetenter Code-Generierung in eine 17GB-Datei passen. Das einzige, was es vom Daily-Driver-Status abhält, ist die Geschwindigkeit — und die lässt sich mit MTP optimieren. Für alle, die lokal laufen wollen, ist das Modell eine klare Empfehlung — nur bitte den Reasoning-Level runterdrehen.