Article

Local Qwen ist kein schlechteres Opus - es ist ein anderes Werkzeug

Local AI LLM Qwen Ollama vLLM

“Local Qwen 27B ist fast auf Opus-Niveau” - diese Aussage taucht immer wieder auf Social Media auf. Alex Ellis, Gründer von OpenFaaS und Betreiber mehrerer Open-Source-Produkte, hat die Erfahrungen aus seinem Software-Business zusammengetragen. Spoiler: Es ist komplizierter als ein einfacher Vergleich von Benchmark-Zahlen.

Der falsche Vergleich

Qwen 3.6 27B erreicht 77.2 auf SWE-Bench Verified, Claude Opus 4.8 kommt auf 88.6. Das klingt nach “nur 12% Abstand”. Aber Benchmarks sind ein bewegliches Ziel. Modelle können auf bekannte Benchmarks trainiert werden. Und die realen Anforderungen deines Workloads sehen vielleicht ganz anders aus.

Alex schreibt verteilte Systeme in Go - Channels, Contexts, Structs über große Ausführungsbereiche. Das SWE-Bench Benchmark basiert auf Python-Problemen. Die Skills, die ein Modell fürs Benchmarking gelernt hat, sind nicht unbedingt die Skills, die du brauchst.

Was lokale Modelle wirklich können

Der Artikel ist ein tiefgehender Erfahrungsbericht aus der Praxis. Alex beschreibt den Weg von 3090-Karten (mit all ihren Problemen) bis zur RTX 6000 Pro Blackwell mit 96GB VRAM für ~12.000 USD.

Was funktioniert:

  • Kundensupport ohne Daten-Leakage: Diagnose-Tools laufen airgapped durch lokale Modelle
  • Revenue Recovery: Telemetrie-Analyse deckte Lizenz-Underreporting auf, das allein die Karte refinanzierte
  • Code-Erklärung: Lokale Modelle können Codebases schnell lesen und erklären
  • Well-bounded Tasks: Aufgaben mit klarem Scope funktionieren besser

Was NICHT funktioniert:

  • Long-horizon Tasks ohne Supervision: Qwen neigt zu Endlosschleifen, besonders bei niedriger Quantisierung
  • Unbeaufsichtigtes Arbeiten: “Ich würde Qwen nie unbeaufsichtigt an einem langen Task lassen”
  • Komplexe Architektur-Entscheidungen: Die begrenzte Knowledge und Attention zeigen sich sofort in Code Reviews

Die Temper-Analogie

Alex nutzt eine Metapher aus dem Messerschmieden: Stahl muss nach dem Härten wieder erwärmt werden - zu den “Temper-Farben”. Ein Grad zu weit, und du musst von vorne beginnen.

Lokale Modelle sind wie das Tempern: Sie sind “zu heiß” und schießen über das Ziel hinaus. Wenn du sie nicht im Auge behältst, beginnen sie zu schleifen - immer dieselben Vorschläge, dieselben Fehler, hunderte Watt Strom verschwendet.

Konkrete Setup-Details

Der Artikel enthält die genauen llama.cpp-Parameter für Qwen 3.6-27B:

  • UD-Q8_K_XL Quantisierung für maximale Qualität
  • 262K Context mit f16 Keys/Values (keine KV-Compression)
  • MTP (Multi-Token Prediction) für 93% Acceptance Rate
  • 130-200 tok/s bei Speculative Decoding

Das Setup zeigt: Lokale Modelle können schneller fühlen als Cloud-Modelle - aber nur für bestimmte Tasks und mit der richtigen Konfiguration.

Fazit

Lokale Modelle sind kein Ersatz für Cloud-SOTA. Sie sind ein anderes Werkzeug mit anderen Stärken:

  • Datenschutz und Souveränität
  • Fixe Kosten (einmal Hardware vs. Pay-per-Token)
  • Spezifische, gut abgegrenzte Tasks
  • Code-Lesung und -Erklärung

Für alles andere: Claude und Codex machen den Großteil der Arbeit. Lokale Modelle sind das Sägeblatt für spezielle Schnitte, nicht die Universalklinge für alles.

Der vollständige Artikel mit allen technischen Details steht auf Alex Ellis’ Blog.