Article

Qwen3.8 27B mit 256K Kontext auf 24GB GPU: 50 tok/s durch Custom-Quantisierung

AI Qwen LLM Local LLM llama.cpp NVFP4 MTP Quantization Blackwell Inference

256K-Kontext auf einer 24GB-Karte — und es ist schnell

Michał Piszczek hat das eigentlich Unmögliche geschafft: Qwen3.8 27B mit vollem nativen 262.144-Token-Kontext, multimodalem Input und spekulativer Dekodierung (MTP) auf einer einzigen NVIDIA RTX PRO 4000 Blackwell SFF mit 24GB VRAM. Das Ergebnis: durchschnittlich 50,44 tok/s im Produktionsbetrieb — und selbst am äußersten Ende eines belegten 256K-Cache noch 12,61 tok/s ohne OOM.

Die Erkenntnis: Die besten Einzelteile ergeben nicht das beste System

Der entscheidende Insight: Die optimale Konfiguration entsteht nicht aus den jeweils “besten” Komponenten, sondern aus deren Zusammenspiel. Q4_0 war der schnellste Quant, aber die Qualität war zu schlecht. IQ4_XS hatte bessere Perplexity, war aber langsamer. Das vorgefertigte NVFP4-GGUF nutzte die native FP4-Hardware des Blackwell — scheiterte aber an der Qualitätsprüfung, weil sensitive Tensoren (Attention, DeltaNet) zu aggressiv quantisiert worden waren.

Custom-Hybrid-Quantisierung mit Hermes-Calibration

Die Lösung war ein maßgeschneiderter Build namens Qwen3.8-27B-Hermes-iMatrix-NVFP4-Balanced.gguf:

  • NVFP4 fürBulk-Tensoren (native Blackwell-Hardware)
  • Q5_K/Q6_K für selektierte Attention- und DeltaNet-Tensoren via Hermes-iMatrix-Ranking
  • Q6_K Embeddings, Q8_0 Output-Head
  • Calibriert auf 5.472 Nachrichten aus 296 Hermes-Sessions (Coding, Tool-Calls, gemischte Sprachen)
  • Ergebnis: 6,1197 PPL — fast identisch zu Q4_1 (6,1127) bei 5,01 BPW und 16.321 MiB

MTP: Die n=8-Falle

Multi-Token Prediction brachte den größten Speedup — aber die Kurve ist chaotisch. n=3 erreichte 43 tok/s, n=4-7 wurden zunehmend langsamer, dann sprang n=8 auf 49,31 tok/s. Höhere Werte scheiterten an VRAM-Grenzen (150 MiB pro zusätzlichem Candidate). Noch paradoxer: Ein präziserer MTP-Drafter (Q5_K statt NVFP4) verschlechterte die Performance — höhere Akzeptanzrate, aber langsamere Generierung. Die “schlechtere” NVFP4-Variante war im Gesamtsystem schneller.

Architektur-Details

Qwen3.8 27B ist ein 64-Layer-Dense-Model mit 48 recurrenten DeltaNet-Layern und nur 16 Full-Attention-Layern. Nur die Attention-Layer wachsen einen konventionellen KV-Cache — bei Q4 K/V kostet der 256K-Cache nur ~4,25 GiB. DeltaNet nutzt recurrenten State und Checkpoints (4 waren das Minimum, 32 frassen zu viel VRAM).

Praktische Erkenntnisse

  • “262K loaded” ist kein Benchmark. Piszczek fordert: echter Token-Fill, Post-Fill-VRAM, Hot-Decode-Rate und Output-Hash müssen im Benchmark stehen.
  • Hardware-Format-Support ≠ wo man Bits ausgeben sollte. NVFP4 ist schnell, aber nicht für jeden Tensor richtig.
  • Custom llama.cpp-Build: 55,40 tok/s vs. 45,42 tok/s auf clean master (+21,97%) — durch gezielte CUDA-Kernel-Optimierungen.

Der gesamte Artikel ist ein Deep-Dive in lokales LLM-Engineering auf Production-Niveau — und zeigt, was mit 24GB VRAM und viel Sorgfalt möglich ist.

→ Original: piszczek.pl