Article
Nunchaku Lite: 4-Bit Diffusion-Inferenz direkt in Diffusers
Was ist neu
Hugging Face hat Nunchaku Lite in Diffusers integriert. Das bedeutet: 4-bit Diffusion-Inferenz direkt über from_pretrained(), ohne separate Inference-Engine, ohne lokale CUDA-Kompilierung. Ein gewaltiger Schritt für Consumer-GPUs, die bisher an den 20-30 GB VRAM-Anforderungen moderner Diffusion-Transformer scheiterten.
Die Technik: SVDQuant
Herkömmliche Quantisierungs-Backends wie bitsandbytes, GGUF oder Quanto sind weight-only: Sie speichern Gewichte in niedriger Präzision, dequantisieren aber zur Berechnung zurück in hohe Präzision. Das spart Speicher, macht die Inferenz aber nicht schneller — teilweise sogar langsamer.
SVDQuant, die Methode hinter Nunchaku, geht anders vor: 4-bit Gewichte und 4-bit Aktivierungen (W4A4). Das Problem: Diffusion-Transformer haben große Outlier in beiden Bereichen. SVDQuant löst das, indem Outlier aus Aktivierungen in die Gewichte verschoben werden, der schwierige Teil als 16-bit Low-Rank-Branch dargestellt und der Rest auf 4-bit quantisiert wird.
Nunchaku Lite vs. Original
Das ursprüngliche Nunchaku-Engine nutzt modellspezifische fused Kernel (QKV-Projektionen, GELU/MLP). Das ist schnell, erfordert aber pro Architektur eigene Arbeit. Nunchaku Lite verzichtet darauf und patcht stattdessen die nn.Linear-Module eines Standard-Diffusers-Modells mit runtime SVDQ/AWQ-Layern.
Der Trade-off:
| Original Nunchaku | Nunchaku Lite | |
|---|---|---|
| Setup | Separate Engine, lokale Kompilierung | from_pretrained() — fertig |
| Geschwindigkeit | Volle Optimierung | ~30% Speedup |
| VRAM-Reduktion | Voll | Gleich (halbiert) |
| Neue Architekturen | Manuelle Integration | Automatisch |
Hardware-Support
| Scheme | Precision | GPUs |
|---|---|---|
| svdq_w4a4 | NVFP4 | Blackwell (RTX 50, RTX PRO 6000, B200) |
| svdq_w4a4 | INT4 | Turing/Ampere/Ada (RTX 30 & 40, A100, L40S) |
| awq_w4a16 | INT4 | Turing/Ampere/Ada |
Praxisbeispiel
Auf einer RTX 5090 generiert ein Nunchaku Lite Checkpoint ein 1024×1024 Bild in ~1,7 Sekunden mit ~12 GB Peak-VRAM — die BF16-Variante braucht ~24 GB. Die Bilder sind dabei praktisch identisch.
Dazu gibt es diffuse-compressor, ein Toolkit zum Selber-Quantisieren neuer Architekturen und Veröffentlichen als reguläre Diffusers-Repositories.
Fazit
Nunchaku Lite ist ein großer Schritt zur Demokratisierung von Diffusion-Modellen. Wer eine RTX 30/40 hat, kann jetzt Modelle laufen lassen, die vorher gar nicht in den VRAM gepasst haben. Und für Blackwell-Nutzer ist NVFP4 ein massiver Speed-Boost. Die 30% Speedup bei halbem VRAM — ohne Custom Pipeline — sind ein starkes Argument.
Quelle: Hugging Face Blog