FLUX.3 Image Klein - offenes Bildmodell mit Layout-Steuerung per Bounding Box

Ein Modell, drei Aufgaben

Black Forest Labs hat FLUX.3 Image Klein veröffentlicht, Hugging Face unterstützt es in Diffusers vom ersten Tag an. Das Modell beherrscht Text-zu-Bild, Bild-zu-Bild mit mehreren Referenzen und als Neuerung eine Layout-Steuerung: Bounding Boxes im Prompt legen fest, wo Bildteile landen oder welche Bereiche eines Referenzbildes verschoben werden.

Die Eckdaten

• Distilled-Checkpoint: 1024×1024 in rund 2 Sekunden auf einer H100 (16 Schritte)
• Base-Checkpoint: 50 Schritte mit Classifier-free Guidance, gedacht fürs Fine-Tuning
• Quantisiert: FP8 (rowwise) und NVFP4 als Single-File für kleinere GPUs
• LoRA-Trainingsskripte für Generierung und Bildbearbeitung
• Läuft als Modular-Diffusers-Pipeline, Blöcke lassen sich austauschen oder ergänzen

Unter der Haube

Als Text-Encoder dient Qwen3-VL. FLUX.3 liest dabei nicht nur die letzte Schicht, sondern stapelt die Hidden States von acht der 36 Layer. Die VAE stammt von FLUX.2; ein Token deckt 16×16 Pixel ab, ein 1024er-Bild ergibt also 4.096 Tokens. Der Transformer arbeitet zweistufig: Zuerst verarbeiten je fünf eigene Blöcke Text, Bild und Referenzen getrennt, danach laufen alle Streams gemeinsam durch 28 geteilte Blöcke. Jede Referenz kostet zusätzliche Tokens und verdoppelt grob die Rechenzeit. Wer wenig VRAM hat, kann den Text-Encoder separat laufen lassen und automatisches CPU-Offloading aktivieren.

Quelle: Hugging Face - Welcome FLUX.3 Image Klein in Diffusers