Unsloth Dynamic 3.0 - Bessere Quantisierung bei gleicher Größe

Unsloth hat Dynamic v3.0 veröffentlicht, die nächste Iteration seiner Dynamic-Quantisierungsmethode für GGUF-Modelle. Die ersten Quants für Qwen3.8-27B sind verfügbar und liefern deutlich bessere Qualität bei gleicher Dateigröße.

Was ist neu in Dynamic 3.0

Die wichtigste Neuerung: Dynamic v3.0 erreicht über 10% bessere Top-1% Accuracy bei gleicher Dateigröße verglichen mit jedem anderen Anbieter. Die GGUFs funktionieren mit den gängigen Inferenz-Engines inklusive llama.cpp und Unsloth Desktop.

Die Verbesserungen umfassen mehrere Bereiche:

• Eine qualitativ hochwertigere imatrix-Kalibrierungs-Datensatz aus diversen Quellen
• Raffiniert für agentic Coding, Chat und mehrsprachige Performance
• Verbesserte Layer-Selection und zusätzliche Quantisierungstechniken

KL Divergence als neuer Benchmark

Unsloth führt einen neuen Metrik-Ansatz ein: Divergence-300 @32. Statt nur Top-1% Accuracy zu messen, wird ein Datensatz von 300 zurückgehaltenen Beispielen mit Greedy Argmax-Decoding für 32 Tokens verglichen. Das ermöglicht zu beurteilen, ob die Quantisierungs-Outputs ähnliche Trajektorien wie BF16-Modelle verfolgen - ein besseres Maß für tatsächliche Inferenz-Qualität.

Kein Training, kein QAT

Wichtig: Unsloth trainiert nicht auf dem Kalibrierungs-Datensatz und verwendet kein QAT (Quantization-Aware Training) oder QAD. Alles passiert durch Post-Training Quantization. Die imatrix-Datei ist für die Community verfügbar, um eigene Variationen und Fine-Tunes zu erstellen.

Verfügbarkeit

In nur 5 Tagen verzeichnete Unsloth über 5,1 Millionen Qwen3.8-Downloads. Die Dynamic 3.0 GGUFs sind direkt verfügbar und funktionieren mit llama.cpp - ideal für lokale Inferenz-Setups ohne Cloud-Abhängigkeit.

Original-Quelle: unsloth.ai