Article

Fine-Tuning Qwen 3:0.6B für Frage-Kategorisierung: 10% auf 92% Genauigkeit

llm qwen fine-tuning ollama unsloth classification

Torgeir Helgevold von Teach Me Cool Stuff veröffentlichte einen detaillierten Erfahrungsbericht über das Fine-Tuning eines kleinen lokalen LLMs. Das Ziel: Hausbesitzer-Fragen automatisch in Kategorien wie “HVAC”, “Gutters” oder “Water Heater” klassifizieren.

Das Experiment

Das Baseline-Modell Qwen 3:0.6B erreichte ohne Fine-Tuning nur ~10% Genauigkeit auf 131 Testfragen. Nach dem Fine-Tuning mit Unsloth und QLoRA stieg die Genauigkeit auf 79% (Kategorienamen als Labels) und 92% (zweistellige Codes als Labels).

Schlüsselerkenntnisse

  1. Datensatz ist wichtiger als Hyperparameter – Die Standard-Unsloth-Parameter funktionieren gut; der Fokus sollte auf der Qualität der Trainingsdaten liegen.

  2. Codes vs. Namen – Das Modell performt besser mit abstrakten Labels (z.B. “KK” für HVAC) als mit vollen Kategorienamen. Die Hypothese: Das Modell lernt eine direkte Mapping statt semantisches Verständnis.

  3. Verwechslungsmuster – Die meisten Fehler traten bei semantisch ähnlichen Kategorien auf (z.B. “water heater” vs. “pool”, “gutters” vs. “mosquito”).

  4. Lokales Training – Alles lief lokal ohne Cloud-Kosten. Ein 0.6B-Modell ist selbst auf Consumer-Hardware trainierbar.

Technische Details

  • Framework: Unsloth mit QLoRA (Parameter-efficient Fine-Tuning)
  • Modell: Qwen 3:0.6B via Ollama
  • Trainingsdaten: Hausverwaltungs-Fragen mit 18 Kategorien
  • Prompt-Engineering: Explizite Anweisungen mit striktem Output-Format

Fazit

Für spezifische, eng definierte Aufgaben lohnt sich Fine-Tuning selbst kleiner Modelle. Der Aufwand lohnt sich besonders, wenn:

  • Privatsphäre eine Rolle spielt (lokale Verarbeitung)
  • Eine klare, limitierte Aufgabenstellung vorliegt
  • Konsistente Label-Formate verwendet werden

Der vollständige Artikel inklusive Code-Beispielen und Fehleranalyse ist auf Teach Me Cool Stuff verfügbar.