LLMs contra klassische Hyperparameter-Optimierung: Centaur als Hybrid-Lösung

Forscher der Universität Freiburg haben in einer umfassenden Studie untersucht, ob große Sprachmodelle (LLMs) traditionelle Hyperparameter-Optimierungsalgorithmen schlagen können. Die Ergebnisse sind ernüchternd und aufschlussreich zugleich.

Die Studie

Das Team nutzte das autoresearch-Repository als Testumgebung, in der ein LLM-Agent Hyperparameter durch direktes Bearbeiten des Trainingscodes optimiert. Verglichen wurden klassische Methoden wie CMA-ES und TPE gegen LLM-basierte Ansätze unter einem festen Rechenbudget.

Kernergebnisse:

• Klassische Methoden überlegen bei festem Suchraum – Vermeidung von OOM-Fehlern wichtiger als Suchdiversität
• LLMs mit Code-Editieren schließen die Lücke, können sie aber nicht schließen
• Selbst Frontier-Modelle (Claude Opus 4.6, Gemini 3.1 Pro Preview) erreichen nicht das Niveau klassischer Methoden

Das Problem mit LLMs

Die Forscher identifizierten eine fundamentale Schwäche: LLMs haben Mühe, den Optimierungszustand über mehrere Versuche hinweg zu verfolgen. Klassische Optimierer wie CMA-ES verwalten systematisch Mittelwertvektor, Schrittgröße und Kovarianzmatrix – ein strukturierter Zustand, den LLMs intuitiv erfassen müssen.

Centaur: Der Hybrid-Ansatz

Die Lösung: Centaur – eine Kombination aus CMA-ES’ interpretierbarem internen Zustand und LLM-Entscheidungsfindung. Der LLM erhält Zugriff auf den strukturierten Zustand und kann ihn intelligent interpretieren.

Das Faszinierende: Ein 0.8B-Parameter-Modell reicht bereits aus, um alle reinen LLM-Methoden und klassischen Ansätze zu übertreffen. Größere Modelle zeigen keine signifikanten Vorteile.

Fazit

Die Studie zeigt klar: LLMs sind als Ergänzung zu klassischen Optimierern wertvoll, nicht als Ersatz. Die Stärke liegt in der Domänenexperten-Rolle, nicht in der rechnerischen Optimierung. Für Entwickler und ML-Ingenieure bedeutet das: Kombinieren Sie Domänenwissen (LLM) mit mathematischer Rigorosität (klassische Algorithmen).

Code und interaktive Demo sind öffentlich verfügbar.

Quelle: arXiv:2603.24647