LLM-Pruning als Ising-Optimierung: Physik trifft Kompression

Ganze Blöcke entfernen - aber welche?

Die billigste Methode, ein LLM schneller zu machen, ist zugleich die brutalste: ganze Transformer-Blocks löschen (Depth Pruning). Das Problem ist die Auswahl - und die ist kombinatorisch, weil sich Block-Entfernungen gegenseitig beeinflussen. Multiverse Computing (Paper: “LLM Compression by Block Removal with Constrained Binary Optimization”) modelliert die Auswahl deshalb als Ising-Glas, einem ungeordneten Spinsystem mit Wechselwirkungen.

Die Methode im Kern

• Hessian als Kopplungsmatrix: Eine Taylor-Expansion des Loss über Binärvariablen (Block behalten/entfernen) liefert Diagonale (Einzelwichtigkeit) und Nebendiagonale (Paarwechselwirkungen) - genau das, was Mean-Field-Heuristiken wegwerfen.
• Energie als Benchmark-Proxy: Niedrigenergie-Zustände entsprechen leistungsfähigen geprunten Modellen - Kandidaten lassen sich ohne Benchmark sortieren.
• Solver statt Brute Force: Bis ~29 Mrd. Konfigurationen exakt auf einer GPU; darüberhin Tabu-Solver in Sekunden.

Ergebnisse

Bei 50% Kompression von Llama-3.3-70B-Instruct gewinnt CBO fast 23 MMLU-Punkte gegenüber der besten Konkurrenz; Qwen3-14B liegt ~10 Punkte vorn bei 12/40 Blocks. Kurios: Der 17. angeregte Zustand (früher Block entfernt) schlägt nach leichtem Retraining den Grundzustand - das beste Modell ist ein “Excited State”.

Original: HuggingFace Blog - Multiverse Computing