Wissensdestillation skalierbar gemacht: Zwei Systemoptimierungen senken GPU-Bedarf drastisch

Multiverse Computing stellt zwei Systemoptimierungen vor, die Knowledge Distillation für große Sprachmodelle drastisch verbilligen. Statt das Lehrermodell während des gesamten Trainings im Speicher zu halten, werden dessen Top-100-Logits einmalig berechnet und zwischengespeichert — der Lehrer muss nie wieder ausgeführt werden und der Cache ist für beliebig viele Ablationen wiederverwendbar. Der zweite Beitrag ist eine fusionierte, stückweise berechnete KL-Divergenz-Verlustfunktion, die die Ausgabeprojizierung direkt in die Verlustberechnung integriert. Dadurch wird die gewaltige Matrix aus Vokabulargröße mal Sequenzlänge nie vollständig im Speicher aufgebaut; der Spitzenbedarf wächst nur noch linear mit der Sequenzlänge.

In einem isolierten Benchmark bei 32K-Token-Kontext sinkt der Speicherbedarf von 85,2 auf 5,45 GiB — eine 15,6-fache Reduktion. Bei der Destillation eines GPT-OSS-20B-Modells reduziert sich der Bedarf von vier GPU-Knoten auf einen einzigen, die Iterationszeit fällt von 57 auf 12,23 Sekunden und der Durchsatz steigt von 74,2 auf 345,7 TFLOP/s. Die dichte KL-Verlustvariante scheitert ab 64K-Token-Kontext vollständig, während die fusionierte Variante bis 256K funktioniert.

Ein aus Llama-3.1-8B-Instruct auf 3,2 Milliarden Parameter destilliertes Schülermodell behält dabei die meisten Genauigkeitswerte des Lehrers bei. Die Implementierung ist quelloffen verfügbar.