AirLLM: 70B-Modelle auf einer 4GB-GPU ohne Quantisierung

Die Idee

AirLLM ist ein Open-Source-Projekt das eine radikal einfache Idee verfolgt: Statt das gesamte Modell in den GPU-VRAM zu laden, werden die Gewichtungen Schicht für Schicht von der Festplatte oder CPU in den VRAM gestreamt — ähnlich wie beim Memory-Mapping. Das bedeutet: Der VRAM-Bedarf sinkt auf eine einzige Schicht, während der Rest der Gewichtungen auf der Festplatte liegt.

Das Resultat sind absurde Spezifikationen: 70B-Modelle auf 4GB VRAM, Llama 3.1 405B auf 8GB, DeepSeek-V3 (671B) auf 12GB — und sogar Kimi K3 (2.8T Parameter) unter 4GB, da Sparse-MoE-Modelle nur einen Experten pro Schicht streamen müssen statt der gesamten Schicht.

Keine Qualitätsverluste

Der entscheidende Punkt: AirLLM verwendet keine Quantisierung, keine Destillation, kein Pruning. Die Modellgewichte bleiben im Original-Format (FP16/BF16). Das Modell ist exakt dasselbe wie auf einem A100-Cluster — nur langsamer, da die Gewichtungen für jede Schicht von der Festplatte nachgeladen werden müssen.

Der Kompromiss

Der Preis für diesen minimalen Speicherbedarf ist die Geschwindigkeit. Da jede Schicht während der Inferenz von der Festplatte gelesen wird, ist der Durchsatz deutlich niedriger als bei vollständig im VRAM liegenden Modellen. AirLLM ist nicht für Echtzeit-Anwendungen gedacht, sondern für Szenarien in denen Speicherplatz die harte Einschränkung ist — z.B. Experimente auf alten Laptops, Edge-Geräten oder billigen Cloud-Instanzen.

Aktuelle Updates

Die Version 3.1.0 kam letzte Woche und brachte Support für die neuesten Modelle. Das Projekt hat über 26.600 GitHub-Stars und eine aktive Community. Mit Kimi K3 als aktuell größtem Open-Source-Modell demonstriert AirLLM eindrucksvoll wie die Streaming-Architektur besonders bei MoE-Modellen skaliert — statt 2.8T Parameter zu laden, streamt man nur die aktiven Experten.

Quelle: AirLLM auf GitHub