Liquid AI: DSpark-Drafter beschleunigt Vision-Sprachmodell LFM2.5-VL-3B

Liquid AI veröffentlicht einen experimentellen DSpark-Draft-Modell für sein Vision-Language-Modell LFM2.5-VL-3B - der erste DSpark-Drafter, der Bilder mitbeschleunigt. Das Prinzip ist spekulatives Decoding: ein kleiner Drafter schlägt Blocke von Kandidaten-Tokens vor, das Zielmodell verifiziert sie im Kollektiv. Das Ergebnis ist mathematisch exakt, also identisch zum Basismodell.

Die Messwerte

• On-Device: Mit MLX auf einem M5 Max decodiert das Modell 2,30x bis 3,13x schneller, End-to-End bis 2,62x. Mit llama.cpp auf einem M3 Ultra bis 2,14x
• GPU: Auf einer H100 bis zu 2,66x schnellere Decodierung
• Geringe Kosten: Der Drafter bringt nur 280M Parameter mit - 8,9% zusätzlich zum 3B-Zielmodell
• Benchmark: Sechs Vision-Tasks nach MMSpec, von allgemeinem VQA über Chart-Reasoning bis Multi-Turn-Konversation

Architektur und Grenzen

Der Drafter ist ein 4-schichtiges, attention-only-Modell, das Hidden States getappter Layers des Zielmodells abgreift. Bildpatches und Texttokens werden vorher in eine gemeinsame Repräsentation projiziert, sodass der Algorithmus identisch zu den Text-DSpark-Modellen bleibt. Die Grenze nennt Liquid AI selbst: Spekulatives Decoding beschleunigt nur den Decode. Vision-Encoding und Prefill bleiben unberührt - auf Edge-Geräten, wo Prefill die Latenz dominiert, begrenzt Amdahls Gesetz den End-to-End-Gewinn. Tag-1-Support gibt es für llama.cpp, MLX-VLM und SGLang, GGUF-Varianten liegen auf Hugging Face.

Mehr dazu: Hugging Face Blog