LFM2.5-DSpark: Bis zu 3,2x schnellere Inferenz durch spekulative Dekodierung

DSpark für LFM2.5 ist da

Liquid AI hat DSpark Draft-Modelle für drei Modelle der LFM2.5-Familie veröffentlicht: LFM2.5-1.2B-Instruct, LFM2.5-2.6B und LFM2.5-8B-A1B. Die Idee: Ein kleiner Draft-Modell (~300M Parameter) schlägt Tokens vor, das Zielmodell verifiziert sie in einem Forward-Pass. Das Ergebnis sind bis zu 3,18x Throughput auf GPU und bis zu 2,87x on-device — bei identischer Output-Qualität.

Wie DSpark funktioniert

DSpark kombiniert drei Komponenten: einen DFlash-style parallelen Backbone, der Hidden States für alle Draft-Tokens in einem Forward-Pass generiert, einen leichten sequenziellen Head (Markov-Kette), der Inter-Token-Abhängigkeit hinzufügt und die Acceptance-Rate erhöht, und einen Confidence-Scheduled Verifier, der niedrig-Konfidenz-Suffixe prüft und abschneidet.

Beeindruckende Benchmarks

Auf einem M4 Max MacBook Pro erreicht LFM2.5-2.6B mit DSpark im Durchschnitt 139 Token/s (von 61) — das ist mehr Throughput als die meisten proprietären Cloud-Modelle bieten. Auf einer H100 GPU steigt der Durchsatz auf durchschnittlich 864 Token/s (von 323). Für Function-Calling sinkt die Latenz bei LFM2.5-2.6B um 57% im Durchschnitt — was on-device Agenten deutlich interaktiver macht.

Day-One-Support

Die DSpark-Integration ist direkt in llama.cpp (mit experimentellen Metal-Kernels) und SGLang upstream verfügbar. Die Draft-Modelle sind attention-only mit 5 Layern und je einem Block von 9, trainiert über 15 Epochs mit SFT-, Chat-, Code- und Function-Calling-Daten. Selektiert wurde nach Acceptance-Rate, nicht nach Loss.

Fazit

Spekulative Dekodierung ist keine neue Idee, aber DSpark liefert sie jetzt für eine komplette Modellfamilie mit nativer llama.cpp- und SGLang-Integration. Wer lokale LFM2.5-Modelle deployt, bekommt kostenlos eine massive Performance-Steigerung — ohne Modifikation am Hauptmodell.