Article
LiquidAI LFM2.5-Encoders: CPU-schnelle Encoder für Long-Context
Die Veröffentlichung
LiquidAI hat zwei neue Encoder-Modelle auf Hugging Face veröffentlicht: LFM2.5-Encoder-230M und LFM2.5-Encoder-350M. Sie basieren auf der LFM2-Architektur und sind für Production-NLP-Aufgaben optimiert, die den ganzen Tag auf CPU laufen — Klassifikation, Intent-Routing, PII-Detection, Policy-Linting.
Was sie können
Die Modelle bringen das was man von modernen Encodern erwartet:
- 8.192-Token-Context mit Latenz die nur langsam wächst — im Gegensatz zu Transformers wo die quadratische Aufmerksamkeit bei langen Inputs durchdeckelt
- GLUE/SuperGLUE/Multilingual: Das 350M-Modell belegt Platz 4 von 14 getesteten Modellen, geschlagen nur von Modellen die deutlich größer sind (inklusive eines 3,5B-Modells). Das 230M schlägt ModernBERT-base und alle EuroBERT-Modelle
- CPU-Geschwindigkeit: 3,7x schneller als ModernBERT-base bei 8.192 Tokens. Auf einem Laptop-CPU klassifiziert man einen vollen Vertrag in unter 30 Sekunden
Die Architektur
Die Encoder werden aus den LFM2.5-Decoder-Backbones (230M und 350M) initialisiert und dann zu bidirektionalen Encodern umgewandelt:
- Bidirektionale Attention-Maske: Jedes Token sieht beide Seiten, nicht nur die vorherigen
- Non-causal Short Convolutions: Symmetrisches Padding damit Convolutions beide Nachbarn mixen
- Masked Language Modeling: 30% der Tokens werden während Training gemasked
Das Training läuft in zwei Stufen: erst kurze 1.024-Token-Contexts auf großem Web-Corpus, dann Long-Context-Adaption auf 8.192 Tokens mit Fokus auf faktische, rechtliche und mehrsprachige Kompetenz.
Live-Demos
LiquidAI hat mehrere CPU-only Hugging Face Spaces mit fein-abgestimmten Modellen:
- Zero-shot Prompt Routing: Definiere Routing-Lanes als Freitext, das Modell scored den ganzen Prompt dagegen
- Zero-shot Policy Linting: Prüfe Text gegen Unternehmensrichtlinien als Freitext
- PII-Detection: 40 Arten persönlicher Daten in 16 Sprachen erkennen
- Spell Checking: Token-weise Rechtschreibkorrektur
- Masked-Diffusion Text Generation: Bonus — der Encoder als Chatbot der Text iterativ unmasked statt links-nach-rechts
Fazit
Encoder sind das workhorse des Production-NLP — sie laufen den ganzen Tag auf CPU und müssen billig bleiben. Dass LiquidAI hier 3,7x CPU-Speed bei vergleichbarer oder besserer Accuracy rausholt ist ein echter Fortschritt. Besonders der 230M ist interessant: klein, schnell, schlägt größere Modelle. Wenn man aktuell ModernBERT im Einsatz hat, lohnt sich ein Blick.