Models

Laya: Offene System-1-Modelle schlagen Jevs Entscheidungsmaschine

llm open-source latenz jev bert

System 1 statt generativem LLM

Nach dem Hype um TypeSaves nicht-autoregressivem Entscheidungsmodell Jev legt Nandakishor Mukkunnoth von ConvAI Innovations mit Laya eine vollständig offene Alternative vor - und verweist darauf, das Konzept bereits 2025 in zwei arXiv-Papern veröffentlicht zu haben. Laya erzeugt keinen Text, sondern beantwortet typisierte Fragen (choice, score, noul) in einem einzigen Forward-Pass mit kalibrierten Wahrscheinlichkeiten. Halluzinationen und kaputte JSON-Schemata sind dadurch konstruktiv unmöglich.

Drei Checkpoints, ein Router

Auf HuggingFace liegen drei Backbones: ein 421M-ModernBERT-large für Englisch, ein 322M-mmBERT für 100+ Sprachen und ein typed-decisions-Checkpoint mit 1.024 Kontext. Ein rein Python-basierter Router erkennt Unicode-Skripte in unter einer Millisekunde - nötig, weil englische Modelle etwa auf Khmer mit 0,0 Prozent Trefferquote bei 95 Prozent “Konfidenz” schlicht nicht lesen können, was sie nicht verstehen.

Benchmarks und Grenzen

Im direkten Vergleich liegt Laya vorne: 0,766 vs. 0,727 auf typed decisions, 3x bessere Kalibrierung (ECE 0,081) und 32,8 ms statt 236 ms Latenz - bei Apache-2.0-Gewichten zum Selbst-Hosten. Ehrlich kommuniziert das Team auch Grenzen: Choice-Fragen brechen bei mehr als 20 Optionen ein (Banking77: 0,425 vs. Jevs 0,870), und ohne Fine-Tuning liegt das Modell nahe am Zufall. “pip install laya” genügt zum Start.

Original: Laya - 33ms Multilingual System 1 Decision Engine