Ollaya: Jev-Entscheidungsmodelle lokal betreiben - open source und ohne API-Rechnung

Nach dem Hype um TypeSafes kalibrierte Entscheidungsmodelle kommt der logische nächste Schritt aus der Community: Ollaya ist ein unabhängiges Open-Source-Projekt (Apache-2.0), das typisierte Decision-Modelle lokal ausführt - im Prinzip “Ollama für Jev-Modelle”.

Ein Forward-Pass statt Token-Strom

Entscheidungsmodelle generieren keinen Text, sondern lesen die Antwort aus den Logits der Antwort-Labels in einem einzigen Forward-Pass ab. Winnow:e4b beantwortet auf einer RTX 4090 fünf Fragen in 89 ms und erreicht 0,722 auf dem Typed-Decisions-Benchmark - gegen 0,738 für Jevs gehostete API bei 236-276 ms. Das kleine laya-Modell antwortet in rund 10 ms und läuft auf der CPU.

Drop-in kompatibel

Ollaya spricht TypeSafes API (/v1/systemone, /v1/models): Der offizielle TypeSafe Python SDK 0.7.1 funktioniert unverändert gegen einen lokalen Server unter localhost:11435.

Modelle und Privacy

Verfügbar sind unter anderem winnow (Gemma-4-Finetunes von EldanRing), decider und kev (Qwen3.5-Basis), laya (über 100 Sprachen) und qwen3guard für Sicherheits-Klassifikation. Die Gewichte kommen per SHA-256 gepinnt direkt von Hugging Face. Tickets und E-Mails verlassen so nie die eigene Hardware - ohne Per-Token-Gebühren.

Link: ollaya.dev