Jeff: 0.8B-Entscheidungsmodelle mit 22 ms Latenz - komplett zuhause trainiert

Ein richtiges Local-AI-Projekt: Jeff bringt kleine Entscheidungsmodelle als Fine-Tunes von Qwen3.5 (0.8B und 2B) und Gemma 4 E2B auf GitHub. Das Konzept: Du beschreibst eine Situation in normalen Worten, listest die Optionen auf - und Jeff spuckt kalibrierte Wahrscheinlichkeiten pro Option aus. Alles per single Forward-Pass, ohne Textgenerierung, ohne Parsing. Eine Entscheidung kostet 22 ms auf einer RTX PRO 6000, 28 ms auf Apple M4 Max via MLX.

Was Jeff kann

Zero-Shot heißt hier: Die Kategorien müssen nicht im Training vorgesehen gewesen sein. Support-Queues, User-Intents, Moderation-Labels, Sprachbefehle, Spielzüge - die Optionen beschreibst du einfach zur Laufzeit. Drei Fragetypen: choice (bis 26 Optionen), noul (Ja/Nein als Wahrscheinlichkeit) und score (Skala). Mehrere Fragen pro Request werden gemeinsam beantwortet. Die Benchmarks sind ordentlich: Overall schafft Jeff-Qwen3.5-2B 83,1 Prozent und liegt damit gleichauf mit dem deutlich größeren Jev (83,0); auf Financial PhraseBank (96,4 Prozent) und RAGTruth (88,9 Prozent) schlägt Jeff das Vorbild sogar deutlich.

Komplett ohne Cloud trainiert

Das Beste an der Story ist die Entstehung: Das 0.8B-Modell trainierte in rund 2 Stunden auf einer einzigen Workstation-GPU, das 2B in 3,5 Stunden. Sämtliche synthetischen Trainingsdaten schrieb ein offenes Modell (Qwen3.8-Flash-Next) auf zwei DGX Sparks - keine Cloud-GPUs, keine Closed-Model-Daten im Training, ein geschlossenes Modell nur zum Spot-Check der Datenqualität. Wer mit eigenen Beispielen nachfinetunt, kommt schnell weiter: Ein Voice-Navigation-Finetune hob die Held-Out-Accuracy von 31,7 auf 95,8 Prozent - in unter einer halben Stunde auf einer GPU.

Als Bonus gab es einen Zero-Shot-Spaßtest mit Doom, Frogger und Pac-Man - Jeff-0.8B entscheidet in 29-49 ms pro Zug, wohingegen Jevs publizierte Doom-Runs 212 ms pro API-Call brauchten. Modelle auf HuggingFace (Apache 2.0), Code MIT. Für alle, die schnelle Klassifikation lokal einbetten wollen, ohne ein 70B-Ungetüm zu hosten: genau das richtige Werkzeug.

Link: GitHub: firelex/jeff