Janus: GGUF-Modelle lokal per Vulkan - Go-Binary mit OpenAI-API

Wer GGUF-Modelle lokal betreiben will, greift meist zu Ollama oder llama.cpp samt Tooling-Kette. Das Projekt Janus zeigt einen radikal minimalen Ansatz: ein einzelnes Go-Binary, das GGUF-Modelle per Vulkan auf AMD-, Intel- und NVIDIA-GPUs ausführt und eine OpenAI-kompatible API bereitstellt. Kein Python, kein Docker, kein Ollama.

Features

• llama.cpp via Vulkan auf AMD, Intel und NVIDIA, CPU-Fallback
• OpenAI-API: /v1/chat/completions inklusive Streaming sowie /v1/models
• Hot-Swap: GGUF-Modell ohne Neustart wechseln (/models/load)
• Thinking-Modelle: Reasoning wird in reasoning_content abgetrennt
• Chat-Template automatisch aus den GGUF-Metadaten erkannt
• Konfiguration per .env: Backend, GPU-Layer, VRAM-Limit, Max-Tokens, Bind-Adresse

Der Standard-Port ist 127.0.0.1:8990. In Cursor, Cline oder jedem anderen OpenAI-Client reicht die Base-URL http://127.0.0.1:8990/v1 ohne API-Key. Auf Windows kompiliert ein Buildskript inklusive vorkompilierter Vulkan-DLLs, auf Linux liegt libllama.so neben der Binary, macOS nutzt den CPU-Backend.

Für minimale Setups, Windows-Umgebungen ohne Python-Komfort oder als leichtgewichtige Alternative zu größeren LLM-Servern ist Janus einen Blick wert. Die Endpunkte /engine/status und /health?deep=true zeigen VRAM-Belegung und Backend-Details live an.

Quelle: GitHub - Janus