Aleph Alpha Kolibri: Souveränes offenes LLM mit 78B Parametern und deutschem Kern

Zum Tag der Deutschen Einheit hat Aleph Alpha sein neues Modell Kolibri veröffentlicht: ein Englisch-Deutsch Mixture-of-Experts-Transformer mit 78 Milliarden Parametern gesamt, von denen nur rund 3,5 Milliarden pro Token aktiv sind. Die Gewichte stehen unter Apache 2.0 auf Hugging Face, trainiert wurde von Grund auf auf Infrastruktur in Deutschland und Finnland - mit dem EU AI Act als Designziel, nicht als Nachtraeger.

Wie Kolibri arbeitet

• 384 Experten pro Layer, der Router wählt 6 davon pro Token, dazu ein Shared Expert - 50 Layer insgesamt
• Bilingualer Tokenizer (128k Vokabular) mit neuem UniBPE-Verfahren: Für deutsche Texte braucht Kolibri 11-15% weniger Tokens als der GPT-5-Tokenizer. “Bundesverfassungsgericht” sind 2 statt 6 Tokens
• Sliding-Window-Attention: 40 von 50 Layern sehen nur 512 Tokens zurück, jeder fünfte Layer sieht alles - so bleibt Kontext bis 1.048.576 Tokens bezahlbar
• 24 Billionen Trainings-Tokens, über ein Fünftel davon organisch deutsch, nur 6% übersetzt - das Modell denkt bei deutschen Prompts auch auf Deutsch
• Reasoning in vier Stufen (none/low/medium/high), Tool-Calling, Wissensstand 18. Juni 2026

Stärken und Schwächen

Bei Mathe führt Kolibri das Feld der ~3B-aktiven MoE-Modelle an: AIME 2025 mit 96,9 (Englisch) und 87,5 (Deutsch), vor Nemotron und Qwen3.5. Besonders spannend das Merlin-Arthur-Protokoll gegen Halluzination: Sagte Kolibri die Antwort nicht, gab es in 44% der Fälle “ich weiß nicht” oder eine Teilantwort - Qwen3.5 schafft 11%. Ideal für RAG über Behörden- und Unternehmensdokumente. Die Schwächen stehen genauso im Model Card: Closed-Book-Wissen (51.0 auf RAG-Fragen ohne Dokumente), Multi-Turn-Tool-Calling (39.8 auf BFCL) und Terminal-Bench 27.7 - als Coding-Agent ist Qwen3.6 vorne. Und: 78 GB FP8-Gewichte brauchen mindestens zwei H100 oder eine H200 - der Kolibri ist ein Server-Tier, kein Laptop-Modell. Ausgeliefert wird über ein vLLM-Plugin (aleph-alpha-inference), ein OpenAI-kompatibler Server mit zwei Startflags.

Link: Aleph Alpha | Tej.as Deep-Dive