Models
Apertus 1.5 - Schweizer Open-Source-LLM lernt Bilder, Audio und Nachdenken
Was ist neu?
Das Swiss-AI-Projekt hat die Release Notes und den technischen Bericht zu Apertus 1.5 veröffentlicht. Die 8B- und 70B-Gewichte liegen bereits seit Juli unter Apache 2.0 auf Hugging Face. Version 1.5 ist ein fortgesetztes Pretraining der ersten Generation: 4 Billionen zusätzliche Tokens für das 8B-, 2 Billionen für das 70B-Modell (insgesamt 19T bzw. 17T).
- Multimodal: Bilder und Audio als Eingabe, Ausgabe nur Text; Sprache noch experimentell
- Thinking-Modus zuschaltbar für Reasoning-Aufgaben
- 262.144 Tokens Kontext – viermal so viel wie Apertus 1.0
- Besseres Instruction-Following und Tool-Use
Early Fusion statt Vision-Encoder
Bilder (Emu3.5-Tokenizer, 1.024 Tokens pro 512×512-Bild) und Audio (WavTokenizer, 40 Tokens pro Sekunde) landen als diskrete Tokens direkt in der Textsequenz. Nur das Vokabular wird erweitert, die Architektur bleibt gleich – Training läuft mit Text-Geschwindigkeit. Mehr als die Hälfte der Trainingsdaten ist weiterhin reiner Text. Post-Training: SFT, Long-Context-SFT, RL mit verifizierbaren Rewards, DPO und eine Ausrichtung an der Apertus-Charta.
Leistung und Transparenz
Mit Frontier-Open-Weight-Modellen kann Apertus nicht mithalten, das 8B-Modell schlägt aber gleich große offene Modelle bei Instruction-Following und mehrsprachigen Aufgaben. Bei Übersetzung zieht es laut Benchmark mit GPT-OSS-20B gleich und überholt Claude Haiku 4.5. Typisch Apertus: Daten, Trainingsdetails und Evaluationen (im EvalEval-Format, EU-AI-Act-tauglich) sind vollständig offen.