Models
Granite Switch 4.1 - Chat, Entscheidungen und Spracherkennung aus einem Endpoint
IBM baut sein modulares Granite-Switch-Konzept aus: Die neuen Modelle Granite-Switch-4.1-8B und -30B vereinen ein Basismodell, mehrere Adapter und ein Spracherkennungsmodell hinter einem einzigen Endpoint – bei etwa dem VRAM-Bedarf des Basismodells allein.
Was drinsteckt
- Decision aLoRA: ein allgemeiner Adapter für Ja/Nein- und Klassifikationsentscheidungen.
- Guardian aLoRA: spezialisiert auf Sicherheitsentscheidungen; laut IBM im Schnitt besser als mehrere geschlossene Decision-Modelle.
- Granite-Speech-5.0-Turbo-CTC: laut IBM das schnellste ASR-Modell auf dem OpenASR-Leaderboard.
Der Trick: Activated LoRA
Die Adapter sind als “Activated LoRAs” gebaut. Dadurch kann der KV-Cache einer normalen Chat-Generierung direkt für nachfolgende Adapter-Entscheidungen wiederverwendet werden. Zusammen mit IBMs vLLM-Beiträgen für schnellere LoRA-Inferenz wechselt das Modell flott zwischen Chat, Entscheidung und Transkription. In einem RAG-Workflow mit fünf Schritten war das 30B-Modell mit vier Spezial-Adaptern deutlich schneller als ein Konkurrent mit einem generischen Decision-LoRA.
Selbst zusammenstellen
Die ausgelieferten Modelle sind nur eine Konfiguration – eigene Switch-Modelle lassen sich aus den Adaptern der Granite Libraries zusammenbauen. Ein Adapter-SDK in Mellea ist angekündigt. Als Spielerei zeigt IBM ein 3B-Modell, das mit 60 bis 100 Entscheidungen pro Sekunde Doom spielt und nebenbei Fragen beantwortet. Eine Demo-Space auf Hugging Face transkribiert Audio, fasst zusammen und prüft live 15 eigene Flags.