Article

Granite Embedding: Multilinguale Embeddings mit 32K Kontext

IBM Granite veröffentlicht zwei neue Apache 2.0 Embedding-Modelle: ein kompaktes 97M-Modell, das auf MTEB Multilingual Retrieval mit 60.3 den Spitzenplatz unter 100M Parametern einnimmt, und ein 311M-Vollmodell, das mit 65.2 auf Platz 2 unter 500M landet. Beide unterstützen 32K-Token-Kontext und über 200 Sprachen.

Die Herausforderung multilingualer Embeddings

Multilingual Embeddings stehen immer vor einem Spannungsverhältnis: Breite Sprachabdeckung kostet meist Model-Größe, und kleine Modelle opfern oft Sprachunterstützung. Wer mit multilingualen Korpora arbeitet, kennt die Wahl zwischen einem Modell, das schnell genug ist, und einem, das gut genug ist.

Granite Embedding Multilingual R2 adressiert genau diese Lücke. Der 97M-Parameter-Compact-Modell schlägt alle offenen sub-100M multilingualen Embedder im MTEB Benchmark. Der 311M-Parameter-Voll-Modell erreicht mit 65.2 den zweiten Platz unter allen offenen Modellen unter 500M Parametern.

Technische Details

Beide Modelle basieren auf ModernBERT und bieten:

  • 32K-Token-Kontextfenster — 64-mal mehr als R1
  • Matryoshka-Embedding-Unterstützung für dimensionale Reduktion
  • Code-Retrieval für 9 Programmiersprachen
  • Apache 2.0 Lizenz — vollständig offen für kommerzielle Nutzung

Die 52 explizit getunten Sprachen decken die wichtigsten Weltsprachen ab, während die 200+ unterstützten Sprachen auch Nischen abdecken.

Benchmarks und Zahlen

Der Compact-Modell erreicht:

  • 60.3 auf MTEB Multilingual Retrieval (Beste unter 100M)
  • 32K Kontext ohne Qualitätsverlust
  • Code-Retrieval-Support für Production-Workflows

Der Voll-Modell bietet:

  • 65.2 auf MTEB Multilingual Retrieval
  • Höhere Präzision für große Korpora
  • Matryoshka-Dimensionen für Flexibilität

Einsatzmöglichkeiten

Für RAG-Systeme mit multilingualen Dokumenten ist der 97M-Compact ideal: schnell, leichtgewichtig, ohne GPU lauffähig. Für Unternehmen mit großen Codebasen und internationalen Teams bietet der 311M-Modell die nötige Präzision für semantische Codesuche.

Die Apache 2.0-Lizenz macht beide Modelle uneingeschränkt nutzbar — ohne API-Kosten, ohne Vendor-Lock-in, mit vollem Zugang zu Gewichten und Code.

Fazit

Granite Embedding R2 bringt multilinguale KI-Nähe zu einem Punkt, an dem kleiner nicht mehr schlechter bedeuten muss. Wer RAG über internationale Korpora betreibt, findet hier eine echte Option: offen, performant, mit Kontext, der wirklich funktioniert.

Original bei Hugging Face Blog