NeoMME: Multimodaler Encoder ohne Vision-Tower

H Company hat mit NeoMME eine Familie multilingualer, multimodaler Encoder veröffentlicht – in zwei Größen (260M und 800M Parameter) und unter Apache 2.0. Der interessante Twist: NeoMME setzt weder auf einen vortrainierten Vision-Tower noch auf ein Sprachmodell als Rückgrat.

Ein Transformer für alles: Bild-Patches (32×32) und Text-Tokens durchlaufen denselben bidirektionalen Transformer. Trainiert wird von Grund auf mit einem Masked-Discrete-Diffusion-Ziel: Bei hoher Maskierungsrate des Texts muss das Modell die Lücken aus den sichtbaren Bild-Patches schließen – so erlernt es echtes Bildverstehen, statt auf Sprach-Shortcuts auszuweichen. Kontextlänge: 16.384 Tokens, genug für zwei 4K-Bilder.

Retriever statt Generator: Für die Praxis feintunen die Macher NeoMME auf visuelle Dokumentenrecherche nach der ColPali-Methode – ganze PDF-Seiten werden als Bilder indexiert, OCR entfällt komplett, Layout und Tabellen bleiben erhalten. Ein Dual-Head liefert dichte und Late-Interaction-Embeddings in einem Forward-Pass. Auf dem ViDoRe-v3-Benchmark liegt NeoMME-260M mit 0.523 nDCG@10 weit vor ColModernVBERT (0.261 bei 250M) und schlägt auf v3 sogar ColQwen2.5 mit 3.75B Parametern.

Speicherproblem gelöst: Late-Interaction-Indizes sind normalerweise speicherhungrig (~1,5 MB pro Seite). Mit hierarchischem Token-Pooling und asymmetrischer Quantisierung (int8 + binär) schrumpft das auf 6 kB pro Seite – Faktor 255 – bei über 95 % erhaltener Retrieval-Qualität. Beim Encoding-Durchsatz erreicht das 260M-Modell 51 Seiten/Sekunde auf einer L40S, rund doppelt so viel wie ColModernVBERT.

Fazit: Ein kompakter, offener Baustein für visuelles RAG – gerade für lokale Setups attraktiv, wo Multi-Milliarden-VLMs als Retriever Overkill sind. Checkpoints und ein Demo-Space sind auf Hugging Face verfügbar.

Quelle: huggingface.co