Ettin Reranker: Neue SOTA-Modelle für Semantic Search

Kurzbeschreibung

Tom Aarsen veröffentlicht sechs neue CrossEncoder-Reranker basierend auf Ettin ModernBERT-Encodern. Die Modelle erreichen State-of-the-Art-Performance auf MTEB bei verschiedenen Größenklassen – inklusive komplettem Training-Recipe und Datensatz.

Abstract

Reranker sind ein kritischer Bestandteil moderner RAG-Pipelines, doch die Auswahl an effizienten Open-Source-Modellen war bisher begrenzt. Mit der Ettin Reranker-Familie schließt Tom Aarsen diese Lücke mit sechs Modellen von 17M bis 1B Parametern. Alle Modelle basieren auf den Ettin ModernBERT-Encodern und nutzen eine Distillation-Training-Methode mit MSE-Loss auf Scores von mxbai-rerank-large-v2.

Besonders bemerkenswert: Der Autor veröffentlicht nicht nur die Modelle, sondern auch den kompletten Trainingsdatensatz (cross-encoder/ettin-reranker-v1-data) und das Training-Recipe. Die Daten bestehen aus einer Mischung von lightonai/embeddings-pre-training und einer gererankten Teilmenge von lightonai/embeddings-fine-tuning. Damit können Entwickler eigene Reranker auf domänenspezifischen Daten fine-tunen.

Die Integration erfolgt über Sentence Transformers und ist trivial: Nach der Installation lassen sich die CrossEncoder-Modelle direkt laden und für Query-Dokument-Paare Scores berechnen. Die kleineren Varianten (17M, 32M, 68M) eignen sich besonders für Latenz-kritische Anwendungen, während die größeren Modelle (400M, 1B) maximale Retrieval-Qualität bieten.

Wichtig für Praktiker: Die Modelle wurden auf MTEB(eng, v2) Retrieval mit verschiedenen Embedder-Paarungen evaluiert, darunter embeddinggemma-300m. Die Ergebnisse zeigen konsistente Verbesserungen über alle Größenklassen gegenüber bisher verfügbaren Open-Source-Rerankern.

Link: Hugging Face Blog