Ettin Reranker: State-of-the-Art Reranking

Tom Aarsen hat auf dem Hugging Face Blog die Ettin Reranker-Familie vorgestellt – sechs neue Cross-Encoder-Reranker, die State-of-the-Art-Performance bei ihren jeweiligen Modellgrößen liefern. Die Modelle basieren auf den Ettin ModernBERT-Encodern und werden gemeinsam mit den Trainingsdaten und dem vollständigen Trainings-Rezept veröffentlicht.

Verfügbare Modelle

Die Familie umfasst sechs Varianten:

• cross-encoder/ettin-reranker-17m-v1
• cross-encoder/ettin-reranker-32m-v1
• cross-encoder/ettin-reranker-68m-v1
• cross-encoder/ettin-reranker-150m-v1
• cross-encoder/ettin-reranker-400m-v1
• cross-encoder/ettin-reranker-1b-v1

Die Modelle wurden mit einem Distillations-Rezept trainiert: Pointwise MSE auf mixedbread-ai/mxbai-rerank-large-v2-Scores über einem Subset der lightonai-Embedding-Datasets.

Was ist ein Reranker?

Reranker verbessern das Retrieval-Ergebnis von Embedding-basierten Suchsystemen. Während Embeddings Ähnlichkeit zwischen Query und Dokumenten voraussagen, nutzt ein Cross-Encoder Reranker den vollen Kontext von Query und Dokument zusammen. Das führt zu präziseren Rankings auf Kosten höherer Latenz.

In einem typischen RAG-Workflow werden zuerst mit Embeddings die relevantesten Dokumente gefunden, dann rerankt der Cross-Encoder diese Top-Kandidaten für das finale Ranking.

Trainings-Rezept verfügbar

Besonders wertvoll: Alle Trainingsdaten und das komplette Rezept werden veröffentlicht. Das ermöglicht Entwicklern, eigene Reranker auf ihre spezifischen Daten und Use-Cases zu trainieren.

Link zum Original: huggingface.co