Models
Falcon-Emirati-7B: Wenn ein LLM Dialekt, Kultur und Nuance lernt
Arabisch ist eigentlich eine ganze Sprachfamilie: Modern Standard Arabic (MSA) liest man in Nachrichten und Lehrbüchern, aber gesprochen wird in den VAE der Emirati-Dialekt — mit eigenem Vokabular, eigenem Rhythmus und kulturellen Bedeutungsebenen, die bei wörtlicher Übersetzung verloren gehen. Für genau diese Lücke hat das Technology Innovation Institute (TII) in Abu Dhabi Falcon-Emirati-7B vorgestellt, ein dialekt-spezialisiertes Modell auf Basis von Falcon-H1-Arabic.
Hybrid-Architektur als Fundament
Falcon-H1-Arabic kombiniert Mamba-State-Space-Modelle mit Transformer-Attention parallel in jedem Block — lineare Effizienz für lange Sequenzen plus Präzision bei Fernbeziehungen, was für das morphologisch reiche Arabisch zählt. Die Familie umfasst 3B, 7B und 34B Parameter mit bis zu 256K Kontext. Für die Dialekt-Adaption fiel die Wahl auf 7B: groß genug für kulturelle Nuance, klein genug für praktikables Training und Serving.
Datenstrategie und Benchmarks
Da Emirati primael gesprochen wird, fehlt es an Rohtext im Netz. TII kombinierte drei Quellen: authentische Webdaten aus Emirati-Foren, MSA-Material über Emirati-Kultur sowie synthetische Daten unter strikten Glossar- und Stilregeln. Im LLM-as-Judge-Test auf dem eigenen Alyah-Benchmark erreicht Falcon-Emirati-7B eine Dialekt-Fidelity von 0.52 — gegenüber 0.05 (ALLaM), 0.03 (Gemma-3-27B) und faktisch 0.00 (Fanar-2-27B). Die Konkurrenz weiß oft die richtige Antwort, antwortet aber in MSA. Fanar-2 verweigert zusätzlich 26 Prozent der Fragen komplett. Das zeigt: Der Dialekt-Gap schließt sich nicht von allein mit größeren Modellen — er braucht dedizierte Daten und Evaluation.