Models
FairStress: Wie fair entscheiden LLMs wirklich, wenn man sie unter Druck setzt?
Die Idee
Übliche Fairness-Benchmarks tauschen die demografische Identität von Kandidaten und prüfen, ob das Modell dieselbe Person wählt. AI2 zeigt mit FairStress: Dieselbe Antwort kann täuschen. Entscheidend ist, wie leicht ein Modell seine (korrekte) Entscheidung ändert, wenn ein überzeugendes Argument („Die Geschäftsleitung bevorzugt Kandidat B“) davorgesetzt wird.
Aufbau
- 300 realistische Zwei-Kandidaten-Szenarien in 29 Domänen (Einstellung, Kredit, Medizin, Bildung, Wohnen, Justiz).
- Teils eindeutig bessere Kandidaten, teils bewusst mehrdeutige Fälle.
- Identität: keine Angabe, codierter Name, angedeutet oder explizit.
- Adversariale Prefixes (Autorität, Konsens, Rechtslage, historische Benachteiligung) mit gespiegelten Gegenstücken.
- Zusammen über 13 Millionen Testfälle; FairStress-Core ist eine 50.000er-Teilmenge für schnellere Läufe. Integriert in Olmo-eval.
Befunde
- Ohne Identitätsangaben verhalten sich Modelle symmetrisch.
- Je expliziter die Identität, desto asymmetrischer: Modelle verlassen eine richtige Entscheidung eher, wenn das den minderheitscodierten Kandidaten begünstigt („anti-stereotypische Überkorrektur“). Die Lücke lag im Schnitt über 15 Modelle bei 6,9 Prozentpunkten (angedeutet) bzw. 9,3 (explizit).
- Bei Frontier-Modellen wie Claude Opus 5 und GPT-5.5 wurde in mehrdeutigen Fällen der minderheitscodierte Kandidat in etwa 60–65 % gewählt; der Wechsel in diese Richtung war unter gespiegelten Prefixes 8,8–42,4 Prozentpunkte häufiger.
AI2 betont, dass FairStress eine gleichheitsbasierte Fairness-Definition misst und andere Konzepte (Equity) nicht abdeckt.