LLM-Klassifikation ist Feature-Engineering: Warum Prompts als Etikettierer oft scheitern

LLMs als Klassifikatoren einzusetzen - Prompt rein, Label raus - funktioniert oft verblüffend gut und ist trotzdem äußerst frustrierend zu arbeiten. Taylor Pospisil argumentiert in einem Blogpost, dass das Problem nicht am LLM liegt, sondern am falschen mentalen Modell: LLM-Klassifikation ist in Wahrheit Feature-Engineering, keine Klassifikation.

Was LLM-Verdicts fehlt

Wer ein Modell als Klassifikator einsetzen will, braucht normalerweise vier Dinge, die ein LLM von Haus aus nicht liefert:

• Kalibrierung und Schwellenwert-Kontrolle: LLM-Urteile sind harte Labels. Man kann nach Wahrscheinlichkeiten fragen, aber nichts garantiert, dass die kalibriert sind. Es gibt keinen sauberen Weg, Precision und Recall gegeneinander zu traden.
• Einbezug aller Information: Strukturierte Daten kann man in den Prompt kleben, aber niemand garantiert, dass das Modell sie auch nutzt. Auch Prior-Wissen des Modells kann zur eigenen Verteilung nicht passen - etwa ob die positive Klasse selten oder angereichert ist.
• Interpretierbarkeit: Ein Prompt ist Prosa und wirkt dadurch transparent. Was im Modell tatsächlich passiert und welche Prompt-Teile befolgt werden, bleibt aber unklar.
• Konsistenz: Ob dieselbe Eingabe morgen dasselbe Label bekommt, ist nicht garantiert.

Das ist kein Versagen des LLMs - es wurde schlicht nicht als Klassifikator gebaut.

Die Lösung: LLM-Output als Feature behandeln

Der Kerngedanke: Man bettet das LLM-Urteil in eine einfache logistische Regression ein:

p(y = 1 | x) = sigma(alpha + beta * LLM(x))

Im Spezialfall beta gegen unendlich landet man wieder beim naiven LLM-Klassifikator - aber das wäre eine dumme Parameterwahl. Stattdessen schätzt man alpha und beta auf Trainingsdaten. Damit gewinnt man Kalibrierung auf die eigene Verteilung zurück: Der Faktor lernt empirisch, wie oft das LLM-Urteil daneben liegt, und korrigiert es. Schwellenwerte für Precision-Recall-Trade-offs lassen sich dann im nachhinein auf die kalibrierte Wahrscheinlichkeit legen - ganz ohne Prompt-Chirurgie.

Warum das pragmatisch wirkt

Kalibrierte Urteile lassen sich in größere Pipelines einbauen, Thresholds lassen sich an Kosten anpassen (was kostet ein falsch-positiv vs. falsch-negativ?), und die Verteilungsannahmen werden explizit statt im Prompt versteckt. Man behält die Stärke des LLMs - unstrukturierte Daten verstehen - und bekommt die Errungenschaften klassischen MLs zurück: Kalibrierung, Schwellenwerte, Vertrauensintervalle.

Fazit des Artikels: Nicht das LLM als Klassifikator ersetzen, sondern den Output als Feature in einem klassischen Modell verbauen. Das ist kein Kontrollverlust, sondern die ehrlichere Beschreibung dessen, was ein LLM-Verdict überhaupt ist: ein sehr gutes, aber verräterisches Feature.

Link: Minimally Sufficient