LLMs belohnen Fachwissen, nicht Prompting-Techniken

Sean Goedecke argumentiert in seinem Essay “LLMs reward expertise”, dass die wichtigste Fähigkeit beim Arbeiten mit Sprachmodellen nicht das Prompting selbst ist, sondern Fachwissen in genau jenem Bereich, den man bearbeitet. LLMs machen zwar alle zu Generalisten – wer kein CSS beherrscht, kann heute dennoch passables CSS vom Modell generieren lassen –, doch die Qualität der Ergebnisse hängt entscheidend vom Domänenwissen der Nutzerin oder des Nutzers ab.

Als zentrales Beispiel dient die Konversation des Mathematikers Terence Tao mit ChatGPT über ein Gegenbeispiel zur Jacobi-Vermutung. Tao kommuniziert kurz und präzise, hinterfragt Modell-Aussagen, macht eigene Vorschläge und lenkt die Diskussion – alles Dinge, die ohne mathematisches Fachwissen unmöglich wären. Goedecke überträgt diese Beobachtung auf die Softwareentwicklung: Wer seine Codebasis intim kennt, kann das LLM deutlich effektiver steuern.

Sein Fazit: Der Mensch ist oft der Engpass, nicht das Modell. Die nötigen Informationen stecken bereits im LLM, aber nur Expertinnen und Experten können sie gezielt hervorholen. Domänenwissen bleibt daher auch bei immer stärkeren Modellen unverzichtbar.

Link: LLMs reward expertise