News
LLM-Gedaechtnis als Programmanalyse - Wie ein Datalog-Engine LLM-Agenten schlauer macht
Jordy Zommer hat beim Experimentieren mit LLM-Agents fuer Vulnerability Research ein huebsches Problem entdeckt: nach ein paar Stunden Untersuchung verliert das Modell den Ueberblick ueber was eigentlich noch gilt und was nicht. Eine falsche Annahme wird zurueckgezogen, aber abhaengige Schlussfolgerungen bleiben bestehen - klassische LLM-Halluzination.
Von Memory zu Program Analysis
Die Loesung kam aus einem unerwarteten Winkel: Program Analysis. Statt dem LLM alte Gespaerche in den Prompt zu stopfen und zu hoffen dass es die Konsequenzen einer geaenderten Annahme selbst findet, trennt Zommer das Problem in zwei Teile. Das LLM macht das, woran es gut ist: natuerliche Sprache, Source Code und Debugger-Output verstehen und in strukturierte Fakten uebersetzen. Eine Datalog-Engine namens Lemmalog uebernimmt das Deterministische: Fakten speichern, Regeln anwenden und einen Fixpunkt berechnen.
Datalog fuer LLMs
Datalog ist eine deklarative Logik-Sprache: man definiert Fakten und Regeln, die neue Fakten aus bestehenden ableiten. Wenn ein Fakt geloescht wird, weiss die Engine genau welche abhaengigen Schlussfolgerungen davon betroffen sind und invalidiert sie automatisch. Das loest das Retraction-Problem elegant - mehrere unabhaengige Beobachtungen koennen dieselbe Conclusion stuetzen, und erst wenn alle wegfallen wird die Conclusion entfernt.
Provenance und “Warum?”
Lemmalog tracked wie jeder Fakt entstanden ist. Man kann fragen: “Warum glaubt der Agent X?” und bekommt die gesamte Beweiskette zurueck. Das macht es viel schwerer fuer ungestuetzte Halluzinationen, unbemerkt Teil der Untersuchung zu werden.