Article
LamBench: Lambda-Calculus-Benchmark für KI-Modelle
LamBench ist ein neuer Benchmark, der die Fähigkeiten von Sprachmodellen im Umgang mit dem Lambda-Kalkül testet. Der Fokus liegt auf logischem Denken und funktionaler Programmierung.
Das Konzept
Der Benchmark umfasst 120 Aufgabenstellungen aus dem Lambda-Kalkül. Getestet wird, wie gut Modelle funktionale Konzepte verstehen und anwenden können. Anders als typische Coding-Benchmarks konzentriert sich LamBench auf die rein logische Ebene der Berechenbarkeit.
Die Ergebnisse
Die Rangliste zeigt überraschende Ergebnisse. GPT-5.4 führt mit 110/120 Punkten (91,7%), gefolgt von Opus-4.6 mit 108/120 (90,0%) und GPT-5.3-codex mit 107/120 (89,2%). Opus-4.7 und Gemini-3.1-Pro kommen auf 106/120 (88,3%), während DeepSeek-V4-Pro 64/120 (53,3%) erreicht.
Die Spitzenmodelle liegen eng beisammen, während Open-Source-Modelle wie Gemma-4-31B deutlich zurückfallen.
Was heißt das?
Der Lambda-Kalkül verlangt eine andere Art des Denkens als typische NLP-Aufgaben. Modelle müssen abstrakte Funktionen manipulieren und Reduktionen durchführen. Benchmark-Erfinder Victor Taelin argumentiert, dass solche Aufgaben die Tiefe des logischen Verständnisses zeigen.
Praktische Bedeutung
Für Entwickler zeigt der Benchmark, welche Modelle sich für funktionale Programmierung eignen. Der Test misst nicht nur Wissen, sondern die Fähigkeit, logische Transformationen selbstständig durchzuführen.