Ephemeral Testing: Komponenten prüfen, indem KI-Agenten darauf aufbauen

Daniel Lemire schlägt eine Testmethode vor, die es vor der KI-Ära nicht geben konnte: Ephemeral Testing. Die Idee ist so simpel wie wirkungsvoll – und für jeden, der Bibliotheken oder APIs baut, sofort umsetzbar.

Das Prinzip

Du schreibst deine Komponente – oder ein KI-Agent tut es. Dann beauftragst du einen Agenten, darauf aufzubauen: eine Applikation, eine weitere Schicht, mehrere Features. Der Agent testet, was er gebaut hat. Du bewertest nicht die ursprüngliche Arbeit direkt, sondern wie gut das Software-Fundament trägt, das darauf steht. Danach wirfst du alles oben weg.

Warum das funktioniert

• Sauber designte API, stabile Invarianten, hilfreiche Fehlermeldungen → der Agent produziert schnell etwas, das funktioniert
• Versteckter Zustand, überraschende Defaults, dünne Doku → ein Haufen Patches und Fehlschläge. Und diese Fehlschläge sind Evidenz über deinen Code, nicht über den Agenten

Der eigentliche Gewinn

Statt beim Bau der Kernbibliothek zu spekulieren, was spätere Schichten brauchen werden, simulierst du diese Schichten einfach – indem du sie real generieren lässt. Wiederholbar mit verschiedenen Agenten, verschiedenen Tasks, gleichem Fundament. Lemire nutzt den Trick bereits: Bei jedem neuen Feature lässt er die darauf aufbauende Nutzung schnell prototypen. Ephemeral Testing als Integrationstest mit Wegwerf-Software.

Link: Daniel Lemire’s Blog