Claude Code schlägt Prompts vor - der echte Kunde ist das Modell?

Ein Feature von Claude Code, das auf den ersten Blick wie eine kleine Bequemlichkeit aussieht, sorgt für Diskussion: Nach Abschluss einer Aufgabe liegt bereits ein vorgeschlagener nächster Prompt im Eingabefeld — etwa “run the tests” oder “commit this”. Der Nutzer kann ihn absenden oder vorher editieren. Software-Ingenieur Zohaib Ansari argumentiert in einem Blogpost, dass der eigentliche Kunde dieses Features nicht der Nutzer, sondern das Modell selbst ist.

Jede Interaktion wird zum Label

Die Überlegung: Nützliches Feedback von Nutzern zu bekommen ist notorisch schwer. Daumen-hoch-und-runter-Buttons kümmern die wenigsten, und wer sie klickt, ist oft genervt — die Labels sind sparsam und selektiv verzerrt. Bezahlte Annotatoren sind teuer und müssen bei fremden Codebasen raten, was der Entwickler eigentlich wollte.

Der Vorschlags-Box umgeht beide Probleme: Jeder Vorschlag ist eine Vorhersage des nächsten User-Turns, konditioniert auf die gesamte Session. Unverandert abgeschickt ist ein positives Label. Editiert ist es sogar mehr wert — Original und Edit bilden ein Praeferenzpaar, und der Diff zeigt exakt, wo die Vorhersage danebenlag. Wer “run the tests” zu “run only the auth tests, the full suite takes ten minutes” ändert, liefert eine Korrektur von jemandem, der das Projekt kennt — im Moment, in dem es ihm wirklich wichtig ist.

RLHF-Rohstoff aus dem Arbeitsalltag

Das ist der Rohstoff für Reinforcement Learning from Human Feedback: Präferenzen, die nebenbei beim echten Job entstehen, aus echten Repositories statt aus synthetischen Benchmarks — also genau in der Distribution, in der das Modell später arbeiten soll. Dazu kommt ein zweiter Trainingseffekt: Die nächste Nutzeraktion vorherzusagen ist ein eigenständig nützliches Ziel. Wer weisz, was ein kompetenter Entwickler als Nächstes fragt, versteht, wie Arbeit sequenziert ist — ein kurzer Weg zum Agenten, der den nächsten Schritt selbstständig ausführt.

Anthropic-Mitarbeiter Edwin Arbus dementiert auf Hacker News allerdings: Die Vorschläge dienten rein dazu, Nutzer im Flow zu halten, und würden nicht als Präferenz-Signale gesammelt. Gemessen werde nur, wie oft Vorschläge angenommen werden — um die Hilfsfähigkeit des Features zu bewerten. Die These bleibt trotzdem lesenswert: Ob absichtlich oder nicht, solche Interfaces erzeugen Signale, die man für RLHF kaum günstiger designen könnte.

Link: Zohaib Ansari