IBM ALTK-Evolve: Agenten-Memory ist eine Dosis, kein Schalter

IBM Research hat eine Studie zu ALTK-Evolve veroeffentlicht, einem Framework fuer agentic Memory. Die Kernthese: Agenten-Memory ist kein Feature, das man an- oder ausschaltet - es ist eine Dosis, die man auf das jeweilige Modell kalibrieren muss.

Drei Muster across acht Modelle

Getestet wurden acht Modelle von 30B dense bis zu frontier proprietaeren Systemen auf dem AppWorld-Benchmark (585 Multi-Step-Tasks ueber 9 simulierte Apps). Drei Muster zeigten sich:

• Starke Modelle mit Headroom wollen das vollstaendige Guideline-Set. DeepSeek-V3.2 (671B MoE) kletterte um +9.5pp Task Completion, Claude Opus 4.6 um +4.1pp, GPT-5.5 um +2.9pp.
• Schwaechere Modelle ertrinken in zu vielen Guidelines. gpt-oss-120b (117B MoE) gewann +16.1pp mit kuratiertem Retrieval statt dem vollen Set - bei nur +5% Token-Overhead statt +51%.
• Gesättigte Modelle wie GLM-5 (745B MoE) zeigen keinen messbaren Gewinn.

Learning ohne Weight Updates

ALTK-Evolve destilliert Guidelines aus den eigenen Trajectories des Agenten - sowohl erfolgreiche als auch erfolglose Runs. Diese Guidelines werden zur Inference-Zeit in den Kontext injiziert. Keine Gewichte werden aktualisiert, keine menschliche Annotation noetig. Das macht es billig und portabel.

Kosteneffizienz

Der ueberraschende Befund: Die billigste Memory-Strategie kann auch die beste sein. Curated Retrieval kostet nur +5% extra Tokens bei gpt-oss-120b, waehrend das volle Guideline-Set +51% kostet - bei schlechterer Performance fuer schwaechere Modelle. Mit Prompt Caching laesst sich der statische Teil der Guidelines cachen, was die effektiven Kosten weiter senkt.

Fazit

Die richtige Memory-Dosis haengt vom Modell ab. Starke Modelle mit Headroom wollen alles. Schwaechere brauchen eine kompakte Kernmenge plus task-spezifische Retrieval. Gesättigte Modelle brauchen gar nichts, bis ihre verbleibenden Failure Modes besser verstanden sind.