IBM ALTK-Evolve: Agenten-Memory ist eine Dosis, kein Schalter

IBM Research hat eine Studie zu ALTK-Evolve veröffentlicht, einem Framework für agentic Memory. Die Kernthese: Agenten-Memory ist kein Feature, das man an- oder ausschaltet - es ist eine Dosis, die man auf das jeweilige Modell kalibrieren muss.

Drei Muster across acht Modelle

Getestet wurden acht Modelle von 30B dense bis zu frontier proprietären Systemen auf dem AppWorld-Benchmark (585 Multi-Step-Tasks über 9 simulierte Apps). Drei Muster zeigten sich:

• Starke Modelle mit Headroom wollen das vollständige Guideline-Set. DeepSeek-V3.2 (671B MoE) kletterte um +9.5pp Task Completion, Claude Opus 4.6 um +4.1pp, GPT-5.5 um +2.9pp.
• Schwächere Modelle ertrinken in zu vielen Guidelines. gpt-oss-120b (117B MoE) gewann +16.1pp mit kuratiertem Retrieval statt dem vollen Set - bei nur +5% Token-Overhead statt +51%.
• Gesättigte Modelle wie GLM-5 (745B MoE) zeigen keinen messbaren Gewinn.

Learning ohne Weight Updates

ALTK-Evolve destilliert Guidelines aus den eigenen Trajectories des Agenten - sowohl erfolgreiche als auch erfolglose Runs. Diese Guidelines werden zur Inference-Zeit in den Kontext injiziert. Keine Gewichte werden aktualisiert, keine menschliche Annotation nötig. Das macht es billig und portabel.

Kosteneffizienz

Der überraschende Befund: Die billigste Memory-Strategie kann auch die beste sein. Curated Retrieval kostet nur +5% extra Tokens bei gpt-oss-120b, während das volle Guideline-Set +51% kostet - bei schlechterer Performance für schwächere Modelle. Mit Prompt Caching lässt sich der statische Teil der Guidelines cachen, was die effektiven Kosten weiter senkt.

Fazit

Die richtige Memory-Dosis hängt vom Modell ab. Starke Modelle mit Headroom wollen alles. Schwächere brauchen eine kompakte Kernmenge plus task-spezifische Retrieval. Gesättigte Modelle brauchen gar nichts, bis ihre verbleibenden Failure Modes besser verstanden sind.