35kb-Prompts migrieren: Von Anthropic und OpenAI zu selbst gehosteten LLMs

Patrick McCanna hat seine Experimente dokumentiert, wie er Agenten mit riesigen Prepompts von Claude Code und OpenAI auf selbst gehostete Modelle via Ollama umzieht. Sein Motiv: Wer seine Session-Historien geheim halten will, kommt an eigener Hardware kaum vorbei. Was bei Frontier-Anbietern läuft, landet seiner Ansicht nach in deren Training - nach der Navier-Stokes-Kontroverse um OpenAI ist das für ihn keine Verschwörungstheorie mehr, sondern Arbeitsannahme.

Das Problem: McCanna setzt abliterierte Open-Weight-27B-Modelle auf einem AMD Ryzen AI MAX+ 395 mit 96 GB RAM für Inference ein. Prompts, die auf Frontier-APIs sauber liefen, kollabieren lokal: Der 35kb-Preprompt frisst sofort 14 Prozent des 65k-Token-Kontextfensters. Der Agent thrasht binnen Minuten - wiederholte Tool-Calls, mehrfaches Lesen derselben Dateien, Neuschreiben fertiger Arbeit. Sein Fazit: Ein Preprompt in einem kleinen Kontextfenster ist wie ein Briefing an einen Mann, der alle 90 Sekunden reinkarniert.

SOP - Single Objective Prompting: Preprompts müssen in einzelne Problem-/Loesungs-Einheiten zerlegt werden, ein Ziel pro Agent. OpenCode mit deklarativen Agent-Definitionen in ~/.config/opencode/agents/ ersetzt die improvisierten Claude-Code-Konstruktionen. Und zwingend: Die Context-Length in Ollama explizit erhöhen, da die Defaults extrem klein sind.

MTTF - Mean Tokens To Forget: Als Failure-Signale für Kontext-Erschöpfung empfiehlt er zu monitoren: identische Tool-Calls hintereinander, mehrfache Reads derselben Datei, restating der Objectives, Tool-Call-Parse-Fehler und hohe Turn-Counts relativ zu File-Changes.

Fazit: Self-Hosting ist kein 1:1-Drop-in. Wer große Prompts gewohnt ist, hängt auch an den großen Kontextfenstern der Anbieter - unbewusst getragen von Chain-of-Thought-Raum, den lokale Modelle nicht bieten. Der Umzug bedeutet Prompts neu denken, nicht nur Modelle tauschen.

Original: Notes on migrating large prompts away from Anthropic/OpenAI to Self hosted LLMs (Patrick McCanna)