GitHub macht Copilot billiger - ohne dass das Modell schlauer werden muss

Vier Eingriffe im Harness statt im Modell

GitHub-Engineer Erik Krogh Kristensen beschreibt vier Änderungen, mit denen Copilot weniger Tokens verbraucht, ohne Task-Qualität zu opfern. Grundprinzip: das fertige Ergebnis optimieren, nicht den einzelnen Tool-Call. Beispiel “Local Metric Trap”: Kürzere Tool-Outputs sehen in Benchmarks besser aus - aber wenn dem Modell wichtige Infos fehlen, holt es sie teuer wieder zurück (Output nachladen, Befehle erneut ausführen), und die Gesamtkosten steigen.

Konkrete Zahlen

• Zeilennummern entfernt: Das view-Tool prefixte jede Zeile mit einer Nummer, die aktuelle Edit-Tools gar nicht mehr nutzen. Das Rauswerfen sparte rund 5% Inferenzkosten in Offline-Benchmarks - und im Online-Experiment mit Copilot-CLI-Nutzern 3% Tageskosten ohne messbaren Qualitätsverlust.
• System-Prompt halbiert: Eine Meta-Prompting-Loop ließ Copilot seinen eigenen Prompt schreiben und verkleinern, validiert durch Behaviour-Tests. Eine Regression (parallel laufende Custom-Agents wurden plötzlich serialisiert) flog erst im Online-Test auf - ein Einzeiler fixte sie.
• Background-Tasks gebündelt: Shell- und Sub-Agent-Ergebnisse werden kombiniert geliefert statt einzeln abgeholt - aus vier LLM-Calls für zwei Ergebnisse wird einer, weniger Latenz, weniger Kontext-Schleppkosten.

Die Kernlektion

Keine dieser Änderungen macht das Modell schlauer - sie entfernen Arbeit, die das Modell nie gebraucht hätte. Die Optimierungen rollen auf alle Copilot-Produkte mit demselben Harness aus, inklusive App und Code Review.

Quelle: GitHub Blog