Eigener LLM-Proxy: Warum du sehen solltest, was deine Agenten tun

Das Argument

Ein Blogautor kritisiert, dass die Nutzungs-Dashboards der großen Anbieter kaum brauchbar sind: Sie liefern hübsche Grafiken statt Token-Statistiken als Zeitreihen, mit denen Entwickler Entscheidungen treffen können. OTel-Export hilft nur begrenzt. Seine Lösung: einen LLM-Proxy selbst betreiben, irgendwo, wo man die Kontrolle hat.

Gründe für den eigenen Proxy

• Mehrere Anbieter und Modelle hinter einem einzigen Endpoint.
• Logs, welcher Key welches Modell mit welchem Client wann aufgerufen hat und mit welchem Status.
• Virtuelle API-Keys für Agenten und Harnesses, statt den Hauptschlüssel überall zu verteilen.
• Eigene Infrastruktur, die man anpassen kann, etwa für zusätzliche Metriken oder eigene MCP-Endpunkte.
• Schneller Wechsel von Modell oder Anbieter, ohne alles neu einzurichten.

Praxisnutzen

Bei einem Cache-Miss in einer Coding-Session findet der Autor die Ursache nach eigener Aussage in 20 Sekunden; da der Proxy eine API hat, ließe sich das automatisieren. Eine konkrete Software empfiehlt er bewusst nicht, nur dass man sie selbst betreibt und an die eigenen Bedürfnisse anpasst. Wer Agenten und Coding-Tools intensiv nutzt, bekommt so Transparenz über Kosten, Caching und Verhalten.

Zum Originalartikel