KI-Coding-Kosten im Griff - Databricks teilt Best Practices

Databricks hat einen ausführlichen Blogpost veröffentlicht, der zeigt, wie Unternehmen KI-Coding-Kosten im Griff behalten, ohne die Produktivität zu bremsen. Basierend auf Erfahrungen bei Databricks und Gesprächen mit Stripe, Coinbase, Uber und Ramp werden konkrete Strategien geteilt.

Die Efficiency Frontier

Der wichtigste Hebel: Wechsel zu günstigeren Modellen, sobald diese die gleiche Qualität liefern. Databricks führt den Begriff “Efficiency Frontier” ein - die Modelle mit dem besten Preis-Leistungs-Verhältnis für eine bestimmte Intelligenzstufe. Diese Grenze verschiebt sich fast wöchentlich durch neue Releases. Öffentliche Benchmarks seien laut Databricks allerdings wenig aussagekräftig für reale Coding-Aufgaben. Eigene Evaluations sind unerlässlich.

Drei Kostentreiber

1. Modellwechsel: Schnelle Adoption neuer, effizienterer Modelle bringt die größten Einsparungen. Databricks fand GLM-Modelle konkurrenzfähig und rollte sie intern aus. Stripe lehnte Opus 4.7 ab, da es keine Verbesserung gegenüber 4.6 brachte, aber teurer war.

2. Dynamisches Routing: Statt User selbst Modelle wählen zu lassen, übernehmen Proxies das Routing. Databricks’ AI Gateway Smart Router reduziert Task-Kosten um über 30% bei gleicher Qualität. Pattern wie Claude’s Advisor Tool (billiges Modell eskaliert) oder Devin Fusion (teures Modell delegiert) zeigen alternative Ansätze.

3. Budgets mit Vernunft: Harte Token-Budgets sind kontraproduktiv. Die besten Entwickler sind oft die höchsten Ausgaben. Stattdessen: Sichtbarkeit für User, Self-Clearing Spend Gates, und Genehmigungspflichtige Gates bei hohen Ausgaben.

Open Source Tools

Databricks hat seine Infrastruktur open-sourced: Omnigent (Meta-Harness für modellunabhaengiges Coding) und Unity AI Gateway für zentrales Routing.

Link: Databricks Blog