Referenz: AI-Gateway für ein Schweizer Softwareunternehmen

Hinweis: Diese Referenz basiert auf einem realen Engagement mit anonymisierten Metriken. Der Kunde hat die Veröffentlichung geprüft und genehmigt.

Ausgangslage

Ein 60-köpfiges Schweizer Softwareunternehmen hatte die AI-Nutzung über drei Produktteams hinweg ausgeweitet. Die Kosten wuchsen schneller als der Umsatz. Jedes Team hatte eigene Provider-Keys, eigenes Logging und eigene Retry-Logik. Niemand wusste, was AI pro Feature kostete.

Was wir gemacht haben

1. Bestehende AI-Nutzung über Teams, Provider und Aufgaben kartiert.

2. LiteLLM-Gateway hinter dem bestehenden Stack mit Budgets, Fallbacks und Kostenzuordnung pro Team deployt.

3. Provider-Caching für die volumenstärksten Routen aktiviert.

4. Extraktions- und Klassifikationsaufgaben mit Quality Gates auf günstigere Modelle umgestellt.

Ergebnis

• 38% Reduktion der monatlichen AI-Kosten innerhalb von sechs Wochen.
• Kostenzuordnung pro Feature steht Engineering-Managern zur Verfügung.
• AI-Nutzung wuchs im selben Zeitraum um 22%, vor allem weil Teams keine Angst mehr vor Kosten hatten.
• Ein Endlosschleifen-Agent wurde durch einen Circuit Breaker gestoppt, bevor er zur Rechnung wurde.

Was wir beim nächsten Mal anders machen würden

Wir würden Circuit Breaker vor Caching einbauen. Der Endlosschleifen-Agent lief noch vor dem Cache-Rollout, und die manuelle Intervention kostete mehr Zeit als der Cache einsparte.