AI-Kostenkontrolle bedeutet nicht, für jede Aufgabe das billigste Modell zu wählen. Sie bedeutet, die Kosten pro erfolgreichem Ergebnis sichtbar zu machen und Modell, Kontext, Werkzeuge und Kontrollschritte passend zur Aufgabe einzusetzen. Wer nur den Preis pro Token betrachtet, übersieht Retries, unnötig langen Kontext, Agentenschleifen, menschliche Nacharbeit und unklare Provider-Nutzung.
Warum werden AI-Kosten im Betrieb unerwartet hoch?
In produktiven AI-Systemen entsteht die Rechnung aus mehreren Faktoren: Anzahl Anfragen, Ein- und Ausgabe-Tokens, Modellpreis, Retrieval, Tool-Aufrufe, Wiederholungen, Infrastruktur und menschliche Prüfung. Ein einzelner Aufruf kann günstig sein, während ein Workflow mit zehn Agentenschritten, grossen Dokumentpaketen und mehreren Retries teuer wird.
Die wichtigste Kennzahl ist deshalb nicht Kosten pro Anfrage, sondern Kosten pro erfolgreich erledigter Aufgabe. Erst diese Sicht verbindet Wirtschaftlichkeit mit Qualität.
1. Kosten pro Workflow und Ergebnis messen
Ordnen Sie Nutzung mindestens einem Workflow, Team, Produkt oder Kundenkontext zu. Erfassen Sie Modell, Token, Cache-Treffer, Tool-Aufrufe, Retries, Laufzeit und Ergebnisstatus. Ohne diese Zuordnung sehen Sie eine Gesamtrechnung, aber nicht, welcher Prozess sie verursacht.
Eine brauchbare Kostenansicht beantwortet vier Fragen:
- Welche Workflows erzeugen den grössten Verbrauch?
- Welche Aufgaben benötigen tatsächlich ein leistungsstarkes Modell?
- Wo entstehen Retries oder Endlosschleifen?
- Welche Ergebnisse benötigen nachträgliche menschliche Korrektur?
2. Modelle nach Aufgabe routen
Nicht jede Aufgabe braucht dasselbe Modell. Klassifikation, Extraktion, Zusammenfassung, Recherche, Code und komplexe Entscheidungsunterstützung haben unterschiedliche Anforderungen. Ein AI Gateway kann Modelle anhand von Aufgabe, Sensitivität, Latenz, Kontextlänge und gemessener Qualität auswählen.
Routing sollte nicht nur nach Preis erfolgen. Ein günstigeres Modell, das häufiger scheitert und Wiederholungen auslöst, kann pro erfolgreicher Aufgabe teurer sein. Definieren Sie deshalb pro Aufgabentyp eine Mindestqualität und vergleichen Sie Kosten erst innerhalb dieser Grenze.
3. Wiederkehrenden Kontext cachen
Systemanweisungen, Richtlinien, Produkthandbücher und andere stabile Kontextblöcke werden oft bei jeder Anfrage erneut verarbeitet. Prompt- oder Kontext-Caching kann diese Wiederholung reduzieren, wenn der Provider und die Architektur es unterstützen.
Caching ist besonders wirksam, wenn grosse, identische Präfixe häufig verwendet werden. Es ersetzt aber keine Aktualitätskontrolle. Veränderte Richtlinien oder Berechtigungen müssen einen Cache ungültig machen, sonst spart das System Geld auf Kosten falscher Antworten.
4. Retrieval kleiner und präziser machen
Mehr Kontext ist nicht automatisch besser. Zu viele abgerufene Textblöcke erhöhen Kosten und können die relevante Information verdecken. Gute Retrieval-Systeme wählen Quellen zuerst nach Autorität und Berechtigung und liefern dann nur die Abschnitte, die für die konkrete Frage nötig sind.
Messen Sie nicht nur Retrieval-Treffer, sondern auch, ob die abgerufenen Belege tatsächlich in der Antwort verwendet wurden. Dokumente, die regelmässig mitgeschickt, aber nie gebraucht werden, sind ein direkter Optimierungskandidat.
5. Agentenschleifen technisch begrenzen
Agenten können Aufgaben selbstständig in mehrere Schritte zerlegen. Ohne Grenzen entstehen wiederholte Tool-Aufrufe, erfolglose Suchschleifen oder gegenseitige Übergaben ohne Fortschritt.
Jeder Agenten-Workflow braucht deshalb:
- eine maximale Zahl von Schritten und Retries,
- ein Budget pro Aufgabe,
- Zeitlimits für Werkzeuge,
- definierte Abbruchbedingungen,
- einen klaren Eskalationsweg zu einem Menschen.
Diese Kontrollen schützen Budget und Betrieb gleichzeitig.
6. Prompts und Tool-Ergebnisse kürzen
Lange Prompts sind nicht automatisch präziser. Entfernen Sie doppelte Anweisungen, historische Nachrichten ohne aktuellen Nutzen und vollständige Tool-Ausgaben, wenn eine strukturierte Zusammenfassung genügt. Für Agenten sollte Memory bewusst auswählen, was in den nächsten Schritt gehört, statt den gesamten bisherigen Verlauf weiterzugeben.
Wichtig ist ein Evaluationstest vor und nach der Kürzung. Optimierung ist nur erfolgreich, wenn die Qualität innerhalb der vereinbarten Grenze bleibt.
7. Asynchrone und gebündelte Verarbeitung nutzen
Nicht jede Aufgabe muss interaktiv in Sekunden abgeschlossen sein. Dokumentklassifikation, nächtliche Aktualisierungen, Evaluationen und grosse Extraktionen können häufig im Hintergrund oder gebündelt laufen. Je nach Provider und Betriebsmodell können Batch-Verarbeitung und kontrollierte Warteschlangen Kosten und Last reduzieren.
Trennen Sie deshalb interaktive Nutzerpfade von Hintergrundarbeit. Das verhindert, dass teure Echtzeitmodelle für Aufgaben genutzt werden, bei denen Latenz kaum Geschäftswert hat.
8. Provider-Fallbacks kontrollieren
Fallbacks erhöhen Verfügbarkeit, können aber unbemerkt Kosten verschieben. Wenn ein primäres Modell ausfällt und jede Anfrage automatisch an ein teureres Modell geht, braucht der Betrieb Budgetwarnungen und eine sichtbare Provider-Zuordnung.
Definieren Sie pro Route, wann ein Fallback erlaubt ist, welche Qualitätsgrenze gilt und wann der Workflow stattdessen stoppen soll. Ein kontrollierter Fehler ist in manchen Prozessen besser als eine unbegrenzt teure Fortsetzung.
9. Kosten und Qualität gemeinsam evaluieren
Ein Kosten-Dashboard ohne Qualitätsmessung belohnt die falschen Optimierungen. Verwenden Sie für wichtige Aufgabentypen ein festes Evaluationsset mit erwarteten Ergebnissen, erlaubten Fehlern und menschlichen Prüfkriterien. Vergleichen Sie Modell- und Promptvarianten auf derselben Grundlage.
Die zentrale Kennzahl lautet: Was kostet ein Ergebnis, das die vereinbarte Qualitätsgrenze erfüllt? Damit werden Architekturentscheidungen nachvollziehbar und nicht von einzelnen Demo-Erlebnissen bestimmt.
Welche Kontrollen sollte ein AI-Kosten-Dashboard zeigen?
Ein operatives Dashboard sollte mindestens Verbrauch und Kosten nach Workflow, Modell und Provider zeigen. Ergänzen Sie Cache-Treffer, Retries, abgebrochene Schleifen, Latenz und Evaluationsergebnis. Warnungen sollten an Budgets und ungewöhnliche Veränderungen gebunden sein, nicht nur an eine monatliche Gesamtsumme.
So wird Kostenkontrolle zu einem Teil der AI-Betriebsarchitektur: Routing entscheidet, Caching vermeidet Wiederholung, Evaluation schützt Qualität und Limits verhindern unkontrollierte Ausführung.
Quellen und weiterführende Dokumentation
- OpenAI Prompt Caching: https://platform.openai.com/docs/guides/prompt-caching
- Anthropic Prompt Caching: https://docs.anthropic.com/en/docs/build-with-claude/prompt-caching
- Google Gemini Context Caching: https://ai.google.dev/gemini-api/docs/caching
- FinOps Foundation, FinOps for AI: https://www.finops.org/wg/finops-for-ai/
Nächster Schritt
Beginnen Sie mit einer Woche sauber zugeordneter Nutzung, bevor Sie Modelle austauschen. Identifizieren Sie anschliessend die zwei teuersten Workflows und messen Sie Routing, Caching und Loop-Kontrollen gegen ein festes Qualitätsset. So entsteht eine belastbare Optimierung statt einer pauschalen Kürzungsrunde.