Ein Token-Dashboard beantwortet, wie viel ein Modell verbraucht hat. Es beantwortet nicht, ob der Workflow erfolgreich war. Ein günstiger Modellaufruf kann Teil eines teuren Prozesses sein, wenn danach Retries, Toolfehler oder menschliche Nacharbeit folgen.
AI Observability muss deshalb Modelltelemetrie und Geschäftsergebnis verbinden.
Die gemeinsame Trace-ID
Jeder Workflow braucht eine ID, die über Gateway, Retrieval, Modell, Tools und Zielsystem erhalten bleibt. Ohne diese Verbindung lassen sich Kosten nur nach Provider oder API-Schlüssel auswerten.
Die Trace-ID sollte auch in Hintergrundjobs und Agentenübergaben weitergegeben werden. Ein neuer Prozess darf nicht wie ein unabhängiger Workflow erscheinen, wenn er zur gleichen Kundenaufgabe gehört.
Welche Signale erfassen?
Für einen Modellaufruf sind Modellversion, Provider, Tokens, Cache-Status, Latenz, Fehler und Kosten relevant. Für den gesamten Workflow kommen hinzu:
- Retrieval-Quellen und Trefferzahl,
- Tool-Aufrufe und externe API-Kosten,
- Retries und Fallbacks,
- menschliche Freigaben und Korrekturen,
- Stop- oder Erfolgsstatus,
- fachliche Qualitätsbewertung.
Speichern Sie sensible Inhalte nur, wenn sie für den Zweck nötig sind. Metadaten und Referenzen reichen häufig aus.
Erfolg fachlich definieren
"Request abgeschlossen" ist kein Geschäftsergebnis. Definieren Sie pro Workflow einen Status, der die Aufgabe abbildet: Ticket korrekt klassifiziert, Dokument vollständig extrahiert, Antwort freigegeben oder Fehler behoben.
Erst dann lässt sich Kosten pro erfolgreicher Aufgabe berechnen. Fehlgeschlagene Versuche müssen in diese Kennzahl einfliessen, nicht aus der Auswertung verschwinden.
Qualität und Kosten zusammenführen
Ein Modell kann günstiger sein und trotzdem mehr Nacharbeit erzeugen. Ergänzen Sie Evaluationsergebnisse, Ablehnungsgründe und Korrekturzeit. Die relevante Frage lautet: Was kostet ein Resultat, das die vereinbarte Qualitätsgrenze erfüllt?
Diese Sicht verhindert, dass Teams lokale Optimierungen feiern, während der Gesamtprozess teurer wird.
Baseline und Änderungen
Erheben Sie zuerst eine Baseline pro Workflow. Ändern Sie danach jeweils Routing, Prompt, Cache oder Retrieval und vergleichen Sie gegen dieselben Testfälle und Produktionssignale.
OpenAI meldete am 29. Juli 2026 eigene Verbesserungen von 20 Prozent bei Serving-Kosten und mehr als 15 Prozent bei Token-Generierungseffizienz. Solche Providerverbesserungen sind relevant, ersetzen aber keine Messung im eigenen Workflow. Ein niedrigerer Serving-Aufwand muss sich nicht im gleichen Verhältnis auf Kundenpreise oder Prozesskosten übertragen.
Alarme, die Handlungen auslösen
Warnungen sollten an konkrete Abweichungen gebunden sein: steigende Kosten pro Erfolg, ungewöhnliche Retry-Raten, Fallback-Anstieg, sinkende Cache-Treffer oder häufigere menschliche Ablehnungen. Eine Warnung ohne verantwortliche Person und Handlungspfad wird nur zu weiterem Dashboardrauschen.
Quellen
- OpenTelemetry Semantic Conventions for GenAI: https://opentelemetry.io/docs/specs/semconv/gen-ai/
- FinOps Foundation, FinOps for AI: https://www.finops.org/wg/finops-for-ai/
- Cloudflare AI Gateway Analytics: https://developers.cloudflare.com/ai-gateway/observability/analytics/
- OpenAI auf X, 29. Juli 2026: https://x.com/OpenAI/status/2082577277246972300
Nächster Schritt
Wählen Sie einen produktiven AI-Workflow und definieren Sie einen eindeutigen Erfolgsstatus. Verbinden Sie Modell-, Retrieval- und Toolkosten über eine Trace-ID. Erfassen Sie zwei Wochen Baseline, bevor Sie Routing oder Modelle ändern.