Neue Modelle erscheinen schneller, als die meisten Unternehmen sie sauber testen können. Ein öffentlicher Benchmark kann bei der Vorauswahl helfen. Er sagt wenig darüber aus, ob das Modell Ihre Dokumente versteht, Ihre Tools korrekt verwendet oder die erlaubte Fehlerquote einhält.
OpenAI zeigte am 29. Juli 2026 selbst, wie stark ein Harness die gemessene Leistung beeinflussen kann. Nach Angaben des Unternehmens verbesserten Retained Reasoning und Context Compaction das Ergebnis in einem ARC-AGI-3-Test deutlich. Die praktische Lehre ist nicht, einen bestimmten API-Schalter überall einzuschalten. Sie lautet: Modell, Harness, Kontextführung und Bewertungsmethode bilden gemeinsam das getestete System.
Den Workflow statt nur die Antwort testen
Ein produktiver AI-Workflow umfasst Retrieval, Modell, Tools, Regeln und menschliche Prüfung. Das Evaluationsset sollte deshalb den gesamten Pfad ausführen.
Bei einem Support-Agenten genügt keine gute Textbewertung. Relevant sind richtige Quelle, erlaubter Kundenzugriff, korrekte Tool-Auswahl, Entwurfsqualität und Freigabestatus.
Reale und synthetische Fälle kombinieren
Beginnen Sie mit anonymisierten realen Aufgaben. Ergänzen Sie seltene Grenzfälle und absichtliche Angriffe synthetisch. Halten Sie einen Teil der Fälle zurück, damit Optimierungen nicht nur das bekannte Testset treffen.
Dokumentieren Sie pro Fall das erwartete Resultat, erlaubte Varianten und Ausschlussfehler.
Ausschlussfehler zuerst definieren
Durchschnittswerte können kritische Fehler verdecken. Definieren Sie Fehler, die unabhängig vom Gesamtscore nicht akzeptiert werden:
- Zugriff auf nicht berechtigte Quellen,
- erfundene Belege,
- unerlaubte Tool-Aktion,
- falscher Betrag oder falscher Empfänger,
- fehlende Eskalation bei Unsicherheit.
Ein Modell mit besserem Durchschnitt, aber einem neuen Ausschlussfehler, ist für diese Route keine Verbesserung.
Automatische und menschliche Bewertung
Automatische Checks eignen sich für Schema, Quellen, exakte Felder und bekannte Regeln. Modellbasierte Bewerter können skalieren, müssen aber gegen menschliche Urteile kalibriert werden.
Für Ton, fachliche Brauchbarkeit und riskante Grenzfälle braucht es Fachpersonen. Halten Sie Bewertungskriterien so konkret, dass zwei Prüfer ähnlich entscheiden können.
Kosten und Latenz einbeziehen
Messen Sie Tokens, Tool-Aufrufe, Retries, Cache-Treffer, Laufzeit und menschliche Korrekturzeit. Vergleichen Sie Kosten pro akzeptiertem Resultat statt Preis pro Million Tokens.
Ein stärkeres Modell kann wirtschaftlicher sein, wenn es weniger Schleifen und Nacharbeit erzeugt. Ein kleineres Modell kann gewinnen, wenn es eine enge Aufgabe stabil erfüllt.
Shadow Test, Freigabe und Rollback
Führen Sie ein neues Modell zuerst im Schattenbetrieb oder auf aufgezeichneten Fällen aus. Danach folgt ein begrenzter Pilot mit Monitoring. Halten Sie die bisherige Route für einen schnellen Rollback bereit.
Versionieren Sie Modell, Prompt, Tools, Retrieval und Evaluationsset gemeinsam. Sonst lässt sich ein Unterschied später nicht erklären.
Quellen
- OpenAI Evals: https://platform.openai.com/docs/guides/evals
- Anthropic, Define success criteria and build evaluations: https://docs.anthropic.com/en/docs/test-and-evaluate/define-success
- NIST AI Risk Management Framework: https://www.nist.gov/itl/ai-risk-management-framework
- OpenAI auf X, 29. Juli 2026: https://x.com/OpenAI/status/2082616636989952217
Nächster Schritt
Bauen Sie für einen Workflow ein Set aus zwanzig realen Fällen, fünf Grenzfällen und drei Ausschlussfehlern. Messen Sie altes und neues Modell auf demselben vollständigen Systempfad, bevor die produktive Route geändert wird.