"Human in the Loop" klingt sicher, kann aber zwei sehr verschiedene Systeme beschreiben. Im einen prüft ein Mensch jede Kleinigkeit und der Agent bringt kaum Zeitgewinn. Im anderen klickt jemand routinemässig auf "Bestätigen", ohne die geplante Aktion zu verstehen. Beides ist schwache Kontrolle.
Menschliche Freigaben sollten dort sitzen, wo eine Entscheidung Folgen hat. Die Position der Freigabe richtet sich nach Auswirkung, Umkehrbarkeit, Unsicherheit und Datensensitivität.
Welche Aktionen brauchen eine Freigabe?
Eine Freigabe ist besonders sinnvoll, wenn der Agent:
- externe Kommunikation versendet,
- Geschäftsdaten verändert oder löscht,
- Geld, Verträge oder Zugriffsrechte betrifft,
- sensible Daten an einen neuen Empfänger übermittelt,
- eine Entscheidung mit schwer umkehrbaren Folgen vorbereitet.
Reine Recherche oder das Erstellen eines internen Entwurfs kann häufig automatisch laufen, solange Quellen, Umfang und Kosten begrenzt sind.
Vor der Aktion oder nach dem Resultat prüfen?
Es gibt zwei unterschiedliche Kontrollpunkte. Vor einer Aktion prüft der Mensch Absicht und Parameter. Das ist wichtig bei Tool-Aufrufen mit Wirkung, etwa dem Versand einer Nachricht oder der Änderung eines Datensatzes.
Nach der Ausführung prüft der Mensch das Resultat. Das passt für Entwürfe, Analysen oder Empfehlungen. Bei irreversiblen Aktionen ist eine nachträgliche Prüfung zu spät.
Ein guter Workflow kann beide kombinieren: Der Agent erstellt zuerst einen Entwurf, zeigt anschliessend die geplante Änderung als Vorschau und führt sie erst nach Bestätigung aus.
Was eine brauchbare Freigabe anzeigen muss
Eine Freigabemaske sollte nicht nur fragen, ob der Agent fortfahren darf. Sie sollte zeigen:
- welche Aktion ausgeführt wird,
- auf welchem System und Datensatz,
- welche Daten gesendet oder verändert werden,
- welche Quelle und Begründung zugrunde liegen,
- ob die Aktion umkehrbar ist,
- welche Alternative beim Ablehnen gilt.
Der Prüfer muss den Unterschied zwischen "Entwurf speichern" und "an alle Kunden senden" sofort erkennen können.
Freigabemüdigkeit vermeiden
Zu viele Bestätigungen führen zu blindem Klicken. Gruppieren Sie risikoarme Schritte und verlangen Sie Freigaben nur an klaren Entscheidungsgrenzen. Wiederkehrende Aktionen können nach erfolgreicher Pilotphase enger automatisiert werden, wenn Evaluation, Logging und Rückrollmechanismen funktionieren.
Freigaben sollten auch rollenbasiert sein. Eine Fachperson kann die inhaltliche Richtigkeit prüfen, während eine Systemverantwortliche Person den Datenfluss oder die Zugriffsrechte beurteilt.
Ablehnung ist ein normaler Systempfad
Ein Agent muss mit "Nein" umgehen können. Nach einer Ablehnung sollte er nicht dieselbe Aktion leicht umformuliert erneut vorschlagen. Er braucht einen definierten Pfad: Auftrag anpassen, fehlende Information beschaffen, an eine andere Rolle eskalieren oder stoppen.
Protokollieren Sie Ablehnungsgründe strukturiert. Sie zeigen, wo Prompts, Daten, Werkzeuge oder Regeln verbessert werden müssen.
Wie misst man den Wert menschlicher Prüfung?
Messen Sie nicht nur die Zahl der Freigaben. Relevant sind:
- Anteil abgelehnter oder geänderter Aktionen,
- Gründe für Änderungen,
- Zeitaufwand der Prüfung,
- Fehler, die vor Ausführung verhindert wurden,
- Aktionen, die nach stabiler Evaluation automatisiert werden können.
Wenn fast jede Freigabe ohne Prüfung bestätigt wird, ist der Kontrollpunkt wahrscheinlich schlecht gestaltet. Wenn fast jede Aktion geändert wird, ist der Agent noch nicht bereit für diesen Handlungsspielraum.
Quellen
- NIST AI Risk Management Framework: https://www.nist.gov/itl/ai-risk-management-framework
- European Commission, Ethics Guidelines for Trustworthy AI: https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai
- OpenAI, Building guardrails for agents: https://openai.github.io/openai-agents-python/guardrails/
- OWASP Agentic AI Threats and Mitigations: https://genai.owasp.org/resource/agentic-ai-threats-and-mitigations/
Nächster Schritt
Zeichnen Sie einen Agenten-Workflow als Abfolge konkreter Aktionen. Markieren Sie jede Stelle, an der Daten das System verlassen, Geschäftsdaten verändert werden oder ein Resultat schwer umkehrbar wird. Setzen Sie Freigaben nur an diese Grenzen und testen Sie, ob der Prüfer die geplante Wirkung in weniger als einer Minute versteht.