Human-in-the-Loop-Governance

Autonomie mit Not-Aus

Autonome Agenten sind genau bis zu dem Moment nützlich, in dem sie etwas Unumkehrbares tun. EDDI 6.2.0 führte Human-in-the-Loop-Governance ein: explizite Freigabe-Gates auf drei Granularitätsstufen, abgesichert durch Timeout-Richtlinien, Schleifenerkennung und einen Zustand, der Neustarts übersteht. Freigaben sind Konfiguration, kein eigener Anwendungscode.

Warum Freigabe-Gates in die Plattform gehören

Die meisten Teams bauen Freigaben auf Anwendungsebene an: hier eine Queue, dort ein Webhook, irgendwo ein Datenbank-Flag. Dieser Ansatz bricht, sobald ein Prozess neu startet, eine freigebende Person offline geht oder ein Agent dieselbe Anfrage in einer Schleife wiederholt. EDDI verankert das Gate in der Konversations-Pipeline selbst. Ein pausierter Turn bleibt pausiert, konkurrierende Eingaben werden mit einem klaren 409 Conflict abgewiesen, und jede Entscheidung landet im selben Audit-Trail wie der übrige Agenten-Lebenszyklus.

Drei Freigabe-Ebenen

• Freigabe auf Turn-Ebene: Eine PAUSE_CONVERSATION-Aktion hält die gesamte Pipeline an. Bis ein Mensch fortsetzt, liefern weitere Nutzereingaben 409 Conflict zurück, damit nichts an der offenen Entscheidung vorbeiläuft.
• Gating pro Tool-Aufruf: Einzelne Tool-Aufrufe können vor der Ausführung eine menschliche Freigabe verlangen. Allow- und Exempt-Listen mit Glob-Mustern legen exakt fest, was freigabepflichtig ist, über eingebaute, HTTP-, MCP-, A2A-, dynamische und Memory-Tools hinweg.
• Freigabe von Gruppenphasen: Diskussionsphasen in Multi-Agent-Gruppen können eine menschliche Abzeichnung auf PHASE- oder TASK-Ebene verlangen, damit eine Gruppe nicht unbeaufsichtigt von der Planung in die Ausführung wechselt.

Timeout-Richtlinien

Menschen sind kein hochverfügbarer Dienst. Jedes Gate legt fest, was passiert, wenn niemand rechtzeitig reagiert:

• WAIT_INDEFINITELY: Der Lauf bleibt pausiert, bis ein Mensch entscheidet. Für Aktionen, die niemals unbeaufsichtigt laufen dürfen.
• AUTO_APPROVE: Nach Ablauf der Frist wird fortgesetzt. Passend für risikoarme Aktionen, bei denen Aufsicht eine Stichprobe ist und kein hartes Gate.
• AUTO_REJECT: Die offene Aktion wird abgelehnt, der Agent setzt seinen Ablehnungspfad fort.
• ABORT: Der Lauf wird sofort beendet, die sicherste Wahl für unumkehrbare Operationen mit großer Wirkung.

Für den Produktivbetrieb gebaut

Ein Freigabesystem wird an seinem schlechtesten Tag gemessen: ein Neustart mitten in der Prüfung, ein Agent, der dieselbe Frage immer wieder stellt, eine freigebende Person, die in Slack arbeitet statt in der Admin-UI.

• No-Progress-Guard: EDDI bildet für jede Pause einen Fingerabdruck. Tauchen nach automatisierten Entscheidungen identische Fingerabdrücke erneut auf, erkennt EDDI eine endlose Freigabeschleife und durchbricht den Kreislauf, statt Tokens dafür zu verbrennen.
• Crash Recovery: Offene Freigaben überstehen Serverneustarts, und Timeout-Timer werden automatisch neu gesetzt. Ein Rolling Deployment verliert damit nie stillschweigend eine laufende Entscheidung.
• Slack-Freigaben: Interaktive Block-Kit-Karten bringen die Entscheidung zur freigebenden Person, mit redigierten Argumentvorschauen und Whitelists, damit nur autorisierte Personen auf eine Karte reagieren können.
• MCP-Freigaben: Externe Clients listen offene Freigaben auf und genehmigen oder lehnen sie über MCP-Tools ab. Diese gehören zu den 89 Tools und machen IDE oder Agenten-Client zur Steuerungsebene.
• Freigeben, was tatsächlich ausgeführt wird: Eine Freigabe ist an die aufgelöste Anfrage gebunden, und wer MCP- und A2A-Aufrufe freigibt, sieht das Ziel und einen Fingerabdruck der Anfrage, nicht nur einen Tool-Namen.
• Ein abgesicherter Platform Operator: Der Platform Operator kann Agenten über EDDIs eigene API erstellen und ändern, und jeder Schreibversuch wartet an demselben Freigabe-Gate.

Wenige Gates, gut platziert

Menschliche Gates wirken: In einer kontrollierten Studie senkten drei verbindliche menschliche Entscheidungs-Gates die kritischen Fehler in KI-gestützten Forschungsläufen von 72% auf 16%. Doch die Aufmerksamkeit von Prüfern ist begrenzt, und ab einem gewissen Punkt macht mehr Eskalation ein System unsicherer, nicht sicherer. Deshalb legt EDDI die Freigabehürden pro Endpunkt und pro Tool fest, mit Glob-Listen für Erlaubtes und Ausnahmen, damit Menschen die Entscheidungen sehen, die wirklich einen Menschen brauchen. Die Belegseite enthält die Studien.

Governance und Compliance

Menschliche Aufsicht ist nicht nur eine betriebliche Präferenz, sondern eine regulatorische Anforderung. Freigabe-Gates geben der menschlichen Aufsicht nach Art. 14 EU AI Act eine konkrete Umsetzung: Eine namentlich bekannte Person genehmigt eine konkrete Aktion, und die Entscheidung wird protokolliert. Zusammen mit EDDIs Compliance-Framework und dem HMAC-SHA256-Audit-Trail lässt sich einer Prüfstelle nicht nur zeigen, was ein Agent getan hat, sondern auch, wer es wann erlaubt hat.