Wenn der Agent entscheidet

Die neue Generation der KI führt nicht nur einzelne Aufgaben aus, sondern ganze Prozesse. Ein KI-Agent kann eine Abfolge von Schritten eigenständig durchlaufen, Entscheidungen treffen und Handlungen auslösen, ohne dass ein Mensch jeden Schritt freigibt. Diese Fähigkeit ist mächtig, weil sie Prozesse beschleunigt und Menschen von Routine entlastet. Doch sie wirft eine Frage auf, die vor dem Einsatz beantwortet sein muss: Wer ist verantwortlich, wenn der Agent entscheidet?

Diese Frage ist nicht akademisch, sondern praktisch und drängend. Denn wenn ein Agent einen Prozess ausführt und dabei eine folgenreiche Entscheidung trifft, etwa einen Antrag ablehnt, eine Zahlung auslöst oder einen Kunden einstuft, dann hat diese Entscheidung Konsequenzen, für die jemand geradestehen muss. In den herkömmlichen, von Menschen ausgeführten Prozessen war klar, wer das ist. Bei den von Agenten ausgeführten Prozessen entstehen Lücken in der Verantwortung, die sich nicht von allein schließen.

Die Lücke in der Verantwortung

Die Lücke entsteht, weil die Verantwortung traditionell an die handelnde Person geknüpft ist. Wer eine Entscheidung trifft, ist für sie verantwortlich. Wenn nun ein Agent die Entscheidung trifft, gibt es keine handelnde Person im herkömmlichen Sinn, und die Verantwortung droht ins Leere zu laufen. Der Agent kann nicht verantwortlich sein, denn er ist eine Maschine. Aber wer dann? Der Entwickler, der Betreiber, der Vorgesetzte, das Institut? Diese Frage ist oft ungeklärt, und genau darin liegt die Gefahr.

Eine ungeklärte Verantwortung ist ein Risiko, weil sie im Schadensfall zu Streit, Verzögerung und Rechtsunsicherheit führt. Wenn eine Entscheidung des Agenten Schaden anrichtet und niemand sich verantwortlich fühlt, weil die Verantwortung nie zugeordnet wurde, entsteht ein Vakuum, das niemandem nützt und allen schadet. Die Lücke in der Verantwortung muss deshalb geschlossen werden, bevor der Agent in Betrieb geht, nicht erst, wenn der erste Schadensfall eintritt.

Die Verantwortung bleibt beim Menschen

Der Grundsatz, der die Lücke schließt, ist einfach: Die Verantwortung bleibt beim Menschen, auch wenn der Agent handelt. Der Agent ist ein Werkzeug, das in menschlichem Auftrag und unter menschlicher Verantwortung arbeitet. Wer den Agenten einsetzt, übernimmt die Verantwortung für sein Handeln, so wie ein Vorgesetzter die Verantwortung für die Handlungen seiner Mitarbeiter trägt. Diese Zuordnung muss vor dem Einsatz getroffen und dokumentiert werden, damit im Schadensfall klar ist, wer geradesteht.

Das bedeutet konkret, dass für jeden von einem Agenten ausgeführten Prozess eine verantwortliche Stelle benannt sein muss. Diese Stelle verantwortet, dass der Agent richtig eingesetzt wird, dass seine Entscheidungen überwacht werden und dass eingegriffen wird, wenn er Fehler macht. Die Verantwortung wird damit nicht an den Agenten delegiert, sondern bleibt bei der Stelle, die ihn einsetzt. So schließt sich die Lücke, und die Verantwortung läuft nicht ins Leere.

Die Überwachung des Agenten

Mit der Verantwortung verbindet sich die Pflicht zur Überwachung. Eine verantwortliche Stelle, die den Agenten einsetzt, muss sein Handeln überwachen können, denn sonst kann sie ihre Verantwortung nicht wahrnehmen. Die Überwachung umfasst, dass die Entscheidungen des Agenten nachvollziehbar sind, dass Auffälligkeiten erkannt werden und dass im Bedarfsfall eingegriffen werden kann. Ein Agent, der unbeaufsichtigt handelt, ohne dass jemand seine Entscheidungen überwacht, ist ein unbeherrschtes Risiko.

Diese Überwachung muss so gestaltet sein, dass sie praktikabel ist. Es nützt nichts, wenn der Agent so viele Entscheidungen trifft, dass die Überwachung nicht hinterherkommt. Die Überwachung muss sich deshalb auf das Wesentliche konzentrieren, auf die folgenreichen Entscheidungen und die Auffälligkeiten, und sie muss durch geeignete Werkzeuge unterstützt werden, die die Masse der unkritischen Entscheidungen automatisch prüfen. So bleibt die Überwachung leistbar, auch wenn der Agent viele Entscheidungen trifft.

Die Frage der Nachvollziehbarkeit

Eng mit der Verantwortung verbunden ist die Nachvollziehbarkeit. Eine verantwortliche Stelle kann ihre Verantwortung nur wahrnehmen, wenn sie nachvollziehen kann, was der Agent getan und warum er so entschieden hat. Ein Agent, dessen Entscheidungen undurchschaubar bleiben, entzieht sich der Verantwortung, weil niemand beurteilen kann, ob die Entscheidung richtig war. Die Nachvollziehbarkeit ist deshalb die Voraussetzung dafür, dass die Verantwortung überhaupt wahrgenommen werden kann.

Diese Nachvollziehbarkeit muss von Anfang an in den Agenten eingebaut sein. Der Agent muss seine Entscheidungen so dokumentieren, dass sie im Nachhinein geprüft werden können, und er muss erkennen lassen, auf welcher Grundlage er entschieden hat. Ein Agent, der ohne diese Nachvollziehbarkeit gebaut wird, schafft eine Verantwortungslücke, die sich nachträglich kaum schließen lässt. Die Nachvollziehbarkeit gehört deshalb zu den Anforderungen, die vor dem Einsatz erfüllt sein müssen, nicht zu den Dingen, die man später ergänzt.

Die Grenzen des Agenten festlegen

Ein wichtiger Teil der Verantwortung ist die Festlegung der Grenzen, innerhalb derer der Agent handeln darf. Nicht jede Entscheidung sollte dem Agenten überlassen werden. Bei besonders folgenreichen oder heiklen Entscheidungen kann es geboten sein, dass der Agent nicht selbst entscheidet, sondern die Entscheidung einem Menschen vorlegt. Die Festlegung dieser Grenzen ist eine Frage der Verantwortung, denn sie bestimmt, wo der Agent autonom handelt und wo der Mensch das letzte Wort behält.

Diese Grenzen müssen wohlüberlegt sein. Zieht man sie zu eng, verschenkt man die Vorteile des Agenten, weil er ständig auf menschliche Entscheidungen warten muss. Zieht man sie zu weit, überlässt man dem Agenten Entscheidungen, die besser ein Mensch träfe, und schafft Risiken. Die richtige Festlegung der Grenzen wägt die Vorteile der Autonomie gegen die Risiken ab und zieht die Linie dort, wo der Nutzen des autonomen Handelns die Risiken überwiegt. Diese Abwägung ist Teil der Verantwortung, die vor dem Einsatz getroffen werden muss.

Die regulatorische Dimension

Die Frage der Verantwortung hat auch eine regulatorische Dimension. Das europäische KI-Recht stellt Anforderungen an den Einsatz von KI, und gerade bei Anwendungen, die folgenreiche Entscheidungen über Menschen treffen, sind diese Anforderungen hoch. Ein Agent, der über Kunden entscheidet, etwa über die Vergabe eines Kredits, kann in den Bereich der hochregulierten Anwendungen fallen, für die besondere Anforderungen an Transparenz, Überwachung und menschliche Aufsicht gelten.

Diese regulatorische Dimension verstärkt die Notwendigkeit, die Verantwortung vor dem Einsatz zu klären. Denn die Regulierung verlangt, dass eine menschliche Aufsicht über die KI gewährleistet ist, und genau das setzt eine klare Verantwortung und eine wirksame Überwachung voraus. Ein Institut, das die Verantwortung für seine Agenten klärt und die Überwachung sicherstellt, erfüllt damit zugleich die regulatorischen Anforderungen. Eines, das die Verantwortung ungeklärt lässt, verstößt nicht nur gegen die Sorgfalt, sondern womöglich auch gegen die Regulierung.

Verantwortung als Voraussetzung des Vertrauens

Letztlich ist die geklärte Verantwortung die Voraussetzung dafür, dass ein Institut seinen Agenten vertrauen kann. Ein Agent, dessen Handeln in einer klaren Verantwortung eingebettet ist, der überwacht wird und dessen Entscheidungen nachvollziehbar sind, lässt sich vertrauensvoll einsetzen. Ein Agent, der in einem Vakuum der Verantwortung handelt, bleibt ein Risiko, dem man nicht trauen kann. Die Klärung der Verantwortung ist deshalb nicht nur eine Pflicht, sondern die Grundlage, auf der das Institut die Vorteile der Agenten überhaupt nutzen kann.

Vor dem Go-live klären

Die entscheidende Botschaft ist, dass die Frage der Verantwortung vor dem Go-live beantwortet sein muss, nicht danach. Ein Agent, der in Betrieb geht, ohne dass die Verantwortung geklärt ist, schafft ein Risiko, das sich beim ersten Schadensfall verwirklicht. Wer die Verantwortung vorher klärt, dokumentiert und mit der nötigen Überwachung verbindet, kann den Agenten sicher einsetzen und seine Vorteile nutzen, ohne die Risiken der ungeklärten Verantwortung einzugehen.

Mehr zum Thema: KI-Schulung für Mitarbeiter: Was wirklich funktioniert und was nicht. und 94 Prozent halten digitale Resilienz für hochrelevant. Aber Relevanz ist keine Fähigkeit..

Wir helfen Ihnen, die Verantwortung für Ihre KI-Agenten zu klären, bevor sie in Betrieb gehen, und die Überwachung zu gestalten, die ihren sicheren Einsatz ermöglicht. Strategie und Umsetzung aus einer Hand. Beginnen Sie mit einem Workshop.