Erklärbare KI reicht nicht. Nachvollziehbare Prozesse sind das Ziel.

Schnelle Adoption, offene Kontrollfrage

Die Finanzbranche gilt als vorsichtig bei neuen Technologien, bei generativer KI ist sie es kaum. Laut einer Umfrage der Europäischen Bankenaufsichtsbehörde EBA, die die BaFin im Bericht „Risiken im Fokus 2026“ zitiert, setzten Ende 2024 etwa 40 Prozent der befragten bedeutenden Banken generative KI ein, im ersten Quartal 2025 bereits über 60 Prozent. Die Adoption ist da. Offen bleibt die Frage, die jede Revision und jede Aufsicht stellt: Wie genau kam dieses Ergebnis zustande?

Viele KI-Initiativen versuchen, diese Frage allein mit Explainable AI zu beantworten, also mit der Erklärbarkeit des Modells. Das ist notwendig, aber nicht ausreichend: Prüfungsfest wird KI erst, wenn der gesamte Prozess nachvollziehbar ist, in dem das Modell arbeitet, mit protokollierten Schritten, klaren Übergabepunkten und definierten Stellen, an denen ein Mensch entscheidet.

Warum läuft Modell-Erklärbarkeit allein ins Leere?

Weil sie nur einen Teil der Prüfungsfrage beantwortet. Explainable AI zeigt, warum ein Modell eine bestimmte Ausgabe erzeugt hat, etwa über Merkmalsgewichtungen, Konfidenzwerte oder Begründungstexte. Das hilft wenig, wenn der Gesamtprozess eine Blackbox bleibt. Ein gut erklärbares Modell, das an undokumentierter Stelle in einen gewachsenen Prozess eingehängt wurde, dessen Eingaben niemand validiert und dessen Ausgaben ungeprüft weiterfließen, besteht keine Prüfung.

Die Aufsicht formuliert ihre Erwartung entsprechend breit. Die BaFin hält fest, dass Ergebnisse von KI-Systemen je nach Einsatzzweck und Risikogehalt erklärbar und überprüfbar sein müssen. Die Mindestanforderungen an das Risikomanagement (MaRisk) verlangen in AT 4.3.5 neben der Genauigkeit eine hinreichende Erklärbarkeit, insbesondere bei Modellen mit KI-Charakteristika, dazu Regeln zur Verwendung der Modellergebnisse und zu Überschreibungen. Die relevante Einheit der Nachvollziehbarkeit ist damit der Prozessschritt: welches Dokument wann einging, welche Daten extrahiert wurden, welche Prüfungen stattfanden und wo ein Mensch auf welcher Grundlage entschieden hat.

Wie wird Agentenlogik zur Kontrollarchitektur?

Indem sie Prozesse in definierte, protokollierte Schritte zerlegt. Richtig aufgesetzt, übernehmen KI-Agenten in dokumentenintensiven Abläufen jeweils eine klar umrissene Aufgabe: Dokumente analysieren, Inhalte extrahieren, Plausibilitäten prüfen und Ergebnisse an nachgelagerte Systeme übergeben. Jeder Schritt folgt definierten technischen und fachlichen Vorgaben und bleibt nachvollziehbar.

Der Unterschied zur monolithischen KI-Lösung ist grundlegend. Statt eines Systems, das ein Dokument hineinnimmt und eine Entscheidung ausgibt, entsteht eine Kette einzelner, protokollierter Operationen mit Übergabepunkten. An jedem Übergabepunkt lässt sich prüfen, messen und eingreifen. Nachvollziehbarkeit ist dann keine nachträgliche Dokumentationspflicht, sondern eine Eigenschaft der Architektur.

Wo spielt der Ansatz seine Stärke aus?

Dort, wo unstrukturierte Inhalte zu strukturierten Prozessdaten werden. Davon hat jede Bank reichlich: Kreditunterlagen, Jahresabschlüsse, Mietverträge, Grundbuchauszüge, Posteingang in der Marktfolge. In diesen Prozessen liegen große Effizienzhebel und zugleich die höchsten Kontrollanforderungen.

Ein konkretes Beispiel aus der Kreditbearbeitung zeigt das Prinzip: Eine Kreditakte durchläuft Klassifikation, Datenextraktion, Vollständigkeitsprüfung, Plausibilisierung gegen Bestandsdaten und Übergabe an das Kernbanksystem. Jeder dieser fünf Schritte ist ein eigener KI-Agent mit eigenem Protokoll, eigenen Schwellenwerten und einer definierten Eskalation an die Sachbearbeitung. Fällt ein Schritt unter seinen Schwellenwert, geht der Vorgang mit allen bis dahin gesammelten Informationen an den Menschen.

Woran scheitern solche Vorhaben in der Praxis?

Selten am Modell, häufiger an Integration und Kompetenzen. Die Integration scheitert, wenn KI als Insellösung neben den Kernsystemen gebaut wird. Die Kompetenzlücke entsteht, wenn Fachbereiche Ergebnisse nutzen sollen, deren Zustandekommen sie nicht verstehen. Beides sind Architektur- und Organisationsfragen, keine Modellfragen.

Die Agentenarchitektur setzt an beiden Punkten an. Erstens zwingt sie zur ausdrücklichen Definition der Übergabepunkte an Bestandssysteme, zweitens macht sie jeden Schritt für Fachbereiche lesbar, weil die Prozesslogik der fachlichen Logik folgt und nicht der Modelllogik. Eine Sachbearbeiterin muss kein Modell verstehen, um zu prüfen, ob die Vollständigkeitsprüfung richtig konfiguriert ist. Wie groß die Lücke zwischen Pilot und Produktion bei KI-Agenten oft ist, zeigt der Beitrag zur Produktionslücke bei KI-Agenten in Banken.

Wie verbindet sich die Architektur mit der KI-Verordnung?

Über Protokollierung und menschliche Aufsicht. Artikel 12 der KI-Verordnung verlangt, dass Hochrisiko-KI-Systeme Ereignisse über ihre gesamte Lebensdauer automatisch aufzeichnen können. Artikel 14 verlangt, dass solche Systeme von Menschen wirksam beaufsichtigt werden können: Die beaufsichtigenden Personen sollen Fähigkeiten und Grenzen des Systems verstehen, sich der Neigung bewusst sein, sich zu sehr auf Ergebnisse zu verlassen, und in einer konkreten Situation entscheiden können, ein Ergebnis zu ignorieren, außer Kraft zu setzen oder umzukehren.

Beides lässt sich an den Übergabepunkten einer Agentenkette praktisch umsetzen, während ein monolithisches System prüfbare Protokolle oft gar nicht in der nötigen Form erzeugt. Für Kreditwürdigkeitsprüfungen natürlicher Personen gelten diese Hochrisiko-Pflichten nach dem Digital Omnibus ab dem 2. Dezember 2027, wie der Beitrag zu EU AI Act und Kreditentscheidungen erläutert. Welche Nachweise Revision und Aufsicht darüber hinaus erwarten, beschreibt der Beitrag zur Nachweiskette von KI-Projekten.

Welcher Architekturfehler wird teuer?

KI als separate Anwendung neben den Bestandssystemen, mit eigenem Datenbestand und manuellen Übergaben. Das funktioniert im Pilot und scheitert in der Produktion: Mitarbeitende wechseln zwischen Systemen, pflegen Daten doppelt und übertragen Ergebnisse von Hand. Genau dort entstehen die Integrationsprobleme, an denen viele Vorhaben hängen bleiben.

Die tragfähige Alternative integriert die KI-Agenten in den bestehenden Workflow. Der Vorgang bleibt im führenden System, die Agenten arbeiten an definierten Stellen zu und schreiben ihre Ergebnisse zurück, die Mitarbeitenden sehen alles an einem Ort. Diese Integration ist aufwendiger in der Konzeption und deutlich günstiger im Betrieb. Wer die Grundlagen dafür prüfen will, findet im Beitrag zur KI-Bereitschaft von Finanzinstituten einen Einstieg; wie bestehende Modellsteuerung dabei hilft, zeigt der Beitrag zur IRB-Erfahrung für KI-Governance.

Was das Management bei der nächsten KI-Entscheidung prüfen sollte

Vier Prüffragen trennen eine Demo von einem prüfungsfesten System:

1. Schritte einzeln protokollieren lassen: sich den Weg eines einzelnen Vorgangs durch das System zeigen lassen, mit allen Protokollen, die dabei entstehen.

2. Eingriffspunkte festlegen: bestimmen, an welchen Übergaben ein Mensch prüft, überstimmt oder eskaliert.

3. Integration verlangen: Lösungen bevorzugen, die im führenden System arbeiten und Ergebnisse dorthin zurückschreiben.

4. Prozesseigner benennen: jedem Schritt eine fachlich verantwortliche Person zuordnen, nicht nur der Technik.

Häufige Fragen

Was ist der Unterschied zwischen erklärbarer KI und nachvollziehbaren Prozessen?
Erklärbare KI zeigt, warum ein Modell zu einem Ergebnis kommt. Nachvollziehbare Prozesse zeigen zusätzlich, welche Daten eingingen, welche Prüfungen liefen und wo ein Mensch entschieden hat.

Warum eignen sich KI-Agenten für prüfungsfeste Prozesse?
Weil sie Abläufe in einzelne, protokollierte Schritte mit Übergabepunkten zerlegen. An diesen Punkten lassen sich Ergebnisse prüfen, Schwellenwerte setzen und Menschen einbinden.

Was verlangt die KI-Verordnung an menschlicher Aufsicht?
Nach Artikel 14 müssen Hochrisiko-Systeme so gestaltet sein, dass Menschen sie wirksam überwachen, Ergebnisse richtig deuten und sie im Einzelfall außer Kraft setzen können.

Weitere Beiträge zu Aufsicht, KI-Verordnung und digitaler Resilienz bündelt das Dossier Regulierung & Resilienz.

Wie nachvollziehbar die eigene KI-Landschaft ist, zeigt sich am schnellsten an einem einzigen Vorgang, der Schritt für Schritt durch das System verfolgt wird. Veränderung beginnt mit einem ersten Gespräch. Wir freuen uns darauf.