Insight
Menschliche Prüfung bei KI: Der Klick ist keine Kontrolle
Menschliche Aufsicht über KI wirkt erst, wenn sie nach Risiko geschnitten ist. Wie Versicherer Freigaben gestalten, die Fehler abfangen statt nur bremsen.
Organisation und Kultur
7 min Lesezeit
Kernaussage
Menschliche Aufsicht wirkt erst, wenn sie nach Risiko geschnitten ist. Eine Freigabe, die jeden Fall gleich behandelt, prüft nichts und bremst alles. Wer Aufsicht als Prozessdesign begreift, gewinnt Kontrolle und Tempo.

Die wichtigsten Erkenntnisse
EIOPA verlangt Aufsicht nach Risiko, nicht nach Schema
Formelle Freigabe ohne Spielraum reicht nicht
Korrekturquoten je Fallklasse steuern die Freigabe
Jeder will den Menschen im Loop. Kaum einer sagt, was er dort tut.
In fast jedem KI-Vorhaben eines Versicherers steht der Satz, am Ende entscheide ein Mensch. Was dieser Mensch prüft, mit welcher Information und in welcher Zeit, bleibt dagegen oft offen. Menschliche Aufsicht wirkt erst, wenn sie nach Risiko geschnitten ist: Eine Freigabe, die jeden Fall gleich behandelt, kontrolliert wenig und verlangsamt viel.
Die menschliche Aufsicht ist zur Beruhigungsformel geworden. Die Formel steht in der Richtlinie, im Gremienbeschluss und in der Kommunikation an den Betriebsrat. Im Prozess entscheidet sich aber erst, ob sie Fehler tatsächlich abfängt und ob KI im Unternehmen skalieren kann.
Was verlangt die Aufsicht von Versicherern tatsächlich?
Eine risikobasierte und verhältnismäßige Aufsicht, keine pauschale Kontrolle jedes Einzelfalls. Die europäische Versicherungsaufsicht EIOPA hat am 6. August 2025 ihre Stellungnahme zu KI-Governance und Risikomanagement veröffentlicht. Die Stellungnahme schafft keine neuen Pflichten, sondern legt das bestehende Versicherungsaufsichtsrecht für KI-Systeme aus, die nach der KI-Verordnung weder verboten noch hochriskant sind. Dazu gehören Datengovernance, Dokumentation, Fairness, Erklärbarkeit und menschliche Aufsicht.
Für die menschliche Aufsicht verlangt EIOPA wirksame interne Kontrollen über den gesamten Lebenszyklus eines KI-Systems und klar definierte Rollen mit Eskalationswegen. Das Management ist für den Einsatz von KI insgesamt verantwortlich und braucht ausreichendes Wissen über Systeme und Risiken. Compliance und Revision prüfen die Rechtskonformität, der Datenschutzbeauftragte die Datenverarbeitung, die versicherungsmathematische Funktion die Kontrollen in ihrem Bereich. Beschäftigte, die KI beaufsichtigen, sollen rollengerecht geschult werden, damit ihre Aufsicht wirksam ist und mögliche Verzerrungen erkannt werden.
Was gilt zusätzlich für Hochrisiko-KI in Leben und Kranken?
Für KI zur Risikobewertung und Preisbildung bei natürlichen Personen in der Lebens- und Krankenversicherung gilt ab dem 2. Dezember 2027 Artikel 14 der KI-Verordnung. Hochrisiko-Systeme müssen so gestaltet sein, dass Menschen sie wirksam beaufsichtigen können. Die beaufsichtigenden Personen sollen Fähigkeiten und Grenzen des Systems verstehen, Ergebnisse richtig interpretieren und entscheiden können, ein Ergebnis nicht zu verwenden oder das System anzuhalten.
Bemerkenswert ist, dass die Verordnung das Problem beim Namen nennt: Die beaufsichtigenden Personen sollen sich der Tendenz bewusst sein, sich automatisch oder zu sehr auf die Ergebnisse eines Hochrisiko-Systems zu verlassen, im Gesetzestext ausdrücklich als „Automation Bias“ bezeichnet. Auch die BaFin betont in ihrer Pressemitteilung vom 29. Juli 2026, Entscheidungen müssten weiterhin von Menschen korrigiert und rückgängig gemacht werden können.
Warum ist pauschales Durchwinken keine Kontrolle?
Weil Form und Zweck auseinanderfallen. Wer jeden Tag sehr viele maschinell vorbereitete Fälle freigibt, bei denen die Maschine meist richtig liegt, widerspricht mit der Zeit immer seltener, bis faktisch nichts mehr geprüft wird. Die Freigabe kostet Durchlaufzeit, bindet Personal und erzeugt eine Verantwortungsillusion: Im Streitfall steht eine menschliche Unterschrift unter einer Entscheidung, die niemand wirklich geprüft hat.
Die Datenschutzaufsicht zieht hier eine klare Linie. In ihrer Orientierungshilfe „Künstliche Intelligenz und Datenschutz“ vom 6. Mai 2024 hält die Datenschutzkonferenz fest, dass der entscheidende Mensch bei KI-Vorschlägen mit Rechtswirkung einen tatsächlichen Entscheidungsspielraum haben muss. Personalmangel, Zeitdruck und fehlende Transparenz über den Weg der KI-Vorarbeit dürfen nicht dazu führen, dass Ergebnisse ungeprüft übernommen werden; eine lediglich formelle Beteiligung eines Menschen reicht nach Artikel 22 DSGVO nicht aus.
Aufschlussreich ist, wie die Durchwinkstation entsteht: selten aus fachlicher Überzeugung, meist aus Vorsicht. Die pauschale Freigabe wirkt im Gremium wie die sichere Wahl, weil niemand ihr widersprechen muss. Dass die Korrekturquote im Betrieb gegen null geht, fällt oft erst auf, wenn jemand danach fragt.
Wie sieht eine risikobasierte Freigabe aus?
Wirksame Aufsicht beginnt mit einer Sortierung der Fälle nach Risiko und Unsicherheit. In der Praxis bewähren sich drei Stufen. Die erste Stufe läuft dunkel: eindeutige Fälle mit hoher Modellsicherheit und geringem Schadenpotenzial werden automatisch verarbeitet und stichprobenhaft mit echter Prüftiefe nachkontrolliert. Die zweite Stufe ist die gezielte Einzelfreigabe: Fälle, in denen das System unsicher ist oder vom gewohnten Muster abweicht, gehen mit Begründung an einen Menschen. Die dritte Stufe ist die Eskalation: Fälle mit hohem Risiko oder Ermessensspielraum landen bei erfahrenen Kräften mit Zeit für eine echte Prüfung.

Der Unterschied zur pauschalen Vier-Augen-Prüfung liegt in der Verteilung der Aufmerksamkeit. Der Mensch prüft dort, wo seine Prüfung Wert stiftet, und wird dort entlastet, wo er nur noch abnicken würde. Entscheidungen mit rechtlicher Wirkung für Kundinnen und Kunden, etwa eine Leistungsablehnung, bleiben dabei immer bei einem Menschen mit tatsächlichem Entscheidungsspielraum. Welche Prozesse sich für die erste Stufe eignen, zeigt der Beitrag zur Dunkelverarbeitung im Schaden.
Was muss die prüfende Person sehen?
Eine Freigabe ist nur so gut wie die Information, auf der sie beruht. Wer freigeben soll, braucht drei Dinge auf einen Blick: was das System entschieden hätte, warum es so entschieden hätte und welche Signale gegen diese Entscheidung sprechen. Fehlt die Begründung, bleibt nur Vertrauen oder Misstrauen, beides ist keine Prüfung. Warum nachvollziehbare Prozesse dabei wichtiger sind als erklärbare Einzelmodelle, vertieft der Beitrag zu nachvollziehbaren KI-Prozessen.
Genauso wichtig ist ein Widerspruch ohne Reibung. Wenn das Ablehnen einer Systemempfehlung drei Begründungsfelder und eine Rückfrage auslöst, das Bestätigen aber ein Klick ist, hat die Organisation die Antwort vorentschieden. Die Prozesskosten einer Korrektur müssen so niedrig sein wie die einer Bestätigung. Dazu gehört die Protokollierung: Wer hat wann was freigegeben, abgelehnt oder geändert? Diese Daten belegen die Aufsicht gegenüber Revision und BaFin und sind zugleich das Lernmaterial, mit dem die Stufengrenzen nachjustiert werden. Eine hohe Korrekturquote in einer Fallklasse ist ein Signal, Modell oder Grenze zu prüfen; eine Quote nahe null ebenso.
Wer entscheidet über das Freigabedesign?
Fachbereich und Management, nicht die IT. Welche Fallklassen dürfen dunkel laufen? Wer trägt die Verantwortung je Stufe? Wie viel Zeit ist für eine echte Prüfung vorgesehen, und wie fließt sie in die Personalbemessung ein? Wer darf Stufengrenzen verschieben, und in welchem Gremium wird das entschieden? Diese Fragen gehören in die Prozessdokumentation, nicht nur in eine allgemeine KI-Richtlinie.
Gegenüber dem Betriebsrat ist ein durchdachtes Freigabedesign zudem das stärkste Argument, weil es die Kernfrage der Mitbestimmung konkret beantwortet: welche Rolle der Mensch künftig hat. Wie die BaFin auf Governance-Lücken in Versicherungen schaut, beschreibt der Beitrag zur KI-Governance in Versicherungen.
Was das Management für laufende KI-Vorhaben festlegen sollte
Die Freigabelogik als eigenes Arbeitspaket führen, gleichrangig mit Modell und Integration.
Fallklassen nach Risiko und Modellsicherheit definieren und je Klasse festlegen: dunkel mit Stichprobe, Einzelfreigabe oder Eskalation.
Den Informationsbedarf je Stufe klären, damit die prüfende Person Ergebnis, Begründung und Gegensignale sieht.
Korrekturquoten je Fallklasse als Steuerungsgröße einführen und regelmäßig im zuständigen Gremium auswerten.
Zeit für echte Prüfung in der Personalbemessung vorsehen und die beaufsichtigenden Beschäftigten rollengerecht schulen.
Häufige Fragen
Verlangt die Aufsicht, dass jede KI-Entscheidung von einem Menschen geprüft wird?
Nein. EIOPA verlangt einen risikobasierten und verhältnismäßigen Ansatz mit wirksamen Kontrollen. Entscheidungen mit rechtlicher Wirkung für Kundinnen und Kunden dürfen nach Artikel 22 DSGVO aber grundsätzlich nicht ausschließlich automatisiert fallen.
Was ist Automation Bias?
Die Neigung, sich automatisch oder zu stark auf die Ergebnisse eines KI-Systems zu verlassen. Artikel 14 der KI-Verordnung verlangt, dass Personen, die Hochrisiko-Systeme beaufsichtigen, sich dieser Tendenz bewusst sind.
Woran zeigt sich, ob menschliche Aufsicht wirkt?
An der Korrekturquote je Fallklasse und an der Qualität der Stichproben. Eine Quote nahe null ist kein Qualitätsbeweis, sondern ein Anlass zu prüfen, ob noch geprüft wird.
Weitere Beiträge zu KI-Governance, KI-Verordnung und Aufsicht bündelt das Dossier Regulierung & Resilienz.
Wie viele Freigaben im eigenen Schaden- oder Antragsprozess heute tatsächlich zu einer Korrektur führen, ist eine aufschlussreiche Kennzahl, die selten jemand kennt. Veränderung beginnt mit einem ersten Gespräch. Wir freuen uns darauf.
Ein Thema, das gerade beschäftigt?
Gemeinsam einordnen, was daraus folgt.

Die wichtigsten Erkenntnisse
EIOPA verlangt Aufsicht nach Risiko, nicht nach Schema
Formelle Freigabe ohne Spielraum reicht nicht
Korrekturquoten je Fallklasse steuern die Freigabe
Jeder will den Menschen im Loop. Kaum einer sagt, was er dort tut.
In fast jedem KI-Vorhaben eines Versicherers steht der Satz, am Ende entscheide ein Mensch. Was dieser Mensch prüft, mit welcher Information und in welcher Zeit, bleibt dagegen oft offen. Menschliche Aufsicht wirkt erst, wenn sie nach Risiko geschnitten ist: Eine Freigabe, die jeden Fall gleich behandelt, kontrolliert wenig und verlangsamt viel.
Die menschliche Aufsicht ist zur Beruhigungsformel geworden. Die Formel steht in der Richtlinie, im Gremienbeschluss und in der Kommunikation an den Betriebsrat. Im Prozess entscheidet sich aber erst, ob sie Fehler tatsächlich abfängt und ob KI im Unternehmen skalieren kann.
Was verlangt die Aufsicht von Versicherern tatsächlich?
Eine risikobasierte und verhältnismäßige Aufsicht, keine pauschale Kontrolle jedes Einzelfalls. Die europäische Versicherungsaufsicht EIOPA hat am 6. August 2025 ihre Stellungnahme zu KI-Governance und Risikomanagement veröffentlicht. Die Stellungnahme schafft keine neuen Pflichten, sondern legt das bestehende Versicherungsaufsichtsrecht für KI-Systeme aus, die nach der KI-Verordnung weder verboten noch hochriskant sind. Dazu gehören Datengovernance, Dokumentation, Fairness, Erklärbarkeit und menschliche Aufsicht.
Für die menschliche Aufsicht verlangt EIOPA wirksame interne Kontrollen über den gesamten Lebenszyklus eines KI-Systems und klar definierte Rollen mit Eskalationswegen. Das Management ist für den Einsatz von KI insgesamt verantwortlich und braucht ausreichendes Wissen über Systeme und Risiken. Compliance und Revision prüfen die Rechtskonformität, der Datenschutzbeauftragte die Datenverarbeitung, die versicherungsmathematische Funktion die Kontrollen in ihrem Bereich. Beschäftigte, die KI beaufsichtigen, sollen rollengerecht geschult werden, damit ihre Aufsicht wirksam ist und mögliche Verzerrungen erkannt werden.
Was gilt zusätzlich für Hochrisiko-KI in Leben und Kranken?
Für KI zur Risikobewertung und Preisbildung bei natürlichen Personen in der Lebens- und Krankenversicherung gilt ab dem 2. Dezember 2027 Artikel 14 der KI-Verordnung. Hochrisiko-Systeme müssen so gestaltet sein, dass Menschen sie wirksam beaufsichtigen können. Die beaufsichtigenden Personen sollen Fähigkeiten und Grenzen des Systems verstehen, Ergebnisse richtig interpretieren und entscheiden können, ein Ergebnis nicht zu verwenden oder das System anzuhalten.
Bemerkenswert ist, dass die Verordnung das Problem beim Namen nennt: Die beaufsichtigenden Personen sollen sich der Tendenz bewusst sein, sich automatisch oder zu sehr auf die Ergebnisse eines Hochrisiko-Systems zu verlassen, im Gesetzestext ausdrücklich als „Automation Bias“ bezeichnet. Auch die BaFin betont in ihrer Pressemitteilung vom 29. Juli 2026, Entscheidungen müssten weiterhin von Menschen korrigiert und rückgängig gemacht werden können.
Warum ist pauschales Durchwinken keine Kontrolle?
Weil Form und Zweck auseinanderfallen. Wer jeden Tag sehr viele maschinell vorbereitete Fälle freigibt, bei denen die Maschine meist richtig liegt, widerspricht mit der Zeit immer seltener, bis faktisch nichts mehr geprüft wird. Die Freigabe kostet Durchlaufzeit, bindet Personal und erzeugt eine Verantwortungsillusion: Im Streitfall steht eine menschliche Unterschrift unter einer Entscheidung, die niemand wirklich geprüft hat.
Die Datenschutzaufsicht zieht hier eine klare Linie. In ihrer Orientierungshilfe „Künstliche Intelligenz und Datenschutz“ vom 6. Mai 2024 hält die Datenschutzkonferenz fest, dass der entscheidende Mensch bei KI-Vorschlägen mit Rechtswirkung einen tatsächlichen Entscheidungsspielraum haben muss. Personalmangel, Zeitdruck und fehlende Transparenz über den Weg der KI-Vorarbeit dürfen nicht dazu führen, dass Ergebnisse ungeprüft übernommen werden; eine lediglich formelle Beteiligung eines Menschen reicht nach Artikel 22 DSGVO nicht aus.
Aufschlussreich ist, wie die Durchwinkstation entsteht: selten aus fachlicher Überzeugung, meist aus Vorsicht. Die pauschale Freigabe wirkt im Gremium wie die sichere Wahl, weil niemand ihr widersprechen muss. Dass die Korrekturquote im Betrieb gegen null geht, fällt oft erst auf, wenn jemand danach fragt.
Wie sieht eine risikobasierte Freigabe aus?
Wirksame Aufsicht beginnt mit einer Sortierung der Fälle nach Risiko und Unsicherheit. In der Praxis bewähren sich drei Stufen. Die erste Stufe läuft dunkel: eindeutige Fälle mit hoher Modellsicherheit und geringem Schadenpotenzial werden automatisch verarbeitet und stichprobenhaft mit echter Prüftiefe nachkontrolliert. Die zweite Stufe ist die gezielte Einzelfreigabe: Fälle, in denen das System unsicher ist oder vom gewohnten Muster abweicht, gehen mit Begründung an einen Menschen. Die dritte Stufe ist die Eskalation: Fälle mit hohem Risiko oder Ermessensspielraum landen bei erfahrenen Kräften mit Zeit für eine echte Prüfung.

Der Unterschied zur pauschalen Vier-Augen-Prüfung liegt in der Verteilung der Aufmerksamkeit. Der Mensch prüft dort, wo seine Prüfung Wert stiftet, und wird dort entlastet, wo er nur noch abnicken würde. Entscheidungen mit rechtlicher Wirkung für Kundinnen und Kunden, etwa eine Leistungsablehnung, bleiben dabei immer bei einem Menschen mit tatsächlichem Entscheidungsspielraum. Welche Prozesse sich für die erste Stufe eignen, zeigt der Beitrag zur Dunkelverarbeitung im Schaden.
Was muss die prüfende Person sehen?
Eine Freigabe ist nur so gut wie die Information, auf der sie beruht. Wer freigeben soll, braucht drei Dinge auf einen Blick: was das System entschieden hätte, warum es so entschieden hätte und welche Signale gegen diese Entscheidung sprechen. Fehlt die Begründung, bleibt nur Vertrauen oder Misstrauen, beides ist keine Prüfung. Warum nachvollziehbare Prozesse dabei wichtiger sind als erklärbare Einzelmodelle, vertieft der Beitrag zu nachvollziehbaren KI-Prozessen.
Genauso wichtig ist ein Widerspruch ohne Reibung. Wenn das Ablehnen einer Systemempfehlung drei Begründungsfelder und eine Rückfrage auslöst, das Bestätigen aber ein Klick ist, hat die Organisation die Antwort vorentschieden. Die Prozesskosten einer Korrektur müssen so niedrig sein wie die einer Bestätigung. Dazu gehört die Protokollierung: Wer hat wann was freigegeben, abgelehnt oder geändert? Diese Daten belegen die Aufsicht gegenüber Revision und BaFin und sind zugleich das Lernmaterial, mit dem die Stufengrenzen nachjustiert werden. Eine hohe Korrekturquote in einer Fallklasse ist ein Signal, Modell oder Grenze zu prüfen; eine Quote nahe null ebenso.
Wer entscheidet über das Freigabedesign?
Fachbereich und Management, nicht die IT. Welche Fallklassen dürfen dunkel laufen? Wer trägt die Verantwortung je Stufe? Wie viel Zeit ist für eine echte Prüfung vorgesehen, und wie fließt sie in die Personalbemessung ein? Wer darf Stufengrenzen verschieben, und in welchem Gremium wird das entschieden? Diese Fragen gehören in die Prozessdokumentation, nicht nur in eine allgemeine KI-Richtlinie.
Gegenüber dem Betriebsrat ist ein durchdachtes Freigabedesign zudem das stärkste Argument, weil es die Kernfrage der Mitbestimmung konkret beantwortet: welche Rolle der Mensch künftig hat. Wie die BaFin auf Governance-Lücken in Versicherungen schaut, beschreibt der Beitrag zur KI-Governance in Versicherungen.
Was das Management für laufende KI-Vorhaben festlegen sollte
Die Freigabelogik als eigenes Arbeitspaket führen, gleichrangig mit Modell und Integration.
Fallklassen nach Risiko und Modellsicherheit definieren und je Klasse festlegen: dunkel mit Stichprobe, Einzelfreigabe oder Eskalation.
Den Informationsbedarf je Stufe klären, damit die prüfende Person Ergebnis, Begründung und Gegensignale sieht.
Korrekturquoten je Fallklasse als Steuerungsgröße einführen und regelmäßig im zuständigen Gremium auswerten.
Zeit für echte Prüfung in der Personalbemessung vorsehen und die beaufsichtigenden Beschäftigten rollengerecht schulen.
Häufige Fragen
Verlangt die Aufsicht, dass jede KI-Entscheidung von einem Menschen geprüft wird?
Nein. EIOPA verlangt einen risikobasierten und verhältnismäßigen Ansatz mit wirksamen Kontrollen. Entscheidungen mit rechtlicher Wirkung für Kundinnen und Kunden dürfen nach Artikel 22 DSGVO aber grundsätzlich nicht ausschließlich automatisiert fallen.
Was ist Automation Bias?
Die Neigung, sich automatisch oder zu stark auf die Ergebnisse eines KI-Systems zu verlassen. Artikel 14 der KI-Verordnung verlangt, dass Personen, die Hochrisiko-Systeme beaufsichtigen, sich dieser Tendenz bewusst sind.
Woran zeigt sich, ob menschliche Aufsicht wirkt?
An der Korrekturquote je Fallklasse und an der Qualität der Stichproben. Eine Quote nahe null ist kein Qualitätsbeweis, sondern ein Anlass zu prüfen, ob noch geprüft wird.
Weitere Beiträge zu KI-Governance, KI-Verordnung und Aufsicht bündelt das Dossier Regulierung & Resilienz.
Wie viele Freigaben im eigenen Schaden- oder Antragsprozess heute tatsächlich zu einer Korrektur führen, ist eine aufschlussreiche Kennzahl, die selten jemand kennt. Veränderung beginnt mit einem ersten Gespräch. Wir freuen uns darauf.
Ein Thema, das gerade beschäftigt?
Gemeinsam einordnen, was daraus folgt.

Die wichtigsten Erkenntnisse
EIOPA verlangt Aufsicht nach Risiko, nicht nach Schema
Formelle Freigabe ohne Spielraum reicht nicht
Korrekturquoten je Fallklasse steuern die Freigabe
Jeder will den Menschen im Loop. Kaum einer sagt, was er dort tut.
In fast jedem KI-Vorhaben eines Versicherers steht der Satz, am Ende entscheide ein Mensch. Was dieser Mensch prüft, mit welcher Information und in welcher Zeit, bleibt dagegen oft offen. Menschliche Aufsicht wirkt erst, wenn sie nach Risiko geschnitten ist: Eine Freigabe, die jeden Fall gleich behandelt, kontrolliert wenig und verlangsamt viel.
Die menschliche Aufsicht ist zur Beruhigungsformel geworden. Die Formel steht in der Richtlinie, im Gremienbeschluss und in der Kommunikation an den Betriebsrat. Im Prozess entscheidet sich aber erst, ob sie Fehler tatsächlich abfängt und ob KI im Unternehmen skalieren kann.
Was verlangt die Aufsicht von Versicherern tatsächlich?
Eine risikobasierte und verhältnismäßige Aufsicht, keine pauschale Kontrolle jedes Einzelfalls. Die europäische Versicherungsaufsicht EIOPA hat am 6. August 2025 ihre Stellungnahme zu KI-Governance und Risikomanagement veröffentlicht. Die Stellungnahme schafft keine neuen Pflichten, sondern legt das bestehende Versicherungsaufsichtsrecht für KI-Systeme aus, die nach der KI-Verordnung weder verboten noch hochriskant sind. Dazu gehören Datengovernance, Dokumentation, Fairness, Erklärbarkeit und menschliche Aufsicht.
Für die menschliche Aufsicht verlangt EIOPA wirksame interne Kontrollen über den gesamten Lebenszyklus eines KI-Systems und klar definierte Rollen mit Eskalationswegen. Das Management ist für den Einsatz von KI insgesamt verantwortlich und braucht ausreichendes Wissen über Systeme und Risiken. Compliance und Revision prüfen die Rechtskonformität, der Datenschutzbeauftragte die Datenverarbeitung, die versicherungsmathematische Funktion die Kontrollen in ihrem Bereich. Beschäftigte, die KI beaufsichtigen, sollen rollengerecht geschult werden, damit ihre Aufsicht wirksam ist und mögliche Verzerrungen erkannt werden.
Was gilt zusätzlich für Hochrisiko-KI in Leben und Kranken?
Für KI zur Risikobewertung und Preisbildung bei natürlichen Personen in der Lebens- und Krankenversicherung gilt ab dem 2. Dezember 2027 Artikel 14 der KI-Verordnung. Hochrisiko-Systeme müssen so gestaltet sein, dass Menschen sie wirksam beaufsichtigen können. Die beaufsichtigenden Personen sollen Fähigkeiten und Grenzen des Systems verstehen, Ergebnisse richtig interpretieren und entscheiden können, ein Ergebnis nicht zu verwenden oder das System anzuhalten.
Bemerkenswert ist, dass die Verordnung das Problem beim Namen nennt: Die beaufsichtigenden Personen sollen sich der Tendenz bewusst sein, sich automatisch oder zu sehr auf die Ergebnisse eines Hochrisiko-Systems zu verlassen, im Gesetzestext ausdrücklich als „Automation Bias“ bezeichnet. Auch die BaFin betont in ihrer Pressemitteilung vom 29. Juli 2026, Entscheidungen müssten weiterhin von Menschen korrigiert und rückgängig gemacht werden können.
Warum ist pauschales Durchwinken keine Kontrolle?
Weil Form und Zweck auseinanderfallen. Wer jeden Tag sehr viele maschinell vorbereitete Fälle freigibt, bei denen die Maschine meist richtig liegt, widerspricht mit der Zeit immer seltener, bis faktisch nichts mehr geprüft wird. Die Freigabe kostet Durchlaufzeit, bindet Personal und erzeugt eine Verantwortungsillusion: Im Streitfall steht eine menschliche Unterschrift unter einer Entscheidung, die niemand wirklich geprüft hat.
Die Datenschutzaufsicht zieht hier eine klare Linie. In ihrer Orientierungshilfe „Künstliche Intelligenz und Datenschutz“ vom 6. Mai 2024 hält die Datenschutzkonferenz fest, dass der entscheidende Mensch bei KI-Vorschlägen mit Rechtswirkung einen tatsächlichen Entscheidungsspielraum haben muss. Personalmangel, Zeitdruck und fehlende Transparenz über den Weg der KI-Vorarbeit dürfen nicht dazu führen, dass Ergebnisse ungeprüft übernommen werden; eine lediglich formelle Beteiligung eines Menschen reicht nach Artikel 22 DSGVO nicht aus.
Aufschlussreich ist, wie die Durchwinkstation entsteht: selten aus fachlicher Überzeugung, meist aus Vorsicht. Die pauschale Freigabe wirkt im Gremium wie die sichere Wahl, weil niemand ihr widersprechen muss. Dass die Korrekturquote im Betrieb gegen null geht, fällt oft erst auf, wenn jemand danach fragt.
Wie sieht eine risikobasierte Freigabe aus?
Wirksame Aufsicht beginnt mit einer Sortierung der Fälle nach Risiko und Unsicherheit. In der Praxis bewähren sich drei Stufen. Die erste Stufe läuft dunkel: eindeutige Fälle mit hoher Modellsicherheit und geringem Schadenpotenzial werden automatisch verarbeitet und stichprobenhaft mit echter Prüftiefe nachkontrolliert. Die zweite Stufe ist die gezielte Einzelfreigabe: Fälle, in denen das System unsicher ist oder vom gewohnten Muster abweicht, gehen mit Begründung an einen Menschen. Die dritte Stufe ist die Eskalation: Fälle mit hohem Risiko oder Ermessensspielraum landen bei erfahrenen Kräften mit Zeit für eine echte Prüfung.

Der Unterschied zur pauschalen Vier-Augen-Prüfung liegt in der Verteilung der Aufmerksamkeit. Der Mensch prüft dort, wo seine Prüfung Wert stiftet, und wird dort entlastet, wo er nur noch abnicken würde. Entscheidungen mit rechtlicher Wirkung für Kundinnen und Kunden, etwa eine Leistungsablehnung, bleiben dabei immer bei einem Menschen mit tatsächlichem Entscheidungsspielraum. Welche Prozesse sich für die erste Stufe eignen, zeigt der Beitrag zur Dunkelverarbeitung im Schaden.
Was muss die prüfende Person sehen?
Eine Freigabe ist nur so gut wie die Information, auf der sie beruht. Wer freigeben soll, braucht drei Dinge auf einen Blick: was das System entschieden hätte, warum es so entschieden hätte und welche Signale gegen diese Entscheidung sprechen. Fehlt die Begründung, bleibt nur Vertrauen oder Misstrauen, beides ist keine Prüfung. Warum nachvollziehbare Prozesse dabei wichtiger sind als erklärbare Einzelmodelle, vertieft der Beitrag zu nachvollziehbaren KI-Prozessen.
Genauso wichtig ist ein Widerspruch ohne Reibung. Wenn das Ablehnen einer Systemempfehlung drei Begründungsfelder und eine Rückfrage auslöst, das Bestätigen aber ein Klick ist, hat die Organisation die Antwort vorentschieden. Die Prozesskosten einer Korrektur müssen so niedrig sein wie die einer Bestätigung. Dazu gehört die Protokollierung: Wer hat wann was freigegeben, abgelehnt oder geändert? Diese Daten belegen die Aufsicht gegenüber Revision und BaFin und sind zugleich das Lernmaterial, mit dem die Stufengrenzen nachjustiert werden. Eine hohe Korrekturquote in einer Fallklasse ist ein Signal, Modell oder Grenze zu prüfen; eine Quote nahe null ebenso.
Wer entscheidet über das Freigabedesign?
Fachbereich und Management, nicht die IT. Welche Fallklassen dürfen dunkel laufen? Wer trägt die Verantwortung je Stufe? Wie viel Zeit ist für eine echte Prüfung vorgesehen, und wie fließt sie in die Personalbemessung ein? Wer darf Stufengrenzen verschieben, und in welchem Gremium wird das entschieden? Diese Fragen gehören in die Prozessdokumentation, nicht nur in eine allgemeine KI-Richtlinie.
Gegenüber dem Betriebsrat ist ein durchdachtes Freigabedesign zudem das stärkste Argument, weil es die Kernfrage der Mitbestimmung konkret beantwortet: welche Rolle der Mensch künftig hat. Wie die BaFin auf Governance-Lücken in Versicherungen schaut, beschreibt der Beitrag zur KI-Governance in Versicherungen.
Was das Management für laufende KI-Vorhaben festlegen sollte
Die Freigabelogik als eigenes Arbeitspaket führen, gleichrangig mit Modell und Integration.
Fallklassen nach Risiko und Modellsicherheit definieren und je Klasse festlegen: dunkel mit Stichprobe, Einzelfreigabe oder Eskalation.
Den Informationsbedarf je Stufe klären, damit die prüfende Person Ergebnis, Begründung und Gegensignale sieht.
Korrekturquoten je Fallklasse als Steuerungsgröße einführen und regelmäßig im zuständigen Gremium auswerten.
Zeit für echte Prüfung in der Personalbemessung vorsehen und die beaufsichtigenden Beschäftigten rollengerecht schulen.
Häufige Fragen
Verlangt die Aufsicht, dass jede KI-Entscheidung von einem Menschen geprüft wird?
Nein. EIOPA verlangt einen risikobasierten und verhältnismäßigen Ansatz mit wirksamen Kontrollen. Entscheidungen mit rechtlicher Wirkung für Kundinnen und Kunden dürfen nach Artikel 22 DSGVO aber grundsätzlich nicht ausschließlich automatisiert fallen.
Was ist Automation Bias?
Die Neigung, sich automatisch oder zu stark auf die Ergebnisse eines KI-Systems zu verlassen. Artikel 14 der KI-Verordnung verlangt, dass Personen, die Hochrisiko-Systeme beaufsichtigen, sich dieser Tendenz bewusst sind.
Woran zeigt sich, ob menschliche Aufsicht wirkt?
An der Korrekturquote je Fallklasse und an der Qualität der Stichproben. Eine Quote nahe null ist kein Qualitätsbeweis, sondern ein Anlass zu prüfen, ob noch geprüft wird.
Weitere Beiträge zu KI-Governance, KI-Verordnung und Aufsicht bündelt das Dossier Regulierung & Resilienz.
Wie viele Freigaben im eigenen Schaden- oder Antragsprozess heute tatsächlich zu einer Korrektur führen, ist eine aufschlussreiche Kennzahl, die selten jemand kennt. Veränderung beginnt mit einem ersten Gespräch. Wir freuen uns darauf.
Ein Thema, das gerade beschäftigt?
Gemeinsam einordnen, was daraus folgt.




