MLOps im Finanzinstitut: Ein Modell ist kein Projekt, sondern Betrieb

Nach dem Go-live beginnt die eigentliche Arbeit

Ein KI-Modell, das in den Produktivbetrieb geht, gilt in vielen Projektplänen als fertig: Abnahme, Übergabe, Projektende. Tatsächlich beginnt mit dem Go-live die längste Phase seines Lebens, und in ihr entscheidet sich, ob es nach einem Jahr noch so gut arbeitet wie am ersten Tag.

Ein Modell im Produktivbetrieb ist keine abgeschlossene Projektleistung, sondern eine Betriebsaufgabe: Seine Qualität muss laufend gemessen, gegen Schwellenwerte geprüft und bei Bedarf durch erneutes Training oder Austausch wiederhergestellt werden. Die Disziplin dafür heißt MLOps, kurz für den Betrieb von Machine-Learning-Systemen.

Warum altert ein Modell nach dem Go-live?

Weil sich die Welt ändert, auf die es trainiert wurde. Ein Modell lernt aus Daten der Vergangenheit, doch Kundenverhalten, Zinsumfeld, Produkte und Prozesse verschieben sich. Diese Verschiebung der Eingabedaten, oft als Datendrift bezeichnet, senkt die Treffsicherheit langsam, ohne dass ein einzelnes Ereignis den Bruch markiert. Hinzu kommt der Konzeptdrift: Der Zusammenhang zwischen Merkmalen und Ergebnis ändert sich, etwa wenn neue Betrugsmuster auftreten.

Ein Beispiel aus dem Kreditgeschäft macht den Mechanismus greifbar: Ein Modell zur Vorprüfung von Ratenkrediten, das auf Anträgen aus einer Phase niedriger Zinsen und stabiler Einkommen trainiert wurde, trifft nach einer Zinswende auf Antragstellende mit anderen Belastungsquoten und anderen Verwendungszwecken. Die Eingabedaten verschieben sich, die Bewertungen bleiben formal plausibel, und erst die Ausfallquote einige Quartale später zeigt, dass das Modell die neue Lage schlechter einschätzt. Wer die Verteilung der Eingabedaten laufend mit dem Trainingsstand vergleicht, sieht diese Verschiebung Monate früher.

Seinen Verfall meldet das Modell nicht von selbst. Der Schaden entsteht still und fällt oft erst auf, wenn er Folgen hat. Dass laufende Pflege der größte Kostenblock von Machine-Learning-Systemen sein kann, beschreibt bereits der vielzitierte Aufsatz „Hidden Technical Debt in Machine Learning Systems“ von D. Sculley und Kollegen aus dem Jahr 2015: Schnelle Erfolge mit Machine Learning seien nicht kostenlos, reale Systeme brächten oft erhebliche laufende Wartungslasten mit sich.

Was überwacht MLOps konkret?

Fünf Dinge, die zusammen den Zustand eines Modells sichtbar machen:

• Eingabedaten: Verteilung und Qualität der Daten im Vergleich zum Trainingsstand, um Drift früh zu erkennen.

• Ergebnisqualität: Trefferquote, Fehlerquote und, wo vorhanden, der Abgleich mit tatsächlichen Ergebnissen, etwa späteren Zahlungsausfällen oder bestätigten Betrugsfällen.

• Menschliche Eingriffe: Wie oft Beschäftigte Ergebnisse korrigieren oder übersteuern, ein frühes Warnsignal für sinkende Qualität.

• Nutzung und Last: Volumen, Antwortzeiten und Ausfälle im Betrieb.

• Kosten: Rechen- und Lizenzkosten je Vorgang, besonders bei Sprachmodellen. Wie sich diese Kosten steuern lassen, beschreibt der Beitrag zu FinOps für generative KI.

Zu jeder Größe gehören Schwellenwerte und Alarme, die anschlagen, bevor die Qualität kritisch wird, und ein festgelegter Pfad: Wer prüft, wer entscheidet über erneutes Training, Anpassung oder Abschaltung, und wie wird das neue Modell validiert, bevor es das alte ersetzt?

Was erwarten Aufsicht und KI-Verordnung?

Einen Betrieb, der den ganzen Lebenszyklus abdeckt. Die BaFin hat im Dezember 2025 eine nicht bindende Orientierungshilfe zu IKT-Risiken beim Einsatz von KI veröffentlicht. Sie ordnet KI-Systeme in das bestehende IKT-Risikomanagement nach DORA ein und betrachtet den gesamten Lebenszyklus von der Datenbeschaffung über Entwicklung und Betrieb bis zur Außerbetriebnahme; Sicherheit und Resilienz müssen in jeder Phase gewährleistet sein.

Die KI-Verordnung der EU stuft unter anderem Systeme zur Kreditwürdigkeitsprüfung natürlicher Personen sowie zur Risikobewertung und Preisgestaltung in der Lebens- und Krankenversicherung als Hochrisiko-Systeme ein (Anhang III Nummer 5). Anbieter solcher Systeme müssen nach Artikel 72 ein dokumentiertes System zur Beobachtung nach dem Inverkehrbringen betreiben, das Leistungsdaten über die gesamte Lebensdauer sammelt und auswertet. Betreiber müssen nach Artikel 26 den Betrieb anhand der Gebrauchsanweisung überwachen, bei Risiken den Einsatz aussetzen und Protokolle mindestens sechs Monate aufbewahren. Mit dem Digital Omnibus zur KI, in Kraft seit dem 27. Juli 2026, gelten diese Pflichten für Hochrisiko-Systeme nach Anhang III ab dem 2. Dezember 2027.

Die Verbindung zum klassischen Modellrisiko liegt nahe; Erfahrungen aus internen Ratingverfahren beschreibt der Beitrag zum Modellrisiko bei KI, die nötige Dokumentation der Beitrag zur lückenlosen Nachweiskette.

Gilt das auch für Sprachmodelle und KI-Assistenten?

Ja, in angepasster Form. Bei generativer KI verschiebt sich der Schwerpunkt: Statt einer Trefferquote wird die Qualität der Antworten an einem festen Prüfsatz echter Fragen gemessen, und neben den Eingabedaten ändern sich die Modelle selbst, wenn Anbieter neue Versionen bereitstellen oder alte abschalten. Jeder Modellwechsel braucht deshalb denselben Prüfsatz und eine dokumentierte Freigabe. Warum belegte Qualität die Grundlage für Vertrauen der Beschäftigten ist, zeigt der Beitrag zur Vertrauenslücke bei KI in Banken.

Wie gelingt der Übergang vom Pilot zum betreibbaren Modell?

Indem der Betrieb von Anfang an mitgeplant wird. Viele Vorhaben bleiben im Pilot, weil erst nach dem erfolgreichen Test auffällt, dass niemand für Überwachung, Nachtraining und Dokumentation zuständig ist. Warum so viele Projekte genau dort hängen bleiben, beschreibt der Beitrag zur Pilotfalle generativer KI.

Technisch gehört das Monitoring in eine kontrollierte interne KI-Plattform, organisatorisch in eine umfassende GenAI-Governance. Entscheidend ist eine benannte Betriebsverantwortung je Modell, die über Fachbereich und IT hinweg gilt.

Was das Management für jedes produktive Modell festlegen sollte

1. Eine Betriebsverantwortung benennen, die Qualität, Kosten und Dokumentation des Modells über seine gesamte Laufzeit verantwortet.

2. Kennzahlen und Schwellenwerte definieren, bevor das Modell live geht, einschließlich der Korrekturquote durch Beschäftigte.

3. Einen Pfad für Nachtraining und Austausch festlegen, mit Validierung, bevor ein neues Modell das alte ersetzt.

4. Ein Modellinventar führen, das jedes produktive Modell mit Zweck, Version, Risikoeinstufung und Verantwortung erfasst.

5. Die Außerbetriebnahme mitplanen: Kriterien und Ablauf für die Abschaltung eines Modells vorab beschreiben.

Häufige Fragen

Was bedeutet MLOps?
MLOps beschreibt den laufenden Betrieb von Machine-Learning-Modellen: Überwachung von Daten und Ergebnisqualität, Alarme, Nachtraining, Versionierung und Dokumentation über den gesamten Lebenszyklus.

Woran ist zu erkennen, dass ein Modell an Qualität verliert?
An sich verändernden Eingabedaten, sinkenden Trefferquoten im Abgleich mit tatsächlichen Ergebnissen und einer steigenden Zahl menschlicher Korrekturen.

Ab wann gelten die Hochrisiko-Pflichten der KI-Verordnung?
Nach dem Digital Omnibus zur KI gelten die Pflichten für Hochrisiko-Systeme nach Anhang III, etwa zur Kreditwürdigkeitsprüfung, ab dem 2. Dezember 2027.

Weitere Beiträge zu Plattformen, Betrieb und Governance bündelt das Dossier KI-Strategie & Plattformen.

Wer im eigenen Institut für ein Modell zuständig ist, nachdem das Projektteam sich verabschiedet hat, ist oft die aufschlussreichste Frage im ganzen KI-Portfolio. Veränderung beginnt mit einem ersten Gespräch. Wir freuen uns darauf.