Wenn die Eingabe das Modell umprogrammiert

Sprachmodelle folgen Anweisungen, und genau das lässt sich ausnutzen. Prompt Injection ist die Manipulation eines Modells über präparierte Eingaben oder Dokumente, die ihm neue, unerwünschte Anweisungen unterschieben. Bei kundennahen Bankanwendungen ist das kein theoretisches Randthema, sondern ein konkretes Sicherheits- und Governance-Risiko: Ein erfolgreich manipuliertes Modell kann Daten preisgeben, festgelegte Regeln umgehen oder falsche Auskünfte als korrekt ausgeben. Wer KI an den Kunden oder an sensible Prozesse lässt, muss dieses Risiko von Anfang an mitdenken.

Wie ein Angriff aussieht

Im einfachsten Fall schreibt ein Nutzer in den Chat eine Anweisung, die das System dazu bringen soll, seine ursprünglichen Vorgaben zu ignorieren. Gefährlicher ist die indirekte Variante: Eine Anweisung steckt versteckt in einem Dokument, das die Anwendung ohnehin verarbeitet, etwa in einer eingereichten Unterlage. Das Modell liest die Anweisung, ohne dass ein Mensch sie bemerkt, und führt sie aus. Gerade in der Dokumentenverarbeitung, wie sie in der Marktfolge entsteht, ist dieser Weg relevant, weil das System fremde Inhalte verarbeitet, die niemand kontrolliert hat.

Warum Banken besonders exponiert sind

Drei Eigenschaften erhöhen das Risiko im Finanzinstitut. Kundennahe Chatbots sind direkt zugänglich und damit ein offenes Einfallstor. Dokumentenverarbeitende Agenten nehmen Inhalte aus unkontrollierter Herkunft entgegen. Und im Hintergrund liegen sensible Daten und eine klare Haftung. Die OWASP-Initiative führt Prompt Injection als das bedeutendste Risiko für Anwendungen mit Sprachmodellen, und für eine Bank verbindet sich dieses technische Risiko unmittelbar mit aufsichtsrechtlicher Verantwortung. Verwandt damit ist die Gefahr manipulierter Trainings- oder Eingabedaten, behandelt unter Datenintegrität und Poisoning.

Was wirksamer Schutz bedeutet

Schutz entsteht aus mehreren Schichten. Eingaben und Ausgaben werden gefiltert, statt blind verarbeitet zu werden. Werkzeuge und Berechtigungen des Modells folgen dem Prinzip der minimalen Rechte, sodass es keine sensiblen Aktionen eigenständig auslösen kann. Vertrauenswürdige und fremde Inhalte werden getrennt behandelt. Und kritische Schritte bleiben an eine menschliche Freigabe gebunden. Diese Logik ist dieselbe wie beim Schutz vor KI-gestütztem Phishing: Technik allein genügt nicht, es braucht klare Prozesse dahinter.

Sicherheit ist Teil der KI-Governance

Prompt Injection lässt sich nicht nachträglich wegpatchen, sie gehört in die Governance einer KI-Anwendung von Tag eins. Der EU AI Act und die Erwartungen der BaFin verlangen angemessene Risikokontrollen, und Sicherheit ist ein Teil davon, nicht ein separates IT-Thema. Wer KI in den Kundenkontakt oder in sensible Prozesse bringt, verankert die Sicherheitskontrollen im selben Rahmen wie Nachvollziehbarkeit und Datenschutz, eingebettet in eine umfassende GenAI-Governance. Auch ein veralteter Chatbot ohne diese Kontrollen ist hier ein Risiko.

Wenn Sie eine kundennahe oder dokumentenverarbeitende KI-Anwendung absichern wollen, prüfen wir mit Ihnen die Risiken und die nötigen Kontrollen. Buchen Sie eine Sprechstunde, dann sprechen wir über Ihren konkreten Anwendungsfall.