Die Rechnung kommt später: warum GenAI-Kosten im Betrieb explodieren

Der Pilot ist günstig, der Betrieb nicht

Ein KI-Pilot kostet im Test oft nur Centbeträge je Vorgang, und genau das verleitet dazu, den Business Case zu freundlich zu rechnen. Im Regelbetrieb mit dem vollen Jahresvolumen sieht die Rechnung anders aus, und sie landet häufig in einem Budget, das niemand dafür vorgesehen hat.

Generative KI kostet je Vorgang, nicht je Lizenz: Sprachmodelle werden nach verarbeiteter Textmenge abgerechnet, und jede zusätzliche Anfrage, jeder mitgeschickte Kontext und jeder weitere Verarbeitungsschritt erhöht die Kosten. Wer die Stückkosten vor dem Rollout nicht kennt und steuert, finanziert den Regelbetrieb ohne Instrumente.

Warum unterscheidet sich die Kostenlogik von klassischer Software?

Weil die Kosten mit der Nutzung wachsen. Klassische Automatisierung wird meist über Lizenzen und Betrieb bezahlt; ein zusätzlicher Vorgang verursacht kaum weitere Kosten. Bei Sprachmodellen kostet jeder Aufruf, und der Preis steigt mit der Menge an Text, die hineingegeben und erzeugt wird. Eine Anwendung, die lange Dokumente verarbeitet, viel Kontext mitschickt oder mehrere Modellaufrufe nacheinander braucht, vervielfacht die Kosten je Vorgang.

Zugleich fallen die Preise je Rechenleistung stark. Der „AI Index Report 2025“ der Stanford University beziffert den Rückgang der Inferenzkosten für ein System auf dem Leistungsniveau von GPT-3.5 zwischen November 2022 und Oktober 2024 auf mehr als das 280-Fache. Für die Planung im Institut ist das nur die halbe Wahrheit: Mit sinkenden Preisen wachsen Nutzung, Kontextlängen und die Zahl der Verarbeitungsschritte, und neuere, leistungsfähigere Modelle haben eigene Preise. Entscheidend ist deshalb nicht der Listenpreis, sondern der Betrag je fachlichem Vorgang.

Wie groß ist das Kostenrisiko im Regelbetrieb?

Groß genug, dass es Vorhaben beendet. Gartner hat im Juli 2024 prognostiziert, dass mindestens 30 Prozent der Projekte mit generativer KI bis Ende 2025 nach dem Proof of Concept aufgegeben werden, unter anderem wegen steigender Kosten und unklarem Geschäftswert; je nach Bereitstellungsansatz nennt Gartner Kosten von 5 bis 20 Millionen US-Dollar. Für KI-Agenten erwartet Gartner seit Juni 2025, dass mehr als 40 Prozent der Projekte bis Ende 2027 eingestellt werden, wegen eskalierender Kosten, unklarem Geschäftswert oder unzureichender Risikokontrollen. Beide Prognosen sind branchenübergreifend. Warum gerade Agenten die Produktionsreife verfehlen, beschreibt der Beitrag zur Produktionslücke bei Agentic AI.

Die Disziplin, die diese Kosten steuert, heißt FinOps, die Verbindung von Finanzsteuerung und Technikbetrieb. Nach dem „State of FinOps 2025“ der FinOps Foundation mit 861 Befragten steuern inzwischen 63 Prozent der befragten Organisationen ihre KI-Ausgaben aktiv, nach 31 Prozent im Vorjahr. KI-Kosten sind damit in kurzer Zeit vom Randthema zur Steuerungsaufgabe geworden.

Welche Treiber blähen die Rechnung auf?

Vier Faktoren treiben die Kosten je Vorgang besonders:

• Langer Kontext: Bei jeder Anfrage werden umfangreiche Anweisungen, Gesprächsverläufe oder ganze Dokumente mitgeschickt, auch wenn nur ein kleiner Teil davon gebraucht wird.

• Zusätzliche Suchschritte: Anwendungen mit Quellenanbindung erzeugen neben der eigentlichen Antwort weitere Aufrufe für Suche, Auswahl und Zusammenfassung.

• Mehrstufige KI-Agenten: Ein Agent, der eine Aufgabe in viele Teilschritte zerlegt und dabei jedes Mal ein Modell aufruft, vervielfacht die Kosten, besonders wenn Schleifen nicht begrenzt sind.

• Überdimensionierte Modelle: Das größte verfügbare Modell wird auch für Aufgaben genutzt, die ein kleineres ebenso gut erledigt.

Wie die richtige Modellwahl in der Praxis aussieht, zeigt der S-KIPilot der Finanz Informatik: Nach einem Praxisbericht im IT-Finanzmagazin vom Juli 2026 wählt ein automatisches Routing je nach Art der Anfrage ein spezialisiertes Modell aus, von kleineren Modellen für Textaufgaben bis zu einem großen Modell für komplexe Aufgaben. Warum diese Austauschbarkeit auch strategisch zählt, beschreibt der Beitrag zur Multi-LLM-Strategie.

Was bedeutet FinOps konkret für KI-Anwendungen?

FinOps überträgt die Kostensteuerung der Cloud auf KI-Anwendungen. Vier Instrumente tragen dabei den größten Teil der Wirkung:

1. Kosten je Vorgang messen statt nur die Monatsrechnung zu betrachten, also je Kreditakte, Schadenmeldung oder Kundenanfrage.

2. Das passende Modell je Aufgabe wählen und die Wahl regelmäßig überprüfen, weil Preise und Leistungsfähigkeit sich schnell ändern.

3. Wiederkehrende Anfragen und Kontexte zwischenspeichern, damit identische Inhalte nicht bei jedem Aufruf erneut verarbeitet werden.

4. Budgets und Grenzwerte setzen, bevor eine Anwendung in die Breite geht, mit Warnungen bei Abweichungen und einer klaren Zuständigkeit.

Organisatorisch hilft eine einfache Regel: Die Kosten einer KI-Anwendung werden dem Fachbereich ausgewiesen, dessen Prozess sie unterstützt. Erst wenn die Marktfolge, der Service oder das Schadenteam die Kosten je Vorgang neben der eingesparten Bearbeitungszeit sieht, entsteht ein Interesse an sparsamen Abläufen, und die IT muss nicht allein über Modellwahl und Grenzwerte entscheiden.

Diese Steuerung gehört in jede Plattformentscheidung und in jeden Business Case für KI, weil sie aus einer offenen Kostenposition eine planbare macht. Auch die Architektur entscheidet mit, etwa ob eine schlanke Plattform oder ein überdimensioniertes Setup zum Einsatz kommt.

Wann lohnt sich der Betrieb auf eigener Infrastruktur?

Wenn das Volumen hoch, stabil und gut planbar ist. Eigene Infrastruktur verwandelt variable Kosten je Aufruf in feste Kosten für Hardware, Betrieb und Fachpersonal; ob sich das rechnet, hängt vom tatsächlichen Nutzungsvolumen und vom Schutzbedarf der Daten ab. Für schwankende oder kleine Volumina ist die Abrechnung je Nutzung meist günstiger. Die Abwägung zwischen lokalem Betrieb und Cloud beschreibt der Beitrag zu lokalen KI-Modellen und Cloud-KI.

Was das Management vor dem Rollout festlegen sollte

1. Stückkosten im Business Case ausweisen: Kosten je fachlichem Vorgang, hochgerechnet auf das volle Jahresvolumen, nicht auf den Pilot.

2. Eine Kostenverantwortung benennen, die Verbrauch, Budget und Abweichungen je Anwendung im Blick hat.

3. Grenzwerte vor dem Rollout setzen, insbesondere für KI-Agenten mit vielen Verarbeitungsschritten.

4. Die Modellwahl jährlich überprüfen und dabei Qualität, Kosten und Datenschutz gemeinsam bewerten.

5. KI-Kosten im regelmäßigen Bericht neben dem Nutzen ausweisen, damit beide Seiten der Rechnung sichtbar bleiben.

Häufige Fragen

Warum steigen die Kosten generativer KI im Betrieb so stark?
Weil Sprachmodelle je verarbeiteter Textmenge abrechnen. Mit dem vollen Volumen, langen Kontexten und mehrstufigen Abläufen wachsen die Kosten mit jedem Vorgang.

Was ist FinOps für KI?
Die laufende Steuerung von KI-Kosten im Zusammenspiel von Fachbereich, IT und Controlling: Kosten je Vorgang messen, Modelle passend wählen, Budgets und Grenzwerte setzen.

Sinken die Kosten nicht ohnehin durch fallende Preise?
Die Preise je Rechenleistung fallen deutlich, aber Nutzung und Komplexität der Anwendungen wachsen. Ohne Steuerung je Vorgang bleibt offen, welcher Effekt überwiegt.

Weitere Beiträge zu Plattformen, Betrieb und Steuerung bündelt das Dossier KI-Strategie & Plattformen.

Was ein einzelner KI-gestützter Vorgang im eigenen Betrieb kostet, ist eine der aufschlussreichsten Zahlen für jede Skalierungsentscheidung und oft noch unbekannt. Wir freuen uns über ein erstes Gespräch zu diesem Thema.