Die KI arbeitet schon. Aber wer stoppt sie, wenn etwas schiefgeht?
Deutsche Unternehmen setzen zunehmend künstliche Intelligenz ein. Eine neue Untersuchung des Bundesamtes für Sicherheit in der Informationstechnik und des TÜV-Verbands zeigt allerdings, dass die organisatorische Absicherung häufig hinter der technischen Entwicklung zurückbleibt. Besonders interessant wird das bei KI-Agenten, die nicht mehr auf jede einzelne Anweisung warten müssen.
Es ist inzwischen erstaunlich einfach, einer künstlichen Intelligenz Zugang zu einem E-Mail-Postfach zu geben, Rechnungen auswerten zu lassen oder sie mit der Vorbereitung von Geschäftsentscheidungen zu beauftragen. Man benötigt dafür weder eine eigene Entwicklungsabteilung noch besonders große finanzielle Mittel.
Schwieriger wird es bei der Frage, was geschieht, wenn das System einen Fehler macht.
Das Bundesamt für Sicherheit in der Informationstechnik (BSI) und der TÜV-Verband haben am 7. Oktober 2026 eine gemeinsame Untersuchung zur KI-Sicherheit in deutschen Unternehmen veröffentlicht. Die Ergebnisse sind bemerkenswert: 49 Prozent der befragten Unternehmen setzen bereits künstliche Intelligenz ein. Weitere neun Prozent planen den Einsatz innerhalb der nächsten zwölf Monate.
Spezielle Prozesse für Sicherheitsvorfälle im Zusammenhang mit KI haben dagegen lediglich elf Prozent der Unternehmen, die KI bereits einsetzen oder ihren Einsatz planen.
Die Zahlen stammen aus einer telefonischen Befragung von 505 Unternehmen mit mindestens 20 Beschäftigten, die das Institut Forsa zwischen dem 22. Juni und dem 31. Juli 2026 durchgeführt hat. Befragt wurden Verantwortliche aus IT, Sicherheit und Unternehmensleitungen.
DIE NEUE TECHNIK TRIFFT AUF ALTE SICHERHEITSPROBLEME
Eine der auffälligsten Erkenntnisse der Studie betrifft Cyberangriffe.
17 Prozent der befragten Unternehmen berichten, innerhalb der vergangenen zwölf Monate einen Cyberangriff oder Betrugsversuch festgestellt oder vermutet zu haben, bei dem künstliche Intelligenz eine Rolle spielte.
Allerdings sollte man hier genauer hinsehen. Vier Prozent der Unternehmen sprechen von bestätigten Vorfällen, elf Prozent von Verdachtsfällen und weitere zwei Prozent von beidem. Dass KI tatsächlich an jedem dieser Angriffe beteiligt war, ist damit nicht nachgewiesen.
Bei den betroffenen Unternehmen stehen täuschend echte Phishing-Mails an erster Stelle. 90 Prozent berichten von dieser Angriffsmethode. Daneben werden automatisierte Angriffsskripte und gefälschte Audio- oder Videoaufnahmen genannt.
Die Methoden sind keineswegs neu. Gefälschte Rechnungen, betrügerische E-Mails und vorgetäuschte Identitäten existieren seit Jahrzehnten.
Neu sind die Möglichkeiten, mit denen solche Angriffe vorbereitet werden können. Eine überzeugend formulierte Nachricht, die sich auf ein bestimmtes Unternehmen und dessen Geschäftsbeziehungen bezieht, lässt sich heute wesentlich leichter herstellen als früher.
Für einen kleinen Betrieb kann das problematisch werden. Wer regelmäßig mit denselben Handwerkern, Lieferanten oder Dienstleistern arbeitet, verlässt sich im Alltag häufig auf bekannte Kommunikationsmuster.
Eine täuschend echte Nachricht über eine angeblich geänderte Bankverbindung genügt möglicherweise, um aus einer gewöhnlichen Rechnungsbearbeitung einen erheblichen finanziellen Schaden entstehen zu lassen.
Das hat zunächst wenig mit autonomen Superintelligenzen zu tun. Es ist ein ziemlich gewöhnliches kaufmännisches Risiko, das durch neue technische Möglichkeiten verstärkt wird.
WAS PASSIERT, WENN DIE KI SELBST HANDELN DARF?
Interessanter als die klassischen Cyberangriffe ist langfristig eine andere Entwicklung.
Bislang werden KI-Systeme in Unternehmen überwiegend als Hilfsmittel verwendet. Sie formulieren Texte, recherchieren Informationen, unterstützen Programmierer oder analysieren Daten.
Die nächste Entwicklungsstufe besteht aus sogenannten KI-Agenten. Diese Systeme können mehrere Arbeitsschritte miteinander verbinden und innerhalb vorgegebener Berechtigungen selbstständig Aktionen ausführen.
Ein Beispiel aus der Immobilienverwaltung zeigt die Möglichkeiten.
Ein entsprechend eingerichteter Agent könnte eingehende Mängelmeldungen auswerten, die betroffene Wohnung zuordnen, frühere Reparaturen berücksichtigen und geeignete Handwerksunternehmen ermitteln.
Mit entsprechenden Zugriffsrechten könnte er anschließend Termine vereinbaren, Aufträge vorbereiten und deren Erledigung überwachen.
Der wirtschaftliche Nutzen liegt auf der Hand. Ein erheblicher Teil kaufmännischer Verwaltungsarbeit besteht schließlich darin, Informationen zwischen verschiedenen Beteiligten zu transportieren.
Doch mit zunehmender Selbstständigkeit verändert sich das Fehlerpotenzial.
Solange die KI lediglich einen Auftragsentwurf vorbereitet, lässt sich dieser vor dem Versand kontrollieren. Darf sie den Auftrag unmittelbar vergeben, kann aus einer falschen Zuordnung bereits eine echte Verpflichtung entstehen.
Noch deutlicher wird der Unterschied bei finanziellen Transaktionen oder beim Umgang mit personenbezogenen Daten.
Die aktuelle Studie zeigt, dass autonome Agenten in deutschen Unternehmen bisher kaum verbreitet sind. Erst fünf Prozent der Unternehmen, die bereits KI einsetzen, verwenden solche Systeme. Weitere acht Prozent dieser KI-Nutzer planen ihren Einsatz.
Die Zurückhaltung dürfte auch mit Sicherheitsbedenken zusammenhängen. 84 Prozent sämtlicher befragten Unternehmen sehen das Risiko, dass KI-Agenten aufgrund falscher oder erfundener Informationen Entscheidungen treffen. 78 Prozent befürchten den Abfluss sensibler Daten oder von Geschäftsgeheimnissen.
VERANTWORTUNG LÄSST SICH NICHT AUTOMATISIEREN
Ausgerechnet die menschliche Kontrolle bleibt damit eine entscheidende Voraussetzung für die Automatisierung.
67 Prozent der KI-nutzenden Unternehmen geben an, kritische Ergebnisse ihrer Systeme durch Menschen überprüfen zu lassen. Bei 64 Prozent wurden Zugriffsrechte beschränkt.
Das sind durchaus positive Befunde.
Andererseits testen nur 52 Prozent dieser Unternehmen ihre Anwendungen vor dem Einsatz. Eine laufende Protokollierung oder Überwachung der KI-Nutzung findet bei 40 Prozent statt.
Dabei ist die technische Kontrolle nur ein Teil der Aufgabe.
Ein Unternehmen muss zunächst festlegen, welche Handlungen eine KI überhaupt vornehmen darf.
Soll sie eigenständig Kunden anschreiben? Darf sie Bestellungen auslösen? Kann sie vorhandene Datensätze verändern? Welche Informationen dürfen an externe Systeme übertragen werden?
Diese Entscheidungen unterscheiden sich kaum von gewöhnlichen organisatorischen Zuständigkeiten. Auch einem neuen Mitarbeiter würde man nicht am ersten Arbeitstag die uneingeschränkte Verfügungsgewalt über sämtliche Geschäftskonten übertragen.
Bei einer KI scheint die Versuchung allerdings größer zu sein. Sobald die Technik funktioniert, möchte man möglichst viele Arbeitsschritte automatisieren.
Das ist wirtschaftlich verständlich. Gerade kleinere Unternehmen können sich umfangreiche Verwaltungsabteilungen nicht leisten.
Der Vorteil eines KI-Agenten liegt schließlich darin, dass er viele Aufgaben parallel bearbeiten kann, ohne dafür einen eigenen Arbeitsplatz, Urlaubsplanung oder zusätzliche Büroräume zu benötigen.
Allerdings entstehen dafür andere Kosten: Integration, Kontrolle, laufende Überwachung und die Absicherung gegen Fehlentscheidungen.
Wie hoch diese Kosten tatsächlich ausfallen, hängt erheblich vom jeweiligen Einsatzgebiet ab. Eine KI, die öffentliche Informationen zusammenstellt, benötigt weniger Schutzmaßnahmen als ein System, das Zugriff auf Personalakten und Zahlungsverkehr erhält.
SICHERHEIT KOSTET GELD. FEHLENDE SICHERHEIT MEISTENS MEHR.
Der TÜV-Verband fordert angesichts der Untersuchung zusätzliche unabhängige Prüfungen und Zertifizierungen. Gemeinsam mit seinem AI.Lab entwickelt er selbst entsprechende Programme.
Dahinter steht ein nachvollziehbares Sicherheitsinteresse. Zugleich sollte man berücksichtigen, dass Prüf- und Zertifizierungsleistungen zum Geschäftsfeld der TÜV-Organisationen gehören.
Eine unabhängige technische Prüfung kann einem Unternehmen helfen, die Risiken eines Systems einzuschätzen. Sie ersetzt jedoch keine vernünftige betriebliche Organisation.
Auch ein zertifiziertes KI-System kann ungeeignet eingesetzt werden oder mit zu weitreichenden Berechtigungen ausgestattet sein.
Für kleinere Betriebe dürfte deshalb ein anderer Ansatz besonders interessant sein: Die KI übernimmt zunächst vorbereitende Arbeiten. Entscheidungen mit erheblichen finanziellen oder rechtlichen Folgen bleiben kontrollpflichtig.
Ein Immobilienunternehmen könnte beispielsweise Betriebskostenabrechnungen automatisiert prüfen lassen. Auffälligkeiten würden markiert, fehlende Unterlagen angefordert und Abrechnungsentwürfe vorbereitet.
Bevor eine strittige Forderung verschickt oder eine Zahlung angewiesen wird, müsste weiterhin eine verantwortliche Person zustimmen.
Die Produktivitätssteigerung könnte dennoch beträchtlich sein.
Außerdem sollte jederzeit nachvollziehbar bleiben, welche Informationen das System verwendet und welche Aktionen es ausgeführt hat. Eine wirksame Abschaltmöglichkeit gehört ebenfalls dazu.
DER NÄCHSTE SCHRITT WIRD ORGANISATORISCH ANSPRUCHSVOLLER
Die Bundesregierung und die Europäische Union beschäftigen sich inzwischen intensiv mit technischen Sicherheitsstandards und regulatorischen Anforderungen.
Die europäische KI-Verordnung schafft hierfür einen risikobasierten Rechtsrahmen. Sie sieht je nach Anwendung unterschiedliche Anforderungen vor. Die Regelungen werden schrittweise wirksam; durch den im Juli 2026 in Kraft getretenen AI Omnibus wurden bestimmte Fristen verlängert und Verfahren vereinfacht.
Die praktische Herausforderung bleibt allerdings zunächst bei den Unternehmen.
Sie müssen selbst entscheiden, welche Abläufe automatisiert werden sollen und welche Fehler sie dabei tolerieren können.
In vielen Verwaltungsberufen wird sich dadurch möglicherweise ein erheblicher Teil der Arbeit verändern. Die eigentliche Bearbeitung von Informationen lässt sich zunehmend delegieren. Die Verantwortung für deren Verwendung bleibt bestehen.
Für Beschäftigte könnte das eine Verschiebung ihrer Tätigkeit bedeuten. Weniger Zeit für das Übertragen von Daten und die Vorbereitung von Standardschreiben, dafür mehr Kontrolle komplexer Vorgänge und Entscheidungen.
Ob die dadurch eingesparte Arbeitszeit tatsächlich zu geringeren Kosten, besseren Dienstleistungen oder schlicht zu einer größeren Zahl bearbeiteter Vorgänge führt, ist offen.
Die Technik allein wird diese wirtschaftliche Entscheidung jedenfalls nicht treffen.
Quellen und Einordnung
- BSI und TÜV-Verband: KI-Sicherheitsstudie 2026 — Veröffentlicht am 7. Oktober 2026. Ergebnisse und Bezugsgruppen der Unternehmensbefragung.
- KI-Sicherheitsstudie 2026 – vollständiger Studienbericht (PDF) — Technische Schutzmaßnahmen: S. 39; KI-Agenten: S. 42–43; Angriffe und Vorfallprozesse: S. 45–47; Methodik: S. 62.
- TÜV-Verband: Pressemitteilung zur KI-Sicherheitsstudie — 7. Oktober 2026. Ergebnisse, Sicherheitsmaßnahmen und Entwicklung des Zertifizierungsprogramms.
- Europäische Kommission: AI Omnibus enters into force — 27. Juli 2026. Inkrafttreten, Fristverlängerungen und Vereinfachungen.
Korrekturen
Erstveröffentlichung am 13. Oktober 2026. Originalquellen und Fristen vor Veröffentlichung erneut geprüft; öffentliche Quellenlinks ergänzt.