So schützen Sie Ihr Unternehmen vor KI-Risiken: praktische Tipps im Licht der jüngsten Warnungen

Sie schützen Ihr Unternehmen vor KI-Risiken mit sieben Schritten: Kennen Sie jedes KI-Tool und jeden KI-Agenten, der darin läuft, geben Sie jedem Agenten ein eigenes Konto mit möglichst wenig Zugriff, verlangen Sie eine menschliche Freigabe vor jeder Zahlung, jeder Löschung und jeder Nachricht an Kunden, halten Sie Kundendaten aus nicht freigegebenen Tools heraus, patchen Sie aus dem Internet erreichbare Systeme innerhalb weniger Tage, prüfen Sie Geldanforderungen über einen zweiten Kanal und klären Sie, was Ihre Versicherung abdeckt. Diese Schritte stammen aus den Warnungen vom Oktober 2026: Microsoft forderte Unternehmen auf, Agenten wie Insider zu behandeln, die Fehler machen oder manipuliert werden können; die beiden PHP2Shell-Lücken, von denen eine mit einem KI-Modell gefunden wurde, kamen 5 Tage nach ihrer Veröffentlichung auf die Liste der aktiv ausgenutzten Schwachstellen; und der Börsenprospekt von Anthropic warnte, dass sich seine Modelle auf eine Weise verhalten können, die kein Nutzer und kein Entwickler beabsichtigt hat.

Was sind die jüngsten Warnungen, und warum betreffen sie Ihr Unternehmen?

In weniger als einem Monat kamen Warnungen von den Unternehmen, die KI-Modelle selbst bauen, und von staatlichen Cybersicherheitsbehörden. Das sind die wichtigsten, in der Reihenfolge ihres Erscheinens:

Gemeinsam ist diesen Warnungen, dass KI das Risiko von zwei Seiten erhöht: von außen, weil Angreifer Lücken jetzt schneller finden und ausnutzen, und von innen, wenn ein Tool oder ein Agent mehr Zugriff erhält, als er braucht. OpenAI, das die Allianz zur Reaktion auf die PHP-Lücken anführte, bezeichnet sie als eines der folgenreichsten Sicherheitsprobleme seit Langem und sagt, dass „dieselben Fähigkeiten auch Angreifern helfen können, rasch Angriffswerkzeuge und Exploits zu entwickeln“. Das Unternehmen erwartet, dass ähnliche Funde „in den kommenden Monaten stark zunehmen“. Der Börsenprospekt von Anthropic ergänzt, dass „böswillige Akteure bereits aufsehenerregende Cyberangriffe durchgeführt haben, bei denen sie die Fähigkeiten der KI nutzten, um Schwachstellen zu entdecken, Schadsoftware zu erzeugen und Erkennungswerkzeuge zu umgehen“.

Wie schützen Sie Ihr Unternehmen? 7 praktische Tipps

1. Kennen Sie jedes KI-Tool und jeden KI-Agenten in Ihrem Unternehmen. Microsoft sagt es deutlich: „Was man nicht sieht, kann man nicht schützen.“ Das Unternehmen hat seine Werkzeuge erweitert, damit sie 60 Arten von Agenten auf den Geräten der Mitarbeitenden erkennen, darunter Claude Code, OpenAI Codex und GitHub Copilot, weil manche ohne zentrale Bereitstellung auf die Geräte gelangen. Beginnen Sie mit einer einzigen Tabelle: jedes Tool, wer es nutzt, welche Daten es erreicht, ob das Konto privat oder geschäftlich ist und wer dafür verantwortlich ist. Genau diese Tabelle ist auch der Ausgangspunkt des nationalen Rahmenwerks der SDAIA für das Management von KI-Risiken.
2. Geben Sie jedem Agenten ein eigenes Konto und so wenig Zugriff wie möglich. Microsofts Beispiel ist ein Agent, der Spesenabrechnungen prüft: Er muss die Abrechnungen und die Unternehmensrichtlinie lesen, darf aber nicht alle Berechtigungen des Mitarbeitenden erben, der ihn eingerichtet hat. Microsoft empfiehlt, dass ein Agent ohne jede Befugnis startet, nur das erhält, was die Aufgabe braucht, und nur so lange, wie die Aufgabe dauert, und dass folgenreichere Aktionen eine nachweisbare menschliche Freigabe erfordern. In der Praxis heißt das: Verbinden Sie keinen Agenten mit dem Konto der Geschäftsführung, geben Sie ihm nicht das Bankpasswort des Unternehmens, trennen Sie Lese- von Schreibrechten, entfernen Sie vergessene Schlüssel aus Code und Einstellungen, die ihm mehr öffnen als nötig, und behalten Sie eine Möglichkeit, ihn sofort zu stoppen. Satya Nadella, Vorstandschef von Microsoft, fasst es so zusammen: „Das vertrauenswürdigste agentische System wird nicht das sein, dessen Modell wir am meisten vertrauen. Es wird das sein, das so gebaut ist, dass wir dem Modell am wenigsten vertrauen müssen.“
3. Lassen Sie keinen Agenten ohne Prüfung danach handeln, was er in einer E-Mail, einer Datei oder auf einer Webseite gelesen hat. Der Börsenprospekt von Anthropic definiert Prompt Injection als Angriff, bei dem bösartige Anweisungen in Inhalte eingebettet werden, die ein Modell verarbeiten soll, etwa Websites, Dokumente oder Ausgaben von Tools, um sein Verhalten zu manipulieren, meist ohne Wissen des Nutzers. Ein Agent, der Kunden-E-Mails liest und überweisen, löschen oder senden kann, könnte einen Befehl ausführen, den ein Angreifer in eine Nachricht geschrieben hat. Microsoft beschreibt dasselbe Szenario: Der Spesen-Agent kann in einem externen Dokument auf eine Prompt Injection stoßen, und sein Verhalten ändert sich, obwohl seine Konfiguration gleich geblieben ist. Sorgen Sie dafür, dass jeder Schritt, der Geld oder Daten aus dem Unternehmen bringt, von einem Mitarbeitenden freigegeben wird, vor allem nachdem der Agent Inhalte von außen gelesen hat. Dasselbe Risiko haben wir bei Coding-Agenten gesehen, die den Befehl eines Angreifers ausführen, sobald man das Projekt öffnet.
4. Halten Sie Kundendaten aus nicht freigegebenen Tools heraus. Laut dem OpenAI-Hilfecenter nutzt OpenAI Eingaben und Ausgaben aus ChatGPT Business, ChatGPT Enterprise und seiner API standardmäßig nicht, um seine Modelle zu verbessern, während Inhalte aus den Einzeltarifen Free, Plus und Pro für das Training verwendet werden können, sofern der Nutzer das nicht in den Einstellungen abschaltet. Anthropic erklärt, dass es standardmäßig nicht mit Eingaben aus seinen kommerziellen Produkten wie Claude for Work und seiner API trainiert. Setzen Sie also einheitlich auf Business-Konten und sagen Sie Ihren Mitarbeitenden schriftlich, was nie in ein Tool gehört: personenbezogene Kundendaten, Verträge und Passwörter. Wenn Sie personenbezogene Kundendaten in ein KI-Tool eingeben, verarbeitet dessen Anbieter diese Daten in Ihrem Auftrag, und Artikel 17 der Durchführungsverordnung zum saudischen Gesetz zum Schutz personenbezogener Daten (PDPL) verpflichtet Sie, einen Auftragsverarbeiter mit ausreichenden Garantien zu wählen, auf Grundlage einer Vereinbarung, die Zweck und Dauer der Verarbeitung festlegt und den Auftragsverarbeiter verpflichtet, Sie über jedes Datenleck zu informieren. Kann ein Datenleck den Betroffenen schaden, verpflichtet Sie Artikel 24, die zuständige Behörde innerhalb von 72 Stunden zu benachrichtigen, nachdem Sie davon erfahren haben.
5. Patchen Sie aus dem Internet erreichbare Systeme in Tagen, nicht in Wochen. Fortinet sagt, dass KI-Werkzeuge Angreifern inzwischen helfen, Patches zurückzuentwickeln und funktionierende Exploits zu bauen, „in Stunden oder Tagen statt in Wochen“, und dass „das Zeitfenster zwischen Veröffentlichung und Ausnutzung weiter schrumpft“. Anthropic sagt, dass Exploits jetzt in Minuten entwickelt werden können. Deshalb verlangte die CISA bei den PHP2Shell-Lücken klare Schritte: alle Systeme erfassen, auf denen PHP läuft, den Patch sofort einspielen, beginnend mit den aus dem Internet erreichbaren Systemen, und alles vom Netz nehmen, was sich nicht aktualisieren lässt, bis es aktualisiert ist, wobei eine Web Application Firewall (WAF) in der Zwischenzeit einen gewissen Schutz bieten kann. Die saudische Nationale Cybersicherheitsbehörde (NCA) veröffentlichte eine Warnung mit der Empfehlung, die betroffenen Produkte zu aktualisieren. Wenden Sie dieselbe Regel auf jedes exponierte System an: die Website, die Firewall, das VPN und die E-Mail. Die Details stehen in unseren Artikeln zu der Lücke PHP2Shell, der neuen Linux-Schwachstelle und FortiGate-Firewalls.
6. Prüfen Sie jede Anforderung von Geld oder Daten über einen zweiten Kanal. In ihrer Aufklärungskampagne zu Deepfakes sagen die SDAIA und die Kommission für Kommunikation, Raumfahrt und Technologie (CST), dass „jemanden in einem Video zu sehen oder seine Stimme zu hören kein Beweis dafür ist, dass er es gesagt hat“, und nennen unter den Risiken finanzielle Verluste und Betrug, das Überwinden von Prüfsystemen und Identitätsdiebstahl. Überweisen Sie also nie Geld und senden Sie nie Daten aufgrund eines Anrufs, einer Sprachnachricht oder eines Videos, selbst wenn die Stimme wie die der Geschäftsführung klingt. Rufen Sie die Person unter der Nummer zurück, die Sie bereits haben, und verlangen Sie zwei Unterschriften für jede Überweisung über einem von Ihnen festgelegten Betrag. Die Schutzebenen haben wir in unserem Artikel über Deepfakes und KI-Betrug erklärt, und wie Sie jeden Weg schließen, auf dem Geld Ihres Unternehmens ohne Ihre Unterschrift fließt, in der Lehre aus dem Binance-Hack.
7. Prüfen Sie, was Ihre Versicherung abdeckt und was die Verträge Ihrer Lieferanten sagen. Der Börsenprospekt von Anthropic hält fest: „Da sich unsere Modelle auf eine Weise verhalten können, die kein Nutzer und kein Entwickler beabsichtigt hat, könnten Ansprüche aus solchen Handlungen zu einer erheblichen Haftung führen.“ Er fügt hinzu, dass seine Versicherungspolicen womöglich keinen ausreichenden Schutz bieten und dass „der Versicherungsmarkt für KI-spezifische Risiken noch jung ist und sich entwickelt“. Wenn das die Lage des Unternehmens ist, das das Modell baut, dann fragen Sie Ihren Versicherer schriftlich: Deckt die Police ein Datenleck ab, das ein KI-Agent verursacht hat, oder eine betrügerische Überweisung mit einer geklonten Stimme? Und fragen Sie jeden Tool-Anbieter, wo Ihre Daten gespeichert werden, wie lange sie aufbewahrt werden und wann er Sie über einen Vorfall informiert.

Was sagen die saudischen Behörden?

Drei Bezugspunkte zählen für jedes saudische Unternehmen, das KI nutzt:

• Die SDAIA hat das nationale Rahmenwerk für das Management von KI-Risiken als Orientierungshilfe für öffentliche und private Stellen eingeführt; wir haben seine vier Phasen und deren Anwendung in Ihrem Unternehmen erklärt.
• Die Nationale Cybersicherheitsbehörde (NCA) hat ihren Entwurf von KI-Cybersicherheitsleitlinien zur öffentlichen Konsultation gestellt, mit dem 5. August 2026 als Frist für Rückmeldungen. Der Entwurf stützt sich auf 4 Bereiche: Cybersicherheits-Governance, Abwehr, Resilienz und Cybersicherheit bei Dritten, und er umfasst generative und agentische KI.
• Das Gesetz zum Schutz personenbezogener Daten (PDPL) bindet jedes Unternehmen, das personenbezogene Daten verarbeitet, einschließlich der oben genannten Artikel 17 und 24 seiner Durchführungsverordnung. Mehr dazu in unserem praktischen Leitfaden zum Gesetz.

Wie sieht der Plan für die ersten 30 Tage aus?

Die Sicht von Origami

Wir sehen in diesen Warnungen keinen Grund, KI in Ihrem Unternehmen abzuschalten, sondern einen Grund, sie in klaren Grenzen zu betreiben. Microsoft selbst sagt, das Ziel sei kein Modell, dessen jede Handlung vorhersehbar ist, sondern „Systeme, die sicher bleiben, auch wenn das Modell es nicht ist“. Bei Origami bauen wir KI-Funktionen und Agenten mit begrenzten Berechtigungen, Freigabeschritten und klaren Protokollen in die Systeme von Unternehmen ein, prüfen mit KI-Tools erstellten Code und schließen seine Lücken und aktualisieren aus dem Internet erreichbare Server und Anwendungen. Kontaktieren Sie uns, um Ihre Tools und Agenten gemeinsam zu prüfen.

Das Wichtigste in Kürze

• Die Warnungen vom Oktober 2026 besagen, dass KI das Finden und Ausnutzen von Lücken beschleunigt, dass Agenten Fehler machen oder manipuliert werden können und dass sich Modelle auf eine Weise verhalten können, die niemand beabsichtigt hat.
• Kennen Sie Ihre Tools und Agenten, geben Sie jedem Agenten so wenig Zugriff wie möglich und verlangen Sie eine menschliche Freigabe vor finanziellen und sensiblen Schritten.
• Nutzen Sie Business-Konten, die standardmäßig nicht mit Ihren Daten trainieren, und halten Sie Kundendaten aus nicht freigegebenen Tools heraus.
• Patchen Sie exponierte Systeme innerhalb von Tagen, prüfen Sie Geldanforderungen über einen zweiten Kanal und überprüfen Sie Ihre Versicherung und die Verträge Ihrer Lieferanten.

Quellen

• Microsoft: Agenten sind Ihre neuesten Insider, 19. Oktober 2026
• OpenAI: Patch the Planet, die Koordination der Reaktion auf kritische PHP-Lücken
• CISA: Kritische Schwachstellen in PHP erfordern sofortiges Patchen
• Saudische Nationale Cybersicherheitsbehörde (NCA): PHP-Warnung
• Fortinet: Sicherheits-Härtungsrelease für mehrere Produkte
• Anthropic: ein Opt-in-Dienst zur Schwachstellensuche für Open-Source-Software, 8. Oktober 2026
• Anthropic: Schwachstellen mit Claude entdecken und ausnutzen, 27. Oktober 2026
• Anthropic: Registrierungsformular S-1 bei der US-Börsenaufsicht SEC
• SPA: SDAIA führt das nationale Rahmenwerk für das Management von KI-Risiken ein
• Saudische Nationale Cybersicherheitsbehörde (NCA): Konsultation zu den KI-Cybersicherheitsleitlinien
• SDAIA und CST: Deepfakes und gefälschte Videos
• SDAIA: Durchführungsverordnung zum Gesetz zum Schutz personenbezogener Daten
• OpenAI: Wie Ihre Daten zur Verbesserung der Modellleistung verwendet werden
• Anthropic: Werden meine Daten für das Modelltraining verwendet?