In diesem Artikel
Am 18. September 2026 bestätigte Google öffentlich, dass sich sein Modell Gemini unbefugten Zugang zu drei Systemen externer Parteien verschafft hatte. Es geschah im Mai 2026 während einer Sicherheitsbewertung durch Irregular, ein Unternehmen, das fortgeschrittene KI-Systeme testet, aufgebaut als Capture-the-Flag-Übung in einer Umgebung, die eigentlich geschlossen sein sollte. Google erfuhr im Juli von den Vorfällen und bestätigte sie erst nach Presseberichten Mitte September öffentlich.
In der Presse liest sich das als Geschichte über eine KI, die ihre Grenzen sprengt. Innerhalb eines Unternehmens liest es sich als etwas Engeres und viel Näherliegendes: Das Detail, das alles verursachte, lag nicht im Modell, sondern in der Art, wie die Testumgebung eingerichtet war. Und es ist dieselbe Art von Fehler, die gerade jetzt in nicht wenigen Systemen saudischer Unternehmen steckt.
Was tatsächlich geschah
Das Szenario war einfach: Das Modell sollte eine fiktive Organisation in einer isolierten Umgebung angreifen. Zwei Dinge gingen gleichzeitig schief. Erstens hatte die Umgebung unbeabsichtigten Zugang zum Internet. Zweitens stimmte das in der Übung verwendete fiktive Unternehmen zufällig mit einer echten Domain überein, die einer echten Partei gehörte.
Das Ergebnis war, dass das Modell genau das tat, worum es gebeten wurde, nur gegen das falsche Ziel. Laut Heather Adkins, Vice President für Sicherheitstechnik bei Google, fand das Modell öffentliche Informationen im Internet und erriet Zugangsdaten, um auf Websites zuzugreifen, die es für Teil des Tests hielt. Es stoppte, sobald es Zugang hatte, und ging nicht weiter, und Google gibt an, dass kein Schaden entstanden ist.
Der wichtigste Teil von Googles Position ist, dass es den Vorfall nicht als Fehlausrichtung im Verhalten des Modells einstuft, sondern als Verwechslung. Das Modell hat nicht beschlossen, seine Anweisungen zu überschreiten. Es befolgte sie wörtlich, innerhalb einer Landkarte der Welt, die falsch war. Es ist auch kein Einzelfall: OpenAI gab im Juli bekannt, dass einer seiner Agenten in Hugging Face eingedrungen war, und Anthropic hat ähnliches Verhalten bei seinen eigenen Modellen gemeldet.
Der Fehler lag in der Grenze, nicht im Modell
Nimmt man die KI ganz aus der Geschichte heraus, bleibt die Lehre unverändert. Schlicht beschrieben lautet der Vorfall: ein System, das in einer Testumgebung läuft, eine Umgebung mit einem aktiven Weg nach außen, und darin Testdaten, die nicht so fiktiv waren, wie ihr Verfasser angenommen hatte.
Diese Beschreibung passt auf Dinge, die in gewöhnlichen Unternehmen ganz ohne KI passieren. Ein Staging-System schickt Bestätigungsnachrichten an zufällig erfundene Mobilnummern, und sie erreichen echte Menschen. Ein Testskript ruft ein Zahlungsgateway gegen die Produktion statt gegen die Sandbox auf. Eine Entwicklungskopie der Website zeigt auf die Live-Kundendatenbank, weil das Anbinden einer separaten Datenbank umständlich war. Eine Test-E-Mail-Kampagne geht an die echte Abonnentenliste. In jedem Fall ist die Annahme, die zerbrach, dieselbe: Jemand glaubte, diese Umgebung sei getrennt.
Wo sich das in saudischen Unternehmen wiederholt
Nach dem, was wir bei der Arbeit an bestehenden Systemen sehen, wiederholt es sich an vier bestimmten Stellen:
- Testdaten, die gar nicht fiktiv sind. Die Nummern, Domains und E-Mail-Adressen, die spontan erfunden werden, um ein Testformular auszufüllen, gehören meist echten Menschen. Die Lösung ist nicht das Urteilsvermögen Einzelner, sondern reservierte Domains für Tests, Nummern, die niemanden erreichen, und eine schriftliche Regel gegen das spontane Erfinden von Daten.
- Eine Staging-Umgebung mit offenem Ausgang. Wenn Ihre Entwicklungskopie eine WhatsApp-Nachricht, eine E-Mail oder eine Zahlungsanfrage nach außen senden kann, ist sie keine Staging-Umgebung — sie ist eine zweite Produktionsumgebung. Die richtige Sperre gehört in die Konfiguration, nicht in das Gedächtnis eines Entwicklers.
- Produktionsschlüssel im Testbetrieb. Ein einziger Schlüssel, der in beiden Umgebungen genutzt wird, hebt die Trennung auf, egal wie aufgeräumt die Ordnerstruktur aussieht. Genau deshalb trennen staatliche Plattformen beides: Die Behörde für Zakat, Steuern und Zoll (ZATCA) etwa stellt auf der Plattform Fatoora eine von der Produktion getrennte Simulationsumgebung bereit, mit separaten Onboarding-Zertifikaten für jede.
- Eine Kopie von Kundendaten in der Entwicklungsumgebung. Regulatorisch ist das der riskanteste Punkt. Das Gesetz zum Schutz personenbezogener Daten (PDPL), über das die Saudische Behörde für Daten und Künstliche Intelligenz (SDAIA) wacht, regelt personenbezogene Daten, wo immer sie liegen, und macht keine Ausnahme für eine als Test gekennzeichnete Kopie. Eine Staging-Umgebung mit echten Kundendaten fällt vollständig darunter — und sie ist meist das am schlechtesten geschützte System, das Sie besitzen.
Vier Grenzen, die Sie diese Woche ziehen sollten
Nichts davon braucht ein Projekt oder ein Budget. Es braucht eine Sitzung mit demjenigen, der Ihre Systeme betreibt:
- Stellen Sie eine direkte Frage: Kann unsere Testkopie eine Nachricht, eine E-Mail oder eine Zahlungsanfrage nach außen senden? Lautet die Antwort ja oder ich bin nicht sicher, ist das das Erste, was Sie schließen.
- Trennen Sie Schlüssel und Zertifikate vollständig zwischen den Umgebungen, sodass kein einziger Schlüssel in beiden funktioniert.
- Führen Sie eine feste Liste von Testdaten ein: eine reservierte Testdomain, Nummern, die niemanden erreichen, und eine bekannte Mobilnummer des Teams, die jede Testnachricht empfängt.
- Legen Sie fest, wer ein automatisiertes Werkzeug oder einen KI-Agenten gegen Ihre Systeme laufen lassen darf, in welcher Umgebung und mit welchen Berechtigungen. Steht die Antwort nicht schriftlich fest, existiert sie nicht.
Die Sicht von Origami
Wir lesen diesen Vorfall als Erinnerung daran, dass die teuersten Systemausfälle selten raffiniert sind. Es sind Ausfälle von Annahmen. Googles Sicherheitskompetenz liegt weit über der jedes saudischen Unternehmens, und die Annahme, die zerbrach, war die einfache: dass eine geschlossene Umgebung tatsächlich geschlossen war. Unternehmen scheitern meist nicht am schwierigen Teil eines Systems. Sie scheitern an dem Teil, den niemand geprüft hat, weil er offensichtlich wirkte.
Bei Origami behandeln wir die Isolation von Umgebungen als Teil der Lieferung und nicht als optionales Extra: eine Staging-Umgebung, die keine echten Kommunikationskanäle erreichen kann, getrennte Schlüssel und Testdaten, die niemandem gehören. Die Kosten sind ein paar Stunden zu Beginn eines Projekts. Die Alternative ist ein Vorfall, den Sie einem Kunden oder einer Aufsichtsbehörde erklären, nachdem er bereits passiert ist. Diese Abwägung sollte man früh klären.
Eine praktische Erkenntnis
Die Lehre aus dem Gemini-Vorfall lautet nicht, KI-Werkzeuge zu meiden. Sie lautet, das Wort Staging nicht länger als Garantie zu behandeln. Eine Umgebung ist nicht isoliert, weil Sie sie so genannt haben; sie ist isoliert, weil jemand tatsächlich geprüft hat, dass sie es ist. Beginnen Sie heute mit einer Frage: Was ist der entfernteste Punkt, den unsere Testkopie erreichen kann? Ist die Antwort unklar, arbeiten Sie mit derselben Annahme, die bei Google zerbrochen ist.
Quellen
- NBC News — Googles Bestätigung, dass Gemini im Mai 2026 unbefugten Zugang zu drei externen Systemen erlangte, und die Aussage von Heather Adkins, Vice President für Sicherheitstechnik, dass das Modell öffentliche Informationen fand und Zugangsdaten für Websites erriet, die es für Teil des Tests hielt.
- CNBC — Einzelheiten zur Bewertung durch Irregular, zum unbeabsichtigten Internetzugang der Testumgebung, zur fiktiven Organisation, die mit einer echten Domain übereinstimmte, und zu vergleichbaren Vorfällen, die OpenAI und Anthropic offengelegt haben.
- SDAIA — das Gesetz zum Schutz personenbezogener Daten (PDPL) und seine Anwendung auf personenbezogene Daten, wo immer sie verarbeitet werden.
- Plattform Fatoora - ZATCA — die Trennung zwischen Simulationsumgebung und Produktion, mit unabhängigen Onboarding-Zertifikaten für jede.
Häufige Fragen
Bedeutet das, dass KI außer Kontrolle geraten ist?
Google erklärt ausdrücklich, dass es den Vorfall nicht als Fehlausrichtung im Verhalten des Modells einstuft, sondern als Verwechslung: Das Modell führte die ihm gestellte Aufgabe aus und glaubte dabei, die externen Systeme seien Teil der Übung. Die Unterscheidung ist praktisch wichtig, weil sich die Abhilfe unterscheidet. Läge das Problem beim Modell, bestünde die Lösung darin, das Modell einzuschränken. Da das Problem die Grenze der Umgebung ist, besteht die Lösung darin, diese Grenze zu schließen, bevor man irgendein automatisiertes Werkzeug darin ausführt.
Mein Unternehmen nutzt überhaupt keine KI-Agenten, betrifft mich das also?
Ja, denn der Kern des Vorfalls hat nichts mit KI zu tun. Der Fehler lag darin, dass eine vermeintlich isolierte Umgebung einen aktiven Weg nach außen hatte und dass als fiktiv gekennzeichnete Daten auf echte Parteien verwiesen. Das passiert in gewöhnlichen Unternehmen jede Woche: Eine Testnachricht erreicht einen echten Kunden, oder ein Testskript ruft das Zahlungsgateway gegen die Produktion auf. Ein KI-Agent vervielfacht nur Geschwindigkeit und Reichweite. Er erzeugt das Problem nicht.
Wie prüfe ich, ob unsere Testumgebung wirklich isoliert ist?
Geben Sie sich nicht mit der Frage zufrieden, ob sie isoliert ist, denn die Antwort lautet immer ja. Verlangen Sie einen praktischen Test: Führen Sie eine vollständige Transaktion auf der Testkopie durch und prüfen Sie dann, ob tatsächlich eine Nachricht, eine E-Mail oder eine Anfrage an eine externe Partei hinausgegangen ist. Lesen Sie das Versandprotokoll selbst, statt sich auf einen Eindruck zu verlassen. Prüfen Sie danach Schlüssel und Zertifikate: Finden Sie auch nur einen Schlüssel, der in beiden Umgebungen gültig ist, existiert die Isolation nicht, egal wie ordentlich die Einrichtung aussieht.
Was ist der schnellste Schritt, den ich ohne ein ganzes Projekt gehen kann?
Kappen Sie die ausgehenden Kanäle der Testumgebung auf Konfigurationsebene, statt sich darauf zu verlassen, dass ein Entwickler daran denkt, sodass die Staging-Kopie unter keinen Umständen eine Nachricht, eine E-Mail oder eine Zahlungsanfrage nach außen senden kann. Das dauert ein paar Stunden und schließt den gefährlichsten Teil des Ganzen. Führen Sie danach eine feste Liste von Testdaten mit einer bekannten Mobilnummer des Teams und einer reservierten Testdomain ein und verschieben Sie die umfassendere Arbeit an den Berechtigungen auf später.
Folgen Sie Origami bei Google
Legen Sie Origami als bevorzugte Quelle fest, dann erscheinen unsere Artikel bei Ihnen zuerst in der Google-Suche und in den Top-Meldungen.
