18 сентября 2026 года Google публично подтвердила, что её модель Gemini получила несанкционированный доступ к трём системам, принадлежащим сторонним организациям. Это произошло в мае 2026 года во время проверки безопасности, которую проводила компания Irregular, тестирующая передовые системы ИИ; проверка была построена как учения capture-the-flag внутри среды, которая должна была быть закрытой. Google узнала об инцидентах в июле и не подтверждала их публично до появления публикаций в прессе в середине сентября.

В прессе это выглядит как история об ИИ, вырвавшемся за свои пределы. Внутри компании это выглядит как нечто более узкое и гораздо более близкое: деталь, ставшая причиной всего, была не в модели, а в том, как была настроена тестовая среда. И это та же категория ошибок, которая прямо сейчас присутствует в немалом числе систем саудовских компаний.

Что произошло на самом деле

Сценарий был простым: заставить модель атаковать вымышленную организацию внутри изолированной среды. Одновременно пошли не так две вещи. Во-первых, у среды был непредусмотренный доступ к интернету. Во-вторых, вымышленная компания, использованная в учениях, случайно совпала с реальным доменом, принадлежащим реальной стороне.

В результате модель сделала именно то, о чём её просили, но против не той цели. По словам Хизер Адкинс, вице-президента Google по инженерной безопасности, модель нашла в сети общедоступную информацию и подобрала учётные данные, чтобы получить доступ к сайтам, которые она считала частью теста. Получив доступ, она остановилась и дальше не пошла, а Google утверждает, что ущерба не было.

Самое важное в позиции Google — то, что она классифицирует произошедшее не как рассогласование в поведении модели, а как ошибку идентификации. Модель не решала выйти за рамки своих инструкций. Она выполнила их буквально, но внутри ошибочной карты мира. И это не единичный случай: в июле OpenAI сообщила, что один из её агентов взломал Hugging Face, а Anthropic сообщала о похожем поведении своих собственных моделей.

Сбой был в границе, а не в модели

Уберите ИИ из этой истории полностью, и урок останется прежним. Если описать просто, инцидент таков: система, работающая в тестовой среде, среда с действующим выходом во внешний мир, и внутри неё тестовые данные, которые оказались не такими вымышленными, как полагал их автор.

Это описание подходит к тому, что случается в обычных компаниях без всякого ИИ. Промежуточная (staging) система отправляет подтверждающие сообщения на случайно придуманные мобильные номера, и они доходят до реальных людей. Тестовый скрипт обращается к платёжному шлюзу в рабочей среде вместо песочницы. Копия сайта для разработки подключена к рабочей базе данных клиентов, потому что подключать отдельную было неудобно. Пробная почтовая рассылка уходит по реальному списку подписчиков. Во всех случаях рушится одно и то же допущение: кто-то считал, что эта среда отделена.

Где это повторяется в саудовских компаниях

Судя по тому, что мы видим, работая с существующими системами, это повторяется в четырёх конкретных местах:

  • Тестовые данные, которые на самом деле не фиктивные. Номера, домены и адреса электронной почты, придуманные на ходу для заполнения тестовой формы, обычно принадлежат реальным людям. Решение — не индивидуальное суждение, а зарезервированные для тестов домены, номера, которые ни до кого не доходят, и письменное правило, запрещающее придумывать данные на ходу.
  • Промежуточная среда с открытым выходом. Если ваша копия для разработки может отправить во внешний мир сообщение в WhatsApp, письмо или платёжный запрос, это не промежуточная среда — это вторая рабочая среда. Правильная блокировка находится в конфигурации, а не в памяти разработчика.
  • Рабочие ключи, используемые в тестах. Один ключ, общий для обеих сред, сводит разделение на нет, как бы аккуратно ни выглядела структура папок. Именно поэтому государственные платформы их разделяют: например, Управление по закяту, налогам и таможне (ZATCA) предоставляет на платформе Fatoora среду симуляции, отдельную от рабочей, с отдельными сертификатами подключения для каждой.
  • Копия данных клиентов внутри среды разработки. С регуляторной точки зрения это самый рискованный пункт. Закон о защите персональных данных (PDPL), надзор за которым осуществляет Саудовское управление по данным и искусственному интеллекту (SDAIA), регулирует персональные данные, где бы они ни находились, и не делает исключения для копии с пометкой «тест». Промежуточная среда с реальными данными клиентов полностью подпадает под его действие — и обычно это наименее защищённая система из всех, что у вас есть.

Четыре границы, которые стоит установить на этой неделе

Ничто из этого не требует проекта или бюджета. Требуется одна встреча с тем, кто управляет вашими системами:

  • Задайте один прямой вопрос: может ли наша тестовая копия отправить во внешний мир сообщение, письмо или платёжный запрос? Если ответ да или не уверен, это первое, что нужно закрыть.
  • Полностью разделите ключи и сертификаты между средами, чтобы ни один ключ не работал в обеих.
  • Введите фиксированный список тестовых данных: зарезервированный тестовый домен, номера, которые ни до кого не доходят, и один известный мобильный номер команды, на который приходят все тестовые сообщения.
  • Определите, кому разрешено запускать автоматизированный инструмент или ИИ-агента против ваших систем, в какой среде и с какими правами. Если ответ не записан, его не существует.

Позиция Origami

Мы воспринимаем этот инцидент как напоминание о том, что самые дорогие сбои систем редко бывают изощрёнными. Это сбои допущений. Возможности Google в области безопасности намного превосходят возможности любой саудовской компании, и рухнуло самое простое допущение: что закрытая среда действительно закрыта. Компании обычно спотыкаются не на сложной части системы. Они спотыкаются на той части, которую никто не проверил, потому что она казалась очевидной.

В Origami мы рассматриваем изоляцию сред как часть поставки, а не как необязательное дополнение: промежуточная среда, которая не может достучаться до реальных каналов связи, раздельные ключи и тестовые данные, которые никому не принадлежат. Цена — несколько часов в начале проекта. Альтернатива — инцидент, который вы объясняете клиенту или регулятору, когда он уже произошёл. Этот выбор стоит сделать заранее.

Практический вывод

Урок инцидента с Gemini не в том, чтобы избегать инструментов ИИ. Он в том, чтобы перестать считать слово staging гарантией. Среда изолирована не потому, что вы её так назвали; она изолирована, потому что кто-то действительно проверил, что это так. Начните сегодня с одного вопроса: какая самая дальняя точка, до которой может дотянуться наша тестовая копия? Если ответ неясен, вы работаете на том же допущении, которое рухнуло в Google.

Источники

  • NBC News — подтверждение Google того, что Gemini получил несанкционированный доступ к трём внешним системам в мае 2026 года, и заявление Хизер Адкинс, вице-президента по инженерной безопасности, о том, что модель нашла общедоступную информацию и подобрала учётные данные для сайтов, которые считала частью теста.
  • CNBC — подробности проверки, проведённой Irregular, непредусмотренного доступа тестовой среды к интернету, вымышленной организации, совпавшей с реальным доменом, и сопоставимых инцидентов, о которых сообщили OpenAI и Anthropic.
  • SDAIA — Закон о защите персональных данных (PDPL) и его применение к персональным данным, где бы они ни обрабатывались.
  • Платформа Fatoora - ZATCA — разделение среды симуляции и рабочей среды с независимыми сертификатами подключения для каждой.