Как защитить компанию от рисков ИИ: практические советы с учётом последних предупреждений

Защитить компанию от рисков ИИ помогают семь шагов: знать каждый ИИ-инструмент и каждого ИИ-агента, работающего в компании, давать каждому агенту собственную учётную запись с минимально возможным доступом, требовать одобрения человека перед любым платежом, удалением или сообщением клиентам, не допускать данные клиентов в неодобренные инструменты, устанавливать исправления на доступные из интернета системы в течение нескольких дней, проверять запросы на деньги по второму каналу и выяснить, что покрывает ваша страховка. Эти шаги вытекают из предупреждений октября 2026 года: Microsoft призвала компании относиться к агентам как к инсайдерам, которые могут ошибаться или поддаваться манипуляции; две уязвимости PHP2Shell, одну из которых нашли с помощью ИИ-модели, попали в список активно эксплуатируемых уязвимостей через 5 дней после раскрытия; а проспект IPO Anthropic предупредил, что её модели могут вести себя так, как не задумывал ни один пользователь или разработчик.

Каковы последние предупреждения и почему они касаются вашей компании?

Менее чем за месяц предупреждения прозвучали от самих компаний, создающих модели ИИ, и от государственных ведомств по кибербезопасности. Вот главные из них в порядке публикации:

Общее у этих предупреждений то, что ИИ повышает риск с двух сторон: снаружи, потому что злоумышленники теперь быстрее находят и эксплуатируют уязвимости, и изнутри, когда инструмент или агент получает больше доступа, чем ему нужно. OpenAI, которая возглавила коалицию по реагированию на уязвимости PHP, называет их одной из самых значимых проблем безопасности за последнее время и говорит, что «те же возможности могут помочь и злоумышленникам быстро создавать наступательные инструменты и эксплойты». Компания ожидает, что подобных находок «в ближайшие месяцы станет резко больше». Проспект IPO Anthropic добавляет, что «злоумышленники уже провели громкие кибератаки, используя возможности ИИ для поиска уязвимостей, создания вредоносного ПО и обхода средств обнаружения».

Как защитить вашу компанию? 7 практических советов

1. Знайте каждый ИИ-инструмент и каждого ИИ-агента в вашей компании. Microsoft говорит прямо: «Нельзя защитить то, чего не видишь». Компания расширила свои средства, чтобы они обнаруживали 60 типов агентов на устройствах сотрудников, в том числе Claude Code, OpenAI Codex и GitHub Copilot, потому что некоторые из них попадают на устройства без всякого централизованного развёртывания. Начните с одной таблицы: каждый инструмент, кто им пользуется, к каким данным он получает доступ, личная это учётная запись или корпоративная и кто за него отвечает. Эта же таблица служит отправной точкой национальной рамочной системы SDAIA по управлению рисками ИИ.
2. Дайте каждому агенту собственную учётную запись и минимально возможный доступ. Пример Microsoft — агент, который проверяет авансовые отчёты: ему нужно читать заявки и политику компании, но он не должен наследовать все права сотрудника, который его настроил. Microsoft рекомендует, чтобы агент начинал вообще без полномочий, получал только то, что нужно для задачи, и только на время её выполнения, а действия с более серьёзными последствиями требовали подтверждённого одобрения человека. На практике: не подключайте агента к учётной записи руководителя, не давайте ему пароль от банковского счёта компании, разделите права на чтение и на запись, удалите из кода и настроек забытые ключи, которые открывают ему больше, чем нужно, и сохраните способ мгновенно его остановить. Генеральный директор Microsoft Сатья Наделла формулирует это так: «Самой надёжной агентной системой будет не та, модели которой мы доверяем больше всего, а та, что спроектирована так, чтобы мы могли доверять модели как можно меньше».
3. Не позволяйте агенту без проверки действовать на основе того, что он прочитал в письме, файле или на веб-странице. Проспект IPO Anthropic определяет промпт-инъекцию как атаку, при которой вредоносные инструкции встраиваются в содержимое, которое модель должна обработать, например в сайты, документы или результаты работы инструментов, чтобы манипулировать её поведением, как правило без ведома пользователя. Агент, который читает почту клиентов и может переводить деньги, удалять или отправлять, способен выполнить команду, которую злоумышленник написал внутри сообщения. Microsoft описывает тот же сценарий: агент по авансовым отчётам может столкнуться с промпт-инъекцией во внешнем документе, и его поведение меняется, хотя его конфигурация осталась прежней. Сделайте так, чтобы каждый шаг, который выводит деньги или данные из компании, проходил через одобрение сотрудника, особенно после того, как агент прочитал внешнее содержимое. Тот же риск мы видели у агентов для программирования, которые выполняют команду злоумышленника, как только открываешь проект.
4. Не допускайте данные клиентов в неодобренные инструменты. Согласно справочному центру OpenAI, OpenAI по умолчанию не использует входные и выходные данные ChatGPT Business, ChatGPT Enterprise и своего API для улучшения моделей, тогда как содержимое индивидуальных тарифов Free, Plus и Pro может использоваться для обучения, если пользователь не отключит это в настройках. Anthropic заявляет, что по умолчанию не обучает модели на входных данных своих коммерческих продуктов, таких как Claude for Work и её API. Поэтому переведите всех на корпоративные учётные записи и письменно сообщите сотрудникам, что никогда не вводится ни в один инструмент: персональные данные клиентов, договоры и пароли. Если вы вводите персональные данные клиентов в ИИ-инструмент, его поставщик обрабатывает эти данные от вашего имени, и статья 17 исполнительного регламента саудовского Закона о защите персональных данных (PDPL) обязывает вас выбрать обработчика, который даёт достаточные гарантии, по соглашению, определяющему цель и срок обработки и обязанность обработчика сообщать вам о любой утечке. Если утечка может навредить субъектам данных, статья 24 обязывает вас уведомить компетентный орган в течение 72 часов с момента, когда вам стало о ней известно.
5. Устанавливайте исправления на доступные из интернета системы за дни, а не за недели. Fortinet говорит, что ИИ-инструменты уже помогают злоумышленникам анализировать исправления методом обратной разработки и создавать работающие эксплойты «за часы или дни, а не за недели», и что «окно между раскрытием уязвимости и её эксплуатацией продолжает сокращаться». Anthropic утверждает, что эксплойты теперь можно разработать за минуты. Поэтому в случае с уязвимостями PHP2Shell CISA потребовало ясных шагов: составить перечень всех систем, где работает PHP, немедленно установить исправление, начиная с систем, доступных из интернета, и отключить от сети всё, что нельзя обновить, до момента обновления, отметив, что межсетевой экран для веб-приложений (WAF) может пока дать некоторую защиту. Национальное управление по кибербезопасности Саудовской Аравии (NCA) выпустило предупреждение с рекомендацией обновить затронутые продукты. Применяйте то же правило к каждой открытой системе: сайту, межсетевому экрану, VPN и почте. Подробности — в наших статьях о уязвимости PHP2Shell, новой уязвимости Linux и межсетевых экранах FortiGate.
6. Проверяйте любой запрос на деньги или данные по второму каналу. В своей просветительской кампании о дипфейках SDAIA и Комиссия по связи, космосу и технологиям (CST) отмечают, что «увидеть человека на видео или услышать его голос — не доказательство того, что он это сказал», и называют среди рисков финансовые потери и мошенничество, взлом систем проверки и кражу личности. Поэтому никогда не переводите деньги и не отправляйте данные на основании звонка, голосового сообщения или видео, даже если голос похож на голос руководителя. Перезвоните человеку по номеру, который у вас уже есть, и требуйте две подписи для любого перевода сверх установленного вами лимита. Уровни защиты мы разобрали в нашей статье о дипфейках и мошенничестве с ИИ, а то, как закрыть каждый путь, по которому деньги компании уходят без вашей подписи, — в уроке взлома Binance.
7. Проверьте, что покрывает ваша страховка и что сказано в договорах с поставщиками. В проспекте IPO Anthropic говорится: «Поскольку наши модели могут вести себя так, как не задумывал ни один пользователь или разработчик, претензии, связанные с такими действиями, могут привести к существенной ответственности». Там же добавлено, что страховые полисы компании могут не обеспечить достаточного покрытия и что «рынок страхования рисков, специфичных для ИИ, только зарождается и развивается». Если так обстоят дела у компании, которая создаёт модель, письменно спросите своего страховщика: покрывает ли полис утечку данных по вине ИИ-агента или мошеннический перевод с клонированным голосом? И спросите каждого поставщика инструментов, где хранятся ваши данные, как долго они хранятся и когда он сообщит вам об инциденте.

Что говорят саудовские органы власти?

Для любой саудовской компании, использующей ИИ, важны три ориентира:

• SDAIA запустило национальную рамочную систему управления рисками ИИ как рекомендательный ориентир для государственных и частных организаций; мы разобрали её четыре этапа и то, как применить их в вашей компании.
• Национальное управление по кибербезопасности (NCA) вынесло на общественное обсуждение проект руководства по кибербезопасности ИИ, установив 5 августа 2026 года крайним сроком для отзывов. Проект опирается на 4 области: управление кибербезопасностью, защиту, устойчивость и кибербезопасность при работе с третьими сторонами, и охватывает генеративный и агентный ИИ.
• Закон о защите персональных данных (PDPL) обязателен для любой компании, обрабатывающей персональные данные, включая упомянутые выше статьи 17 и 24 его исполнительного регламента. Подробнее — в нашем практическом руководстве по закону.

Каков план на первые 30 дней?

Взгляд Origami

Мы видим в этих предупреждениях не повод отключить ИИ в вашей компании, а повод использовать его в чётких границах. Сама Microsoft говорит, что цель не в модели, каждое действие которой предсказуемо, а в «системах, которые остаются безопасными, даже когда модель — нет». В Origami мы встраиваем функции и агентов ИИ в системы компаний с ограниченными правами, шагами одобрения и понятными журналами, проверяем код, написанный с помощью ИИ-инструментов, и закрываем в нём бреши, а также обновляем доступные из интернета серверы и приложения. Свяжитесь с нами, чтобы вместе проверить ваши инструменты и агентов.

Главное

• Предупреждения октября 2026 года говорят о том, что ИИ ускоряет поиск и эксплуатацию уязвимостей, что агенты могут ошибаться или поддаваться манипуляции и что модели могут вести себя так, как никто не задумывал.
• Знайте свои инструменты и агентов, давайте каждому агенту минимальный доступ и требуйте одобрения человека перед финансовыми и чувствительными шагами.
• Используйте корпоративные учётные записи, которые по умолчанию не обучают модели на ваших данных, и не допускайте данные клиентов в неодобренные инструменты.
• Устанавливайте исправления на открытые системы за дни, проверяйте запросы на деньги по второму каналу и пересмотрите страховку и договоры с поставщиками.

Источники

• Microsoft: агенты — ваши новейшие инсайдеры, 19 октября 2026 года
• OpenAI: Patch the Planet, координация реагирования на критические уязвимости PHP
• CISA: критические уязвимости в PHP требуют немедленного исправления
• Национальное управление по кибербезопасности Саудовской Аравии (NCA): предупреждение о PHP
• Fortinet: выпуск с усилением безопасности для нескольких продуктов
• Anthropic: добровольный сервис поиска уязвимостей для программ с открытым исходным кодом, 8 октября 2026 года
• Anthropic: поиск и эксплуатация уязвимостей с помощью Claude, 27 октября 2026 года
• Anthropic: регистрационная форма S-1 в Комиссии по ценным бумагам и биржам США (SEC)
• SPA: SDAIA запускает национальную рамочную систему управления рисками ИИ
• Национальное управление по кибербезопасности Саудовской Аравии (NCA): обсуждение руководства по кибербезопасности ИИ
• SDAIA и CST: дипфейки и поддельные видео
• SDAIA: исполнительный регламент Закона о защите персональных данных
• OpenAI: как ваши данные используются для улучшения работы моделей
• Anthropic: используются ли мои данные для обучения моделей?