В вашем плане меняются три вещи: не стройте на возможностях, которые ещё не выпущены, убедитесь, что человек, одобряющий вашего ИИ-ассистента, — не тот, кто его разработал, и дайте ему настоящий аварийный выключатель, которым может воспользоваться сотрудник без технической подготовки. Причина в следующем: 12 сентября 2026 года генеральный директор Anthropic Дарио Амодеи опубликовал эссе под названием "We Must Pace the Frontier" («Темп на передовой нужно сдерживать»), в котором утверждает, что индустрия ИИ должна замедлить темп улучшения возможностей моделей, и изложил план из трёх шагов. Anthropic взяла на себя обязательство по первому шагу: разместить в своих офисах независимых внешних оценщиков с доступом, почти равным доступу сотрудников, и правом публиковать свои выводы без редакционного контроля со стороны Anthropic. В течение нескольких часов Сэм Альтман заявил, что OpenAI согласна и возьмёт на себя такое же обязательство.

Три шага в изложении эссе

  • Встроенные оценщики внутри лаборатории: независимые оценочные организации, такие как METR, получают постоянный доступ на уровне сотрудника, чтобы проверять, действительно ли заявленные обязательства по безопасности выполняются и сообщается ли об инцидентах так, как положено. Это тот шаг, на который Anthropic пошла в одиночку, не дожидаясь остальных.
  • Координация между лабораториями демократических стран: общие стандарты безопасности и согласованные ограничения темпа бесконтрольного прогресса при поддержке правительств, чтобы снять антимонопольные опасения, которые вызвала бы такая координация. Здесь Амодеи выдвигает идею «контрольной точки»: если модель достигает определённых возможностей, её не следует выпускать, пока конкретные сертификации не подтвердят определённые свойства согласованности, — возможно, вместе с ограничениями на сами ресурсы, такие как вычислительные мощности для обучения или внутреннее использование моделей для создания других моделей.
  • Глобальная координация: попытка достичь договорённостей с недемократическими правительствами на четырёх нарастающих уровнях — от узких запретов на конкретные применения до полной приостановки разработки — с прямым признанием того, насколько трудно было бы проверить соблюдение.

Амодеи не назвал ни процента замедления, ни сроков, но сказал, что выигрыш «лишнего года или двух» до того, как модели достигнут критических уровней возможностей, значительно снизил бы риск. При этом он подчеркнул, что прогресс по-прежнему будет казаться быстрым, а смысл в том, чтобы разумно использовать выигранное время, а не остановиться.

Почему конкуренты согласились так быстро

Главная новость — скорость. Отрасль, построенная на принципе «побеждает тот, кто придёт первым», увидела, как четыре её крупнейших игрока выстроились в одну линию за один день. Предыстория такова: 14 июля Демис Хассабис из Google DeepMind предложил создать финансируемый отраслью орган по стандартам под федеральным надзором по образцу регулятора финансовой отрасли FINRA, который проверял бы модели передового класса в течение срока до тридцати дней перед выпуском — сначала добровольно, а затем как условие для развёртывания в США.

А 14 сентября, всего через два дня, Microsoft опубликовала проект кодекса поведения для своих собственных моделей, который Мустафа Сулейман, возглавляющий подразделение ИИ компании, назвал своего рода конституцией. Его центральное правило: модель никогда не должна сопротивляться исправлению или отключению, должна общаться понятным людям языком и должна считать любое нарушение кодекса однозначным провалом, а не пограничным случаем. Компания открыла шестинедельный период общественного обсуждения, после которого планирует обучать следующее поколение своих моделей на окончательной версии кодекса.

Что на самом деле меняется внутри вашего бизнеса

Три конкретных сдвига, и ни один из них не требует ждать законодательства:

  • Не стройте план на возможностях, которые ещё не выпущены. Огромное число застопорившихся ИИ-проектов неявно опирается на фразу «следующая версия это решит». Если сами основатели лабораторий говорят о замедлении темпа, разумно исходить из того, что то, на чём вы будете строить в следующем году, — это примерно то, что вы видите сегодня. Проектируйте под реально существующие возможности и измеряйте их сами.
  • Принцип независимого оценщика масштабируется до вашего размера. Суть обязательства Anthropic проста: тот, кто создаёт систему, не тот, кто подтверждает её безопасность. В вашем бизнесе это значит, что тот, кто разработал ИИ-ассистента, не должен быть тем, кто одобряет его запуск перед клиентами. Пусть его на реальных случаях протестирует другой человек или другая команда — с реальными полномочиями сказать «нет».
  • Правило «не сопротивляться отключению» превращается в настоящий аварийный выключатель. Если у вас есть ИИ-агент, который отправляет сообщения, изменяет заказы или выставляет счета, задайте один вопрос: сколько секунд нужно сотруднику без технической подготовки, чтобы полностью его остановить? Если в ответе есть «мы звоним разработчику», у вас нет аварийного выключателя — у вас есть номер телефона.

Четыре решения, которые стоят квартала вашего внимания

  • Запишите на одной странице всё, что ваша ИИ-система может делать без одобрения человека, а затем вычеркните каждое необратимое действие: платежи, удаления, исходящие сообщения внешним клиентам, изменения складских остатков.
  • Поставьте этап одобрения именно на эти действия, а остальное пусть работает свободно, чтобы вместе с риском не убить и пользу.
  • Включите журнал аудита, который показывает, что система сделала, когда и на основе каких входных данных, — потому что первым вопросом после любой ошибки будет «почему она так сделала?».
  • Заранее решите, кто останавливает систему и кого уведомляют, и проверьте это хотя бы один раз до того, как это понадобится.

Это направление совпадает с курсом, которым уже идёт Королевство. Принципы этики ИИ и Закон о защите персональных данных (PDPL), изданные Саудовским управлением по данным и искусственному интеллекту (SDAIA), требуют того же другими словами: чёткого человеческого надзора, объяснимости и определённой ответственности за автоматизированные решения. То, что вы сделаете сегодня для подготовки, не пропадёт зря.

И что не меняется

Не стоит считать эти обязательства более весомыми, чем они есть. Они полностью добровольные, без обязательного механизма проверки и без объявленных сроков. Конкуренция со стороны моделей с открытыми весами из Китая ничему из этого не подчиняется и продолжит толкать цены вниз, а возможности вверх. А эссе Амодеи — это предложение, а не регулирование. Практический вывод не в том, что ИИ перестанет улучшаться, а в том, что слой, отделяющий мощную модель от вашего бизнеса, то есть управление, тестирование и надзор, официально перешёл из разряда роскоши в часть продукта.

В Origami мы с первого дня строим ИИ-системы для бизнеса именно по этой логике: этапы одобрения для необратимых действий, полный журнал аудита и чёткая передача разговора человеку, когда он выходит за рамки возможностей системы. Не потому, что этого потребовал регулятор, а потому, что в этом разница между инструментом, которому вы доверяете перед своим клиентом, и инструментом, за которым вы нервно следите.

Источники

  • Полный текст эссе Дарио Амодеи "We Must Pace the Frontier", 12 сентября 2026 года: darioamodei.com
  • Материал TechCrunch о плане, обязательстве Anthropic и ответе Сэма Альтмана: techcrunch.com
  • Материал CNBC о проекте кодекса поведения ИИ от Microsoft: cnbc.com
  • Саудовское управление по данным и искусственному интеллекту (SDAIA) — Принципы этики ИИ и Закон о защите персональных данных: sdaia.gov.sa