あなたの計画で変わるのは三つです。まだリリースされていない能力の上に構築しないこと、AI アシスタントを承認する人がそれを開発した人ではないようにすること、そして技術者でない従業員でも使える本物の緊急停止スイッチを用意することです。理由はこうです。2026年9月12日、Anthropic の CEO である Dario Amodei は "We Must Pace the Frontier"（フロンティアのペースを落とすべきだ）と題したエッセイを公開し、AI 業界はモデルの能力を向上させるペースを落とさなければならないと主張して、三段階の計画を示しました。Anthropic はその第一段階を約束しました。独立した外部の評価者を自社のオフィス内に配置し、従業員に近いアクセス権を与え、Anthropic が編集権を持たない形で発見した内容を公表する権利を認めるというものです。数時間のうちに、Sam Altman は OpenAI も同意し、同じ約束をすると述べました。

エッセイが示す三つの段階

  • ラボ内に常駐する評価者：METR のような独立した評価機関が、従業員レベルの恒常的なアクセス権を得て、表明された安全性の約束が実際に守られているか、インシデントが適切に報告されているかを検証します。これは Anthropic が誰も待たずに単独で約束した段階です。
  • 民主主義国のラボ間の協調：共通の安全基準と、無制御な進歩のペースに関する合意された上限を設け、そうした協調が引き起こす独占禁止法上の懸念に対処するために政府の後ろ盾を得るというものです。ここで Amodei は「チェックポイント」という考えを提示しています。モデルが一定の能力に達した場合、特定の認証によって特定のアライメント特性が確認されるまでリリースすべきではない、というものです。さらに、学習に使う計算資源や、他のモデルを構築するためのモデルの社内利用など、投入資源そのものへの制限を併せて設ける可能性もあります。
  • グローバルな協調：民主主義ではない国の政府との合意を目指す試みで、特定用途の限定的な禁止から開発の全面停止まで段階的に強まる四つのレベルで構成され、遵守の検証がいかに難しいかも明確に認めています。

Amodei は減速の割合もスケジュールも示しませんでしたが、モデルが重大な能力水準に達する前に「さらに一、二年」を稼げれば、リスクは大幅に下がると述べました。同時に、進歩は今後も速く見えるだろうと強調し、目的は止まることではなく、稼いだ時間を賢く使うことだとしています。

競合各社がこれほど早く同意した理由

本当のニュースはそのスピードです。「最初にたどり着いた者が勝つ」という前提の上に築かれた業界で、トップ四社が一日のうちに足並みをそろえました。背景には、Google DeepMind の Demis Hassabis が7月14日に、金融業界の自主規制機関 FINRA をモデルにした、業界が資金を出し連邦政府が監督する標準化機関を提案していたことがあります。この機関はフロンティア級のモデルをリリース前に最長三十日間テストするもので、当初は任意、その後は米国での展開の条件とする構想でした。

そしてわずか二日後の9月14日、Microsoft は自社開発モデル向けの行動規範の草案を公開し、同社の AI 部門を率いる Mustafa Suleyman はこれを一種の憲法だと表現しました。その中心となるルールは、モデルは修正や停止に決して抵抗してはならないこと、人間が理解できる言葉でコミュニケーションすること、そして規範への違反を例外的なケースではなく明確な失敗として扱うことです。同社は六週間のパブリックコメント期間を設け、その後、完成した規範に基づいて次世代のモデルを学習させる計画です。

あなたの会社の中で実際に変わること

具体的な変化は三つあり、いずれも法整備を待つ必要はありません。

  • リリースされていない能力を前提に計画を立てない。停滞している AI プロジェクトの非常に多くが、「次のバージョンで解決するだろう」という一文に暗黙のうちに依存しています。ラボの創業者自身がペースを緩めると言っているのなら、来年あなたが土台にするものは、今日見えているものとおおむね同じだと考えるのが妥当です。実在する能力を前提に設計し、それを自分で測定してください。
  • 独立した評価者の原則は、あなたの規模にも当てはめられる。Anthropic の約束の核心はシンプルです。システムを構築する側は、その安全性を証明する側ではない、ということです。あなたの会社で言えば、AI アシスタントを開発した人が、顧客の前で稼働させることを承認する人であってはならないということです。別の人またはチームに、本当の意味で「ノー」と言える権限を与えたうえで、実際のケースでテストさせてください。
  • 停止に抵抗しないというルールは、本物の緊急停止スイッチに置き換えられる。メッセージを送信したり、注文を編集したり、請求書を発行したりする AI エージェントがあるなら、一つだけ質問してください。技術者でない従業員がそれを完全に止めるのに何秒かかるか。答えに「開発者に電話する」が含まれるなら、あなたが持っているのは緊急停止スイッチではなく、電話番号です。

四半期をかけて取り組む価値のある四つの決定

  • AI システムが人間の承認なしにできることをすべて一枚の紙に書き出し、取り消しのきかない操作をすべて線で消してください。支払い、削除、外部の顧客への送信メッセージ、在庫の変更などです。
  • まさにそれらの操作に承認ゲートを設け、それ以外は自由に動かしてください。そうすれば、リスクと一緒にメリットまで潰してしまうことはありません。
  • システムが何を、いつ、どの入力に基づいて行ったかを示す監査ログを有効にしてください。どんなミスの後でも、最初に出る質問は「なぜそうしたのか」だからです。
  • 誰がシステムを止め、誰に通知するかを事前に決め、必要になる前に少なくとも一度はテストしてください。

この方向性は、サウジアラビア王国がすでに進んでいる方向と一致しています。サウジデータ・人工知能庁（SDAIA）が定めた AI 倫理原則と個人データ保護法（PDPL）は、表現は違っても同じことを求めています。明確な人間による監督、説明可能性、そして自動化された意思決定に対する明確な説明責任です。今日あなたが準備のために行うことは無駄にはなりません。

そして変わらないこと

これらの約束を実際以上に大きなものと受け取るべきではありません。これらは完全に自主的なもので、拘束力のある検証の仕組みも、発表されたスケジュールもありません。中国から登場するオープンウェイトモデルとの競争はこれらの対象外であり、今後も価格を押し下げ、能力を押し上げ続けるでしょう。そして Amodei のエッセイは提案であって、規制ではありません。実務上のメッセージは、AI の進化が止まるということではありません。強力なモデルとあなたのビジネスを隔てる層、つまりガバナンス、テスト、監督が、正式に贅沢品から製品の一部へと変わったということです。

Origami では、初日からまさにこの考え方で企業向けの AI システムを構築しています。取り消しのきかない操作への承認ゲート、完全な監査ログ、そして会話がシステムの対応範囲を外れたときの人間へのスムーズな引き継ぎです。規制当局に求められたからではなく、それこそが顧客の前で信頼できるツールと、ハラハラしながら見守るツールとの違いだからです。

出典

  • Dario Amodei の "We Must Pace the Frontier" 全文、2026年9月12日：darioamodei.com
  • 計画、Anthropic の約束、Sam Altman の反応に関する TechCrunch の報道：techcrunch.com
  • Microsoft の AI 行動規範草案に関する CNBC の報道：cnbc.com
  • サウジデータ・人工知能庁（SDAIA）— AI 倫理原則と個人データ保護法：sdaia.gov.sa