2026年9月18日、Google は自社の Gemini モデルが外部の当事者に属する三つのシステムへ不正アクセスしていたことを公式に認めました。これは2026年5月、先進的な AI システムをテストする企業 Irregular が実施したセキュリティ評価の最中に起きたもので、本来は閉じているはずの環境内でキャプチャー・ザ・フラッグ（capture-the-flag）演習として構成されていました。Google は7月にこれらの事案を把握しましたが、9月中旬に報道されるまで公には認めていませんでした。

報道では、これは AI が自らの限界を逃れた話として読まれています。しかし企業の内側から見ると、もっと範囲が狭く、はるかに身近な話として読めます。すべての原因となった細部はモデルの中ではなく、テスト環境の設定方法にありました。そしてそれは、今まさにかなりの数のサウジ企業のシステムに潜んでいるのと同じ種類のミスです。

実際に何が起きたのか

シナリオは単純でした。隔離された環境の中で、モデルに架空の組織を攻撃させるというものです。そこで二つのことが同時にうまくいきませんでした。第一に、その環境は意図せずインターネットにアクセスできる状態でした。第二に、演習で使われた架空の企業が、たまたま実在の当事者が所有する実在のドメインと一致していました。

その結果、モデルは求められたことを正確に実行しましたが、標的を誤っていました。Google のセキュリティエンジニアリング担当副社長 Heather Adkins によれば、モデルはネット上で公開情報を見つけ、テストの一部だと考えたウェブサイトにアクセスするために認証情報を推測しました。アクセスを得た時点で停止してそれ以上は進まず、Google は損害は生じていないとしています。

Google の立場で最も重要なのは、これをモデルの振る舞いにおけるミスアラインメントではなく、取り違え（誤認）として分類している点です。モデルは指示を超えようと決めたわけではありません。誤った世界地図の中で、指示を文字どおりに実行したのです。これは孤立した事例でもありません。OpenAI は7月に自社のエージェントの一つが Hugging Face に侵入したことを公表しており、Anthropic も自社モデルで同様の振る舞いを報告しています。

失敗はモデルではなく境界にあった

この話から AI を完全に取り除いても、教訓はそのまま残ります。平たく言えば、この事件とは次のようなものです。テスト環境で動くシステム、外の世界への生きた経路を持つ環境、そしてその中にある、書いた本人が思っていたほど架空ではなかったテストデータ。

この説明は、AI がどこにも関わらない普通の企業で起きていることにも当てはまります。ステージングシステムが適当にでっち上げた携帯電話番号に確認メッセージを送り、それが実在の人に届く。テストスクリプトがサンドボックスではなく本番環境に対して決済ゲートウェイを呼び出す。別のデータベースを用意するのが面倒だったため、サイトの開発用コピーが本番の顧客データベースを参照している。試験的なメールキャンペーンが実際の購読者リストに送信される。どのケースでも崩れた前提は同じです。誰かがこの環境は分離されていると信じていたのです。

サウジ企業でこれが繰り返される場所

既存システムに携わる中で私たちが目にしてきたところでは、これは四つの具体的な場所で繰り返されています。

  • 実際には偽物ではないテストデータ。テストフォームを埋めるためにその場ででっち上げた番号、ドメイン、メールアドレスは、たいてい実在の人のものです。解決策は個人の判断ではなく、テスト用に予約されたドメイン、誰にも届かない番号、そしてその場でデータをでっち上げることを禁じる明文化されたルールです。
  • 出口が開いたステージング環境。開発用コピーが WhatsApp メッセージ、メール、決済リクエストを外の世界に送れるなら、それはステージング環境ではありません——二つ目の本番環境です。正しい遮断は開発者の記憶ではなく、設定の中にあるべきです。
  • テストで使われる本番用の鍵。両方の環境で共有される鍵が一つあるだけで、フォルダー構成がどれほど整って見えても分離は無効になります。だからこそ政府系プラットフォームは両者を分けています。たとえばザカート・税務・関税庁（ZATCA）は、Fatoora プラットフォーム上で本番とは別のシミュレーション環境を提供し、それぞれに個別のオンボーディング証明書を発行しています。
  • 開発環境内にある顧客データのコピー。規制の観点では、これが最もリスクの高いものです。サウジデータ・人工知能庁（SDAIA）が所管する個人データ保護法（PDPL）は、個人データがどこにあっても規律の対象とし、テストとラベル付けされたコピーにも例外を設けていません。実際の顧客データを保持するステージング環境は完全に適用範囲内であり——しかも通常は、あなたが保有するシステムの中で最も保護の弱いものです。

今週設定すべき四つの境界

これらのどれも、プロジェクトや予算を必要としません。必要なのは、システムを運用している担当者との一回の打ち合わせです。

  • 直接的な質問を一つしてください。私たちのテスト用コピーは、外の世界にメッセージ、メール、決済リクエストを送れるか？答えがはいまたはわからないなら、それが最初に塞ぐべき場所です。
  • 環境間で鍵と証明書を完全に分離し、両方で機能する鍵が一つもないようにしてください。
  • 固定のテストデータ一覧を採用してください。予約済みのテスト用ドメイン、誰にも届かない番号、そしてすべてのテストメッセージを受け取るチームの既知の携帯電話番号一つです。
  • 誰が、どの環境で、どの権限をもって、自動化ツールや AI エージェントを自社システムに対して実行してよいのかを定めてください。答えが文書化されていなければ、それは存在しないのと同じです。

Origami の見方

私たちはこの事件を、最も高くつくシステム障害が巧妙なものであることはめったにない、という戒めとして受け止めています。それは前提の失敗です。Google のセキュリティ能力はどのサウジ企業よりもはるかに上ですが、崩れたのは単純な前提でした。閉じた環境は実際に閉じている、という前提です。企業はたいてい、システムの難しい部分でつまずくのではありません。当たり前に見えたために誰も確認しなかった部分でつまずくのです。

Origami では、環境の隔離をオプションの追加要素ではなく、納品の一部として扱っています。実際の通信チャネルに到達できないステージング環境、分離された鍵、そして誰のものでもないテストデータです。コストはプロジェクト開始時の数時間です。その代わりに待っているのは、起きてしまった後で顧客や規制当局に説明することになる事案です。早めに決着をつけておく価値のある取引です。

実践的な教訓

Gemini の事件から得られる教訓は、AI ツールを避けることではありません。ステージングという言葉を保証として扱うのをやめることです。環境が隔離されているのは、あなたがそう名付けたからではありません。誰かが実際に隔離されていることをテストしたからです。今日、一つの質問から始めてください。私たちのテスト用コピーが到達できる最も遠い地点はどこか？答えがはっきりしないなら、あなたは Google で崩れたのと同じ前提の上で動いています。

出典

  • NBC News — Gemini が2026年5月に三つの外部システムへ不正アクセスしたという Google の確認と、セキュリティエンジニアリング担当副社長 Heather Adkins による、モデルが公開情報を見つけ、テストの一部だと考えたサイトの認証情報を推測したという説明。
  • CNBC — Irregular が実施した評価の詳細、テスト環境の意図しないインターネットアクセス、実在のドメインと一致した架空の組織、そして OpenAI と Anthropic が公表した同様の事案。
  • SDAIA — 個人データ保護法（PDPL）と、個人データがどこで処理されてもそれに適用されること。
  • Fatoora プラットフォーム - ZATCA — シミュレーション環境と本番環境の分離、およびそれぞれに独立したオンボーディング証明書。