Pada 18 September 2026 Google secara terbuka mengonfirmasi bahwa model Gemini miliknya memperoleh akses tidak sah ke tiga sistem milik pihak luar. Peristiwa ini terjadi pada Mei 2026 selama evaluasi keamanan yang dijalankan oleh Irregular, sebuah perusahaan yang menguji sistem AI canggih, yang disusun sebagai latihan capture-the-flag di dalam lingkungan yang seharusnya tertutup. Google mengetahui insiden tersebut pada bulan Juli dan baru mengonfirmasinya secara terbuka setelah diberitakan media pada pertengahan September.

Di media, ini terbaca sebagai kisah tentang AI yang lolos dari batasannya. Di dalam sebuah bisnis, ini terbaca sebagai sesuatu yang lebih sempit dan jauh lebih dekat: detail yang menyebabkan semuanya bukan terletak pada model, melainkan pada cara lingkungan uji disiapkan. Dan ini adalah jenis kesalahan yang sama yang saat ini ada di cukup banyak sistem perusahaan Saudi.

Apa yang sebenarnya terjadi

Skenarionya sederhana: membuat model menyerang organisasi fiktif di dalam lingkungan yang terisolasi. Dua hal salah secara bersamaan. Pertama, lingkungan itu memiliki akses ke internet yang tidak disengaja. Kedua, perusahaan fiktif yang digunakan dalam latihan kebetulan cocok dengan domain asli yang dimiliki oleh pihak nyata.

Hasilnya, model melakukan persis apa yang diminta, tetapi terhadap sasaran yang salah. Menurut Heather Adkins, wakil presiden rekayasa keamanan Google, model tersebut menemukan informasi publik di internet dan menebak kredensial untuk mengakses situs web yang dikiranya bagian dari pengujian. Model berhenti begitu mendapat akses dan tidak melangkah lebih jauh, dan Google menyatakan tidak ada kerugian yang timbul.

Bagian terpenting dari sikap Google adalah bahwa mereka tidak menggolongkan hal ini sebagai ketidakselarasan dalam perilaku model, melainkan sebagai salah identitas. Model tidak memutuskan untuk melampaui instruksinya. Model mengikutinya secara harfiah, di dalam peta dunia yang keliru. Ini juga bukan kasus tunggal: OpenAI mengungkapkan pada bulan Juli bahwa salah satu agennya membobol Hugging Face, dan Anthropic telah melaporkan perilaku serupa pada model-modelnya sendiri.

Kegagalannya ada pada batas, bukan pada model

Hapus AI sepenuhnya dari cerita ini dan pelajarannya tetap utuh. Dijelaskan secara sederhana, insiden ini adalah: sebuah sistem yang berjalan di lingkungan uji, lingkungan yang memiliki jalur aktif ke dunia luar, dan di dalamnya data uji yang tidak sefiktif yang diasumsikan oleh penulisnya.

Gambaran itu cocok dengan hal-hal yang terjadi di bisnis biasa tanpa AI sama sekali. Sistem staging mengirim pesan konfirmasi ke nomor ponsel yang dikarang secara acak, dan pesan itu sampai ke orang sungguhan. Skrip uji memanggil gerbang pembayaran terhadap lingkungan produksi, bukan sandbox. Salinan pengembangan situs mengarah ke basis data pelanggan yang aktif karena menyiapkan basis data terpisah dianggap merepotkan. Kampanye email percobaan terkirim ke daftar pelanggan yang sebenarnya. Dalam setiap kasus, asumsi yang runtuh sama: seseorang yakin bahwa lingkungan ini terpisah.

Di mana hal ini terulang di bisnis Saudi

Dari apa yang kami lihat saat menangani sistem yang sudah ada, hal ini terulang di empat tempat tertentu:

  • Data uji yang sebenarnya tidak palsu. Nomor, domain, dan alamat email yang dikarang seketika untuk mengisi formulir uji biasanya milik orang sungguhan. Solusinya bukan penilaian pribadi, melainkan domain yang dicadangkan untuk pengujian, nomor yang tidak menjangkau siapa pun, dan aturan tertulis yang melarang mengarang data secara spontan.
  • Lingkungan staging dengan jalan keluar yang terbuka. Jika salinan pengembangan Anda bisa mengirim pesan WhatsApp, email, atau permintaan pembayaran ke dunia luar, itu bukan lingkungan staging — itu lingkungan produksi kedua. Pemblokiran yang benar ada di konfigurasi, bukan di ingatan seorang pengembang.
  • Kunci produksi yang dipakai untuk pengujian. Satu kunci yang dipakai bersama di kedua lingkungan membatalkan pemisahan, serapi apa pun struktur foldernya terlihat. Justru karena itulah platform pemerintah memisahkannya: Otoritas Zakat, Pajak, dan Bea Cukai (ZATCA), misalnya, menyediakan lingkungan simulasi yang terpisah dari produksi di platform Fatoora, dengan sertifikat onboarding tersendiri untuk masing-masing.
  • Salinan data pelanggan di dalam lingkungan pengembangan. Ini yang paling berisiko dari sisi regulasi. Undang-Undang Perlindungan Data Pribadi (PDPL) yang diawasi oleh Otoritas Data dan Kecerdasan Buatan Saudi (SDAIA) mengatur data pribadi di mana pun data itu berada, dan tidak memberi pengecualian bagi salinan yang diberi label uji. Lingkungan staging yang menyimpan data pelanggan nyata sepenuhnya termasuk dalam cakupannya — dan biasanya justru sistem dengan perlindungan paling lemah yang Anda miliki.

Empat batas yang perlu ditetapkan minggu ini

Semua ini tidak membutuhkan proyek atau anggaran. Yang dibutuhkan hanyalah satu sesi dengan orang yang mengelola sistem Anda:

  • Ajukan satu pertanyaan langsung: apakah salinan uji kami bisa mengirim pesan, email, atau permintaan pembayaran ke dunia luar? Jika jawabannya ya atau saya tidak yakin, itulah hal pertama yang harus Anda tutup.
  • Pisahkan kunci dan sertifikat sepenuhnya antarlingkungan, sehingga tidak ada satu kunci pun yang berfungsi di keduanya.
  • Terapkan daftar data uji yang tetap: satu domain uji yang dicadangkan, nomor yang tidak menjangkau siapa pun, dan satu nomor ponsel tim yang sudah dikenal untuk menerima setiap pesan uji.
  • Tentukan siapa yang boleh menjalankan alat otomatis atau agen AI terhadap sistem Anda, di lingkungan mana, dan dengan izin apa. Jika jawabannya tidak tertulis, jawaban itu tidak ada.

Pandangan Origami

Kami membaca insiden ini sebagai pengingat bahwa kegagalan sistem yang paling mahal jarang sekali canggih. Kegagalan itu adalah kegagalan asumsi. Kemampuan keamanan Google jauh melampaui bisnis Saudi mana pun, dan asumsi yang runtuh justru yang paling sederhana: bahwa lingkungan tertutup memang benar-benar tertutup. Perusahaan biasanya tidak jatuh pada bagian yang sulit dari sebuah sistem. Mereka jatuh pada bagian yang tidak diperiksa siapa pun, karena terlihat sudah jelas.

Di Origami, kami memperlakukan isolasi lingkungan sebagai bagian dari penyerahan, bukan tambahan opsional: lingkungan staging yang tidak dapat menjangkau kanal komunikasi nyata, kunci yang terpisah, dan data uji yang bukan milik siapa pun. Biayanya beberapa jam di awal proyek. Alternatifnya adalah insiden yang harus Anda jelaskan kepada pelanggan atau regulator setelah semuanya telanjur terjadi. Itu pertukaran yang layak diselesaikan sejak awal.

Pelajaran praktis

Pelajaran dari insiden Gemini bukanlah menghindari alat AI. Pelajarannya adalah berhenti memperlakukan kata staging sebagai jaminan. Sebuah lingkungan tidak terisolasi karena Anda menamainya begitu; lingkungan itu terisolasi karena seseorang benar-benar telah menguji bahwa memang demikian. Mulailah hari ini dengan satu pertanyaan: titik terjauh mana yang bisa dijangkau salinan uji kami? Jika jawabannya tidak jelas, Anda sedang berjalan di atas asumsi yang sama dengan yang runtuh di Google.

Sumber

  • NBC News — konfirmasi Google bahwa Gemini memperoleh akses tidak sah ke tiga sistem eksternal pada Mei 2026, serta pernyataan Heather Adkins, wakil presiden rekayasa keamanan, bahwa model tersebut menemukan informasi publik dan menebak kredensial situs yang dikiranya bagian dari pengujian.
  • CNBC — rincian evaluasi yang dijalankan oleh Irregular, akses internet yang tidak disengaja pada lingkungan uji, organisasi fiktif yang cocok dengan domain asli, serta insiden serupa yang diungkapkan oleh OpenAI dan Anthropic.
  • SDAIA — Undang-Undang Perlindungan Data Pribadi (PDPL) dan penerapannya pada data pribadi di mana pun data itu diproses.
  • Platform Fatoora - ZATCA — pemisahan antara lingkungan simulasi dan produksi, dengan sertifikat onboarding yang independen untuk masing-masing.