Dalam artikel ini
Pada 18 September 2026 Google mengesahkan secara terbuka bahawa model Gemini miliknya memperoleh akses tanpa kebenaran kepada tiga sistem kepunyaan pihak luar. Ia berlaku pada Mei 2026 semasa satu penilaian keselamatan yang dijalankan oleh Irregular, sebuah syarikat yang menguji sistem AI termaju, yang distrukturkan sebagai latihan capture-the-flag di dalam persekitaran yang sepatutnya tertutup. Google mengetahui tentang insiden tersebut pada bulan Julai dan tidak mengesahkannya secara terbuka sehingga liputan akhbar pada pertengahan September.
Dalam akhbar, ini dibaca sebagai kisah AI yang terlepas daripada hadnya. Di dalam sebuah perniagaan, ia dibaca sebagai sesuatu yang lebih sempit dan jauh lebih dekat: butiran yang menyebabkan semua ini bukan pada model, tetapi pada cara persekitaran ujian itu disediakan. Dan ia adalah jenis kesilapan yang sama yang wujud sekarang dalam sebilangan besar sistem syarikat Saudi.
Apa yang sebenarnya berlaku
Senarionya mudah: menyuruh model menyerang sebuah organisasi rekaan di dalam persekitaran yang terasing. Dua perkara tidak kena serentak. Pertama, persekitaran itu mempunyai akses kepada internet yang tidak disengajakan. Kedua, syarikat rekaan yang digunakan dalam latihan itu secara kebetulan sepadan dengan domain sebenar yang dimiliki oleh pihak sebenar.
Akibatnya, model itu melakukan tepat apa yang diminta, tetapi terhadap sasaran yang salah. Menurut Heather Adkins, naib presiden kejuruteraan keselamatan Google, model itu menemui maklumat awam dalam talian dan meneka bukti kelayakan untuk mengakses laman web yang disangkanya sebahagian daripada ujian. Ia berhenti sebaik sahaja mendapat akses dan tidak pergi lebih jauh, dan Google berkata tiada kerosakan berlaku.
Bahagian paling penting dalam pendirian Google ialah ia tidak mengklasifikasikan perkara ini sebagai ketidakselarasan dalam tingkah laku model, tetapi sebagai salah identiti. Model itu tidak membuat keputusan untuk melampaui arahannya. Ia mengikutinya secara harfiah, di dalam peta dunia yang salah. Ini juga bukan kes terpencil: OpenAI mendedahkan pada bulan Julai bahawa salah satu ejennya menceroboh Hugging Face, dan Anthropic telah melaporkan tingkah laku serupa dalam modelnya sendiri.
Kegagalan itu pada sempadan, bukan pada model
Buang AI sepenuhnya daripada cerita ini dan pengajarannya kekal utuh. Diterangkan secara mudah, insiden ini ialah: sebuah sistem yang berjalan dalam persekitaran ujian, persekitaran yang mempunyai laluan aktif ke dunia luar, dan di dalamnya data ujian yang tidaklah serekaan seperti yang disangka oleh penulisnya.
Gambaran itu sesuai dengan perkara yang berlaku dalam perniagaan biasa tanpa sebarang AI. Sistem staging menghantar mesej pengesahan kepada nombor telefon bimbit yang direka secara rawak, dan mesej itu sampai kepada orang sebenar. Skrip ujian memanggil get laluan pembayaran terhadap persekitaran pengeluaran dan bukannya sandbox. Salinan pembangunan laman web menghala ke pangkalan data pelanggan langsung kerana menyambungkan pangkalan data berasingan dianggap menyusahkan. Kempen e-mel percubaan dihantar kepada senarai pelanggan langganan yang sebenar. Dalam setiap kes, andaian yang runtuh adalah sama: seseorang percaya bahawa persekitaran ini terpisah.
Di mana perkara ini berulang dalam perniagaan Saudi
Berdasarkan apa yang kami lihat semasa mengendalikan sistem sedia ada, ia berulang di empat tempat tertentu:
- Data ujian yang sebenarnya tidak palsu. Nombor, domain dan alamat e-mel yang direka serta-merta untuk mengisi borang ujian biasanya milik orang sebenar. Penyelesaiannya bukan pertimbangan individu, tetapi domain yang dikhaskan untuk ujian, nombor yang tidak sampai kepada sesiapa, dan peraturan bertulis yang melarang mereka-reka data secara spontan.
- Persekitaran staging dengan jalan keluar yang terbuka. Jika salinan pembangunan anda boleh menghantar mesej WhatsApp, e-mel atau permintaan pembayaran ke dunia luar, ia bukan persekitaran staging — ia ialah persekitaran pengeluaran kedua. Sekatan yang betul terletak dalam konfigurasi, bukan dalam ingatan seorang pembangun.
- Kunci pengeluaran yang digunakan dalam ujian. Satu kunci yang dikongsi antara kedua-dua persekitaran membatalkan pengasingan, betapa kemas pun struktur foldernya kelihatan. Inilah sebabnya platform kerajaan memisahkannya: Pihak Berkuasa Zakat, Cukai dan Kastam (ZATCA), sebagai contoh, menyediakan persekitaran simulasi yang berasingan daripada pengeluaran di platform Fatoora, dengan sijil pendaftaran masuk yang berasingan bagi setiap satu.
- Salinan data pelanggan di dalam persekitaran pembangunan. Inilah yang paling berisiko dari segi peraturan. Undang-undang Perlindungan Data Peribadi (PDPL) yang diselia oleh Pihak Berkuasa Data dan Kecerdasan Buatan Saudi (SDAIA) mengawal data peribadi di mana sahaja ia berada, dan tidak memberikan pengecualian kepada salinan yang dilabel sebagai ujian. Persekitaran staging yang menyimpan data pelanggan sebenar berada sepenuhnya dalam skopnya — dan biasanya ia ialah sistem yang paling kurang dilindungi yang anda miliki.
Empat sempadan untuk ditetapkan minggu ini
Semua ini tidak memerlukan projek atau bajet. Ia memerlukan satu sesi bersama orang yang mengendalikan sistem anda:
- Tanya satu soalan secara terus: bolehkah salinan ujian kami menghantar mesej, e-mel atau permintaan pembayaran ke dunia luar? Jika jawapannya ya atau saya tidak pasti, itulah perkara pertama yang perlu anda tutup.
- Asingkan kunci dan sijil sepenuhnya antara persekitaran, supaya tiada satu kunci pun berfungsi dalam kedua-duanya.
- Gunakan senarai data ujian yang tetap: satu domain ujian yang dikhaskan, nombor yang tidak sampai kepada sesiapa, dan satu nombor telefon bimbit pasukan yang diketahui untuk menerima setiap mesej ujian.
- Tetapkan siapa yang dibenarkan menjalankan alat automatik atau ejen AI terhadap sistem anda, dalam persekitaran mana, dan dengan kebenaran apa. Jika jawapannya tidak ditulis, ia tidak wujud.
Pandangan Origami
Kami melihat insiden ini sebagai peringatan bahawa kegagalan sistem yang paling mahal jarang sekali bijak. Ia adalah kegagalan andaian. Keupayaan keselamatan Google jauh mengatasi mana-mana perniagaan Saudi, dan andaian yang runtuh ialah andaian yang paling mudah: bahawa persekitaran tertutup itu benar-benar tertutup. Syarikat biasanya tidak tumbang pada bahagian sukar sesebuah sistem. Mereka tumbang pada bahagian yang tidak disemak oleh sesiapa, kerana ia kelihatan jelas.
Di Origami, kami menganggap pengasingan persekitaran sebagai sebahagian daripada penyerahan dan bukannya tambahan pilihan: persekitaran staging yang tidak boleh mencapai saluran komunikasi sebenar, kunci yang berasingan, dan data ujian yang bukan milik sesiapa. Kosnya beberapa jam pada permulaan projek. Alternatifnya ialah insiden yang perlu anda jelaskan kepada pelanggan atau pengawal selia selepas ia sudah berlaku. Itu pertukaran yang wajar diselesaikan awal.
Pengajaran praktikal
Pengajaran daripada insiden Gemini bukanlah untuk mengelakkan alat AI. Ia adalah untuk berhenti menganggap perkataan staging sebagai jaminan. Sesebuah persekitaran tidak terasing kerana anda menamakannya begitu; ia terasing kerana seseorang benar-benar telah menguji bahawa ia memang terasing. Mulakan hari ini dengan satu soalan: apakah titik paling jauh yang boleh dicapai oleh salinan ujian kami? Jika jawapannya tidak jelas, anda sedang beroperasi atas andaian yang sama yang runtuh di Google.
Sumber
- NBC News — pengesahan Google bahawa Gemini memperoleh akses tanpa kebenaran kepada tiga sistem luar pada Mei 2026, dan kenyataan Heather Adkins, naib presiden kejuruteraan keselamatan, bahawa model itu menemui maklumat awam dan meneka bukti kelayakan laman yang disangkanya sebahagian daripada ujian.
- CNBC — butiran penilaian yang dijalankan oleh Irregular, akses internet persekitaran ujian yang tidak disengajakan, organisasi rekaan yang sepadan dengan domain sebenar, dan insiden setanding yang didedahkan oleh OpenAI dan Anthropic.
- SDAIA — Undang-undang Perlindungan Data Peribadi (PDPL) dan pemakaiannya terhadap data peribadi di mana sahaja ia diproses.
- Platform Fatoora - ZATCA — pemisahan antara persekitaran simulasi dan pengeluaran, dengan sijil pendaftaran masuk yang bebas bagi setiap satu.
Soalan lazim
Adakah ini bermakna AI sudah hilang kawalan?
Google menyatakan dengan jelas bahawa ia tidak mengklasifikasikan perkara ini sebagai ketidakselarasan (misalignment) dalam tingkah laku model, tetapi sebagai salah identiti: model itu melaksanakan tugas yang diberikan kepadanya sambil mempercayai bahawa sistem luar tersebut sebahagian daripada latihan. Perbezaan ini penting dari segi praktikal, kerana penyelesaiannya berbeza. Jika masalahnya pada model, pembetulannya ialah mengekang model. Oleh sebab masalahnya pada sempadan persekitaran, pembetulannya ialah menutup sempadan itu sebelum menjalankan sebarang alat automatik di dalamnya.
Syarikat saya langsung tidak menggunakan ejen AI, jadi adakah ini berkaitan dengan saya?
Ya, kerana teras insiden ini tiada kaitan langsung dengan AI. Kegagalannya ialah persekitaran yang dianggap terasing mempunyai laluan aktif ke luar, dan data yang dilabel sebagai palsu sebenarnya menunjuk kepada pihak sebenar. Perkara ini berlaku dalam perniagaan biasa setiap minggu: mesej ujian yang sampai kepada pelanggan sebenar, atau skrip ujian yang memanggil get laluan pembayaran terhadap persekitaran pengeluaran. Ejen AI hanya menggandakan kelajuan dan jangkauan. Ia tidak mencipta masalah itu.
Bagaimanakah saya mengesahkan persekitaran ujian kami benar-benar terasing?
Jangan berpuas hati dengan bertanya sama ada ia terasing, kerana jawapannya sentiasa ya. Mintalah ujian praktikal: jalankan satu transaksi lengkap pada salinan ujian, kemudian sahkan sama ada sebarang mesej, e-mel atau permintaan benar-benar keluar daripadanya kepada pihak luar. Baca sendiri log penghantaran dan bukannya bergantung pada tanggapan. Kemudian periksa kunci dan sijil: jika anda menemui walau satu kunci yang sah dalam kedua-dua persekitaran, pengasingan itu tidak wujud, betapa kemas pun persediaannya kelihatan.
Apakah langkah terpantas yang boleh saya ambil tanpa membuka projek penuh?
Putuskan saluran keluar daripada persekitaran ujian di peringkat konfigurasi, dan bukannya bergantung pada ingatan pembangun, supaya salinan staging tidak boleh menghantar mesej, e-mel atau permintaan pembayaran ke luar dalam apa jua keadaan. Ini mengambil masa beberapa jam dan menutup bahagian paling berbahaya dalam hal ini. Selepas itu, gunakan senarai data ujian yang tetap dengan satu nombor telefon bimbit pasukan yang diketahui dan satu domain ujian yang dikhaskan, dan tangguhkan kerja kebenaran yang lebih luas untuk kemudian.
Ikuti Origami di Google
Tetapkan Origami sebagai sumber pilihan dan artikel kami akan muncul dahulu untuk anda dalam Carian Google dan Berita Utama.
