Lindungi syarikat anda daripada risiko AI dengan tujuh langkah: kenal pasti setiap alat dan ejen AI yang berjalan dalam syarikat, beri setiap ejen akaunnya sendiri dengan akses yang paling sedikit, wajibkan kelulusan manusia sebelum sebarang pembayaran, pemadaman atau mesej kepada pelanggan, jauhkan data pelanggan daripada alat yang tidak diluluskan, tampal sistem yang terdedah kepada internet dalam masa beberapa hari, sahkan permintaan wang melalui saluran kedua, dan semak perkara yang dilindungi oleh insurans anda. Langkah-langkah ini lahir daripada amaran bulan Oktober 2026: Microsoft meminta syarikat melayan ejen sebagai orang dalam yang boleh tersilap atau dimanipulasi; dua kelemahan PHP2Shell, salah satunya ditemui menggunakan model AI, dimasukkan ke dalam senarai kelemahan yang dieksploitasi secara aktif 5 hari selepas didedahkan; dan prospektus IPO Anthropic memberi amaran bahawa modelnya boleh bertindak dengan cara yang tidak dikehendaki oleh mana-mana pengguna atau pembangun.
Apakah amaran terkini, dan mengapa ia penting bagi syarikat anda?
Dalam tempoh kurang daripada sebulan, amaran datang daripada syarikat yang membina model AI itu sendiri dan daripada agensi keselamatan siber kerajaan. Berikut ialah amaran utama mengikut urutan ia dikeluarkan:
| Tarikh | Sumber | Apa yang dinyatakan | Maknanya bagi anda |
|---|---|---|---|
| 8 Oktober | Anthropic | Modelnya menemui lebih daripada 29,000 calon kelemahan dalam perisian penting dalam tempoh 6 bulan, dan manusia hanya sempat menyemak kira-kira 6,000 daripadanya (hantaran Anthropic) | Kelemahan ditemui lebih pantas daripada ia dibaiki |
| 19 Oktober | Microsoft | Ejen boleh tersilap, dimanipulasi atau dikompromi, jadi ia tidak patut mewarisi semua kebenaran seorang pekerja (blog keselamatan Microsoft) | Setiap ejen memerlukan akaun dan kebenarannya sendiri |
| 21 Oktober | Agensi AS CISA | Dua kelemahan PHP2Shell membolehkan penyerang menjalankan kod pada pelayan tanpa log masuk; kedua-duanya dimasukkan ke dalam senarai kelemahan yang dieksploitasi secara aktif pada 26 Oktober (amaran CISA) | Menampal kini soal hitungan hari |
| 21 Oktober | Fortinet | AI membantu penyerang membina eksploit yang berfungsi daripada tampalan itu sendiri dalam masa beberapa jam atau hari, bukan minggu (blog Fortinet) | Peranti yang terdedah kepada internet didahulukan |
| 26 Oktober | Anthropic | Prospektus IPOnya menyatakan bahawa modelnya boleh bertindak dengan cara yang tidak dikehendaki oleh mana-mana pengguna atau pembangun, dan insuransnya mungkin tidak mencukupi (borang S-1) | Semak kontrak dan insurans anda |
| 27 Oktober | Anthropic | Claude menulis eksploit yang memberi penyerang akses root pada pelayan Linux yang menerima sambungan MPTCP (hantaran Anthropic) | Kelemahan pelayan semakin hampir untuk dieksploitasi |
Persamaan antara amaran-amaran ini ialah AI menaikkan risiko dari dua arah: dari luar, kerana penyerang kini menemui dan mengeksploitasi kelemahan dengan lebih pantas, dan dari dalam, apabila sesuatu alat atau ejen diberi akses lebih daripada yang diperlukannya. OpenAI, yang mengetuai gabungan bagi menangani kelemahan PHP, menyifatkannya sebagai salah satu isu keselamatan paling berimpak dalam ingatan terkini dan menyatakan bahawa "keupayaan yang sama juga boleh membantu penyerang membangunkan alat serangan dan eksploit dengan pantas". Syarikat itu menjangkakan penemuan seumpama ini "akan meningkat dengan mendadak dalam beberapa bulan akan datang". Prospektus IPO Anthropic pula menambah bahawa "pihak berniat jahat telah pun melancarkan serangan siber berprofil tinggi dengan menggunakan keupayaan AI untuk menemui kelemahan, menjana perisian hasad dan mengelak alat pengesanan".
Bagaimanakah cara melindungi syarikat anda? 7 tip praktikal
- Kenal pasti setiap alat dan ejen AI yang berjalan dalam syarikat anda. Microsoft menyatakannya dengan jelas: "Anda tidak boleh melindungi apa yang anda tidak nampak." Syarikat itu meluaskan alatnya supaya dapat mengesan 60 jenis ejen yang berjalan pada peranti pekerja, termasuk Claude Code, OpenAI Codex dan GitHub Copilot, kerana sesetengahnya masuk ke peranti tanpa sebarang penggunaan berpusat. Mulakan dengan satu helaian yang menyenaraikan setiap alat, siapa yang menggunakannya, data yang boleh dicapainya, sama ada akaun itu peribadi atau perniagaan, dan siapa yang bertanggungjawab ke atasnya. Helaian yang sama ini juga menjadi titik permulaan rangka kerja kebangsaan SDAIA bagi pengurusan risiko AI.
- Beri setiap ejen akaunnya sendiri dan akses yang paling sedikit. Contoh Microsoft ialah ejen yang menyemak tuntutan perbelanjaan: ia perlu membaca tuntutan dan dasar syarikat, tetapi tidak patut mewarisi semua kebenaran pekerja yang menyediakannya. Microsoft mengesyorkan agar ejen bermula tanpa sebarang kuasa, hanya menerima apa yang diperlukan oleh tugasnya dan hanya selama tugas itu berlangsung, dan agar tindakan yang berimpak lebih besar memerlukan kelulusan manusia yang disahkan. Secara praktikal: jangan sambungkan ejen kepada akaun pengurus, jangan berikan kata laluan bank syarikat kepadanya, asingkan akses baca daripada akses tulis, buang kunci yang terlupa dalam kod dan tetapan yang membuka lebih daripada yang diperlukannya, dan simpan cara untuk menghentikannya serta-merta. Ketua Pegawai Eksekutif Microsoft, Satya Nadella, merumuskannya begini: "Sistem ejen yang paling boleh dipercayai bukanlah sistem dengan model yang paling kita percayai. Ia ialah sistem yang direka supaya kita boleh mempercayai model itu sesedikit mungkin."
- Jangan biarkan ejen bertindak berdasarkan apa yang dibacanya dalam e-mel, fail atau laman web tanpa semakan. Prospektus IPO Anthropic mentakrifkan suntikan prompt sebagai serangan yang menyisipkan arahan berniat jahat ke dalam kandungan yang perlu diproses oleh model, seperti laman web, dokumen atau output alat, untuk memanipulasi tingkah lakunya, biasanya tanpa pengetahuan pengguna. Ejen yang membaca e-mel pelanggan dan boleh memindahkan wang, memadam atau menghantar mungkin melaksanakan arahan yang ditulis oleh penyerang di dalam sesuatu mesej. Microsoft menerangkan senario yang sama: ejen perbelanjaan mungkin bertemu suntikan prompt dalam dokumen luaran, dan tingkah lakunya berubah walaupun konfigurasinya tidak berubah. Pastikan setiap langkah yang mengeluarkan wang atau data daripada syarikat melalui kelulusan seorang pekerja, terutamanya selepas ejen membaca kandungan dari luar. Risiko yang sama kami lihat pada ejen pengaturcaraan yang menjalankan arahan penyerang sebaik sahaja projek dibuka.
- Jauhkan data pelanggan daripada alat yang tidak diluluskan. Menurut Pusat Bantuan OpenAI, secara lalai OpenAI tidak menggunakan input atau output daripada ChatGPT Business, ChatGPT Enterprise atau API miliknya untuk menambah baik modelnya, manakala kandungan daripada pelan individu Free, Plus dan Pro boleh digunakan untuk latihan melainkan pengguna mematikannya dalam tetapan. Anthropic menyatakan bahawa secara lalai ia tidak melatih model dengan input daripada produk komersialnya, seperti Claude for Work dan API miliknya. Oleh itu, seragamkan penggunaan akaun perniagaan dan beritahu pekerja anda secara bertulis perkara yang tidak boleh dimasukkan ke dalam mana-mana alat: data peribadi pelanggan, kontrak dan kata laluan. Jika anda memasukkan data peribadi pelanggan ke dalam alat AI, penyedia alat itu memproses data tersebut bagi pihak anda, dan Perkara 17 peraturan pelaksanaan Undang-undang Perlindungan Data Peribadi Arab Saudi (PDPL) mewajibkan anda memilih pemproses yang memberikan jaminan yang mencukupi, dengan perjanjian yang menetapkan tujuan dan tempoh pemprosesan serta kewajipan pemproses untuk memaklumkan anda tentang sebarang kebocoran. Jika sesuatu kebocoran boleh memudaratkan individu yang terlibat, Perkara 24 mewajibkan anda memaklumkan pihak berkuasa yang berkenaan dalam tempoh 72 jam selepas anda mengetahuinya.
- Tampal sistem yang terdedah kepada internet dalam masa beberapa hari, bukan minggu. Fortinet menyatakan bahawa alat AI kini membantu penyerang menjurutera balik tampalan dan membina eksploit yang berfungsi "dalam masa beberapa jam atau hari, bukan minggu", dan bahawa "jurang antara pendedahan dengan eksploitasi terus mengecil". Anthropic menyatakan bahawa eksploit kini boleh dibangunkan dalam masa beberapa minit. Itulah sebabnya, bagi kelemahan PHP2Shell, CISA meminta langkah yang jelas: menyenaraikan setiap sistem yang menjalankan PHP, memasang tampalan dengan segera bermula dengan sistem yang terdedah kepada internet, dan memutuskan daripada rangkaian sistem yang tidak boleh dikemas kini sehingga ia dikemas kini, sambil menyatakan bahawa tembok api aplikasi web (WAF) boleh memberikan sedikit perlindungan sementara itu. Pihak Berkuasa Keselamatan Siber Kebangsaan Arab Saudi (NCA) turut mengeluarkan amaran yang mengesyorkan agar produk yang terjejas dikemas kini. Gunakan peraturan yang sama pada setiap sistem yang terdedah: laman web, tembok api, VPN dan e-mel. Butirannya terdapat dalam artikel kami tentang kelemahan PHP2Shell, kelemahan baharu Linux dan tembok api FortiGate.
- Sahkan setiap permintaan wang atau data melalui saluran kedua. Dalam kempen kesedaran mereka tentang deepfake, SDAIA dan Suruhanjaya Komunikasi, Angkasa dan Teknologi (CST) menyatakan bahawa "melihat seseorang dalam video atau mendengar suaranya bukanlah bukti bahawa dia yang mengatakannya", dan menyenaraikan kerugian kewangan dan penipuan, pencerobohan sistem pengesahan serta kecurian identiti antara risikonya. Oleh itu, jangan sekali-kali memindahkan wang atau menghantar data hanya berdasarkan panggilan telefon, mesej suara atau video, walaupun suara itu kedengaran seperti suara pengurus. Hubungi semula orang itu melalui nombor yang sudah ada pada anda, dan wajibkan dua tandatangan bagi setiap pindahan wang yang melebihi had yang anda tetapkan. Kami telah menerangkan lapisan perlindungannya dalam artikel kami tentang deepfake dan penipuan AI, dan cara menutup setiap laluan yang memindahkan wang syarikat anda tanpa tandatangan anda dalam pengajaran daripada penggodaman Binance.
- Semak perkara yang dilindungi oleh insurans anda dan isi kontrak pembekal anda. Prospektus IPO Anthropic menyatakan: "Oleh sebab model kami boleh bertindak dengan cara yang tidak dikehendaki oleh mana-mana pengguna atau pembangun, tuntutan yang timbul daripada tindakan tersebut boleh mengakibatkan liabiliti yang besar." Ia menambah bahawa polisi insuransnya mungkin tidak memberikan perlindungan yang mencukupi dan bahawa "pasaran insurans bagi risiko khusus AI masih baharu dan sedang berkembang". Jika itulah keadaan syarikat yang membina model tersebut, tanya syarikat insurans anda secara bertulis: adakah polisi melindungi kebocoran data yang disebabkan oleh ejen AI, atau pindahan wang palsu yang dibuat dengan suara klon? Tanya juga setiap penyedia alat di mana data anda disimpan, berapa lama ia disimpan dan bilakah ia akan memaklumkan anda tentang sesuatu insiden.
Apakah kata pihak berkuasa Arab Saudi?
Terdapat tiga rujukan penting bagi setiap perniagaan di Arab Saudi yang menggunakan AI:
- SDAIA melancarkan rangka kerja kebangsaan bagi pengurusan risiko AI sebagai rujukan panduan untuk entiti kerajaan dan swasta; kami telah menerangkan empat peringkatnya dan cara syarikat anda boleh menerapkannya.
- Pihak Berkuasa Keselamatan Siber Kebangsaan (NCA) membuka draf garis panduan keselamatan siber bagi AI untuk rundingan awam, dengan 5 Ogos 2026 sebagai tarikh akhir penghantaran maklum balas. Draf itu berasaskan 4 domain: tadbir urus keselamatan siber, pertahanan, daya tahan dan keselamatan siber pihak ketiga, dan ia merangkumi AI generatif dan AI agentik.
- Undang-undang Perlindungan Data Peribadi (PDPL) mengikat setiap perniagaan yang memproses data peribadi, termasuk Perkara 17 dan 24 dalam peraturan pelaksanaannya yang disebut di atas. Maklumat lanjut terdapat dalam panduan praktikal kami tentang undang-undang ini.
Apakah pelan bagi 30 hari pertama?
| Minggu | Apa yang perlu dilakukan | Hasil |
|---|---|---|
| 1 | Senaraikan alat, ejen dan akaun AI anda, dan lantik seorang yang bertanggungjawab bagi setiap alat | Satu helaian yang menunjukkan siapa menggunakan apa |
| 2 | Pindahkan penggunaan kepada akaun perniagaan, beri setiap ejen akaun dan kebenarannya sendiri, dan tambah kelulusan manusia bagi pembayaran, pemadaman dan mesej keluar | Tiada ejen yang memegang akses penuh seorang pekerja |
| 3 | Tampal sistem yang terdedah kepada internet, aktifkan tembok api aplikasi web, dan amalkan pengesahan melalui saluran kedua bagi permintaan pindahan wang | Kurang kelemahan yang diketahui, penipuan lebih sukar |
| 4 | Tulis dasar satu halaman dan latih pekerja mengenainya, kemudian hantar soalan anda kepada syarikat insurans dan pembekal | Peraturan bertulis dan jawapan yang didokumenkan |
Pandangan Origami
Kami tidak melihat amaran-amaran ini sebagai sebab untuk mematikan AI dalam syarikat anda, sebaliknya sebagai sebab untuk menjalankannya dalam batasan yang jelas. Microsoft sendiri menyatakan bahawa matlamatnya bukan model yang setiap tindakannya boleh diramal, tetapi "sistem yang kekal selamat walaupun model itu tidak". Di Origami, kami membina ciri dan ejen AI ke dalam sistem syarikat dengan kebenaran yang terhad, langkah kelulusan dan log yang jelas, menyemak kod yang dibina dengan alat AI dan menutup kelemahannya, serta mengemas kini pelayan dan aplikasi yang terdedah kepada internet. Hubungi kami untuk menyemak alat dan ejen anda bersama-sama.
Perkara utama
- Amaran bulan Oktober 2026 menunjukkan bahawa AI mempercepat penemuan dan eksploitasi kelemahan, bahawa ejen boleh tersilap atau dimanipulasi, dan bahawa model boleh bertindak dengan cara yang tidak dikehendaki sesiapa.
- Kenal pasti alat dan ejen anda, beri setiap ejen akses yang paling sedikit, dan wajibkan kelulusan manusia sebelum langkah kewangan dan sensitif.
- Gunakan akaun perniagaan yang secara lalai tidak melatih model dengan data anda, dan jauhkan data pelanggan daripada alat yang tidak diluluskan.
- Tampal sistem yang terdedah dalam masa beberapa hari, sahkan permintaan wang melalui saluran kedua, dan semak insurans serta kontrak pembekal anda.
Sumber
- Microsoft: Ejen ialah orang dalam terbaharu anda, 19 Oktober 2026
- OpenAI: Patch the Planet, penyelarasan tindak balas terhadap kelemahan kritikal PHP
- CISA: Kelemahan kritikal dalam PHP memerlukan tampalan segera
- Pihak Berkuasa Keselamatan Siber Kebangsaan Arab Saudi (NCA): amaran PHP
- Fortinet: Keluaran pengukuhan keselamatan bagi beberapa produk
- Anthropic: Perkhidmatan pilihan untuk mencari kelemahan dalam perisian sumber terbuka, 8 Oktober 2026
- Anthropic: Menemui dan mengeksploitasi kelemahan dengan Claude, 27 Oktober 2026
- Anthropic: Penyata pendaftaran S-1 di Suruhanjaya Sekuriti dan Bursa AS (SEC)
- SPA: SDAIA melancarkan rangka kerja kebangsaan bagi pengurusan risiko AI
- Pihak Berkuasa Keselamatan Siber Kebangsaan Arab Saudi (NCA): rundingan garis panduan keselamatan siber bagi AI
- SDAIA dan CST: Deepfake dan video palsu
- SDAIA: Peraturan pelaksanaan Undang-undang Perlindungan Data Peribadi
- OpenAI: Bagaimana data anda digunakan untuk menambah baik prestasi model
- Anthropic: Adakah data saya digunakan untuk melatih model?
Soalan lazim
Apakah risiko AI terbesar bagi syarikat pada masa ini?
Tiga: penyerang yang menggunakan AI untuk menemui dan mengeksploitasi kelemahan dengan lebih pantas, ejen dengan akses yang luas yang boleh tersilap atau dimanipulasi melalui arahan tersembunyi, dan data pelanggan yang masuk ke dalam alat yang tidak diluluskan. Selain itu, terdapat juga penipuan menggunakan suara dan video palsu (deepfake).
Patutkah saya melarang pekerja menggunakan ChatGPT dan alat AI lain?
Larangan tidak diperlukan. Luluskan alat yang menggunakan akaun perniagaan yang secara lalai tidak melatih model dengan data anda, seperti ChatGPT Business dan Claude for Work, dan tetapkan secara bertulis perkara yang tidak boleh dimasukkan ke dalam mana-mana alat, seperti data peribadi pelanggan, kontrak dan kata laluan.
Adakah ejen AI selamat?
Tidak dengan sendirinya. Microsoft menasihatkan agar kita menganggap bahawa ejen boleh gagal atau dikompromi, dan meletakkan kawalan ke atas perkara yang boleh dicapai dan dilakukannya di luar model supaya ejen tidak dapat memintasnya, berserta hak akses minimum dan kelulusan manusia sebelum langkah penting.
Adakah peraturan Arab Saudi mewajibkan saya mengurus risiko AI?
Rangka kerja SDAIA ialah rujukan panduan, manakala garis panduan Pihak Berkuasa Keselamatan Siber Kebangsaan (NCA) diterbitkan sebagai draf untuk rundingan awam. Undang-undang Perlindungan Data Peribadi (PDPL) pula mengikat, dan peraturan pelaksanaannya mewajibkan pemberitahuan kepada pihak berkuasa yang berkenaan dalam tempoh 72 jam selepas mengetahui tentang kebocoran yang boleh memudaratkan individu yang terlibat.
Adakah insurans siber melindungi insiden AI?
Ia bergantung pada kandungan polisi. Malah Anthropic sendiri menyatakan dalam prospektus IPO bahawa insuransnya mungkin tidak memberikan perlindungan yang mencukupi, jadi tanya syarikat insurans anda secara bertulis tentang kebocoran data yang disebabkan oleh ejen AI dan pindahan wang palsu yang dibuat dengan suara klon.
