Jika anda tidak mahu syarikat AI melatih model mereka menggunakan kandungan laman web anda, tambahkan dua baris ke dalam fail robots.txt laman web anda: User-Agent: __usage_ai-training dan, di bawahnya, Disallow: /. Pada 30 Oktober 2026, OpenAI, Google dan Microsoft mengumumkan bahawa mereka akan mematuhi isyarat bersama ini: Microsoft bermula pada 1 Februari 2027, Google menyasarkan 2027, dan OpenAI berkata ia akan melaksanakannya dalam beberapa bulan akan datang. Isyarat ini hanya meliputi latihan, jadi ia tidak membuang laman web anda daripada hasil carian Google atau Bing. Sehingga setiap syarikat mengaktifkannya, kekalkan tetapan sedia ada syarikat tersebut. Jika anda telah membaca artikel kami tentang terma baharu Meta yang membenarkan botnya merangkak laman web anda, inilah langkah seterusnya.

Apakah sebenarnya yang diumumkan?

Sebelum ini, pemilik laman web yang mahu menjauhkan kandungannya daripada latihan model perlu mengetahui nama perangkak setiap syarikat dan menulis peraturan berasingan untuk setiap satu: GPTBot untuk OpenAI, ClaudeBot untuk Anthropic, Google-Extended untuk Google, dan nama baharu setiap kali muncul syarikat baharu. Isyarat baharu ini menggantikan senarai itu dengan satu nama bersama. Ia berasal daripada sebuah draf piawai (Internet-Draft) yang dikemukakan kepada Internet Engineering Task Force (IETF), badan di sebalik banyak piawaian teknikal internet, dan ditulis oleh Kevin Kelley dari Anthropic dalam kumpulan kerja Keutamaan AI di IETF. Draf tersebut bertarikh 30 Oktober 2026, tamat tempoh pada 3 Mei 2027 dan disasarkan untuk laluan piawaian, yang bermaksud ia masih satu cadangan, bukan piawaian yang lengkap.

Ideanya sengaja dibuat ringkas. Draf ini tidak menambah arahan baharu kepada robots.txt. Ia menggunakan kumpulan biasa yang baris User-Agent-nya membawa nama khas, dipanggil token dasar (policy token), dan peraturan Allow serta Disallow yang biasa kemudian menentukan bahagian laman web yang boleh atau tidak boleh digunakan. Contohnya, anda boleh menolak latihan untuk seluruh laman web tetapi membenarkannya untuk bahagian bahan media anda:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Draf ini mentakrifkan latihan AI sebagai penggunaan kandungan untuk mengubah parameter yang telah dipelajari oleh model AI generatif, iaitu model yang menghasilkan teks, imej atau kandungan lain. Model yang digunakan hanya untuk pengelasan, penyusunan atau pemarkahan tidak termasuk.

Siapa yang akan mematuhinya, dan bila?

Syarikat Apa yang diumumkan Bila Apa yang kekal berasingan
OpenAI Akan mematuhi isyarat bersama; kawalan sedia ada kekal berkuat kuasa «Dalam beberapa bulan akan datang» GPTBot untuk latihan, OAI-SearchBot untuk jawapan carian ChatGPT
Google Akan membaca penolakan melalui token sebagai larangan Google-Extended, kecuali Google-Extended ditetapkan secara jelas Menyasarkan 2027 Googlebot untuk Carian Google; Google-Extended untuk latihan Gemini dan grounding
Microsoft Akan mematuhi token dan menambah keutamaan berasingan bagi setiap halaman yang dinamakan AI Grounding Mulai 1 Februari 2027; tetapan sebelum 1 Mac 2027 Kelayakan untuk hasil carian Bing tidak berubah
Anthropic Penulis draf bekerja di sana Tiada tarikh pada halaman bantuannya ClaudeBot kekal sebagai kawalan rasminya untuk latihan

Dua perincian dalam pengumuman ini penting bagi setiap perniagaan yang mempunyai laman web. Pertama, Microsoft menyatakan bahawa selepas 1 Mac 2027 ia tidak lagi akan membaca tag lama NoArchive dan NoCache sebagai keutamaan AI; jika laman web anda bergantung padanya, terbitkan keutamaan baharu sebelum tarikh itu. Tetapan peralihan untuk grounding dibuka dalam Bing Webmaster Tools pada 15 Disember 2026, hanya untuk laman web yang sudah menggunakan tag tersebut, dan tamat tempoh pada 30 September 2027. Kedua, draf ini menyatakan bahawa peraturan umum yang ditulis untuk semua perangkak, User-Agent: *, tidak dikira sebagai keutamaan latihan. Sekatan menyeluruh tidak bermaksud «tiada latihan»; hanya token yang dinamakan menyatakannya.

Latihan tidak sama dengan muncul dalam jawapan

Inilah perbezaan yang terlepas pandang oleh kebanyakan pemilik laman web. Latihan bermaksud kandungan anda membantu membina model pada masa hadapan. Jawapan, yang dipanggil grounding oleh Microsoft, bermaksud pembantu AI membaca halaman anda pada saat pelanggan bertanya soalan dan memetiknya bersama pautan. Token baharu ini hanya berkaitan dengan latihan. OpenAI mengasingkan kedua-duanya: GPTBot meliputi latihan, manakala OAI-SearchBot menentukan sama ada laman web anda boleh muncul dalam jawapan carian ChatGPT. Microsoft pergi lebih jauh dengan menambah keutamaan grounding yang ditetapkan bagi setiap halaman, dengan tiga pilihan: Allow; DisallowExtended, yang mengehadkan penggunaan kepada produk Microsoft sendiri seperti Copilot; dan Disallow. Microsoft memberi amaran bahawa menyekat grounding akan banyak mengurangkan keterlihatan anda dalam jawapan AI, dan bahawa tiada pilihan yang menjamin kemasukan, trafik atau bayaran.

Google ialah pengecualian yang perlu diberi perhatian. Kawalan Google-Extended miliknya meliputi latihan model Gemini dan juga grounding dalam aplikasi Gemini, dan Google menyatakan bahawa laman web yang membenarkan Google-Extended secara jelas layak muncul dalam jawapan aplikasi Gemini dan menerima klik. Jadi, jika anda menolak melalui token bersama, Google akan menganggapnya sebagai larangan Google-Extended. Anda kekal dalam Carian Google, kerana Google-Extended tidak menjejaskan kemasukan atau kedudukan di sana, tetapi anda melepaskan grounding dalam aplikasi Gemini. Jika anda mahukan keterlihatan itu, tetapkan Google-Extended secara jelas. Untuk mengetahui cara jawapan AI memilih sumbernya, baca cara menjadikan syarikat anda muncul dalam ChatGPT.

Patutkah syarikat anda menolak?

Tiada satu jawapan yang betul; semuanya bergantung pada kandungan laman web anda. Menolak adalah wajar jika kandungan itu sendiri ialah produknya: kursus berbayar, penyelidikan asli, senarai harga terperinci atau beribu-ribu penerangan produk yang ditulis oleh pasukan anda. Membenarkannya tidak banyak kosnya jika laman web anda memperkenalkan perkhidmatan anda dan anda mahu nama syarikat anda dikenali ramai. Dalam kedua-dua keadaan, terus benarkan perangkak carian dan jawapan, kerana merekalah yang membawa pelanggan.

Lima langkah untuk minggu ini

  1. Baca fail semasa anda. Buka domainanda.com/robots.txt dalam pelayar. Cari User-agent: * yang terlupa bersama Disallow: /, atau peraturan yang menyekat OAI-SearchBot, Googlebot atau Bingbot.
  2. Putuskan dua perkara secara berasingan. Latihan: ya atau tidak. Jawapan: ya atau tidak. Tulis keputusan itu supaya pembangun seterusnya tidak membatalkannya.
  3. Tambah token bersama dan kekalkan peraturan sedia ada. Belum ada satu pun daripada tiga syarikat itu yang mematuhi token ini, jadi kekalkan peraturan GPTBot, ClaudeBot dan Google-Extended anda di sebelahnya sehingga setiap syarikat mematuhinya. Halaman bantuan Anthropic masih menyenaraikan ClaudeBot sebagai cara untuk menolak.
  4. Semak tag Bing anda. Jika halaman anda menggunakan NoArchive atau NoCache, rancang peralihan kepada keutamaan baharu sebelum 1 Mac 2027.
  5. Letakkan semua yang sulit di sebalik log masuk. robots.txt ialah isyarat awam dan sukarela: draf ini membenarkan perjanjian persendirian mengatasinya, dan sesuatu keutamaan terpakai pada apa yang diambil selepas anda menerbitkannya, bukan pada apa yang telah dikumpul sebelumnya.

Pandangan Origami

Selama bertahun-tahun, robots.txt ialah fail yang tidak diingati oleh sesiapa pun dalam syarikat, ditulis sekali oleh orang yang membina laman web. Keadaan itu sedang berubah: fail ini kini menentukan sama ada kandungan anda melatih model AI, sama ada halaman anda muncul dalam jawapan AI, dan tidak lama lagi bagaimana Microsoft melayan setiap halaman. Satu nama bersama ialah kemajuan sebenar berbanding senarai perangkak yang semakin panjang setiap bulan, tetapi ia tidak menggantikan sebuah keputusan. Apa yang sering kami lihat ialah laman web yang tiada sesiapa tahu siapa yang terakhir menyunting robots.txt, atau rangkaian penghantaran kandungan yang menyekat perangkak yang ingin dialu-alukan oleh pemiliknya. Di Origami, kami membina laman web, platform dan sistem tersuai, dan kami menganggap tetapan ini sebahagian daripada pembangunan, didokumenkan dan disemak. Jika anda mahu robots.txt, peraturan CDN dan keterlihatan anda dalam AI disemak bersama, hubungi kami.

Sumber