Jika Anda tidak ingin perusahaan AI melatih model mereka dengan konten situs web Anda, tambahkan dua baris ke berkas robots.txt situs Anda: User-Agent: __usage_ai-training dan, di bawahnya, Disallow: /. Pada 30 Oktober 2026, OpenAI, Google, dan Microsoft mengumumkan bahwa mereka akan mematuhi sinyal bersama ini: Microsoft mulai pada 1 Februari 2027, Google menargetkan 2027, dan OpenAI mengatakan akan menerapkannya dalam beberapa bulan ke depan. Sinyal ini hanya mencakup pelatihan, sehingga tidak menghapus situs Anda dari hasil pencarian Google atau Bing. Sampai setiap perusahaan mengaktifkannya, pertahankan pengaturan yang sudah ada untuk perusahaan tersebut. Jika Anda sudah membaca artikel kami tentang ketentuan baru Meta yang mengizinkan bot-botnya merayapi situs web Anda, inilah langkah berikutnya.

Apa persisnya yang diumumkan?

Selama ini, pemilik situs yang ingin menjauhkan kontennya dari pelatihan model harus mengetahui nama crawler setiap perusahaan dan menulis aturan terpisah untuk masing-masing: GPTBot untuk OpenAI, ClaudeBot untuk Anthropic, Google-Extended untuk Google, dan nama baru setiap kali muncul perusahaan baru. Sinyal baru ini menggantikan daftar tersebut dengan satu nama bersama. Sinyal ini berasal dari sebuah draf standar (Internet-Draft) yang diajukan ke Internet Engineering Task Force (IETF), lembaga di balik banyak standar teknis internet, dan ditulis oleh Kevin Kelley dari Anthropic dalam kelompok kerja Preferensi AI di IETF. Draf tersebut bertanggal 30 Oktober 2026, berakhir pada 3 Mei 2027, dan ditujukan untuk jalur standar, artinya masih berupa usulan, belum menjadi standar yang final.

Idenya sengaja dibuat sederhana. Draf ini tidak menambahkan perintah baru ke robots.txt. Draf ini memakai kelompok aturan biasa yang baris User-Agent-nya berisi nama khusus, yang disebut token kebijakan (policy token), lalu aturan Allow dan Disallow yang sudah dikenal menentukan bagian situs mana yang boleh atau tidak boleh digunakan. Misalnya, Anda dapat menolak pelatihan untuk seluruh situs tetapi mengizinkannya untuk halaman materi pers Anda:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Draf ini mendefinisikan pelatihan AI sebagai penggunaan konten untuk mengubah parameter yang telah dipelajari oleh model AI generatif, yaitu model yang menghasilkan teks, gambar, atau konten lain. Model yang hanya digunakan untuk klasifikasi, pengurutan, atau penilaian tidak termasuk.

Siapa yang akan mematuhinya, dan kapan?

Perusahaan Yang diumumkan Kapan Yang tetap terpisah
OpenAI Akan mematuhi sinyal bersama; pengaturan yang ada tetap berlaku «Dalam beberapa bulan ke depan» GPTBot untuk pelatihan, OAI-SearchBot untuk jawaban pencarian ChatGPT
Google Akan membaca penolakan melalui token sebagai larangan Google-Extended, kecuali Google-Extended diatur secara eksplisit Menargetkan 2027 Googlebot untuk Google Penelusuran; Google-Extended untuk pelatihan Gemini dan grounding
Microsoft Akan mematuhi token dan menambahkan preferensi terpisah per halaman bernama AI Grounding Mulai 1 Februari 2027; pengaturan paling lambat 1 Maret 2027 Kelayakan untuk hasil pencarian Bing tidak berubah
Anthropic Penulis draf bekerja di sana Tidak ada tanggal di halaman bantuannya ClaudeBot tetap menjadi pengaturan resmi untuk pelatihan

Ada dua detail dalam pengumuman ini yang penting bagi setiap bisnis yang memiliki situs web. Pertama, Microsoft menyatakan bahwa setelah 1 Maret 2027 pihaknya tidak lagi membaca tag lama NoArchive dan NoCache sebagai preferensi AI; jika situs Anda bergantung pada tag tersebut, terbitkan preferensi baru sebelum tanggal itu. Pengaturan transisi untuk grounding dibuka di Bing Webmaster Tools pada 15 Desember 2026, hanya untuk situs yang sudah memakai tag tersebut, dan berakhir pada 30 September 2027. Kedua, draf ini menyatakan bahwa aturan umum yang ditulis untuk semua crawler, User-Agent: *, tidak dihitung sebagai preferensi pelatihan. Pemblokiran menyeluruh tidak berarti «tanpa pelatihan»; hanya token yang disebut namanya yang menyatakannya.

Pelatihan tidak sama dengan muncul dalam jawaban

Inilah perbedaan yang sering terlewat oleh kebanyakan pemilik situs. Pelatihan berarti konten Anda membantu membangun model di masa depan. Jawaban, yang oleh Microsoft disebut grounding, berarti asisten AI membaca halaman Anda pada saat pelanggan mengajukan pertanyaan, lalu mengutipnya dengan tautan. Token baru ini hanya mengatur pelatihan. OpenAI memisahkan keduanya: GPTBot untuk pelatihan, sedangkan OAI-SearchBot menentukan apakah situs Anda dapat muncul dalam jawaban pencarian ChatGPT. Microsoft melangkah lebih jauh dengan menambahkan preferensi grounding yang diatur per halaman, dengan tiga pilihan: Allow; DisallowExtended, yang membatasi penggunaan pada produk Microsoft sendiri seperti Copilot; dan Disallow. Microsoft memperingatkan bahwa membatasi grounding sangat mengurangi visibilitas Anda dalam jawaban AI, dan bahwa tidak ada pilihan yang menjamin penyertaan, trafik, atau pembayaran.

Google adalah pengecualian yang perlu diperhatikan. Pengaturan Google-Extended miliknya mencakup pelatihan model Gemini sekaligus grounding di aplikasi Gemini, dan Google menyatakan bahwa situs yang secara eksplisit mengizinkan Google-Extended dapat muncul dalam jawaban aplikasi Gemini dan menerima klik. Jadi, jika Anda menolak melalui token bersama, Google akan memperlakukannya sebagai larangan Google-Extended. Anda tetap ada di Google Penelusuran, karena Google-Extended tidak memengaruhi penyertaan maupun peringkat di sana, tetapi Anda melepaskan grounding di aplikasi Gemini. Jika Anda menginginkan visibilitas itu, atur Google-Extended secara eksplisit. Untuk mengetahui cara jawaban AI memilih sumbernya, baca cara agar perusahaan Anda muncul di ChatGPT.

Haruskah perusahaan Anda menolak?

Tidak ada satu jawaban yang benar; semuanya bergantung pada isi situs Anda. Menolak masuk akal jika konten itu sendiri adalah produknya: kursus berbayar, riset orisinal, daftar harga terperinci, atau ribuan deskripsi produk yang ditulis tim Anda. Mengizinkan tidak banyak ruginya jika situs Anda memperkenalkan layanan Anda dan Anda ingin nama perusahaan Anda dikenal luas. Dalam kedua kasus, tetap izinkan crawler pencarian dan jawaban, karena merekalah yang mendatangkan pelanggan.

Lima langkah untuk minggu ini

  1. Baca berkas Anda saat ini. Buka domainanda.com/robots.txt di peramban. Cari User-agent: * yang terlupakan bersama Disallow: /, atau aturan yang memblokir OAI-SearchBot, Googlebot, atau Bingbot.
  2. Putuskan dua hal secara terpisah. Pelatihan: ya atau tidak. Jawaban: ya atau tidak. Tuliskan keputusan itu agar pengembang berikutnya tidak membatalkannya.
  3. Tambahkan token bersama dan pertahankan aturan yang ada. Belum satu pun dari ketiga perusahaan itu yang mematuhi token ini, jadi pertahankan aturan GPTBot, ClaudeBot, dan Google-Extended di sampingnya sampai masing-masing mematuhinya. Halaman bantuan Anthropic masih mencantumkan ClaudeBot sebagai cara untuk menolak.
  4. Periksa tag Bing Anda. Jika halaman Anda menggunakan NoArchive atau NoCache, rencanakan peralihan ke preferensi baru sebelum 1 Maret 2027.
  5. Tempatkan semua yang bersifat privat di balik login. robots.txt adalah sinyal publik dan sukarela: draf ini membolehkan perjanjian pribadi mengesampingkannya, dan sebuah preferensi berlaku untuk apa yang diambil setelah Anda menerbitkannya, bukan untuk apa yang sudah dikumpulkan sebelumnya.

Pandangan Origami

Selama bertahun-tahun, robots.txt adalah berkas yang tidak diingat siapa pun di perusahaan, ditulis sekali oleh orang yang membangun situs. Hal itu kini berubah: berkas ini sekarang menentukan apakah konten Anda melatih model AI, apakah halaman Anda muncul dalam jawaban AI, dan sebentar lagi bagaimana Microsoft memperlakukan setiap halaman. Satu nama bersama adalah kemajuan nyata dibandingkan daftar crawler yang terus bertambah setiap bulan, tetapi tidak menggantikan sebuah keputusan. Yang sering kami lihat adalah situs yang tidak seorang pun tahu siapa yang terakhir mengubah robots.txt, atau jaringan pengiriman konten yang memblokir crawler yang justru ingin disambut pemiliknya. Di Origami, kami membangun situs web, platform, dan sistem khusus, dan kami memperlakukan pengaturan ini sebagai bagian dari pengembangan, tertulis dan ditinjau. Jika Anda ingin robots.txt, aturan CDN, dan visibilitas Anda di AI ditinjau bersama, hubungi kami.

Sumber