Yapay zekâ şirketlerinin modellerini web sitenizin içeriğiyle eğitmesini istemiyorsanız, sitenizin robots.txt dosyasına iki satır ekleyin: User-Agent: __usage_ai-training ve altına Disallow: /. 30 Ekim 2026'da OpenAI, Google ve Microsoft bu ortak sinyale uyacaklarını açıkladı: Microsoft 1 Şubat 2027'de başlıyor, Google 2027'yi hedefliyor, OpenAI ise önümüzdeki aylarda uygulayacağını söylüyor. Sinyal yalnızca eğitimi kapsadığı için sitenizi Google veya Bing arama sonuçlarından çıkarmaz. Her şirket sinyali devreye alana kadar o şirketin mevcut ayarlarını yerinde tutun. Meta'nın botlarına sitenizi taramaya izin veren yeni şartları hakkındaki yazımızı okuduysanız, sıradaki adım budur.

Tam olarak ne açıklandı?

Şimdiye kadar içeriğini model eğitiminin dışında tutmak isteyen bir site sahibi, her şirketin tarayıcısını adıyla bilmek ve her biri için ayrı bir kural yazmak zorundaydı: OpenAI için GPTBot, Anthropic için ClaudeBot, Google için Google-Extended ve her yeni şirketle birlikte yeni bir ad. Yeni sinyal bu listeyi tek bir ortak adla değiştiriyor. Sinyal, internetin teknik standartlarının çoğunu belirleyen kuruluş olan Internet Engineering Task Force'a (IETF) sunulan bir taslaktan (Internet-Draft) geliyor ve IETF'nin Yapay Zekâ Tercihleri çalışma grubunda Anthropic'ten Kevin Kelley tarafından yazıldı. Taslak 30 Ekim 2026 tarihli, 3 Mayıs 2027'de geçerliliğini yitiriyor ve standartlar yolu için hazırlandı; yani henüz tamamlanmış bir standart değil, bir öneri.

Fikir bilinçli olarak basit tutuldu. Taslak robots.txt dosyasına yeni komutlar eklemiyor. User-Agent satırında politika belirteci (policy token) denen özel bir ad taşıyan sıradan bir grup kullanıyor; alışılmış Allow ve Disallow kuralları da sitenin hangi bölümlerinin kullanılıp kullanılamayacağını belirliyor. Örneğin eğitimi tüm sitede reddedip basın bölümünüzde izin verebilirsiniz:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Taslak, yapay zekâ eğitimini içeriğin üretken bir yapay zekâ modelinin öğrenilmiş parametrelerini değiştirmek için kullanılması olarak tanımlıyor; yani metin, görsel veya başka içerik üreten bir model. Yalnızca sınıflandırma, sıralama veya puanlama için kullanılan modeller kapsam dışında.

Sinyale kim uyacak, ne zaman?

Şirket Ne açıkladı Ne zaman Ayrı kalan
OpenAI Ortak sinyale uyacak; mevcut ayarları geçerli kalıyor «Önümüzdeki aylarda» Eğitim için GPTBot, ChatGPT arama yanıtları için OAI-SearchBot
Google Belirteçle yapılan reddi, Google-Extended açıkça ayarlanmadıysa Google-Extended engeli olarak okuyacak 2027'yi hedefliyor Google Arama için Googlebot; Gemini eğitimi ve grounding için Google-Extended
Microsoft Belirtece uyacak ve sayfa düzeyinde AI Grounding adlı ayrı bir tercih ekleyecek 1 Şubat 2027'den itibaren; ayarlar 1 Mart 2027'ye kadar Bing arama sonuçlarına uygunluk değişmiyor
Anthropic Taslağın yazarı orada çalışıyor Yardım sayfasında tarih yok Eğitim için belgelenmiş ayarı hâlâ ClaudeBot

Açıklamalardaki iki ayrıntı, web sitesi olan her işletme için önemli. Birincisi, Microsoft 1 Mart 2027'den sonra eski NoArchive ve NoCache etiketlerini yapay zekâ tercihi olarak okumayacağını söylüyor; siteniz bunlara dayanıyorsa yeni tercihleri bu tarihten önce yayımlayın. Grounding için geçiş ayarları Bing Webmaster Tools'ta 15 Aralık 2026'da, yalnızca bu etiketleri zaten kullanan siteler için açılıyor ve 30 Eylül 2027'de sona eriyor. İkincisi, taslağa göre tüm tarayıcılar için yazılmış genel bir kural, yani User-Agent: *, eğitim tercihi sayılmıyor. Toplu bir engel «eğitim yok» demiyor; bunu yalnızca adı konmuş belirteç söylüyor.

Eğitim, yanıtlarda görünmekle aynı şey değil

Site sahiplerinin çoğunun gözden kaçırdığı ayrım bu. Eğitim, içeriğinizin gelecekteki bir modelin inşasına katkı vermesi demek. Microsoft'un grounding dediği yanıtlar ise bir yapay zekâ asistanının, müşteri soru sorduğu anda sayfanızı okuması ve bağlantıyla alıntılaması demek. Yeni belirteç yalnızca eğitimle ilgili. OpenAI ikisini ayrı tutuyor: GPTBot eğitimi kapsıyor, OAI-SearchBot ise sitenizin ChatGPT arama yanıtlarında görünüp görünemeyeceğine karar veriyor. Microsoft daha da ileri giderek sayfa sayfa ayarlanan bir grounding tercihi ekliyor ve üç seçenek sunuyor: Allow; kullanımı Copilot gibi Microsoft'un kendi ürünleriyle sınırlayan DisallowExtended; ve Disallow. Microsoft, grounding'i kısıtlamanın yapay zekâ yanıtlarındaki görünürlüğünüzü ciddi biçimde azalttığı ve iki seçenekten hiçbirinin yer alma, trafik veya ödeme garantisi vermediği konusunda uyarıyor.

Dikkat edilmesi gereken istisna Google. Google-Extended ayarı hem Gemini modellerinin eğitimini hem de Gemini uygulamalarındaki grounding'i kapsıyor ve Google'a göre Google-Extended'a açıkça izin veren siteler Gemini uygulamalarının yanıtlarında görünebiliyor ve tıklama alabiliyor. Dolayısıyla ortak belirteçle reddederseniz Google bunu Google-Extended engeli olarak değerlendirecek. Google Arama'da kalırsınız, çünkü Google-Extended orada yer almayı da sıralamayı da etkilemiyor; ancak Gemini uygulamalarındaki grounding'den vazgeçmiş olursunuz. Bu görünürlüğü istiyorsanız Google-Extended'ı açıkça ayarlayın. Yapay zekâ yanıtlarının kaynaklarını nasıl seçtiğini görmek için şirketinizin ChatGPT'de nasıl görüneceğini anlatan yazımıza bakın.

Şirketiniz reddetmeli mi?

Tek bir doğru yanıt yok; sitenizin ne barındırdığına bağlı. İçeriğin kendisi ürünse reddetmek mantıklı: ücretli kurslar, özgün araştırmalar, ayrıntılı fiyat listeleri veya ekibinizin yazdığı binlerce ürün açıklaması. Site hizmetlerinizi tanıtıyorsa ve şirket adınızın yaygın biçimde bilinmesini istiyorsanız izin vermenin maliyeti düşük. Her iki durumda da arama ve yanıt tarayıcılarına izin vermeye devam edin, çünkü müşteriyi getiren onlar.

Bu hafta için beş adım

  1. Mevcut dosyanızı okuyun. Tarayıcıda alanadiniz.com/robots.txt adresini açın. Unutulmuş bir User-agent: * ile Disallow: / satırını ya da OAI-SearchBot, Googlebot veya Bingbot'u engelleyen bir kuralı arayın.
  2. İki konuda ayrı ayrı karar verin. Eğitim: evet mi hayır mı? Yanıtlar: evet mi hayır mı? Bir sonraki geliştirici geri almasın diye kararı yazılı hâle getirin.
  3. Ortak belirteci ekleyin ve mevcut kuralları koruyun. Üç şirketin hiçbiri belirtece henüz uymuyor; bu yüzden her biri uymaya başlayana kadar GPTBot, ClaudeBot ve Google-Extended kurallarınızı belirtecin yanında tutun. Anthropic'in yardım sayfası reddetmenin yolu olarak hâlâ ClaudeBot'u gösteriyor.
  4. Bing etiketlerinizi kontrol edin. Sayfalarınız NoArchive veya NoCache kullanıyorsa yeni tercihlere geçişi 1 Mart 2027'den önce planlayın.
  5. Gizli olan her şeyi oturum açma ekranının arkasına koyun. robots.txt herkese açık ve gönüllü bir sinyaldir: taslak, özel anlaşmaların onu geçersiz kılmasına izin veriyor ve bir tercih, yayımlandıktan sonra çekilen içeriğe uygulanıyor, daha önce toplanana değil.

Origami'nin görüşü

Yıllarca robots.txt, şirkette kimsenin hatırlamadığı, siteyi kuran kişinin bir kez yazdığı bir dosyaydı. Bu değişiyor: dosya artık içeriğinizin yapay zekâ modellerini eğitip eğitmeyeceğine, sayfalarınızın yapay zekâ yanıtlarında görünüp görünmeyeceğine ve yakında Microsoft'un her sayfaya nasıl davranacağına karar veriyor. Ortak bir ad, her ay uzayan bir tarayıcı listesine göre gerçek bir ilerleme; ama bir kararın yerini tutmuyor. Sık gördüğümüz durum, robots.txt dosyasını en son kimin düzenlediğini kimsenin bilmediği bir site ya da site sahibinin karşılamak istediği tarayıcıları engelleyen bir içerik dağıtım ağı. Origami olarak web siteleri, platformlar ve özel sistemler geliştiriyoruz ve bu ayarları projenin parçası olarak ele alıyor, yazılı hâle getirip gözden geçiriyoruz. robots.txt dosyanızı, CDN kurallarınızı ve yapay zekâdaki görünürlüğünüzü birlikte gözden geçirmek isterseniz bizimle iletişime geçin.

Kaynaklar