सिर्फ़ दो लाइनों से अपनी वेबसाइट के कंटेंट पर AI ट्रेनिंग रोकें, सर्च रिज़ल्ट से बाहर हुए बिना

अगर आप नहीं चाहते कि AI कंपनियाँ आपकी वेबसाइट के कंटेंट पर अपने मॉडल ट्रेन करें, तो अपनी साइट की robots.txt फ़ाइल में दो लाइनें जोड़ें: User-Agent: __usage_ai-training और उसके नीचे Disallow: /। 30 अक्टूबर 2026 को OpenAI, Google और Microsoft ने घोषणा की कि वे इस साझा सिग्नल का पालन करेंगे: Microsoft 1 फ़रवरी 2027 से शुरू करेगा, Google का लक्ष्य 2027 है, और OpenAI कहता है कि वह इसे आने वाले महीनों में लागू करेगा। यह सिग्नल सिर्फ़ ट्रेनिंग पर लागू होता है, इसलिए यह आपकी साइट को Google या Bing के सर्च रिज़ल्ट से नहीं हटाता। जब तक हर कंपनी इसे चालू नहीं करती, तब तक उसकी मौजूदा सेटिंग्स बनाए रखें। अगर आपने Meta की नई शर्तों पर हमारा लेख पढ़ा है, जो उसके बॉट्स को आपकी वेबसाइट क्रॉल करने देती हैं, तो यह अगला कदम है।

असल में क्या घोषणा हुई?

अब तक जो वेबसाइट मालिक अपने कंटेंट को मॉडल ट्रेनिंग से दूर रखना चाहता था, उसे हर कंपनी के क्रॉलर का नाम जानना पड़ता था और हर एक के लिए अलग नियम लिखना पड़ता था: OpenAI के लिए GPTBot, Anthropic के लिए ClaudeBot, Google के लिए Google-Extended, और हर नई कंपनी के साथ एक नया नाम। नया सिग्नल इस सूची की जगह एक ही साझा नाम रखता है। यह इंटरनेट इंजीनियरिंग टास्क फ़ोर्स (IETF) में जमा किए गए एक इंटरनेट-ड्राफ़्ट (Internet-Draft) से आया है, जो इंटरनेट के कई तकनीकी मानक तय करने वाली संस्था है, और इसे Anthropic के Kevin Kelley ने IETF के AI प्राथमिकता कार्य समूह में लिखा है। ड्राफ़्ट पर 30 अक्टूबर 2026 की तारीख है, यह 3 मई 2027 को समाप्त होता है और इसे मानक बनने की प्रक्रिया के लिए तैयार किया गया है, यानी यह अभी एक प्रस्ताव है, पूरा मानक नहीं।

विचार जानबूझकर सरल रखा गया है। ड्राफ़्ट robots.txt में कोई नया कमांड नहीं जोड़ता। यह एक सामान्य समूह का इस्तेमाल करता है जिसकी User-Agent लाइन में एक खास नाम होता है, जिसे पॉलिसी टोकन (policy token) कहा जाता है, और फिर सामान्य Allow और Disallow नियम बताते हैं कि साइट के कौन से हिस्से इस्तेमाल किए जा सकते हैं और कौन से नहीं। उदाहरण के लिए, आप पूरी साइट पर ट्रेनिंग से मना कर सकते हैं, लेकिन अपने प्रेस किट वाले हिस्से पर इसकी अनुमति दे सकते हैं:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

ड्राफ़्ट AI ट्रेनिंग को इस तरह परिभाषित करता है: किसी जनरेटिव AI मॉडल के सीखे हुए पैरामीटर बदलने के लिए कंटेंट का इस्तेमाल, यानी ऐसा मॉडल जो टेक्स्ट, इमेज या दूसरा कंटेंट बनाता है। जो मॉडल सिर्फ़ वर्गीकरण, क्रम तय करने या स्कोर देने के लिए इस्तेमाल होते हैं, वे इसमें शामिल नहीं हैं।

इसका पालन कौन करेगा, और कब?

घोषणाओं की दो बातें हर उस कारोबार के लिए अहम हैं जिसकी वेबसाइट है। पहली, Microsoft का कहना है कि 1 मार्च 2027 के बाद वह पुराने NoArchive और NoCache टैग को AI प्राथमिकताओं के रूप में पढ़ना बंद कर देगा; अगर आपकी साइट इन पर निर्भर है, तो उस तारीख से पहले नई प्राथमिकताएँ प्रकाशित करें। grounding के लिए ट्रांज़िशन सेटिंग्स 15 दिसंबर 2026 को Bing Webmaster Tools में खुलेंगी, सिर्फ़ उन साइटों के लिए जो पहले से ये टैग इस्तेमाल करती हैं, और 30 सितंबर 2027 को खत्म हो जाएँगी। दूसरी, ड्राफ़्ट कहता है कि सभी क्रॉलरों के लिए लिखा गया सामान्य नियम, User-Agent: *, ट्रेनिंग की प्राथमिकता नहीं गिना जाता। एक व्यापक रोक «ट्रेनिंग नहीं» नहीं कहती; यह सिर्फ़ नाम वाला टोकन कहता है।

ट्रेनिंग और जवाबों में दिखना एक बात नहीं है

यही वह फ़र्क है जिसे ज़्यादातर वेबसाइट मालिक नहीं देख पाते। ट्रेनिंग का मतलब है कि आपका कंटेंट भविष्य का मॉडल बनाने में मदद करता है। जवाब, जिन्हें Microsoft grounding कहता है, का मतलब है कि जब कोई ग्राहक सवाल पूछता है, उसी पल कोई AI असिस्टेंट आपका पेज पढ़ता है और लिंक के साथ उसका हवाला देता है। नया टोकन सिर्फ़ ट्रेनिंग से जुड़ा है। OpenAI दोनों को अलग रखता है: GPTBot ट्रेनिंग के लिए है, जबकि OAI-SearchBot तय करता है कि आपकी साइट ChatGPT के सर्च जवाबों में दिख सकती है या नहीं। Microsoft इससे आगे जाकर पेज-दर-पेज सेट होने वाली grounding प्राथमिकता जोड़ता है, जिसमें तीन विकल्प हैं: Allow; DisallowExtended, जो इस्तेमाल को Copilot जैसे Microsoft के अपने उत्पादों तक सीमित करता है; और Disallow। Microsoft चेतावनी देता है कि grounding पर रोक लगाने से AI जवाबों में आपकी दृश्यता काफ़ी घट जाती है, और कोई भी विकल्प शामिल होने, ट्रैफ़िक या भुगतान की गारंटी नहीं देता।

Google वह अपवाद है जिस पर नज़र रखनी चाहिए। उसका Google-Extended नियंत्रण Gemini मॉडलों की ट्रेनिंग और Gemini ऐप्स में grounding, दोनों को कवर करता है, और Google कहता है कि जो साइटें Google-Extended को स्पष्ट रूप से अनुमति देती हैं, वे Gemini ऐप्स के जवाबों में दिख सकती हैं और क्लिक पा सकती हैं। इसलिए अगर आप साझा टोकन से ऑप्ट-आउट करते हैं, तो Google इसे Google-Extended पर रोक मानेगा। आप Google सर्च में बने रहेंगे, क्योंकि Google-Extended वहाँ शामिल होने या रैंकिंग पर असर नहीं डालता, लेकिन Gemini ऐप्स में grounding छोड़ देंगे। अगर आपको यह दृश्यता चाहिए, तो Google-Extended को स्पष्ट रूप से सेट करें। AI जवाब अपने स्रोत कैसे चुनते हैं, यह जानने के लिए पढ़ें अपनी कंपनी को ChatGPT में कैसे दिखाएँ।

क्या आपकी कंपनी को ऑप्ट-आउट करना चाहिए?

इसका कोई एक सही जवाब नहीं है; यह इस पर निर्भर करता है कि आपकी वेबसाइट पर क्या है। अगर कंटेंट ही उत्पाद है, जैसे पेड कोर्स, मौलिक शोध, विस्तृत प्राइस लिस्ट या आपकी टीम के लिखे हज़ारों प्रोडक्ट विवरण, तो ऑप्ट-आउट करना समझदारी है। अगर साइट आपकी सेवाओं का परिचय देती है और आप चाहते हैं कि आपकी कंपनी का नाम दूर-दूर तक जाना जाए, तो अनुमति देने की कीमत कम है। दोनों ही स्थितियों में सर्च और जवाब देने वाले क्रॉलरों को अनुमति देते रहें, क्योंकि वही ग्राहक लाते हैं।

इस हफ़्ते के लिए पाँच कदम

1. अपनी मौजूदा फ़ाइल पढ़ें। ब्राउज़र में आपकाडोमेन.com/robots.txt खोलें। देखें कि कहीं कोई भूला हुआ User-agent: * और साथ में Disallow: / तो नहीं है, या कोई ऐसा नियम जो OAI-SearchBot, Googlebot या Bingbot को रोकता हो।
2. दो फ़ैसले अलग-अलग लें। ट्रेनिंग: हाँ या नहीं। जवाब: हाँ या नहीं। फ़ैसले को लिखकर रखें ताकि अगला डेवलपर उसे पलट न दे।
3. साझा टोकन जोड़ें और मौजूदा नियम बनाए रखें। तीनों में से कोई भी कंपनी अभी टोकन का पालन नहीं करती, इसलिए जब तक हर कंपनी ऐसा न करने लगे, उसके साथ अपने GPTBot, ClaudeBot और Google-Extended नियम बनाए रखें। Anthropic का सहायता पेज अब भी ऑप्ट-आउट के तरीके के रूप में ClaudeBot बताता है।
4. अपने Bing टैग जाँचें। अगर आपके पेज NoArchive या NoCache इस्तेमाल करते हैं, तो 1 मार्च 2027 से पहले नई प्राथमिकताओं पर जाने की योजना बनाएँ।
5. हर निजी चीज़ को लॉग-इन के पीछे रखें। robots.txt एक सार्वजनिक और स्वैच्छिक सिग्नल है: ड्राफ़्ट निजी समझौतों को इसे दरकिनार करने देता है, और कोई प्राथमिकता उसी पर लागू होती है जो उसे प्रकाशित करने के बाद लिया गया, उस पर नहीं जो पहले इकट्ठा हो चुका है।

Origami की राय

सालों तक robots.txt एक ऐसी फ़ाइल रही जिसे कंपनी में कोई याद नहीं रखता था, जिसे वेबसाइट बनाने वाले ने एक बार लिख दिया था। अब यह बदल रहा है: यह फ़ाइल अब तय करती है कि आपका कंटेंट AI मॉडलों को ट्रेन करेगा या नहीं, आपके पेज AI जवाबों में दिखेंगे या नहीं, और जल्द ही यह भी कि Microsoft हर पेज के साथ कैसा व्यवहार करेगा। हर महीने लंबी होती क्रॉलरों की सूची की तुलना में एक साझा नाम सचमुच प्रगति है, लेकिन यह फ़ैसले की जगह नहीं ले सकता। हम अक्सर ऐसी वेबसाइट देखते हैं जहाँ किसी को नहीं पता कि robots.txt आखिरी बार किसने बदली, या ऐसा कंटेंट डिलीवरी नेटवर्क जो उन क्रॉलरों को रोक रहा है जिनका मालिक स्वागत करना चाहता था। Origami में हम वेबसाइटें, प्लेटफ़ॉर्म और कस्टम सिस्टम बनाते हैं, और इन सेटिंग्स को प्रोजेक्ट का हिस्सा मानते हैं, लिखित और जाँची हुई। अगर आप अपनी robots.txt, CDN नियमों और AI में अपनी दृश्यता की एक साथ समीक्षा करवाना चाहते हैं, तो हमसे संपर्क करें।

स्रोत

• OpenAI: वेबसाइटों के लिए AI ट्रेनिंग से जुड़ी प्राथमिकताएँ बताना आसान बनाना, 30 अक्टूबर 2026
• Google Search Central ब्लॉग: वेबसाइटों के लिए साझा AI ट्रेनिंग नियंत्रण का समर्थन, 30 अक्टूबर 2026
• Microsoft Bing ब्लॉग: ट्रेनिंग और grounding के लिए ज़्यादा स्पष्ट प्राथमिकताएँ, 30 अक्टूबर 2026
• IETF: ड्राफ़्ट draft-kelley-aipref-training-preference-signal-00
• Google for Developers: Google के सामान्य क्रॉलर, Google-Extended वाला हिस्सा
• OpenAI: OpenAI क्रॉलरों का परिचय
• Anthropic सहायता केंद्र: क्या Anthropic वेब से डेटा क्रॉल करता है, और साइट मालिक उसके क्रॉलर को कैसे रोकें?