اگر آپ نہیں چاہتے کہ AI کمپنیاں آپ کی ویب سائٹ کے مواد پر اپنے ماڈلز کی تربیت کریں، تو اپنی سائٹ کی robots.txt فائل میں دو لائنیں شامل کریں: User-Agent: __usage_ai-training اور اس کے نیچے Disallow: /۔ 30 اکتوبر 2026 کو OpenAI، Google اور Microsoft نے اعلان کیا کہ وہ اس مشترکہ سگنل کی پابندی کریں گی: Microsoft 1 فروری 2027 سے آغاز کرے گی، Google کا ہدف 2027 ہے، اور OpenAI کہتی ہے کہ وہ اسے آنے والے مہینوں میں نافذ کرے گی۔ یہ سگنل صرف تربیت سے متعلق ہے، اس لیے یہ آپ کی سائٹ کو Google یا Bing کے سرچ نتائج سے نہیں ہٹاتا۔ جب تک ہر کمپنی اسے فعال نہ کر دے، اس کی موجودہ سیٹنگز برقرار رکھیں۔ اگر آپ نے Meta کی نئی شرائط پر ہمارا مضمون پڑھا ہے جو اس کے بوٹس کو آپ کی ویب سائٹ کرال کرنے کی اجازت دیتی ہیں، تو یہ اگلا قدم ہے۔

دراصل کس چیز کا اعلان ہوا؟

اب تک جو ویب سائٹ مالک اپنے مواد کو ماڈل کی تربیت سے دور رکھنا چاہتا تھا، اسے ہر کمپنی کے کرالر کا نام جاننا پڑتا تھا اور ہر ایک کے لیے الگ قاعدہ لکھنا پڑتا تھا: OpenAI کے لیے GPTBot، Anthropic کے لیے ClaudeBot، Google کے لیے Google-Extended، اور ہر نئی کمپنی کے ساتھ ایک نیا نام۔ نیا سگنل اس فہرست کی جگہ ایک ہی مشترکہ نام رکھتا ہے۔ یہ انٹرنیٹ انجینئرنگ ٹاسک فورس (IETF) میں پیش کیے گئے ایک انٹرنیٹ ڈرافٹ (Internet-Draft) سے آیا ہے، جو انٹرنیٹ کے بہت سے تکنیکی معیارات طے کرنے والا ادارہ ہے، اور اسے Anthropic کے Kevin Kelley نے IETF کے AI ترجیحات ورکنگ گروپ میں لکھا ہے۔ مسودے پر 30 اکتوبر 2026 کی تاریخ ہے، یہ 3 مئی 2027 کو ختم ہو جاتا ہے اور اسے معیارات کے راستے کے لیے تیار کیا گیا ہے، یعنی یہ ابھی ایک تجویز ہے، مکمل معیار نہیں۔

خیال جان بوجھ کر سادہ رکھا گیا ہے۔ مسودہ robots.txt میں کوئی نیا کمانڈ شامل نہیں کرتا۔ یہ ایک عام گروپ استعمال کرتا ہے جس کی User-Agent لائن میں ایک خاص نام ہوتا ہے، جسے پالیسی ٹوکن (policy token) کہا جاتا ہے، اور پھر معمول کے Allow اور Disallow قواعد بتاتے ہیں کہ سائٹ کے کون سے حصے استعمال کیے جا سکتے ہیں اور کون سے نہیں۔ مثال کے طور پر آپ پوری سائٹ پر تربیت سے انکار کر سکتے ہیں لیکن اپنے پریس کٹ والے حصے پر اس کی اجازت دے سکتے ہیں:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

مسودہ AI کی تربیت کی تعریف یوں کرتا ہے: کسی جنریٹو AI ماڈل کے سیکھے ہوئے پیرامیٹرز کو بدلنے کے لیے مواد کا استعمال، یعنی ایسا ماڈل جو تحریر، تصاویر یا کوئی اور مواد تیار کرتا ہے۔ جو ماڈل صرف درجہ بندی، ترتیب یا اسکور دینے کے لیے استعمال ہوتے ہیں، وہ اس میں شامل نہیں۔

اس کی پابندی کون کرے گا، اور کب؟

کمپنی کیا اعلان کیا کب کیا الگ رہتا ہے
OpenAI مشترکہ سگنل کی پابندی کرے گی؛ موجودہ کنٹرول برقرار رہیں گے «آنے والے مہینوں میں» تربیت کے لیے GPTBot، ChatGPT کے سرچ جوابات کے لیے OAI-SearchBot
Google ٹوکن کے ذریعے انکار کو Google-Extended پر پابندی سمجھے گا، جب تک Google-Extended واضح طور پر سیٹ نہ ہو ہدف 2027 Google سرچ کے لیے Googlebot؛ Gemini کی تربیت اور grounding کے لیے Google-Extended
Microsoft ٹوکن کی پابندی کرے گی اور ہر صفحے کی سطح پر AI Grounding نام کی ایک الگ ترجیح شامل کرے گی 1 فروری 2027 سے؛ سیٹنگز 1 مارچ 2027 تک Bing کے سرچ نتائج میں آنے کی اہلیت نہیں بدلتی
Anthropic مسودے کے مصنف وہیں کام کرتے ہیں اس کے مدد کے صفحے پر کوئی تاریخ نہیں تربیت کے لیے اس کا دستاویزی کنٹرول اب بھی ClaudeBot ہے

اعلانات کی دو تفصیلات ہر اس کاروبار کے لیے اہم ہیں جس کی ویب سائٹ ہے۔ پہلی یہ کہ Microsoft کا کہنا ہے کہ 1 مارچ 2027 کے بعد وہ پرانے NoArchive اور NoCache ٹیگز کو AI ترجیحات کے طور پر پڑھنا بند کر دے گی؛ اگر آپ کی سائٹ ان پر انحصار کرتی ہے تو اس تاریخ سے پہلے نئی ترجیحات شائع کریں۔ grounding کے لیے منتقلی کی سیٹنگز 15 دسمبر 2026 کو Bing Webmaster Tools میں کھلیں گی، صرف ان سائٹس کے لیے جو پہلے سے یہ ٹیگز استعمال کرتی ہیں، اور 30 ستمبر 2027 کو ختم ہو جائیں گی۔ دوسری یہ کہ مسودے کے مطابق تمام کرالرز کے لیے لکھا گیا عمومی قاعدہ، User-Agent: *، تربیت کی ترجیح شمار نہیں ہوتا۔ ایک عمومی پابندی «تربیت نہیں» نہیں کہتی؛ یہ بات صرف نام والا ٹوکن کہتا ہے۔

تربیت اور جوابات میں نظر آنا ایک بات نہیں

یہی وہ فرق ہے جو زیادہ تر ویب سائٹ مالکان کی نظر سے رہ جاتا ہے۔ تربیت کا مطلب ہے کہ آپ کا مواد مستقبل کا ماڈل بنانے میں مدد دیتا ہے۔ جوابات، جنہیں Microsoft grounding کہتی ہے، کا مطلب ہے کہ جب کوئی گاہک سوال پوچھتا ہے تو اسی لمحے کوئی AI اسسٹنٹ آپ کا صفحہ پڑھتا ہے اور لنک کے ساتھ اس کا حوالہ دیتا ہے۔ نیا ٹوکن صرف تربیت سے متعلق ہے۔ OpenAI دونوں کو الگ رکھتی ہے: GPTBot تربیت کے لیے ہے، جبکہ OAI-SearchBot طے کرتا ہے کہ آپ کی سائٹ ChatGPT کے سرچ جوابات میں نظر آ سکتی ہے یا نہیں۔ Microsoft اس سے آگے بڑھ کر ہر صفحے کے لیے الگ سیٹ ہونے والی grounding ترجیح شامل کرتی ہے، جس کے تین اختیارات ہیں: Allow؛ DisallowExtended، جو استعمال کو Copilot جیسی Microsoft کی اپنی مصنوعات تک محدود کرتا ہے؛ اور Disallow۔ Microsoft خبردار کرتی ہے کہ grounding پر پابندی لگانے سے AI جوابات میں آپ کی نمائش بہت کم ہو جاتی ہے، اور کوئی بھی انتخاب شمولیت، ٹریفک یا ادائیگی کی ضمانت نہیں دیتا۔

Google وہ استثنا ہے جس پر نظر رکھنی چاہیے۔ اس کا Google-Extended کنٹرول Gemini ماڈلز کی تربیت اور Gemini ایپس میں grounding دونوں کا احاطہ کرتا ہے، اور Google کہتا ہے کہ جو سائٹس Google-Extended کی واضح اجازت دیتی ہیں وہ Gemini ایپس کے جوابات میں نظر آ سکتی ہیں اور کلکس حاصل کر سکتی ہیں۔ اس لیے اگر آپ مشترکہ ٹوکن کے ذریعے انکار کرتے ہیں تو Google اسے Google-Extended پر پابندی سمجھے گا۔ آپ Google سرچ میں رہیں گے، کیونکہ Google-Extended وہاں شمولیت یا رینکنگ پر اثر نہیں ڈالتا، لیکن آپ Gemini ایپس میں grounding سے دستبردار ہو جائیں گے۔ اگر آپ کو یہ نمائش چاہیے تو Google-Extended کو واضح طور پر سیٹ کریں۔ AI جوابات اپنے ذرائع کیسے چنتے ہیں، یہ جاننے کے لیے پڑھیں اپنی کمپنی کو ChatGPT میں کیسے نمایاں کریں۔

کیا آپ کی کمپنی کو انکار کرنا چاہیے؟

اس کا کوئی ایک درست جواب نہیں؛ یہ اس پر منحصر ہے کہ آپ کی ویب سائٹ پر کیا ہے۔ اگر مواد خود ہی پروڈکٹ ہے، جیسے بامعاوضہ کورسز، اصل تحقیق، تفصیلی قیمتوں کی فہرستیں یا آپ کی ٹیم کی لکھی ہوئی ہزاروں پروڈکٹ تفصیلات، تو انکار کرنا معقول ہے۔ اگر سائٹ آپ کی خدمات کا تعارف کراتی ہے اور آپ چاہتے ہیں کہ آپ کی کمپنی کا نام دور دور تک جانا جائے، تو اجازت دینے کی قیمت کم ہے۔ دونوں صورتوں میں سرچ اور جوابات والے کرالرز کو اجازت دیتے رہیں، کیونکہ وہی گاہک لاتے ہیں۔

اس ہفتے کے لیے پانچ اقدامات

  1. اپنی موجودہ فائل پڑھیں۔ براؤزر میں آپکاڈومین.com/robots.txt کھولیں۔ دیکھیں کہیں کوئی بھولا ہوا User-agent: * اور ساتھ Disallow: / تو نہیں، یا کوئی ایسا قاعدہ جو OAI-SearchBot، Googlebot یا Bingbot کو روکتا ہو۔
  2. دو فیصلے الگ الگ کریں۔ تربیت: ہاں یا نہیں۔ جوابات: ہاں یا نہیں۔ فیصلہ لکھ کر رکھیں تاکہ اگلا ڈویلپر اسے تبدیل نہ کر دے۔
  3. مشترکہ ٹوکن شامل کریں اور موجودہ قواعد برقرار رکھیں۔ تینوں میں سے کوئی بھی کمپنی ابھی ٹوکن کی پابندی نہیں کرتی، اس لیے جب تک ہر کمپنی ایسا نہ کرنے لگے، اس کے ساتھ اپنے GPTBot، ClaudeBot اور Google-Extended قواعد برقرار رکھیں۔ Anthropic کا مدد کا صفحہ اب بھی انکار کے طریقے کے طور پر ClaudeBot ہی بتاتا ہے۔
  4. اپنے Bing ٹیگز چیک کریں۔ اگر آپ کے صفحات NoArchive یا NoCache استعمال کرتے ہیں تو 1 مارچ 2027 سے پہلے نئی ترجیحات پر منتقل ہونے کا منصوبہ بنائیں۔
  5. ہر نجی چیز کو لاگ اِن کے پیچھے رکھیں۔ robots.txt ایک عوامی اور رضاکارانہ سگنل ہے: مسودہ نجی معاہدوں کو اس پر فوقیت دینے دیتا ہے، اور کوئی ترجیح اسی پر لاگو ہوتی ہے جو اسے شائع کرنے کے بعد حاصل کیا جائے، اس پر نہیں جو پہلے جمع ہو چکا ہے۔

Origami کی رائے

برسوں تک robots.txt ایک ایسی فائل رہی جسے کمپنی میں کوئی یاد نہیں رکھتا تھا، جسے ویب سائٹ بنانے والے نے ایک بار لکھ دیا تھا۔ اب یہ بدل رہا ہے: یہ فائل اب طے کرتی ہے کہ آپ کا مواد AI ماڈلز کی تربیت کرے گا یا نہیں، آپ کے صفحات AI جوابات میں نظر آئیں گے یا نہیں، اور جلد ہی یہ بھی کہ Microsoft ہر صفحے کے ساتھ کیا سلوک کرے گی۔ ہر مہینے لمبی ہوتی کرالرز کی فہرست کے مقابلے میں ایک مشترکہ نام حقیقی پیش رفت ہے، لیکن یہ فیصلے کی جگہ نہیں لے سکتا۔ ہم اکثر ایسی ویب سائٹ دیکھتے ہیں جہاں کسی کو معلوم نہیں کہ robots.txt آخری بار کس نے بدلی، یا ایسا کنٹینٹ ڈیلیوری نیٹ ورک جو ان کرالرز کو روک رہا ہے جنہیں مالک خوش آمدید کہنا چاہتا تھا۔ Origami میں ہم ویب سائٹس، پلیٹ فارمز اور کسٹم سسٹمز بناتے ہیں، اور ان سیٹنگز کو پروجیکٹ کا حصہ سمجھتے ہیں، تحریری اور جانچی ہوئی۔ اگر آپ اپنی robots.txt، CDN قواعد اور AI میں اپنی نمائش کا ایک ساتھ جائزہ لینا چاہتے ہیں تو ہم سے رابطہ کریں۔

ذرائع