في هذا المقال
إذا كنت لا تريد أن تدرب شركات الذكاء الاصطناعي نماذجها على محتوى موقعك، فأضف سطرين إلى ملف robots.txt في موقعك: User-Agent: __usage_ai-training وتحته Disallow: /. أعلنت OpenAI وجوجل ومايكروسوفت في 30 أكتوبر 2026 أنها ستحترم هذه الإشارة المشتركة: تبدأ مايكروسوفت في 1 فبراير 2027، وتستهدف جوجل عام 2027، وتقول OpenAI إنها ستطبقها خلال الأشهر المقبلة. والإشارة تخص التدريب وحده، فلا تخرج موقعك من نتائج بحث جوجل أو Bing. وإلى أن تبدأ كل شركة العمل بها، أبق قواعدها الحالية في مكانها. وإن قرأت مقالنا عن شروط ميتا الجديدة التي تسمح لروبوتاتها بسحب محتوى موقعك، فهذه هي الخطوة التالية.
ما الذي أعلن بالضبط؟
حتى اليوم، كان على صاحب الموقع الذي يريد إبعاد محتواه عن تدريب النماذج أن يعرف اسم زاحف كل شركة ويكتب له قاعدة مستقلة: GPTBot لشركة OpenAI، وClaudeBot لشركة Anthropic، وGoogle-Extended لجوجل، واسما جديدا كلما ظهرت شركة جديدة. الإشارة الجديدة تستبدل هذه القائمة باسم واحد مشترك. مصدرها مسودة قدمت إلى فريق مهام هندسة الإنترنت (IETF)، وهو الجهة التي تقف وراء كثير من المعايير التقنية للإنترنت، وكتبها كيفن كيلي من Anthropic ضمن مجموعة عمل تفضيلات الذكاء الاصطناعي في الفريق. المسودة مؤرخة في 30 أكتوبر 2026، وتنتهي صلاحيتها في 3 مايو 2027، وهي مرشحة لمسار المعايير، أي أنها ما زالت مقترحا لا معيارا مكتملا.
والفكرة بسيطة عن قصد. لا تضيف المسودة أوامر جديدة إلى ملف robots.txt، بل تستخدم مجموعة عادية يحمل سطر User-Agent فيها اسما خاصا يسمى «رمز السياسة»، ثم تحدد قواعد Allow وDisallow المعتادة ما يجوز استخدامه من أقسام الموقع وما لا يجوز. فيمكنك مثلا رفض التدريب على الموقع كله والسماح به في صفحة المواد الصحفية:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/وتعرف المسودة تدريب الذكاء الاصطناعي بأنه استخدام المحتوى لتعديل ما تعلمه نموذج توليدي، أي نموذج ينتج نصوصا أو صورا أو محتوى آخر. أما النماذج التي تستخدم للتصنيف أو الترتيب أو التقييم فقط فلا تشملها الإشارة.
من سيحترمها، ومتى؟
| الشركة | ما أعلنته | الموعد | ما يبقى منفصلا |
|---|---|---|---|
| OpenAI | ستحترم الإشارة المشتركة، وتبقى أدوات التحكم الحالية لديها سارية | «خلال الأشهر المقبلة» | GPTBot للتدريب، وOAI-SearchBot لإجابات البحث في ChatGPT |
| جوجل | ستعامل الرفض عبر الرمز كأنه منع لـ Google-Extended، ما لم يحدد صاحب الموقع Google-Extended صراحة | تستهدف عام 2027 | Googlebot لبحث جوجل، وGoogle-Extended لتدريب Gemini والإجابات المستندة إلى الويب |
| مايكروسوفت | ستحترم الرمز، وتضيف تفضيلا منفصلا على مستوى الصفحة اسمه AI Grounding | من 1 فبراير 2027، والإعدادات قبل 1 مارس 2027 | أهلية الظهور في نتائج Bing لا تتغير |
| Anthropic | كاتب المسودة يعمل فيها | لا موعد في صفحة المساعدة لديها | ClaudeBot هو أداة التحكم الموثقة لديها في التدريب |
وفي الإعلانات تفصيلان يهمان كل منشأة لها موقع. الأول أن مايكروسوفت تقول إنها ستتوقف بعد 1 مارس 2027 عن قراءة الوسمين القديمين NoArchive وNoCache كتفضيلات للذكاء الاصطناعي، فإن كان موقعك يعتمد عليهما فانشر التفضيلات الجديدة قبل ذلك التاريخ. وتفتح إعدادات الانتقال الخاصة بالإجابات في أدوات مشرفي المواقع من Bing في 15 ديسمبر 2026 للمواقع التي تستخدم هذين الوسمين فقط، وتنتهي في 30 سبتمبر 2027. والثاني أن المسودة تنص على أن القاعدة العامة الموجهة لكل الزواحف، User-Agent: *، لا تعد تفضيلا للتدريب. فالحجب الشامل لا يقول «لا تدريب»، وحده الرمز المسمى يقولها.
التدريب شيء، والظهور في الإجابات شيء آخر
هذا هو الفرق الذي يغيب عن أكثر أصحاب المواقع. التدريب يعني أن محتواك يساعد في بناء نموذج مستقبلي. أما الإجابات، وتسميها مايكروسوفت grounding، فتعني أن مساعد الذكاء الاصطناعي يقرأ صفحتك لحظة يسأل العميل، ثم يستشهد بها مع رابط. والرمز الجديد يخص التدريب فقط. تفصل OpenAI بين الأمرين: GPTBot للتدريب، وOAI-SearchBot يحدد هل يظهر موقعك في إجابات البحث في ChatGPT. وتذهب مايكروسوفت أبعد فتضيف تفضيلا للإجابات يضبط صفحة صفحة، بثلاثة خيارات: Allow، وDisallowExtended الذي يقصر الاستخدام على منتجات مايكروسوفت نفسها مثل Copilot، وDisallow. وتحذر مايكروسوفت من أن تقييد الإجابات يقلل ظهورك فيها كثيرا، وأن أيا من الخيارين لا يضمن ظهورا ولا زيارات ولا مقابلا ماليا.
وجوجل هي الاستثناء الذي يستحق الانتباه. أداة Google-Extended لديها تغطي تدريب نماذج Gemini والإجابات المستندة إلى الويب في تطبيقات Gemini معا، وتقول جوجل إن المواقع التي تسمح بأداة Google-Extended صراحة مؤهلة للظهور في ردود تطبيقات Gemini وتلقي النقرات منها. فإذا رفضت التدريب عبر الرمز المشترك، ستعامله جوجل كمنع لـ Google-Extended. يبقى موقعك في بحث جوجل، لأن Google-Extended لا يؤثر في الظهور فيه ولا في الترتيب، لكنك تتخلى عن الإجابات في تطبيقات Gemini. وإن أردت هذا الظهور فحدد Google-Extended صراحة. ولمعرفة كيف تختار إجابات الذكاء الاصطناعي مصادرها، راجع مقالنا عن كيف تظهر شركتك في ChatGPT.
هل ترفض التدريب على محتوى موقعك؟
لا توجد إجابة واحدة صحيحة، فالأمر يتوقف على ما يحمله موقعك. الرفض منطقي إذا كان المحتوى نفسه هو المنتج: دورات مدفوعة، أو أبحاث أصلية، أو قوائم أسعار مفصلة، أو آلاف أوصاف المنتجات التي كتبها فريقك. والسماح قليل الكلفة إذا كان الموقع يعرض خدماتك وتريد أن ينتشر اسم شركتك. وفي الحالتين أبق زواحف البحث والإجابات مسموحة، فهي التي تأتيك بالعملاء.
خمس خطوات لهذا الأسبوع
- اقرأ ملفك الحالي. افتح yourdomain.com/robots.txt في المتصفح، وابحث عن قاعدة منسية مثل
User-agent: *معDisallow: /، أو قاعدة تحجب OAI-SearchBot أو Googlebot أو Bingbot. - قرر أمرين كلا على حدة. التدريب: نعم أو لا. الإجابات: نعم أو لا. واكتب القرار حتى لا يلغيه المبرمج التالي.
- أضف الرمز المشترك وأبق القواعد الحالية. لا تحترم أي من الشركات الثلاث الرمز بعد، فأبق قواعد GPTBot وClaudeBot وGoogle-Extended بجانبه حتى تبدأ كل منها. وما زالت صفحة المساعدة لدى Anthropic توثق ClaudeBot طريقا لرفض التدريب.
- راجع وسوم Bing. إذا كانت صفحاتك تستخدم NoArchive أو NoCache، فخطط للانتقال إلى التفضيلات الجديدة قبل 1 مارس 2027.
- ضع كل ما هو خاص خلف تسجيل دخول. ملف robots.txt إشارة علنية وطوعية: تسمح المسودة بأن تتجاوزه الاتفاقات الخاصة، والتفضيل يسري على ما يجلب بعد نشره، لا على ما جمع قبله.
رأي أوريجامي
ظل ملف robots.txt سنوات ملفا لا يتذكره أحد في الشركة، كتبه مرة من بنى الموقع. هذا يتغير: الملف يقرر اليوم هل يدرب محتواك نماذج الذكاء الاصطناعي، وهل تظهر صفحاتك في إجاباته، وقريبا كيف تتعامل مايكروسوفت مع كل صفحة. الاسم المشترك تقدم حقيقي مقارنة بقائمة أسماء زواحف تطول كل شهر، لكنه لا يغني عن القرار. وما نراه كثيرا موقع لا يعرف أحد من عدل ملف robots.txt آخر مرة، أو شبكة توصيل محتوى تحجب زواحف أراد صاحب الموقع استقبالها. في أوريجامي نبني المواقع والمنصات والأنظمة المخصصة، ونعامل هذه الإعدادات جزءا من البناء، مكتوبة ومراجعة. وإن أردت مراجعة ملف robots.txt وقواعد شبكة التوصيل وظهورك في إجابات الذكاء الاصطناعي معا، تواصل معنا.
المصادر
- OpenAI: تسهيل تعبير المواقع عن تفضيلاتها في تدريب الذكاء الاصطناعي، 30 أكتوبر 2026
- مدونة Google Search Central: دعم أداة مشتركة للتحكم في تدريب الذكاء الاصطناعي، 30 أكتوبر 2026
- مدونة Microsoft Bing: تفضيلات أوضح للتدريب والإجابات، 30 أكتوبر 2026
- IETF: مسودة draft-kelley-aipref-training-preference-signal-00
- Google for Developers: الزواحف العامة لجوجل، قسم Google-Extended
- OpenAI: نظرة عامة على زواحف OpenAI
- مركز مساعدة Anthropic: هل تزحف Anthropic على الويب، وكيف يحجب أصحاب المواقع زاحفها؟
أسئلة شائعة
هل يخرج هذان السطران موقع شركتي من نتائج بحث جوجل؟
لا. الإشارة المشتركة تخص تدريب الذكاء الاصطناعي فقط. تقول جوجل إن Google-Extended، الذي تعامل الإشارة على أساسه، لا يؤثر في الظهور في بحث جوجل ولا في الترتيب، وتقول مايكروسوفت إن التفضيلات الجديدة لا تغير أهلية الظهور في نتائج Bing.
متى تبدأ OpenAI وجوجل ومايكروسوفت باحترام رفض التدريب؟
مايكروسوفت من 1 فبراير 2027، وجوجل تستهدف عام 2027، وOpenAI تقول «خلال الأشهر المقبلة». وحتى ذلك الحين أبق قواعد GPTBot وClaudeBot وGoogle-Extended في ملف robots.txt.
هل يحذف الرفض محتوى موقعي من نماذج تدربت عليه سابقا؟
لا. بحسب المسودة، التفضيل الذي يسري على الصفحة هو ما كان في ملف robots.txt وقت جلبها، فهو يغطي ما يجمع بعد نشره لا ما جمع قبله.
هل يكفي ملف robots.txt لحماية قوائم الأسعار والملفات الداخلية؟
لا. ملف robots.txt إشارة علنية وطوعية، وتسمح المسودة بأن تتجاوزه الاتفاقات الخاصة. ما يجب أن يبقى خاصا مكانه خلف تسجيل دخول حقيقي، لا في صفحة عامة.
تابع أوريجامي في نتائج قوقل
ثبت أوريجامي كمصدر مفضل، فتظهر لك مقالاتنا أولا في نتائج قوقل وفي الأخبار الرائجة.
الإضافة إلى المصادر المفضلة في Google
