انتقل إلى المحتوى

كيف تحمي شركتك من مخاطر الذكاء الاصطناعي؟ نصائح عملية في ضوء التحذيرات الأخيرة

الجواب المختصر

مايكروسوفت تطلب معاملة وكلاء الذكاء الاصطناعي كموظفين من الداخل، وثغرات PHP التي كشفها الذكاء الاصطناعي صارت مستغلة خلال 5 أيام، ونشرة اكتتاب Anthropic تقول إن النماذج قد تتصرف بطرق لم يقصدها أحد. 7 نصائح عملية تحمي شركتك، وخطة لأول 30 يوما.

فريق أوريجامي

فريق التحرير · · 9 دقائق

شارك عبر واتساب
يعجبك ما ننشره؟ ثبت أوريجامي كمصدر مفضل في قوقل.الإضافة إلى المصادر المفضلة في Google
كيف تحمي شركتك من مخاطر الذكاء الاصطناعي؟ نصائح عملية في ضوء التحذيرات الأخيرة

تحمي شركتك من مخاطر الذكاء الاصطناعي بسبع خطوات: اعرف كل أداة ووكيل ذكاء اصطناعي يعمل لديك، وأعط كل وكيل حسابا مستقلا بأقل صلاحية، واشترط موافقة بشرية قبل أي دفع أو حذف أو إرسال للعملاء، ولا تدخل بيانات العملاء في أداة غير معتمدة، وحدث الأنظمة المكشوفة على الإنترنت خلال أيام، وتحقق من طلبات المال بقناة ثانية، وراجع ما يغطيه تأمينك. هذه الخطوات مستخلصة من تحذيرات أكتوبر 2026: مايكروسوفت دعت إلى معاملة الوكلاء كموظفين من الداخل قد يخطئون أو يخدعون، وثغرتا PHP2Shell، وقد كشفت إحداهما بنموذج ذكاء اصطناعي، دخلتا قائمة الثغرات المستغلة فعليا بعد 5 أيام من إعلانهما، ونشرة اكتتاب Anthropic حذرت من أن نماذجها قد تتصرف بطرق لم يقصدها أي مستخدم أو مطور.

ما التحذيرات الأخيرة، ولماذا تخص شركتك؟

في أقل من شهر صدرت تحذيرات من الشركات التي تبني نماذج الذكاء الاصطناعي نفسها، ومن جهات أمن سيبراني حكومية. هذه أبرزها بترتيب صدورها:

التاريخالجهةما قالتهما يعنيه لشركتك
8 أكتوبرAnthropicنماذجها وجدت أكثر من 29 ألف ثغرة محتملة في برمجيات مهمة خلال 6 أشهر، ولم يراجع البشر منها إلا نحو 6 آلاف (منشور Anthropic)الثغرات تكتشف أسرع مما تصلح
19 أكتوبرمايكروسوفتالوكلاء قد يخطئون أو يخدعون أو يخترقون، فلا ينبغي أن يرثوا كل صلاحيات الموظف (مدونة أمن مايكروسوفت)كل وكيل يحتاج حسابا وصلاحيات خاصة به
21 أكتوبروكالة CISA الأمريكيةثغرتا PHP2Shell تشغلان أوامر المهاجم على الخادم دون تسجيل دخول، وأضيفتا إلى قائمة الثغرات المستغلة فعليا في 26 أكتوبر (تنبيه CISA)التحديث صار مسألة أيام
21 أكتوبرفورتينتالذكاء الاصطناعي يساعد المهاجمين على بناء استغلال من التحديث نفسه في ساعات أو أيام بدل أسابيع (مدونة فورتينت)الأجهزة المكشوفة على الإنترنت أولا
26 أكتوبرAnthropicنشرة اكتتابها تقول إن نماذجها قد تتصرف بطرق لم يقصدها أي مستخدم أو مطور، وإن تأمينها قد لا يكفي (نشرة الاكتتاب)راجع عقودك وتأمينك
27 أكتوبرAnthropicClaude كتب استغلالا يمنح المهاجم صلاحيات root على خوادم لينكس التي تستقبل اتصالات MPTCP (منشور Anthropic)ثغرات الخوادم صارت أقرب إلى الاستغلال

القاسم المشترك بين هذه التحذيرات أن الذكاء الاصطناعي يرفع الخطر من جهتين: من الخارج، لأن المهاجم صار يكتشف الثغرات ويستغلها أسرع، ومن الداخل، حين تمنح أداة أو وكيلا صلاحيات أوسع مما يحتاج. وتقول OpenAI، التي قادت تحالف الاستجابة لثغرات PHP، إنها تعدها من أخطر المشكلات الأمنية في الذاكرة القريبة، وإن «القدرات نفسها قد تساعد المهاجمين على تطوير أدوات هجومية واستغلالات بسرعة»، وتتوقع أن تزداد مثل هذه الاكتشافات «بحدة في الأشهر المقبلة». وتقول Anthropic في نشرة اكتتابها إن جهات خبيثة «نفذت بالفعل هجمات إلكترونية بارزة» استعانت فيها بالذكاء الاصطناعي لاكتشاف الثغرات وتوليد البرمجيات الخبيثة وتفادي أدوات الكشف.

كيف تحمي شركتك؟ 7 نصائح عملية

  1. اعرف كل أداة ووكيل ذكاء اصطناعي يعمل في شركتك. تقول مايكروسوفت: «لا يمكنك تأمين ما لا تراه». ولهذا وسعت أدواتها لتكتشف 60 نوعا من الوكلاء التي تعمل على أجهزة الموظفين، منها Claude Code وOpenAI Codex وGitHub Copilot، لأن بعضها يدخل الأجهزة دون أي نشر مركزي. ابدأ بجدول واحد فيه اسم كل أداة، ومن يستخدمها، والبيانات التي تصل إليها، ونوع الحساب، شخصي أم حساب أعمال، والمسؤول عنها. وهذا الجدول نفسه هو نقطة البداية في الإطار الوطني لإدارة مخاطر الذكاء الاصطناعي من سدايا.
  2. أعط كل وكيل حسابا مستقلا وأقل صلاحية ممكنة. تضرب مايكروسوفت مثلا بوكيل يراجع طلبات المصروفات: يحتاج إلى قراءة الطلبات وسياسة الشركة، لكنه لا ينبغي أن يرث كل صلاحيات الموظف الذي أنشأه. وتوصي بأن يبدأ الوكيل بلا صلاحيات، ثم يأخذ ما تحتاجه المهمة فقط، ولمدة المهمة فقط، وأن تمر الخطوات عالية الأثر بموافقة بشرية موثقة. عمليا: لا تربط الوكيل بحساب المدير، ولا تعطه كلمة مرور بنك الشركة، وافصل صلاحية القراءة عن صلاحية التعديل، واحذف من الكود والإعدادات المفاتيح المنسية التي تفتح له أكثر مما يحتاج، واحتفظ بطريقة توقفه فورا. ويلخص ساتيا ناديلا، الرئيس التنفيذي لمايكروسوفت، الفكرة: «أكثر الأنظمة الوكيلة جدارة بالثقة لن يكون النظام الذي نثق بنموذجه أكثر، بل النظام المصمم ليسمح لنا بأن نثق بالنموذج أقل».
  3. لا تدع وكيلا ينفذ ما قرأه في بريد أو ملف أو صفحة ويب دون مراجعة. تعرف نشرة اكتتاب Anthropic «حقن التعليمات» (prompt injection) بأنه أسلوب هجوم يزرع تعليمات خبيثة في محتوى يعالجه النموذج، مثل المواقع والمستندات ومخرجات الأدوات، ليغير سلوكه دون علم المستخدم في الغالب. فالوكيل الذي يقرأ بريد العملاء ويملك صلاحية التحويل أو الحذف أو الإرسال قد ينفذ أمرا كتبه مهاجم داخل رسالة. وتذكر مايكروسوفت السيناريو نفسه: وكيل المصروفات قد يصادف تعليمات مخفية في مستند خارجي، فيتغير سلوكه دون أن يتغير إعداده. اجعل كل خطوة تخرج مالا أو بيانات من الشركة تمر بموافقة موظف، خاصة بعد أن يقرأ الوكيل محتوى من خارجها. ورأينا الخطر نفسه في وكلاء البرمجة الذين ينفذون أمر المهاجم بمجرد فتح المشروع.
  4. لا تدخل بيانات العملاء في أداة غير معتمدة. بحسب مركز مساعدة OpenAI، لا تستخدم الشركة افتراضيا مدخلات ChatGPT Business وChatGPT Enterprise وواجهة API ومخرجاتها لتحسين نماذجها، أما الخطط الفردية Free وPlus وPro فقد تستخدم محتواها في التدريب ما لم يوقفه المستخدم من الإعدادات. وتقول Anthropic إنها لا تدرب نماذجها افتراضيا على مدخلات منتجاتها التجارية، مثل Claude for Work وواجهة API. فاعتمد حسابات أعمال، واكتب لموظفيك بوضوح ما الذي لا يدخل أي أداة: بيانات العملاء الشخصية، والعقود، وكلمات المرور. وإن أدخلت بيانات شخصية لعملائك في أداة ذكاء اصطناعي، فمزودها يعالجها نيابة عنك، والمادة 17 من اللائحة التنفيذية لنظام حماية البيانات الشخصية تلزمك باختيار جهة معالجة تقدم ضمانات كافية، وباتفاق يحدد غرض المعالجة ومدتها والتزامها بإبلاغك عن أي تسرب. وإن وقع تسرب قد يضر أصحاب البيانات، فالمادة 24 تلزمك بإشعار الجهة المختصة خلال 72 ساعة من علمك به.
  5. حدث الأنظمة المكشوفة على الإنترنت خلال أيام لا أسابيع. تقول فورتينت إن أدوات الذكاء الاصطناعي صارت تساعد المهاجمين على تحليل التحديثات وبناء استغلال يعمل «في ساعات أو أيام بدل أسابيع»، وإن المدة بين إعلان الثغرة واستغلالها «تواصل الانكماش». وتقول Anthropic إن الاستغلال صار يطور في دقائق. ولهذا طلبت CISA في ثغرات PHP2Shell خطوات واضحة: حصر كل نظام يعمل بلغة PHP، وتثبيت التحديث فورا بدءا بالأنظمة المكشوفة على الإنترنت، وفصل ما لا يمكن تحديثه عن الشبكة حتى يحدث، مع أن جدار حماية تطبيقات الويب (WAF) قد يوفر حماية جزئية في الأثناء. ونشرت الهيئة الوطنية للأمن السيبراني تنبيها يوصي بتحديث المنتجات المتأثرة. طبق القاعدة نفسها على كل نظام مكشوف: الموقع، وجدار الحماية، وVPN، والبريد. وتفاصيل التحديثات في مقالاتنا عن ثغرة PHP2Shell وثغرة لينكس الجديدة وجدار حماية فورتيجيت.
  6. تحقق من أي طلب مال أو بيانات بقناة ثانية. تقول حملة سدايا وهيئة الاتصالات والفضاء والتقنية عن التزييف العميق إنه «لا يكفي ظهور شخص في مقطع أو سماع صوته لإثبات ما نسب إليه»، وتعد من مخاطره الخسائر المالية والاحتيال، واختراق أنظمة التحقق وانتحال الهوية. فلا تحول مالا ولا ترسل بيانات بناء على مكالمة أو رسالة صوتية أو مقطع فيديو، حتى لو بدا الصوت صوت المدير. اتصل بالشخص على رقمه المعروف لديك، واشترط توقيعين لكل تحويل يتجاوز حدا تحدده. وشرحنا طبقات الحماية في مقال الديب فيك والاحتيال بالذكاء الاصطناعي، وكيف تغلق كل طريق يحول مال شركتك دون توقيعك في درس اختراق بينانس.
  7. راجع ما يغطيه تأمينك وما تنص عليه عقود مورديك. تقول نشرة اكتتاب Anthropic: «لأن نماذجنا قد تتصرف بطرق لم يقصدها أي مستخدم أو مطور، قد تؤدي المطالبات الناشئة عن هذه التصرفات إلى مسؤولية كبيرة»، وتضيف أن وثائق تأمينها قد لا توفر تغطية كافية، وأن سوق التأمين على مخاطر الذكاء الاصطناعي «ناشئ ويتطور». فإن كانت هذه حال الشركة التي تبني النموذج، فاسأل شركة التأمين كتابيا: هل تغطي الوثيقة تسرب بيانات سببه وكيل ذكاء اصطناعي، أو تحويلا احتياليا بصوت مزيف؟ واسأل مزود كل أداة: أين تحفظ بياناتك، وكم تبقى، ومتى يبلغك عن أي حادثة.

ماذا تقول الجهات السعودية؟

ثلاث مرجعيات تهم أي منشأة سعودية تستخدم الذكاء الاصطناعي:

ما خطة أول 30 يوما؟

الأسبوعما تفعلهالنتيجة
الأولاحصر أدوات الذكاء الاصطناعي ووكلاءه وحساباته، وحدد مسؤولا لكل أداةجدول واحد تعرف منه من يستخدم ماذا
الثانيانقل الاستخدام إلى حسابات أعمال، وأعط كل وكيل حسابه وصلاحياته، وأضف موافقة بشرية للدفع والحذف والإرساللا وكيل يملك صلاحيات موظف كاملة
الثالثحدث الأنظمة المكشوفة على الإنترنت، وفعل جدار حماية تطبيقات الويب، واعتمد التحقق بقناة ثانية لطلبات التحويلثغرات معروفة أقل، واحتيال أصعب
الرابعاكتب سياسة من صفحة واحدة ودرب الموظفين عليها، وأرسل أسئلتك إلى شركة التأمين والموردينقواعد مكتوبة وإجابات موثقة

نظرة أوريجامي

لا نرى في هذه التحذيرات سببا لإيقاف الذكاء الاصطناعي في شركتك، بل سببا لتشغيله بحدود واضحة. ومايكروسوفت نفسها تقول إن الهدف ليس نموذجا يمكن التنبؤ بكل تصرفاته، بل «أنظمة تبقى آمنة حتى حين لا يكون النموذج كذلك». في أوريجامي نبني مزايا الذكاء الاصطناعي ووكلاءه داخل أنظمة الشركات بصلاحيات محدودة وخطوات موافقة وسجلات واضحة، ونراجع الكود المبني بأدوات الذكاء الاصطناعي ونسد ثغراته، ونحدث الخوادم والتطبيقات المكشوفة على الإنترنت. تواصل معنا لنراجع معك أدواتك ووكلاءك.

الخلاصة

  • تحذيرات أكتوبر 2026 تقول إن الذكاء الاصطناعي يسرع اكتشاف الثغرات واستغلالها، وإن الوكلاء قد يخطئون أو يخدعون، وإن النماذج قد تتصرف بطرق لم يقصدها أحد.
  • اعرف أدواتك ووكلاءك، وأعط كل وكيل أقل صلاحية، واشترط موافقة بشرية قبل الخطوات المالية والحساسة.
  • استخدم حسابات أعمال لا تدرب النماذج على بياناتك افتراضيا، ولا تدخل بيانات العملاء في أداة غير معتمدة.
  • حدث الأنظمة المكشوفة خلال أيام، وتحقق من طلبات المال بقناة ثانية، وراجع تأمينك وعقود مورديك.
  • #مخاطر الذكاء الاصطناعي
  • #الأمن السيبراني
  • #وكلاء الذكاء الاصطناعي
  • #حماية البيانات
  • #الذكاء الاصطناعي

أسئلة شائعة

ما أبرز مخاطر الذكاء الاصطناعي على الشركات الآن؟

ثلاثة: مهاجمون يكتشفون الثغرات ويستغلونها أسرع بالذكاء الاصطناعي، ووكلاء بصلاحيات واسعة قد يخطئون أو يخدعون بتعليمات مخفية، وبيانات عملاء تدخل أدوات غير معتمدة. ويضاف إليها الاحتيال بالصوت والفيديو المزيفين.

هل أمنع موظفي من استخدام ChatGPT وأدوات الذكاء الاصطناعي؟

لا تحتاج إلى المنع. اعتمد أدوات بحسابات أعمال لا تستخدم بياناتك في التدريب افتراضيا، مثل ChatGPT Business وClaude for Work، وحدد كتابيا ما لا يدخل أي أداة، مثل بيانات العملاء الشخصية والعقود وكلمات المرور.

هل وكلاء الذكاء الاصطناعي آمنون؟

ليس من تلقاء أنفسهم. توصي مايكروسوفت بافتراض أن الوكيل قد يفشل أو يخترق، وبأن تكون الضوابط التي تحدد ما يصل إليه وما ينفذه خارج النموذج حتى لا يستطيع تجاوزها، مع أقل صلاحية وموافقة بشرية قبل الخطوات المهمة.

هل يلزمني نظام سعودي بإدارة مخاطر الذكاء الاصطناعي؟

إطار سدايا مرجع إرشادي، وإرشادات الهيئة الوطنية للأمن السيبراني طرحت مسودة لاستطلاع الآراء. أما نظام حماية البيانات الشخصية فملزم، ولائحته التنفيذية توجب إشعار الجهة المختصة خلال 72 ساعة من العلم بتسرب قد يضر أصحاب البيانات.

هل يغطي التأمين السيبراني حوادث الذكاء الاصطناعي؟

يعتمد على نص الوثيقة. حتى Anthropic تقول في نشرة اكتتابها إن تأمينها قد لا يوفر تغطية كافية، فاسأل شركة التأمين كتابيا عن تسرب البيانات بسبب وكيل ذكاء اصطناعي وعن التحويل الاحتيالي بصوت مزيف.

عندك مشروع تفكر فيه؟

نبني أنظمة وتطبيقات ومواقع مخصصة لأعمالك. احك لنا عن فكرتك ونعطيك رأينا الصريح فيها.

تعرف على خدماتنا

النشرة البريدية

تصلك المقالات والسلاسل الجديدة في بريدك.

تابع أوريجامي في نتائج قوقل

ثبت أوريجامي كمصدر مفضل، فتظهر لك مقالاتنا أولا في نتائج قوقل وفي الأخبار الرائجة.

الإضافة إلى المصادر المفضلة في Google