مايكروسوفت تحذر من وكلاء الذكاء الاصطناعي داخل الشركات

كشفت Microsoft عن توجه أمني لمراقبة وكلاء الذكاء الاصطناعي الذين تستخدمهم المؤسسات لتنفيذ المهام والوصول إلى الملفات والأنظمة، محذرة من أن هذه الوكلاء قد تتحول إلى مصدر للمخاطر من داخل بيئة العمل حتى دون تعرضها للاختراق، وتطرح الشركة مفهوم Guardian Agents لمراقبة تصرفات الوكلاء والتحكم في الصلاحيات الممنوحة لهم قبل تنفيذ الإجراءات التي قد تؤثر في البيانات أو العمليات المؤسسية.

وفقًا لإعلان نشرته Microsoft على مدونتها الرسمية بعنوان Securing the agentic insider، أو "تأمين وكيل الذكاء الاصطناعي من الداخل"، فإن النماذج المتقدمة لا يمكن التعامل معها باعتبارها أنظمة يمكن الوثوق بتصرفاتها بصورة مطلقة، لأنها تتعلم تحقيق الأهداف المطلوبة، لكنها قد تتصرف بطرق لا تتوافق مع قواعد المؤسسة أو تقديرات العاملين فيها.

كيف تعمل منظومة الرقابة المقترحة؟
 

تعتمد الرؤية التي عرضتها Microsoft على مشروع Project Perception، الذي يجمع بيانات من أنظمة الهوية والشبكات والأجهزة والبيئات السحابية لمتابعة أنشطة الوكلاء، وتحديد المخاطر المرتبطة بالعمليات التي يحاولون تنفيذها، ثم استخدام وكلاء مراقبة للتحكم في السلوك وفق مستوى الخطورة، بحيث لا تقتصر الحماية على اكتشاف الهجمات القادمة من الخارج، وإنما تشمل مراقبة الأنظمة التي سمحت المؤسسة نفسها بتشغيلها.

لماذا لا تكفي حماية الأنظمة التقليدية؟
 

ترى Microsoft أن وكلاء الذكاء الاصطناعي أصبحوا يمتلكون صلاحيات تتيح لهم الوصول إلى البيانات والأدوات واتخاذ قرارات داخل عمليات العمل، وقد ينحرف سلوك الوكيل عن الغرض الذي خُصص له دون وجود مهاجم يتحكم فيه، ولذلك تدعو إلى مراقبة أفعاله بصورة مستمرة مع إمكانية تعديل الصلاحيات والاستجابة للمخاطر أثناء التنفيذ، وتؤكد الشركة أن المراقبة التقنية تحتاج أيضًا إلى مراجعة بشرية لفهم أسباب المخاطر وتحديث قواعد الحماية، بدلًا من الاعتماد على ضمانات الشركات المطورة للنماذج وحدها.