OpenAI تطور نظامًا لإيقاف وكلاء الذكاء الاصطناعي الخارجين عن السيطرة خلال 35 ثانية

كشفت شركة OpenAI عن تطوير نظام جديد يحمل اسم «Control Room»، يستهدف تعزيز إجراءات الأمان والسيطرة على وكلاء الذكاء الاصطناعي خلال التجارب البحثية، والحد من مخاطر خروج هذه الأنظمة عن المسار المحدد لها أو تنفيذ أنشطة قد تشكل تهديدًا أمنيًا، وأوضحت الشركة أن النظام يعمل بمثابة مكابح طوارئ، تتيح للباحثين إيقاف نشاط نماذج الذكاء الاصطناعي عند ظهور مؤشرات تتعلق بمخاطر السلامة أو الأمن، مشيرة إلى أن النظام يستطيع التدخل وإيقاف نشاط النموذج خلال نحو 35 ثانية من اتخاذ قرار الإيقاف، مع العمل على تقليص هذه المدة إلى الصفر.

كيف يعمل نظام Control Room؟

يعتمد النظام على متابعة مهام نماذج الذكاء الاصطناعي عبر البنية التحتية للأبحاث داخل OpenAI، حيث تحصل كل تجربة بحثية على رقم تعريف خاص بها، يسمح بتتبع نشاطها ومراقبة طلبات توليد الإجابات التي ترسلها النماذج، وعندما يحاول نموذج الذكاء الاصطناعي إنشاء استجابة جديدة، يتحقق النظام أولًا من استمرار السماح له بتنفيذ المهمة، وفي حالة اكتشاف مؤشرات مثيرة للقلق، يمكن لنظام مراقبة السلامة إصدار طلب إلى Control Room لإيقاف المهمة المحددة، وبمجرد صدور قرار الإيقاف، يرفض النظام أي طلب جديد لتوليد مخرجات من النموذج، وهو ما يمنع استمرار التجربة حتى إذا لم يتدخل الباحث المسؤول عنها يدويًا.

آلية مركزية للسيطرة على مخاطر الذكاء الاصطناعي

أشارت OpenAI إلى أن أهمية النظام ترجع إلى أن التجارب البحثية تعتمد غالبًا على أجزاء مختلفة من الأكواد البرمجية التي تتغير باستمرار، وهو ما يجعل الاعتماد على وجود آلية إيقاف منفصلة داخل كل تجربة أمرًا أكثر صعوبة، ولذلك وضعت الشركة آلية التحقق من السلامة داخل نظام الاستدلال، وهو الجزء المسؤول عن توليد مخرجات نماذج الذكاء الاصطناعي، بما يسمح بتطبيق إجراءات الإيقاف بصورة مركزية على مختلف التجارب.

ماذا يحدث إذا تعطل نظام Control Room؟

صممت OpenAI النظام للتعامل مع حالات التعطل أيضًا، إذ يعتمد على سياسة تُعرف باسم «Fail Closed»، وتعني منع النماذج من مواصلة توليد المخرجات إذا أصبح نظام Control Room غير متاح، لحين عودته للعمل مرة أخرى، ويأتي تطوير هذه الآلية في ظل تزايد المخاوف المرتبطة بوكلاء الذكاء الاصطناعي، خاصة مع قدرتهم على تنفيذ مهام متعددة والتفاعل مع مواقع وخدمات خارجية، وهو ما يجعل توفير أدوات رقابية قادرة على التدخل السريع عنصرًا مهمًا في تعزيز أمان التجارب وتطوير هذه التقنيات.