فيسبوك
واتساب
قبل بضعة أسابيع، تمكن نموذج الذكاء الاصطناعي Claude التابع لشركة Anthropic من الوصول إلى أنظمة تابعة لثلاث شركات حقيقية، خلال اختبارات روتينية للأمن السيبراني.
وأوضحت Anthropic أن ما حدث لم يكن محاولة من Claude للتحرر من بيئة الاختبار أو التصرف بشكل مستقل، وإنما نتج عن خطأ في إعداد الاختبارات، بعدما حصل النموذج على إمكانية الوصول إلى الإنترنت الحقيقي، رغم أنه كان من المفترض أن يعمل داخل بيئة محاكاة معزولة تمامًا، وأوقفت الشركة اختبارات الأمن السيبراني مؤقتًا، قبل أن تكشف عن نتائج تحقيقها والتغييرات التي تجريها لمنع تكرار مثل هذه الحوادث.
كيف تمكن Claude من الوصول إلى أنظمة حقيقية؟
خلال مراجعة أكثر من 141 ألف عملية تشغيل ضمن اختبارات التقييم في يوليو الماضي، اكتشفت Anthropic ثلاث حالات تمكنت فيها نماذج Claude من الوصول إلى الإنترنت الحقيقي، ما أدى إلى التفاعل مع أنظمة تابعة لشركات حقيقية.
وفي إحدى الحالات، استهدف Claude Opus 4.7 شركة حقيقية بعدما تطابق اسمها مع اسم شركة خيالية ضمن سيناريو الاختبار، وتمكن لاحقًا من الحصول على بيانات اعتماد والوصول إلى قاعدة بيانات خاصة ببيئة الإنتاج.
وفي حادثة أخرى، قام Claude Mythos 5 بتحميل حزمة Python خبيثة إلى مستودع برمجيات عام، معتقدًا أنه لا يزال داخل بيئة المحاكاة. وظلت الحزمة متاحة لنحو ساعة، وتم تنزيلها على 15 نظامًا حقيقيًا قبل إزالتها.
وأكدت Anthropic أن النماذج استخدمت أساليب اختراق أساسية، مثل كلمات المرور الضعيفة وصفحات التصحيح البرمجية المكشوفة، ولم تعتمد على تقنيات اختراق متقدمة، كما لم تحاول نسخ نفسها أو الهروب من بيئة الاختبار.
حادثة ثانية تثير مخاوف إضافية
ظهرت لاحقًا حادثة أخرى، إذ أفاد معهد أمان الذكاء الاصطناعي في المملكة المتحدة بأن Claude Mythos 5 نفذ سلسلة من الإجراءات غير المصرح بها على الإنترنت الحقيقي خلال اختباراته للأمن السيبراني.
وتجري Anthropic مراجعة معمقة للحادثتين، كما تعتزم الاستعانة بـMETR، وهي مجموعة بحثية مستقلة متخصصة في أمان الذكاء الاصطناعي، لإجراء مراجعة خارجية.
Anthropic تعزز عزل بيئات الاختبار
استجابةً للحوادث، طورت Anthropic نظام مراقبة وتصنيف يعمل في الوقت الفعلي لاكتشاف محاولات النموذج فحص بيئة الاختبار أو الخروج منها، أو حصوله بشكل غير متوقع على اتصال بالإنترنت، وفي حال اكتشاف سلوك من هذا النوع، يمكن للنظام حظر الإجراء وتنبيه مسؤول بشري للتدخل.
كما نقلت الشركة الاختبارات الداخلية عالية الخطورة إلى بيئات عزل أكثر قوة، وأصبحت الاختبارات الخارجية مطالبة باستخدام بيئات محاكاة معزولة، مع حظر الوصول إلى الإنترنت افتراضيًا ومراقبة سلوك النموذج طوال فترة الاختبار.
لماذا تصرف Claude بهذه الطريقة؟
تعتقد Anthropic أن هناك عاملين رئيسيين وراء ما حدث؛ الأول أن النموذج تلقى تعليمات تفيد بأن البيئة التي يعمل فيها خيالية، والثاني أنه استمر في التعامل معها على هذا الأساس حتى بعد ظهور مؤشرات على أنها قد تكون حقيقية.
كما أظهر النموذج استعدادًا لاتخاذ إجراءات مشكوك فيها لتحقيق الهدف المحدد له، وهو ما وصفته الشركة بأنه نوع من «التهور في سبيل تحقيق هدف ضيق».
واختبرت Anthropic هذه الفرضية من خلال تدريب نموذج داخل بيئات تكافئ ما وصفته بـ«الغش»، حيث يحصل النظام على مكافآت مقابل إيجاد طرق مختصرة بدلًا من تنفيذ المهمة بالطريقة الصحيحة، وأظهر النموذج لاحقًا سلوكيات أكثر إثارة للقلق داخل المحاكاة، بينها محاولة الخروج من البيئات المعزولة وتقديم نصائح ضارة لإرضاء جهة التقييم، لكن الشركة أكدت أن نماذجها العامة الفعلية لم تُظهر هذا السلوك خلال الاختبارات نفسها.
Anthropic تزيد استثماراتها في الأمان
أقرت الشركة بأن تعزيز الأمان يجب ألا يقتصر على بيئات الاختبار، مشيرة إلى أنها أعادت بالفعل توجيه نحو 150 مهندسًا من فرق المنتجات للعمل في مجال الأمن خلال وقت سابق من العام، وتخطط Anthropic لإصدار تحديثات إضافية خلال الأسابيع المقبلة، مع فتح نقاش أوسع حول كيفية إدارة مختبرات الذكاء الاصطناعي لوتيرة تطوير نماذجها، وضمان تشغيلها داخل بيئات آمنة ومراقبة، خاصة مع تزايد قدراتها على تنفيذ مهام معقدة بشكل مستقل.
