دراسة تكشف ضعف اختبار الشركات لأخطاء وكلاء الذكاء الاصطناعي

أظهرت دراسة ميدانية شملت مقابلات مع 25 متخصصا في الأمن السيبراني والمرونة التشغيلية، أن 4 مؤسسات فقط أجرت اختبارات أو تدريبات على حوادث قد يتسبب فيها وكيل ذكاء اصطناعي. ولم تختبر بقية المؤسسات المشاركة سيناريوهات مماثلة بصورة موثقة.

أبرز النقاط

• أجرت 4 مؤسسات فقط من المشاركين اختبارات أو تدريبات على حوادث قد يتسبب فيها وكيل ذكاء اصطناعي.
• أفادت مؤسستان فقط بامتلاك قدرات واسعة لاكتشاف السلوك غير المعتاد للوكلاء.
• قالت 3 مؤسسات إن لديها أنظمة تتيح إعادة بناء أنشطة الوكلاء ومتابعة ما نفذوه.
• توصي الدراسة باختبار سيناريوهات واقعية للتحقق من إمكان إيقاف الوكيل وتتبع نشاطه وتصحيح آثار أخطائه.

وتناولت الدراسة مدى استعداد المؤسسات للتعامل مع وكلاء لديهم صلاحيات دخول إلى التطبيقات وتنفيذ إجراءات داخلها. وكشفت النتائج محدودية القدرات المتاحة لرصد السلوك غير المعتاد، إلى جانب ضعف إمكان تتبع ما ينفذه الوكلاء عند وقوع خطأ.

أخبار ذات صلة

متلازمة بيكا تكشف صلة اشتهاء المواد غير الغذائية بمشكلات صحيةرعشة اليد وانخفاض ضغط الدم.. أعراض تستدعي تقييما طبيا

اختبارات أخطاء وكلاء الذكاء الاصطناعي

بحسب تحليل نشره SiliconANGLE بالتعاون مع Qualitate، لم تتجاوز المؤسسات التي أبلغت عن إجراء اختبارات أو تدريبات على حوادث الوكلاء 4 من أصل المؤسسات المشاركة في المقابلات. أما بقية المشاركين، فلم يقدموا ما يثبت اختبار سيناريوهات مماثلة، وهو ما يبرز فجوة بين استخدام أنظمة الحماية والاستعداد العملي للتعامل مع أخطاء الوكلاء.

وأفادت مؤسستان فقط بامتلاك قدرات واسعة لاكتشاف السلوك غير المعتاد للوكلاء. كما قالت 3 مؤسسات إن لديها أنظمة مراقبة تتيح إعادة بناء أنشطة الوكلاء ومتابعة الإجراءات التي نفذوها، وهي قدرات تتصل بمعرفة ما جرى داخل التطبيقات بعد حدوث الخطأ.

صلاحيات مشروعة وقرارات خاطئة

تختلف أخطاء الوكلاء عن الهجمات الإلكترونية التقليدية، إذ قد يدخل الوكيل إلى النظام بصلاحية صحيحة، ثم يتخذ قرارا غير سليم يغير بيانات أو ينفذ معاملة غير مطلوبة. لذلك لا ينحصر التعامل مع الحادث في إيقاف البرنامج أو استعادة نسخة احتياطية من الملفات.

وتحتاج المؤسسة إلى تحديد الإجراءات التي نفذها الوكيل والتحقق من إمكان تصحيح آثارها في الأنظمة المختلفة. وقد تنتقل نتائج الخطأ من تطبيق إلى آخر إذا نفذ الوكيل إجراءات متتابعة بسرعة قبل اكتشاف المشكلة، ما يجعل تتبع النشاط جزءا أساسيا من فهم ما حدث.

استعادة البيانات وتصحيح النتائج

وتوضح الدراسة أن استعادة البيانات لا تضمن وحدها عودة النشاط التجاري إلى وضع موثوق. فقد تكون الأنظمة سليمة من الناحية التقنية، بينما تظل فيها معاملات أو قرارات غير صحيحة؛ لذا ينبغي التحقق من النتائج التي أنتجتها إجراءات الوكيل، لا الاكتفاء بسلامة الملفات.

وتوصي الدراسة باختبار حالات واقعية ينفذ فيها الوكيل إجراءات خاطئة باستخدام صلاحيات صحيحة، ثم التحقق من قدرة المؤسسة على إيقافه وتتبع نشاطه وتصحيح ما ترتب عليه. وتظل النتائج مرتبطة بعينة المقابلات الخمس والعشرين، ولا تمثل قياسا إحصائيا شاملا لجميع المؤسسات، لكنها تشير إلى تحديات ينبغي أخذها في الاعتبار قبل منح الوكلاء استقلالية أكبر.

ماذا يعني هذا الخبر؟

على المؤسسات التي تستخدم وكلاء الذكاء الاصطناعي اختبار أخطائهم المحتملة قبل منحهم استقلالية أكبر. ولا تكفي استعادة الملفات وحدها؛ إذ ينبغي أيضا تتبع الإجراءات والتحقق من نتائجها وتصحيح ما ترتب عليها.

أسئلة وأجوبة

كم مؤسسة أجرت اختبارات أو تدريبات على حوادث الوكلاء؟

أجرت 4 مؤسسات فقط اختبارات أو تدريبات على حوادث قد يتسبب فيها وكيل ذكاء اصطناعي.

لماذا لا تكفي استعادة البيانات بعد خطأ الوكيل؟

لأن الأنظمة قد تكون سليمة تقنيا، بينما تظل فيها معاملات أو قرارات غير صحيحة.