اختر منطقتك 
ومن بين الهجمات الأخرى التي شنها بارغوري عرض توضيحي لكيفية تمكن أحد القراصنة ـ والذي لابد وأن يكون قد اخترق بالفعل حساب بريد إلكتروني ـ من الوصول إلى معلومات حساسة، مثل رواتب الأشخاص، دون تفعيل الحماية التي توفرها مايكروسوفت للملفات الحساسة. فعند طلب البيانات، يطالب بارغوري النظام بعدم تقديم مراجع للملفات التي أخذت منها البيانات. ويقول بارغوري: “إن القليل من التنمر يساعد”.
وفي حالات أخرى، يوضح كيف يمكن للمهاجم – الذي لا يستطيع الوصول إلى حسابات البريد الإلكتروني ولكنه يسمم قاعدة بيانات الذكاء الاصطناعي بإرسال بريد إلكتروني ضار إليها – التلاعب بالإجابات حول المعلومات المصرفية لتقديم تفاصيله المصرفية الخاصة. يقول بارغوري: “في كل مرة تمنح فيها الذكاء الاصطناعي حق الوصول إلى البيانات، فهذه طريقة للمهاجم للدخول”.
ويظهر عرض توضيحي آخر كيف يمكن لمخترق خارجي الحصول على بعض المعلومات المحدودة حول ما إذا كانت مكالمة أرباح الشركة القادمة ستكون جيدة أم سيئة، بينما يقول بارغوري إن المثال الأخير يحول كوبيلوت إلى “مطلع خبيث” من خلال تزويد المستخدمين بروابط لمواقع التصيد الاحتيالي.
يقول فيليب ميسنر، رئيس قسم اكتشاف حوادث الذكاء الاصطناعي والاستجابة لها في مايكروسوفت، إن الشركة تقدر جهود بارغوري في تحديد الثغرة الأمنية ويقول إنها تعمل معه لتقييم النتائج. ويقول ميسنر: “إن مخاطر إساءة استخدام الذكاء الاصطناعي بعد الاختراق مماثلة لتقنيات أخرى بعد الاختراق. وتساعد الوقاية الأمنية والمراقبة عبر البيئات والهويات في التخفيف من مثل هذه السلوكيات أو وقفها”.
مع تطور أنظمة الذكاء الاصطناعي التوليدي، مثل ChatGPT من OpenAI وCopilot من Microsoft وGemini من Google، في العامين الماضيين، فقد انتقلت إلى مسار قد يؤدي في النهاية إلى إكمال المهام نيابة عن الأشخاص، مثل حجز الاجتماعات أو التسوق عبر الإنترنت. ومع ذلك، فقد أكد باحثو الأمن باستمرار أن السماح بدخول البيانات الخارجية إلى أنظمة الذكاء الاصطناعي، مثل رسائل البريد الإلكتروني أو الوصول إلى المحتوى من مواقع الويب، يخلق مخاطر أمنية من خلال الحقن الفوري غير المباشر وهجمات التسميم.
يقول يوهان ريهبرجر، الباحث في مجال الأمن ومدير الفريق الأحمر، والذي أثبت على نطاق واسع نقاط الضعف الأمنية في أنظمة الذكاء الاصطناعي: “أعتقد أنه ليس من المفهوم تمامًا مدى فعالية المهاجم في الواقع الآن. ما يجب أن نقلق بشأنه الآن هو في الواقع ما ينتجه برنامج LLM ويرسله إلى المستخدم”.
يقول بارغوري إن مايكروسوفت بذلت الكثير من الجهد لحماية نظام Copilot من هجمات الحقن الفوري، لكنه يقول إنه وجد طرقًا لاستغلالها من خلال كشف كيفية بناء النظام. ويقول إن هذا يشمل استخراج موجه النظام الداخلي، ومعرفة كيفية وصوله إلى موارد المؤسسة والتقنيات التي يستخدمها للقيام بذلك. ويقول: “تتحدث إلى Copilot وتكون المحادثة محدودة، لأن Microsoft وضعت الكثير من الضوابط. ولكن بمجرد استخدام بضع كلمات سحرية، ينفتح ويمكنك القيام بكل ما تريد”.
ويحذر ريهبرجر على نطاق واسع من أن بعض مشكلات البيانات مرتبطة بالمشكلة القديمة المتمثلة في سماح الشركات لعدد كبير جدًا من الموظفين بالوصول إلى الملفات وعدم تعيين أذونات الوصول بشكل صحيح عبر مؤسساتهم. ويقول ريهبرجر: “تخيل الآن أنك وضعت Copilot على رأس هذه المشكلة”. ويقول إنه استخدم أنظمة الذكاء الاصطناعي للبحث عن كلمات مرور شائعة، مثل Password123، وقد أعاد النتائج من داخل الشركات.
يقول كل من ريهبرجر وبارجوري إنه من الضروري التركيز بشكل أكبر على مراقبة ما ينتجه الذكاء الاصطناعي ويرسله إلى المستخدم. يقول بارجوري: “الخطر يكمن في كيفية تفاعل الذكاء الاصطناعي مع بيئتك، وكيفية تفاعله مع بياناتك، وكيفية تنفيذه للعمليات نيابة عنك. تحتاج إلى معرفة ما يفعله وكيل الذكاء الاصطناعي نيابة عن المستخدم. وهل يتوافق ذلك مع ما طلبه المستخدم بالفعل”.
