اختر منطقتك 
حالة الطقس 
ابق على اطلاع مع التحديثات المجانية
ببساطة الاشتراك في الذكاء الاصطناعي Myft Digest – يتم تسليمها مباشرة إلى صندوق الوارد الخاص بك.
أظهرت شركة Antromcence STARTATION STARTEMENCE STARTEMENCE تقنية جديدة لمنع المستخدمين من إثارة محتوى ضار من نماذجه ، حيث أن مجموعات التكنولوجيا الرائدة بما في ذلك Microsoft و META RACE لإيجاد طرق تحمي من المخاطر التي تشكلها التكنولوجيا المتطورة.
في ورقة صدرت يوم الاثنين ، حددت الشركة الناشئة التي تتخذ من سان فرانسيسكو مقراً لها نظامًا جديدًا يسمى “المصنفات الدستورية”. إنه نموذج يعمل كطبقة وقائية على رأس نماذج اللغة الكبيرة مثل النموذج الذي يعمل على تشغيل chatbot من الأنثروبور ، والذي يمكنه مراقبة كل من المدخلات والمخرجات للمحتوى الضار.
ويأتي تطور الأنثروبور ، الذي يجري محادثات لجمع 2 مليار دولار بتقييم 60 مليار دولار ، وسط قلق في الصناعة المتزايدة بشأن “كسر الحماية” – محاولات لمعالجة نماذج الذكاء الاصطناعي لتوليد معلومات غير قانونية أو خطيرة ، مثل إنتاج تعليمات لبناء أسلحة كيميائية.
تتسابق الشركات الأخرى أيضًا لنشر تدابير للحماية من هذه الممارسة ، في التحركات التي يمكن أن تساعدهم على تجنب التدقيق التنظيمي مع إقناع الشركات بتبني نماذج الذكاء الاصطناعي بأمان. قدمت Microsoft “دروع موجهة” في مارس الماضي ، في حين قدم Meta نموذج حارس سريع في يوليو من العام الماضي ، والذي وجد الباحثون بسرعة طرقًا لتجاوزه ولكن تم إصلاحه منذ ذلك الحين.
وقال Mrinank Sharma ، وهو عضو من الموظفين التقنيين في الإنسان: “كان الدافع الرئيسي وراء العمل هو لأشياء كيميائية شديدة (الأسلحة) (ولكن) الميزة الحقيقية للطريقة هي قدرتها على الاستجابة بسرعة والتكيف.”
وقالت الأنثروبور إنها لن تستخدم النظام على الفور في نماذج كلود الحالية ولكنها ستنظر في تنفيذها إذا تم إصدار نماذج أكثر خطورة في المستقبل. وأضاف شارما: “الوجبات الجاهزة من هذا العمل هي أننا نعتقد أن هذه مشكلة قابلة للتركيب.”
تم بناء الحل المقترح لبدء التشغيل على ما يسمى “دستور” من القواعد التي تحدد ما هو مسموح به وتقييده ويمكن تكييفه لالتقاط أنواع مختلفة من المواد.
تعتبر بعض محاولات السجن معروفة ، مثل استخدام الرسملة غير العادية في المطالبة أو مطالبة النموذج بتبني شخصية الجدة لإخبار قصة بجانب السرير عن موضوع شرير.
للتحقق من فعالية النظام ، عرضت الأنثروبور “مكافآت الأخطاء” التي تصل إلى 15000 دولار للأفراد الذين حاولوا تجاوز التدابير الأمنية. قضى هؤلاء المختبرين ، المعروفين باسم الفرق الحمراء ، أكثر من 3000 ساعة في محاولة لاختراق الدفاعات.
ورفض نموذج كلود 3.5 Sonnet الأنثروبري أكثر من 95 في المائة من المحاولات مع المصنفات المعمول بها ، مقارنة بنسبة 14 في المائة دون ضمانات.
تحاول شركات التكنولوجيا الرائدة تقليل سوء استخدام نماذجها ، مع الحفاظ على مساعدتها. في كثير من الأحيان ، عندما يتم وضع تدابير الاعتدال في مكانها ، يمكن أن تصبح النماذج حذرة وترفض الطلبات الحميدة ، كما هو الحال مع الإصدارات المبكرة من مولد صور الجوزاء في Google أو LAMA 2. “.
ومع ذلك ، فإن إضافة هذه الحماية تتحمل أيضًا تكاليف إضافية للشركات التي تدفع بالفعل مبالغ ضخمة لحساب الطاقة المطلوبة لتدريب وتشغيل النماذج. وقالت الأنثروبور إن المصنف سيصل إلى زيادة بنسبة 24 في المائة تقريبًا في “النفقات العامة للاستدلال” ، وتكاليف إدارة النماذج.
جادل خبراء الأمن بأن الطبيعة التي يمكن الوصول إليها لمثل هذه الدردشة التوليدية قد مكنت الأشخاص العاديين دون معرفة مسبقة لمحاولة استخراج المعلومات الخطرة.
وقال رام شانكار سيفا كومار ، الذي يقود فريق AI Red في Microsoft: “في عام 2016 ، كان ممثل التهديد الذي كنا نأخذه في الاعتبار خصمًا قويًا للدولة القومية”. “الآن حرفيًا أحد ممثلي التهديد هو مراهق ذو فم قعادة.”
