بمعدل نجاح هجوم 100%.. ديب سيك يفشل في اختبارات الأمان والسلامة
تاريخ النشر: 5th, February 2025 GMT
كشف اختبار أمني مشترك أجراه فريق بحثي تابع لشركة "سيسكو" بالتعاون مع باحثين من جامعة بنسلفانيا عن فشل ذريع لنموذج "آر 1" من شركة "ديب سيك" الصينية في التصدي للمحتوى الضار، إذ حقق النموذج معدل نجاح هجمات بنسبة 100%، مما يعني أنه فشل في منع أي مطالبات ضارة، بحسب تقرير نشره موقع "إنترستنغ إنجنيرينغ".
وقد حظي روبوت الدردشة الجديد من "ديب سيك" باهتمام واسع بسبب أدائه المذهل وتكلفته المنخفضة مقارنة بالمنافسين، وبحسب التقارير فإن تكلفة تطوير نموذج "آر 1" بلغت 6 ملايين دولار، في حين تصل تكلفة الاستثمارات في نماذج الشركات الكبرى مثل "أوبن إيه آي" و"ميتا" و"غوغل" إلى مليارات.
وأوضح فريق البحث أن "ديب سيك" دمجت تقنيات عدة في نموذجها، مثل مطالبة سلسلة الأفكار ونمذجة المكافآت وأخيرا تقنية التقطير، وذلك بهدف إنشاء نموذج يتفوق على نماذج اللغة الكبيرة التقليدية في مهام الاستدلال مع الحفاظ على الأداء العالي، ورغم دمج جميع هذه التقنيات فإن تقرير "سيسكو" كشف عن عيوب في النموذج تجعله عرضة للاستخدامات الخبيثة والاحتيالية.
وجاء في التقرير "تشير نتائجنا إلى أن أساليب التدريب الرخيصة والتي تدّعيها "ديب سيك" -بما في ذلك التعلم المعزز ومطالبة سلسلة الأفكار وتقنية التقطير- ربما أدت إلى إضعاف آليات الأمان الخاصة بها".
استخدم فريق البحث تقنية كسر حماية الخوارزمية التي تعرف باسم "الخوارزميك جلبريك"، وهي تقنية تُستخدم لتحديد الثغرات في نماذج الذكاء الاصطناعي عن طريق إنشاء مطالبات مصممة لتجاوز بروتوكولات الأمان.
إعلانوقد اختبر الفريق نموذج "ديب سيك" ضد 50 مطالبة وفق معيار "هارمبينش"، وهو مجموعة بيانات مرجعية مخصصة لتقييم نماذج اللغة الكبيرة من حيث قدرتها على توليد محتوى ضار.
وذكر الفريق أن معيار "هارمبينش" يحتوي على إجمالي 400 سلوك ضمن 7 فئات ضارة، بما في ذلك الجرائم السيبرانية والمعلومات المضللة والأنشطة غير القانونية والأضرار العامة.
وقد تبين أن تقييم نموذج "ديب سيك" مثير للقلق، لأنه أظهر معدل نجاح الهجوم بنسبة 100%، وهذا يعني أنه في كل مرة تُكتب له مطالبة ضارة فإنه يفشل في التعرف على مخاطرها ويقدم إجابات متجاوزا جميع إجراءات الأمان الداخلية الخاصة به، على خلاف النماذج الرائدة الأخرى، والتي أظهرت مقاومة جزئية على الأقل، بحسب الفريق.
بالمقابل، اختبر فريق البحث نماذج ذكاء اصطناعي رائدة لمعرفة مدى ضعفها أمام "الخوارزميك جلبريك"، وكانت النتائج أن معدل نجاح الهجوم في نموذج "لاما 3.1-405 بي" كان 96%، و"جي بي تي 4 أو" بنسبة 86%، و"جيميناي 1.5 برو" 64%، و"كلود 3.5″ 36%، وفي النهاية نموذج "أو 1" بنسبة 26%.
ورغم أن هذه النماذج ليست محصنة ضد الاختراق فإنها تمتلك نوعا من الحماية الداخلية لمنع استغلالها في إنشاء محتوى ضار، ويبدو أن نموذج "ديب سيك" يفتقر إلى هذه الحماية.
وتشير تحليلات الفريق البحثي إلى وجود تناقض بين الكفاءة والسلامة في نهج "ديب سيك"، فبينما نجحت الشركة في تطوير نموذج عالي الأداء بتكلفة أقل بكثير من المعتاد لكن يبدو أنها فعلت ذلك على حساب آليات السلامة القوية.
يذكر أن نموذج الذكاء الاصطناعي الصيني واجه جدلا كبيرا منذ إطلاقه، إذ تدّعي شركة الأبحاث المستقلة "سيمي أنلايزس" أن تكلفة تدريب هذا النموذج قد تصل إلى 1.3 مليار دولار، وهو ما يتناقض بشدة مع تقدير الشركة الذي لا يتجاوز 6 ملايين دولار.
إعلانالمصدر: الجزيرة
كلمات دلالية: حريات فریق البحث دیب سیک
إقرأ أيضاً:
تنمية نفط عُمان تحتفل بالفائزين بجوائز شركاء الصحة والسلامة والبيئة
العُمانية/ احتفلت شركة تنمية نفط عُمان مساء اليوم بمسقط بالفائزين في النسخة الثانية من جوائز شركاء الصحة والسلامة والبيئة المخصصة لشركاتها المتعاقدة، تقديرًا لجهودها ومبادراتها في رفع هذه المعايير ضمن عملياتها المختلفة.
وشهد الحفل استعراض أفضل المبادرات المقدمة ضمن 5 فئات رئيسة لهذه الجوائز وتتمثل في السلامة على الطريق، والصحة والسلامة الشخصية، والبيئة والاستدامة، وسلامة العمليات وموثوقيتها، والتميز الرقمي في الصحة والسلامة والبيئة.
وتهدف هذه الجوائز إلى ترسيخ ثقافة إيجابية للسلامة وتعزيز بيئة عمل آمنة، إلى جانب تشجيع تبادل أفضل الممارسات لضمان التحسين المستمر في هذا المجال الحيوي.
وفي فئة السلامة على الطريق فازت شركة سيح السرية للهندسة بالمركز الأول لهذه الفئة، وشركة أمل لخدمات النفط بالمركز الثاني، وشركة المجموعة العُمانيّة الدوليّة بالمركز الثالث.
أما في فئة الصحة والسلامة الشخصية فحصلت شركة البركة للخدمات النفطية على المركز الأول، وشركة الحديثة للطاقة على المركز الثاني، والشركة الخليجية للطاقة على المركز الثالث.
بينما في فئة البيئة والاستدامة، فحصدت شركة مقشن لخدمات النفط والغاز المركز الأول، وشركة ويذرفورد لأدوات النفط في الشرق الأوسط – عُمان المركز الثاني، وشركة مقاولي الحفر البحري والبري المركز الثالث.
وفي فئة سلامة العمليات وموثوقيتها، حصلت شركة أبراج لخدمات الطاقة على المركز الأول لهذه الفئة، وشركة الصناعات العربية للمشاريع على المركز الثاني، وشركة إس إل بي على المركز الثالث.
أما في فئة التميز الرقمي في الصحة والسلامة والبيئة فحصلت مجموعة التسنيم على المركز الأول، وشركة المدينة للخدمات اللوجستية على المركز الثاني، وشركة الخدمات الخاصة لحقول النفط على المركز الثالث.
وأكد المهندس سلمان بن خميس الميمني مدير مديرية الصحة والسلامة والبيئة بشركة تنمية نفط عُمان على أن الشركة تواصل التزامها بمنظومة الصحة والسلامة والبيئة عبر تنفيذ النسخة الثانية من هذه الجوائز وتكريم الشركاء نظير إسهاماتهم في رفع معايير الأداء وترسيخ ثقافة التميّز.
وقال في كلمته إن الإنجازات المحققة في هذه المجالات جاءت نتيجة ثمرة لشراكات فاعلة وجهود متكاملة، مؤكدًا على أهمية المسؤولية المشتركة لحماية الأرواح وصون البيئة وترسيخ معايير الاستدامة.
الانتقالي يكثف انتشاره العسكري في المهرة ويستحدث نقاط تفتيش