تخترق الحماية .. اكتشاف نماذج ذكاء اصطناعي خبيثة على «Hugging Face» |تفاصيل
تاريخ النشر: 9th, February 2025 GMT
اكتشف باحثون في مجال الأمن السيبراني نماذج خبيثة للذكاء الاصطناعي على منصة Hugging Face تستخدم تقنية جديدة تعتمد على ملفات Pickle "المكسورة" لتجاوز أدوات الكشف عن البرمجيات الضارة.
تفاصيل الهجوم: كيف تم استغلال Pickle؟وكشف الباحث الأمني كارلو زانكي من شركة ReversingLabs أن الملفات الضارة كانت مخبأة داخل أرشيفات PyTorch، حيث تم وضع شيفرة خبيثة في بداية الملفات، مما يسمح بتنفيذ هجوم عبر "Shell عكسي" يتصل بعنوان IP محدد مسبقًا.
أُطلق على هذه الطريقة اسم "nullifAI"، وهي تستغل نقاط الضعف في آليات الأمان المستخدمة لاكتشاف النماذج الضارة. وقد تم تحميل النماذج على المستودعات التالية في Hugging Face:
glockr1/ballr7who-r-u0000/0000000000000000000000000000000000000لماذا يمثل Pickle خطرًا أمنيًا؟يعد تنسيق Pickle خيارًا شائعًا لتوزيع نماذج الذكاء الاصطناعي، لكنه يحمل مخاطر أمنية كبيرة، حيث يتيح تنفيذ أوامر عشوائية بمجرد تحميله وإلغاء تسلسله (Deserialization).
في هذه الحالة، استخدم المهاجمون تنسيق 7z بدلاً من ZIP لضغط النماذج، مما سمح لهم بتجاوز أداة Picklescan، وهي أداة مخصصة لاكتشاف الملفات المشبوهة على Hugging Face.
ثغرة في آليات الكشف.. وكيف تم استغلالها؟أوضح الباحثون أن هذه الملفات مصممة بحيث يتم تنفيذ الشيفرة الخبيثة قبل تعطل عملية إلغاء التسلسل، مما يمنع أدوات الفحص من اكتشافها.
وقال زانكي:"تتم معالجة أكواد Pickle بالتسلسل، مما يسمح بتنفيذ الأوامر الضارة قبل اكتشاف المشكلة. في هذه الحالة، لم تستطع أدوات الفحص في Hugging Face تصنيف النموذج على أنه غير آمن."
ما الإجراءات التي تم اتخاذها؟قامت Hugging Face بتحديث أداة Picklescan لسد هذه الثغرة ومنع تنفيذ الشيفرات الضارة باستخدام نفس الأسلوب.
تواصل شركات الأمن السيبراني مراقبة مستودعات الذكاء الاصطناعي بحثًا عن نماذج مشبوهة قد تستخدم تقنيات مماثلة في المستقبل.
ماذا يعني هذا للمطورين والمستخدمين؟يُحذر الخبراء من مخاطر تحميل نماذج الذكاء الاصطناعي من مصادر غير موثوقة، وينصحون باستخدام بيئات تشغيل معزولة (Sandboxing) عند اختبار النماذج الجديدة.
المصدر: صدى البلد
كلمات دلالية: الذكاء الاصطناعي ذكاء الاصطناعي المزيد
إقرأ أيضاً:
دراسة: الذكاء الاصطناعي قادر على تطوير تواصل يشبه التواصل البشري تلقائيا
قالت دراسة نشرتها صحيفة "الغارديان" إن الذكاء الاصطناعي قادر على تطوير أعراف اجتماعية تشبه البشر تلقائيا.
وأشارت الدراسة التي أجريت بالتعاون بين جامعة سيتي سانت جورج في لندن وجامعة كوبنهاغن لتكنولوجيا المعلومات، إلى أنه عندما تتواصل عناصر الذكاء الاصطناعي ذو نماذج اللغة الكبيرة (LLM) مثل ChatGPT في مجموعات دون تدخل خارجي، يمكنها البدء في تبني أشكال لغوية ومعايير اجتماعية بنفس الطريقة التي يتبعها البشر عند التفاعل الاجتماعي.
صرح أرييل فلينت آشيري، الباحث الرئيسي في الدراسة والباحث في مرحلة الدكتوراه في جامعة سيتي سانت جورج، بأن عمل مجموعة البحث يتعارض مع غالبية الأبحاث التي أُجريت في مجال الذكاء الاصطناعي، حيث تعامل مع الذكاء الاصطناعي ككيان اجتماعي وليس كيانا منفردا.
وقال آشيري: "عالجت معظم الأبحاث حتى الآن نماذج الذكاء الاصطناعي بمعزل عن غيرها، لكن أنظمة الذكاء الاصطناعي في العالم الحقيقي ستشمل بشكل متزايد العديد من العناصر المتفاعلة".
وأضاف: "أردنا أن نعرف: هل يمكن لهذه العناصر تنسيق سلوكها من خلال صياغة أعراف، وهي اللبنات الأساسية للمجتمع؟ الإجابة هي نعم، ولا يمكن اختزال ما تفعله معا إلى ما يفعله كلٌ منها على حدة".
تراوحت مجموعات عناصر الذكاء الاصطناعي الفردية المستخدمة في الدراسة بين 24 و100، وفي كل تجربة، تم إقران عنصرين عشوائيا وطُلب منهما اختيار "اسم"، سواء كان حرفا أو سلسلة من الأحرف، من بين مجموعة من الخيارات.
عندما اختار كلا العنصرين الاسم نفسه، تمت مكافأتهما، ولكن عندما اختارا خيارات مختلفة، عوقبا وعرضت عليهما خيارات بعضهما البعض.
على الرغم من عدم إدراك العناصر أنهم جزء من مجموعة أكبر، واقتصار ذكرياتهم على تفاعلاتهم الأخيرة فقط، فقد ظهرت تسمية مشتركة تلقائيا في المجتمع [الروبوتي] دون حل محدد مسبقا، محاكية بذلك معايير التواصل في الثقافة البشرية.
وقارن أندريا بارونشيلي، أستاذ علوم التعقيد في جامعة سيتي سانت جورج والمؤلف الرئيسي للدراسة، انتشار السلوك بظهور كلمات ومصطلحات جديدة في المجتمع البشري.
وقال: "لا يُقلّد العناصر قائدا، بل يحاولون جميعا التنسيق بنشاط، ودائما في أزواج. كل تفاعل هو محاولة فردية للاتفاق على تسمية، دون أي رؤية شاملة".
يشبه الأمر مصطلح 'spam'. لم يُعرّفه أحد رسميا، ولكن من خلال جهود التنسيق المتكررة، أصبح التسمية العالمية للبريد الإلكتروني غير المرغوب فيه".
بالإضافة إلى ذلك، لاحظ الفريق تحيزات جماعية تتشكل بشكل طبيعي، لا يمكن إرجاعها إلى العناصر الأفراد.
وفي تجربة أخيرة، تمكنت مجموعات صغيرة من عناصر الذكاء الاصطناعي من توجيه المجموعة الأكبر نحو تسمية جديدة.
وأُشير إلى هذا كدليل على ديناميكيات الكتلة الحرجة، حيث يمكن لأقلية صغيرة، لكنها مُصمّمة، أن تُحدث تحولا سريعا في سلوك المجموعة بمجرد وصولها إلى حجم معين، كما هو الحال في المجتمع البشري.
وقال بارونشيلي إنه يعتقد أن الدراسة "تفتح آفاقا جديدة لأبحاث سلامة الذكاء الاصطناعي". يُظهر هذا عمق آثار هذا النوع الجديد من العوامل التي بدأت تتفاعل معنا، والتي ستُشارك في تشكيل مستقبلنا".
وأضاف: "إن فهم كيفية عملها أمرٌ أساسيٌّ لقيادة تعايشنا مع الذكاء الاصطناعي، بدلا من الخضوع له. نحن ندخل عالما لا يقتصر فيه الذكاء الاصطناعي على الحديث فحسب، بل يتفاوض ويتوافق، وأحيانا يختلف بشأن السلوكيات المشتركة، تماما مثلنا".
نُشرت الدراسة المُراجعة من قِبل الأقران، بعنوان "الأعراف الاجتماعية الناشئة والتحيز الجماعي في مجتمعات الذكاء الاصطناعي ذو نماذج اللغة الكبيرة" في مجلة "ساينس أدفانسز".
بالأرقام.. الداخلية تكشف عدد الشكاوى حتى الساعة