تطوير برنامج حماية للذكاء الاصطناعي من الاختراق
تاريخ النشر: 4th, February 2025 GMT
أعلنت شركة "أنثروبيك" عن تطوير نظام جديد يمكنه حماية نماذج الذكاء الاصطناعي من محاولات كسر حواجز الحماية (جيل بريك).
وفي التقنية الجديدة يمكن كشف محاولة كسر الحماية على مستوى الإدخال ومنع الذكاء الاصطناعي من توليد استجابة ضارة نتيجة لذلك، واختبرت شركة الذكاء الاصطناعي قوة النظام من خلال برامج كسر الحماية المستقلة وفتحت أيضا عرضا توضيحياً حياً مؤقتاً للنظام للسماح لأي فرد مهتم باختبار قدراته، وفق "غادجيت 360".
ويُطلق على هذا النظام اسم Dubbed Constitutional Classifiers ، وهي عبارة عن تقنية حماية يمكنها اكتشاف محاولات الاختراق.
ويشير "كسر الحماية في الذكاء الاصطناعي التوليدي"، إلى تقنيات الكتابة السريعة غير العادية التي يمكن أن تجبر نموذج الذكاء الاصطناعي على عدم الالتزام بإرشادات التدريب الخاصة به وإنشاء محتوى ضار وغير مناسب.
وكسر الحماية ليس شيئاً جديداً، ويطبق معظم مطوري الذكاء الاصطناعي العديد من الضمانات ضده داخل النموذج، غير أنه، ونظراً لأن مهندسي كسر الحماية يواصلون إنشاء تقنيات جديدة، فمن الصعب بناء نموذج لغوي كبير (LLM) محمي تماماً من مثل هذه الهجمات.
وتتضمن بعض تقنيات كسر الحماية مطالبات طويلة للغاية ومعقدة تربك قدرات الذكاء الاصطناعي على التفكير.
ويستخدم البعض الآخر مطالبات متعددة لكسر الضمانات، ويستخدم البعض حتى أحرفاً كبيرة غير عادية لاختراق دفاعات الذكاء الاصطناعي.
وفي منشور يفصل البحث، أعلنت شركة أنثروبيك أنها تعمل على تطوير برنامج كطبقة واقية لنماذج الذكاء الاصطناعي.
وعلاوة على ذلك، أثناء اختبار التقييم الآلي، حيث جربت شركة الذكاء الاصطناعي Claude باستخدام 10000 مطالبة لكسر الحماية، ووجد أن معدل النجاح كان 4.4 بالمائة، مقابل 86 بالمائة لنموذج الذكاء الاصطناعي غير المحمي، وتمكنت أنثروبيك أيضاً من تقليل الرفض المفرط (رفض الاستعلامات غير الضارة) ومتطلبات قوة المعالجة الإضافية للبرنامج الجديد.
المصدر: موقع 24
كلمات دلالية: عام المجتمع اتفاق غزة سقوط الأسد عودة ترامب إيران وإسرائيل غزة وإسرائيل الإمارات الحرب الأوكرانية الذكاء الاصطناعي الذکاء الاصطناعی
إقرأ أيضاً:
هل يهدد الذكاء الاصطناعي التعليم والجامعات ؟
وقع نظري مؤخرًا على مقال نشره كاتب أمريكي يُدعى «رونالد بروسر»، وهو أستاذ إدارة الأعمال بجامعة «سان فرانسيسكو».
نُشر المقال في مجلة «Current Affairs»، وهي مجلة سياسية ثقافية تصدر من الولايات المتحدة الأمريكية، وذلك في 1 ديسمبر 2025.
تحدّث الكاتبُ في هذا المقال عن أزمة التعليم في ظل وجود الذكاء الاصطناعي، ويرى أن الجامعات الأمريكية عقدت الكثير من الشراكات مع شركات الذكاء الاصطناعي مثل شركة OpenAI، وأن هذا التوجّه يمثّل تهديدًا للتعليم ومستقبله، ويسهم في تفريغه من مضمونه الرئيس؛ بحيث يتحوّل التعليم إلى ما يشبه مسرحية شكلية فارغة من التفكير وصناعة الفكر والمعرفة الحقيقية.
يرى «بروسر» أن هناك تحوّلا يدفع الطلبة إلى استعمال الذكاء الاصطناعي بشكل مكثّف وغير منضبط في إنجاز الواجبات والأعمال المنوطة إليهم، وكذلك يدفع كثيرا من الأساتذة إلى الاعتماد المفرط عليه في إعداد المحاضرات وعمليات التقويم والتصحيح، وتدفع الجامعات ـ كما يذكر «بروسر» ـ ملايين الدولارات في إطار هذه الشراكات مع شركات الذكاء الاصطناعي مثل OpenAI؛ لتوفير النُّسخ التوليدية التعليمية وتسخيرها للطلبة والأكاديميين.
بناء على ذلك، تذهب هذه الملايين إلى هذه النظم التوليدية الذكية وشركاتها التقنية، في حين استقطعت الأموال من موازنات الجامعات؛ فأدى إلى إغلاق برامج أكاديمية في تخصصات مثل الفلسفة والاقتصاد والفيزياء والعلوم السياسية، وكذلك إلى الاستغناء عن عدد من أعضاء هيئة التدريس.
يكشف الكاتبُ في نهاية المطاف أن الجامعات بدأت تتحول من الاستثمار في التعليم ذاته إلى تسليم النظام التعليمي ومنهجيته وعملية التعلّم إلى منصات الذكاء الاصطناعي، وهو ما يقلّص الاعتماد على الكوادر البشرية وعلى المنهجيات النقدية والتفكيرية.
كذلك يُظهر الكاتبُ الوجهَ المظلم للذكاء الاصطناعي والاستغلال الذي قامت به شركات الذكاء الاصطناعي بالتعاون مع بعض الجامعات ومؤسسات البحث العلمي، ويرتبط هذا الوجه المظلم بعملية فلترة المحتوى الذي يُضخّ في نماذج الذكاء الاصطناعي التوليدية؛ حيث تُكلَّف فئات من البشر ـ في الغالب من الدول الأفريقية الفقيرة ـ بمراجعة هذا المحتوى وتصنيفه وحذف غير الملائم منه، مقابل أجور زهيدة جدا، وذلك بغية صناعة واجهة «آمنة» لهذه النماذج، وتقتضي هذه العملية في الوقت نفسه استهلاك كميات هائلة من الطاقة والمياه لتشغيل مراكز البيانات التي تقوم عليها هذه الأنظمة.
كما يكشف وجها آخر للاستغلال الرقمي، ضحاياه الطلبة في بعض الجامعات الأمريكية ـ خصوصا المنتمين إلى الطبقات العاملة ـ عبر استغلالهم لصالح مختبرات شركات وادي السيليكون؛ إذ تُبرَم صفقات بملايين الدولارات بين هذه الشركات وبعض الجامعات، دون استشارة الطلبة أو أساتذتهم، في حين لا يحصل الطلبة إلا على الفتات، ويُعامَلون كأنهم فئران تجارب ضمن منظومة رأسمالية غير عادلة.
أتفقُ مع كثير من النقاط التي جاء بها «رونالد بروسر» في مقاله الذي استعرضنا بعض حيثياته، وأرى أننا نعيش فعلا أزمة حقيقية تُهدِّد التعليم والجامعات، ونحتاج لفهم هذه الأزمة إلى معادلة بسيطة معنية بهذه التحديات مفادها أننا الآن في مرحلة المقاومة، والتي يمكن اعتبارها مرحلة شديدة الأهمية، لأنها ستُفضي في النهاية إما إلى انتصار التقنية أو انتصار الإنسان.
مع ذلك، لا أعتقد أن هذه المعركة تحتاج إلى كل هذا القدر من التهويل أو الشحن العاطفي، ولا أن نُسبغ عليها طابعا دراميًا مبالغًا فيه.
كل ما نحتاجه هو أن نفهم طبيعة العلاقة بيننا وبين التقنية، وألا نسمح لهذه العلاقة أن تتحول إلى معركة سنخسرها بكل تأكيد، نظرا إلى عدة عوامل، من بينها أننا نفقد قدرتنا على التكيّف الواعي مع المنتجات التقنية، ولا نحسن توظيفها لصالحنا العلمي والتعليمي؛ فنحوّلها ـ عن قصد أو بدون قصد ـ إلى خصم ضار غير نافع.
نعود بالزمن قليلا إلى الوراء ـ تحديدا تسعينيات القرن العشرين ـ
لنتذكّر المواجهة التي حدثت بين المنظومة التعليمية ـ من جامعات وأساتذة وباحثين ومهتمّين بالمعرفة ـ وبين موجة التهديدات الجديدة التي تزّعمها الإنترنت ومحركاته البحثية، وكان أحد أبرز هذه التهديدات ظهور ما يمكن تسميته بثقافة البحث السريع؛ حيث ابتعد الطالب والباحث عن الطرق التقليدية في البحث مثل استعمال الكتب والقراءة المطوّلة والعميقة، ولجأ إلى الإنترنت والبحث عن المعلومات في غضون ساعات قليلة، والاكتفاء بتلخيص الدراسات والكتب.
ولّد هذا التحوّل مشكلات أخرى، من بينها تفشّي ظاهرة الانتحال العلمي والسرقات الفكرية، ولكن، لم تستمر هذه المشكلة لفترة طويلة؛ فحُلّت تدريجيا بعد سنوات، وتحديدا مع ظهور أدوات قادرة على كشف حالات الانتحال والسرقة العلمية، وظهور أنظمة تأقلمية ومعايير وقوانين تعليمية وأكاديمية عملت على إعادة تموضع الإنترنت داخل المنظومة التعليمية، وهكذا خرج النظام التعليمي والجامعات من تلك المواجهة رابحًا في بعض أجزائه وخاسرًا في أجزاء أخرى.
لا أتصور أن مشكلتنا الحالية مع الذكاء الاصطناعي تشبه تماما المشكلة السابقة التي أحدثها ظهور الإنترنت ومحركات البحث؛ فكانت التحديات السابقة -نسبيا- أسهل، وكان من الممكن التعامل معها واحتواؤها في غضون سنوات قصيرة. أما المشكلة الراهنة مع الذكاء الاصطناعي، فتكمن في سرعته التطورية الهائلة التي لا نستطيع حتى أن نتحقق من مداها أو نتنبّأ بوتيرة قدراتها الإبداعية؛ فنجد، مثلا ، أنه في غضون سنتين أو ثلاث فقط انتقل الذكاء الاصطناعي التوليدي مثل«ChatGPT» من مرحلته البدائية إلى مرحلته المتقدمة الحالية، تجاوز فيها في بعض الزوايا قدرات الإنسان العادي في المهارات اللغوية، وأصبح يشكّل تحديًا حقيقيًا كما أشرنا في مقالات سابقة.
فيما يتعلّق بالتعليم والجامعات، وكما أشار الكاتب في المقال الذي استعرضناه؛ فنحن أمام مشكلة حقيقية تحتاج إلى فهم عميق وإعادة ترتيب لأولوياتنا التعليمية.
نقترح أولا ألا نتجاوز الحد المسموح والمقبول في استعمال الذكاء الاصطناعي في التعليم؛ فيجب أن تكون هناك حالة توازن واعية في التعامل مع أنظمة الذكاء الاصطناعي التوليدية في الجامعات، وكذلك المدارس.
وبصفتي أكاديميًا، أرى من الضروري أن نقنن استعمال الذكاء الاصطناعي داخل الجامعات عبر وضع معايير وقوانين واضحة، والسعي في الوقت ذاته إلى تطوير أدوات قادرة على كشف حالات الانتحال والسرقات العلمية المرتبطة باستعمال هذه التقنيات والنماذج الذكية، رغم صعوبة ذلك في المرحلة الحالية، ولكن من المرجّح أن يصبح الأمر أكثر يسرا في المستقبل القريب.
رغم ذلك، فلا يعني أنه ينبغي أن نمنع استعمال الذكاء الاصطناعي منعًا تامًا؛ فجلّ ما نحتاجه أن نُشرف عليه ونوجّهه ضمن حدود معيّنة؛ لتكون في حدود تعين على صناعة الإبداع البشري؛ فيمكننا أن نوجّه الذكاءَ الاصطناعي في تنمية مهارات الحوار والتفكير والتحليل لدى الطلبة إذا استُعملَ بطريقة تربوية صحيحة.
ولكن في المقابل يجب أن تُشدَّد القوانين والعقوبات المتصلة بحالات الانتحال والاعتماد الكلّي على النماذج التوليدية سواء في مخرجات العملية التعليمية أو في البحوث العلمية.
كذلك من الضروري أن نُعيد التوازن إلى دور أعضاء هيئة التدريس في الجامعات؛ فمن غير المعقول أن نترك صناعة المحتوى التعليمي مرهونة بالكامل للذكاء الاصطناعي، في حين يتراجع دور الأكاديمي وإبداعه الذي يمارس التفكير والنقد والإضافة المعرفية من عنده.
على صعيد آخر، أظهرت دراسات حديثة التأثير السلبي للاستعمال المفرط للذكاء الاصطناعي والاعتماد عليه على الدماغ البشري بشكل فسيولوجي مباشر؛ فيمكن أن يدخله في حالة من الضمور الوظيفي مع الزمن، خصوصا حال تخلّى الإنسان عن ممارسة التفكير لصالح الخوارزمية.
د. معمر بن علي التوبي أكاديمي وباحث عُماني
الظهور الأول لـ هدير عبد الرازق وطليقها أوتاكا أمام المحكمة