نظام ذكي يترجم لغة الإشارة إلى نصوص مقروءة ومسموعة

تلعب التوسعة المذهلة للتكنولوجيا دورًا حيويًا في التعامل مع احتياجات وتحديات عالمنا المتنوعة، ولعل أبرزها تسخير التقنيات للتعرف على إيماءات الأشخاص ذوي الإعاقة السمعية، حيث يعد التواصل جانبًا أساسيًا من التفاعل البشري، والأفراد الصم والبكم غالبًا ما يواجهون صعوبات في التعبير عن أنفسهم، مما يؤدي إلى وجود حاجز بينهم وبين أفراد المجتمع، مما ألهمني ومجموعة من الزملاء لتطوير نظام ذكي قادر على التعرف على إيماءات اليد المستخدمة لدى الأشخاص ذوي الإعاقة من فئتي الصم والبكم ويحوّلها إلى نصٍّ مكتوب ثم إلى صوت عبر استخدام تقنيات الشبكات العصبية وتقنية معالجة الصور وإنترنت الأشياء.

ولتحقيق هذا الهدف،عمل الباحثون على تصميم قاعدة بيانات ضخمة من خلال التقاط الصور ومعالجتها لتتناسب مع النظام. ويعتمد هذا المشروع على لغة الإشارة العربية والأمريكية كونها الأكثر استخداما في سلطنة عمان ومراكز رعاية الصم والبكم.

وقد حاولنا بقدر استطاعتنا استخدام أجهزة يسهل اقتناؤها وتكون صغيرة الحجم وغير باهظة الثمن، كما مكننا النظام من إضافة إشارات جديدة ليشمل فئة أكبر من المستخدمين. كما ستتضمن المرحلة القادمة من المشروع إضافة قلادة بها كاميرا محمولة تقوم بتصوير الشخص من ذوي الإعاقة من فئتي الصم والبكم، وترجمة إيماءاته مباشرة إلى صوت.

ولضمان نجاح المشروع، قمنا بإجراء تجارب متكررة وصل عددها لما يقارب الـ«1000» تجربة خلال فترة البحث الذي استغرق سنة كاملة. وقد أظهرت النتائج دقة عالية وصلت تقريبا إلى «0.9988» وخسارة تقريبا تبلغ «0.0015».

ويسْتخدِم النظام جهاز إنترنت الأشياء «راسبيري باي» وكاميرا عادية لاكتشاف وتحويل لغة الإشارة الخاصة بالأشخاص الصم إلى نص ثم إلى صوت. ويمكن للنظام التعرف على «31» إشارة باليد، بما في ذلك الحروف من «أ» إلى «ي».

ومن خلال هذا المشروع، تم اقتراح نظام تعرف دينامي يُستخدم للتعرف على نمط الإشارة من الفيديو المباشر الذي يتم التقاطه من الكاميرا. وتستخدم السمات التي تم استردادها من صورة الإشارة لتدريب نظام التعرف على الإشارات باستخدام طريقة الشبكة العصبية التقليدية «CNN».

ويمكن العدد الهائل من الصور الموجود في قاعدة البيانات تقنية الشبكة العصبية من التعرف على نمط الإشارة وبالتالي قراءتها بدقة عالية، حيث تحوي قاعدة البيانات على 62 ألف صورة تم التقاطها من قِبلْ الباحثين ومن ثم معالجتها من خلال عدة طرق لتكون متماثلة الكفاءة وواضحة للخوارزمية. كما نود التنويه على أن كل إشارة من الإشارات الـ«31» في النظام التقط له حوالي 2000 صورة، استخدم منها «1750» صورة من أجل عملية تدريب تقنية الشبكة العصبية، و«250» لفحص دقة النتائج.

ويتكون الفريق البحثي من الباحث الرئيسي الدكتور عبدالله أبو الكشك أستاذ مشارك ومنسق برنامج الشبكات وقواعد البيانات في جامعة صحار، والطالبة سارة بنت سالم الخايفية، والطالب مجتبى جعفر، ويجب التنويه إلى أن هذا المشروع يأتي ضمن برنامج دعم البحوث المؤسسي المبني على الكفاءة، وهو أحد المشروعات البحثية الممولة من وزارة التعليم العالي والبحث العلمي والابتكار.

المصدر: لجريدة عمان