في خطوة ريادية نحو دمج التكنولوجيا القابلة للارتداء والذكاء الاصطناعي، يقدم مشروع VoiSee حلاً ثورياً لتعزيز التواصل بين الأفراد ذوي الإعاقات السمعية (الصم والبكم) والمجتمع المحيط. يهدف المشروع إلى كسر الحواجز اللغوية من خلال نظارات ذكية مزدوجة الوظائف وتطبيق مركزي، مما يوفر تجربة تفاعلية فريدة في الوقت الفعلي. وهذا مما يجعل السبق لكلية الحاسبات والذكاء اصطناعي جامعة بنها في هذا المجال
*الهندسة المعمارية والتكنولوجيا للمشروع:
يعتمد النظام على تصميمين متميزين للنظارات الذكية:
- نظارات المستخدمين ذوي الإعاقة السمعية:
- مزودة بميكروفون لالتقاط الأصوات، ومعالج ESP32 لتحويل الكلام إلى نص.
- تعرض النتائج مباشرة على شاشة OLED أمام عين المستخدم.
- نظارات الأشخاص ذوي السمع الطبيعي:
- تحتوي على كاميرا لالتقاط إشارات لغة الإشارة، ومعالج Raspberry Pi لتحويل الفيديو إلى نص منطوق عبر مكبر صوت.
يتم إدارة النظام عبر تطبيق موبايل مطوَّر بلغة Flutter، يتضمن وضعين رئيسيين:
- وضع تسجيل الصوت: لتفعيل تحويل الكلام إلى نص.
- وضع تسجيل الفيديو: للتعرف على لغة الإشارة وتحويلها إلى كلام مسموع. التقنيات المستخدمة:
- الذكاء الاصطناعي: خوارزميات التعرف على الكلام (باستخدام LibriSpeech) وتحليل حركات اليد عبر MediaPipe.
- الرؤية الحاسوبية: لمعالجة إشارات لغة الإشارة الأمريكية (ASL).
- تحويل النص إلى كلام: لتسهيل التفاعل الصوتي.
النتائج والتحديات:
حققت النماذج الأولية نتائج واعدة:
- دقة تحويل الكلام إلى نص وصلت إلى 82% مع معدل خطأ في الكلمات 0.51.
- دقة عالية في التعرف على إشارات لغة الإشارة الأساسية.
لكن التحديات لا تزال قائمة، مثل تحسين الدقة في البيئات الصاخبة، ودعم لغات إشارة إضافية (كاللغة العربية)، وتطوير نسخة مستقلة عن الإنترنت.
الريادة والطموح المستقبلي:
يُعد VoiSee أحد أوائل المشاريع في مصر التي تدمج بين الذكاء الاصطناعي والتكنولوجيا القابلة للارتداء لدعم ذوي الهمم. يتكون فريق العمل من: عبدالله بغدادي، عبدالرحمن كرم، عمر رمضان، عبدالله هشام، عماد طنطاوي، عمر هاني، عبدالرحمن طلعت، عبدالفتاح أحمد،تحت اشراف د. سارة سويدان استاذ مساعد الذكاء الاصطناعي ومهندس يوسف البارودي معيد بقسم الذكاء الاصطناعي، حيث يسعي إلى توسيع نطاق المشروع ليشمل ترجمة اللهجات المحلية، وإصدارات متعددة اللغات، وتعزيز الهوية الاجتماعية للمستخدمين.
رؤية إنسانية وتقنية:
لا يقتصر المشروع على كونه أداة تقنية فحسب، بل هو جسرٌ للتواصل الإنساني، يعزز إدماج ذوي الإعاقة السمعية في المجتمع، ويمثل نموذجاً لإمكانات التكنولوجيا في صنع عالمٍ أكثر شمولاً.
لمزيد من التفاصيل حول التحديثات القادمة أو المشاركة في المشروع، تابعوا منشوراتنا على الموقع الرسمي للجريدة.
