استخدام السونار والليدار والرؤية الحاسوبية على المتحكمات الدقيقة لمساعدة المكفوفين: 16 خطوة

2024 مؤلف: John Day | [email protected]. آخر تعديل: 2024-01-30 07:39

أرغب في إنشاء "عصا" ذكية يمكنها مساعدة الأشخاص ذوي الإعاقات البصرية أكثر بكثير من الحلول الحالية. سيكون العصا قادرًا على إخطار المستخدم بالأشياء الموجودة في الأمام أو على الجانبين من خلال إحداث ضوضاء في سماعات الرأس من نوع الصوت المحيط. ستحتوي العصا أيضًا على كاميرا صغيرة و LIDAR (اكتشاف الضوء وتحديد المدى) حتى تتمكن من التعرف على الأشياء والأشخاص في الغرفة وإخطار المستخدم باستخدام سماعات الرأس. لأسباب تتعلق بالسلامة ، لن تحجب سماعات الرأس كل الضوضاء حيث سيكون هناك ميكروفون يمكنه تصفية جميع الأصوات غير الضرورية وإبقاء أبواق السيارة والناس يتحدثون. أخيرًا ، سيحتوي النظام على نظام تحديد المواقع العالمي (GPS) حتى يتمكن من إعطاء التوجيهات وإظهار المستخدم إلى أين يذهب.

يرجى التصويت لي في مسابقات اللياقة البدنية في الهواء الطلق و Microcontroller!

الخطوة 1: نظرة عامة على المشروع

وفقًا لمنظمة World Access for the Blind ، تعد الحركة الجسدية واحدة من أكبر التحديات التي يواجهها المكفوفون. قد يكون السفر أو المشي ببساطة في شارع مزدحم أمرًا صعبًا للغاية. تقليديا كان الحل الوحيد هو استخدام "العصا البيضاء" المعروفة والتي تستخدم في المقام الأول لمسح المناطق المحيطة عن طريق ضرب العوائق على مقربة من المستخدم. الحل الأفضل هو جهاز يمكن أن يحل محل المساعد المبصر من خلال توفير معلومات حول موقع العوائق بحيث يمكن للشخص الكفيف أن يخرج في بيئات غير معروفة ويشعر بالأمان. خلال هذا المشروع ، تم تطوير جهاز صغير يعمل بالبطاريات يلبي هذه المعايير. يمكن للجهاز اكتشاف حجم وموقع الكائن عن طريق المستشعرات التي تقيس موضع الكائنات بالنسبة إلى المستخدم ، وتنقل هذه المعلومات إلى متحكم دقيق ، ثم تحويلها إلى صوت لتوفير المعلومات للمستخدم. تم تصميم الجهاز باستخدام تقنية LIDAR التجارية المتاحة (اكتشاف الضوء والمدى) و SONAR (الملاحة الصوتية والمدى) وتقنيات رؤية الكمبيوتر المرتبطة بالميكروكونترولر والمبرمجة لتوفير إخراج المعلومات الصوتية المطلوبة باستخدام سماعات الأذن أو سماعات الرأس. تم تضمين تقنية الكشف داخل "عصا بيضاء" لتوضيح حالة المستخدم للآخرين وتوفير أمان إضافي.

الخطوة الثانية: البحث في الخلفية

في عام 2017 ، ذكرت منظمة الصحة العالمية أن هناك 285 مليون شخص معاق بصريًا في جميع أنحاء العالم ، منهم 39 مليونًا مكفوفين تمامًا. لا يفكر معظم الناس في المشكلات التي يواجهها الأشخاص المعاقون بصريًا كل يوم. وفقًا لمنظمة World Access for the Blind ، تعد الحركة الجسدية واحدة من أكبر التحديات التي يواجهها المكفوفون. قد يكون السفر أو المشي ببساطة في شارع مزدحم أمرًا صعبًا للغاية. لهذا السبب ، يفضل الكثير من الأشخاص المعاقين بصريًا إحضار صديق مبصر أو أحد أفراد الأسرة للمساعدة في التنقل في بيئات جديدة. تقليديا كان الحل الوحيد هو استخدام "العصا البيضاء" المعروفة والتي تستخدم في المقام الأول لمسح المناطق المحيطة عن طريق ضرب العوائق على مقربة من المستخدم. الحل الأفضل هو جهاز يمكن أن يحل محل المساعد المبصر من خلال توفير معلومات حول موقع العوائق بحيث يمكن للشخص الكفيف أن يخرج في بيئات غير معروفة ويشعر بالأمان. حاول NavCog ، وهو تعاون بين IBM وجامعة Carnegie Mellon ، حل المشكلة من خلال إنشاء نظام يستخدم إشارات Bluetooth والهواتف الذكية للمساعدة في التوجيه. ومع ذلك ، كان الحل مرهقًا وثبت أنه مكلف للغاية بالنسبة لعمليات التنفيذ على نطاق واسع. يعالج الحل الخاص بي هذا من خلال التخلص من أي حاجة للأجهزة الخارجية وباستخدام صوت لتوجيه المستخدم على مدار اليوم (الشكل 3). تتمثل ميزة تضمين التكنولوجيا داخل "العصا البيضاء" في أنها تشير إلى بقية العالم بحالة المستخدم التي تسبب تغييرًا في سلوك الأشخاص المحيطين.

الخطوة الثالثة: متطلبات التصميم

بعد البحث عن التقنيات المتاحة ، ناقشت الحلول الممكنة مع متخصصي الرؤية حول أفضل نهج لمساعدة ضعاف البصر على التنقل في بيئتهم. يسرد الجدول أدناه أهم الميزات المطلوبة لأي شخص للانتقال إلى جهازي.

ميزة الوصف:

• الحساب - يحتاج النظام إلى توفير معالجة سريعة للمعلومات المتبادلة بين المستخدم وأجهزة الاستشعار. على سبيل المثال ، يجب أن يكون النظام قادرًا على إبلاغ المستخدم بالعقبات الموجودة أمامه والتي تبعد مسافة مترين على الأقل.
• التغطية - يحتاج النظام إلى تقديم خدماته في الداخل والخارج لتحسين جودة حياة الأشخاص المعاقين بصريًا.
• الوقت - يجب أن يعمل النظام بشكل جيد في النهار كما في الليل.
• النطاق - النطاق هو المسافة بين المستخدم والكائن المراد اكتشافه بواسطة النظام. المدى الأدنى المثالي هو 0.5 متر ، في حين أن المدى الأقصى يجب أن يكون أكثر من 5 أمتار. قد تكون المسافات الإضافية أفضل ولكن أكثر صعوبة في الحساب.
• نوع الكائن - يجب أن يكتشف النظام الظهور المفاجئ للكائنات. يجب أن يكون النظام قادرًا على التمييز بين الأجسام المتحركة والأشياء الثابتة.

الخطوة 4: التصميم الهندسي واختيار المعدات

بعد النظر في العديد من المكونات المختلفة ، قررت الأجزاء المختارة من الفئات المختلفة أدناه.

سعر الأجزاء المختارة:

• Zungle Panther: 149.99 دولارًا
• LiDAR Lite V3: 149.99 دولارًا
• LV-MaxSonar-EZ1: 29.95 دولارًا
• مستشعر الموجات فوق الصوتية - HC-SR04: 3.95 دولار
• Raspberry Pi 3: 39.95 دولارًا
• اردوينو: 24.95 دولارًا
• Kinect: 32.44 دولارًا
• Floureon 11.1v 3s 1500mAh: 19.99 دولارًا
• LM2596HV: 9.64 دولار

الخطوة 5: اختيار المعدات: طريقة التفاعل

قررت استخدام التحكم الصوتي كطريقة للتفاعل مع الجهاز لأن وجود أزرار متعددة على عصا يمكن أن يمثل تحديًا لشخص ضعيف البصر ، خاصة إذا كانت بعض الوظائف تتطلب مجموعة من الأزرار. من خلال التحكم الصوتي ، يمكن للمستخدم استخدام أوامر محددة مسبقًا للتواصل مع العصا مما يقلل من الأخطاء المحتملة.

الجهاز: الايجابيات - السلبيات:

• الأزرار: لا يوجد خطأ في الأمر عند الضغط على الزر الأيمن - قد يكون من الصعب التأكد من الضغط على الأزرار الصحيحة
• التحكم الصوتي: سهل لأن المستخدم يمكنه استخدام أوامر محددة مسبقًا --- قد يؤدي النطق غير الصحيح إلى حدوث أخطاء

الخطوة 6: اختيار المعدات: متحكم دقيق

استخدم الجهاز Raspberry Pi بسبب تكلفته المنخفضة وقوة المعالجة الكافية لحساب خريطة العمق. كان من الممكن أن يكون Intel Joule هو الخيار المفضل ولكن سعره كان سيضاعف تكلفة النظام الذي لن يكون مثاليًا لهذا الجهاز الذي تم تطويره لتوفير خيار تكلفة أقل للمستخدمين. تم استخدام اردوينو في النظام لأنه يمكن بسهولة الحصول على المعلومات من أجهزة الاستشعار. لم يتم استخدام BeagleBone و Intel Edison بسبب انخفاض نسبة السعر إلى الأداء وهو أمر سيء بالنسبة لهذا النظام منخفض التكلفة.

متحكم دقيق: إيجابيات - سلبيات:

• Raspberry Pi: لديه قوة معالجة كافية للعثور على العقبات ودمج WiFi / Bluetooth - لا توجد خيارات كثيرة لتلقي البيانات من أجهزة الاستشعار
• اردوينو: تلقي البيانات بسهولة من أجهزة الاستشعار الصغيرة. بمعنى آخر. LIDAR ، Ultrasonic ، SONAR ، إلخ - لا توجد قوة معالجة كافية للعثور على العقبات
• Intel Edison: يمكنه معالجة العقبات بسرعة باستخدام معالج سريع - يتطلب قطع مطور إضافية ليعمل مع النظام
• Intel Joule: لديها ضعف سرعة المعالجة لأي من وحدات التحكم الدقيقة في السوق الاستهلاكية حتى الآن - تكلفة عالية جدًا لهذا النظام ويصعب التفاعل مع GPIO لتفاعل المستشعر
• BeagleBone Black: مدمج ومتوافق مع المستشعرات المستخدمة في المشروع باستخدام إخراج الإدخال للأغراض العامة (GPIO) - لا توجد قوة معالجة كافية للعثور على الكائنات بشكل فعال

الخطوة 7: اختيار المعدات: أجهزة الاستشعار

يتم استخدام مزيج من عدة أجهزة استشعار للحصول على دقة عالية في الموقع. Kinect هو المستشعر الرئيسي نظرًا لحجم المساحة التي يمكنه البحث فيها عن العوائق في وقت واحد. LIDAR التي تعني LIght Detection and Ranging ، هي طريقة استشعار عن بعد تستخدم الضوء على شكل ليزر نابض لقياس المسافات من مكان المستشعر إلى الأشياء بسرعة ؛ يتم استخدام هذا المستشعر لأنه يمكنه تتبع منطقة تصل إلى 40 مترًا (م) ، ولأنه يمكنه المسح بزوايا مختلفة ، يمكنه اكتشاف ما إذا كانت هناك أي خطوات تتجه لأعلى أو لأسفل. يتم استخدام مستشعرات SOund Navigation And Ranging (SONAR) والموجات فوق الصوتية كتتبع احتياطي في حالة فقد Kinect لقطب أو نتوء في الأرض من شأنه أن يشكل خطرًا على المستخدم. يستخدم مستشعر 9 درجات من الحرية لتتبع الاتجاه الذي يواجهه المستخدم حتى يتمكن الجهاز من تخزين المعلومات لتوجيهها بدقة أعلى في المرة القادمة التي يمشي فيها الشخص في نفس المكان.

المستشعرات: إيجابيات - سلبيات:

• Kinect V1: يمكنه تتبع الكائنات ثلاثية الأبعاد باستخدام - كاميرا واحدة فقط لاكتشاف المناطق المحيطة
• Kinect V2: يحتوي على 3 كاميرات تعمل بالأشعة تحت الحمراء وكاميرا باللون الأحمر والأخضر والأزرق والعمق (RGB-D) لاكتشاف الأجسام ثلاثية الأبعاد عالية الدقة - يمكن تسخينها وقد تحتاج إلى مروحة تبريد ، وهي أكبر من أجهزة الاستشعار الأخرى
• LIDAR: شعاع يمكنه تتبع المواقع حتى مسافة 40 مترًا - يحتاج إلى وضعه في اتجاه الكائن ويمكنه فقط النظر في هذا الاتجاه
• سونار: شعاع يمكنه تتبع مسافة 5 أمتار ولكن في نطاق بعيد --- يمكن للأشياء الصغيرة مثل الريش تشغيل المستشعر
• الموجات فوق الصوتية: يصل مداه إلى 3 أمتار وهو غير مكلف للغاية - قد تكون المسافات أحيانًا غير دقيقة
• مستشعر 9 درجات من الحرية: جيد لاستشعار الاتجاه وسرعة المستخدم - إذا كان أي شيء يتداخل مع المستشعرات ، فيمكن حساب المسافة بشكل غير صحيح

الخطوة 8: اختيار المعدات: البرمجيات

كان البرنامج المحدد للنماذج الأولية القليلة التي تم إنشاؤها باستخدام مستشعر Kinect V1 هو Freenect ولكنه لم يكن دقيقًا للغاية. عند التبديل إلى Kinect V2 و Freenect2 ، تم تحسين نتائج التتبع بشكل كبير بسبب التعقب المحسن حيث يحتوي V2 على كاميرا عالية الدقة و 3 كاميرات تعمل بالأشعة تحت الحمراء بدلاً من كاميرا واحدة في Kinect V1. عندما كنت أستخدم OpenNi2 مع Kinect V1 ، كانت الوظائف محدودة ولم أتمكن من التحكم في بعض وظائف الجهاز.

البرنامج: إيجابيات - سلبيات:

• Freenect: لديه مستوى أقل من التحكم للتحكم في كل شيء - يدعم فقط Kinect V1
• OpenNi2: يمكنه بسهولة إنشاء بيانات سحابة النقطة من تدفق المعلومات من Kinect - يدعم فقط Kinect V1 وليس لديه دعم للتحكم في المستوى المنخفض
• Freenect2: لديه مستوى أقل من التحكم لشريط المستشعر - يعمل فقط مع Kinect V2
• ROS: نظام تشغيل مثالي لبرمجة وظائف الكاميرا - يجب تثبيته على بطاقة SD سريعة حتى يعمل البرنامج

الخطوة 9: اختيار المعدات: أجزاء أخرى

تم اختيار بطاريات الليثيوم أيون لكونها خفيفة وسعة طاقة عالية وقابلة لإعادة الشحن. البديل 18650 لبطارية الليثيوم أيون له شكل أسطواني ويتناسب تمامًا مع النموذج الأولي للقصب. أول نموذج أولي من قصب السكر مصنوع من أنابيب PVC لأنه أجوف ويقلل من وزن القصب.

الخطوة 10: تطوير النظام: إنشاء جزء الأجهزة 1

علينا أولاً تفكيك Kinect لجعله أخف وزنًا بحيث يتلاءم مع العكاز. لقد بدأت بإزالة كل الغلاف الخارجي من Kinect لأن البلاستيك المستخدم يزن الكثير. ثم اضطررت إلى قطع الكابل حتى يمكن إزالة القاعدة. أخذت الأسلاك من الموصل الموضح في الصورة وقمت بلحامها بكابل USB مع أسلاك إشارة وكان الوصلان الآخران من أجل طاقة الإدخال 12V. نظرًا لأنني أردت تشغيل المروحة الموجودة داخل العصا بكامل طاقتها لتبريد جميع المكونات الأخرى ، فقد قمت بقطع الموصل عن المروحة من Kinect وقمت بتوصيل 5 فولت من Raspberry Pi. لقد صنعت أيضًا محولًا صغيرًا لسلك LiDAR بحيث يمكنه الاتصال مباشرة بـ Raspberry Pi دون أي أنظمة أخرى بينهما.

لقد قمت بطريق الخطأ بلحام السلك الأبيض بالسلك الأسود ، لذا لا تنظر إلى الصور للحصول على مخططات الأسلاك

الخطوة 11: تطوير النظام: إنشاء جزء الأجهزة 2

لقد قمت بإنشاء قطعة منظم لتوفير الطاقة لجميع الأجهزة التي تتطلب 5 فولت مثل Raspberry Pi. لقد قمت بضبط المنظم عن طريق وضع عداد على الخرج وضبط المقاوم بحيث يوفر المنظم 5.05 فولت. أضعها أعلى قليلاً من 5 فولت لأنه بمرور الوقت ، ينخفض جهد البطارية ويؤثر قليلاً على جهد الخرج. لقد صنعت أيضًا محولًا يسمح لي بتشغيل ما يصل إلى 5 أجهزة تتطلب 12 فولت من البطارية.

الخطوة 12: تطوير النظام: برمجة جزء النظام 1

تعد البرمجة من أصعب أجزاء هذا النظام. عندما حصلت على Kinect لأول مرة للتلاعب به ، قمت بتثبيت برنامج يسمى RTAB Map الذي يأخذ دفق البيانات من Kinect ويحوله إلى سحابة نقطة. باستخدام سحابة النقطة ، قامت بإنشاء صورة ثلاثية الأبعاد يمكن تدويرها حتى ترى عمق مكان وجود جميع الكائنات. بعد التلاعب بها لفترة من الوقت وتعديل جميع الإعدادات ، قررت تثبيت بعض البرامج على Raspberry Pi للسماح لي برؤية تدفق البيانات من Kinect. تُظهر الصورتان الأخيرتان أعلاه ما يمكن أن ينتجه Raspberry Pi بحوالي 15-20 إطارًا في الثانية.