طائرة بدون طيار مستقلة مزودة بكاميرا تعمل بالأشعة تحت الحمراء لمساعدة المستجيبين الأوائل: 7 خطوات

2024 مؤلف: John Day | [email protected]. آخر تعديل: 2024-01-30 07:38

وفقًا لتقرير منظمة الصحة العالمية ، تقتل الكوارث الطبيعية كل عام حوالي 90 ألف شخص وتؤثر على ما يقرب من 160 مليون شخص في جميع أنحاء العالم. تشمل الكوارث الطبيعية الزلازل وأمواج تسونامي والانفجارات البركانية والانهيارات الأرضية والأعاصير والفيضانات وحرائق الغابات وموجات الحر والجفاف. الوقت جوهري لأن فرصة النجاة تبدأ في التناقص مع كل دقيقة تمر. قد يواجه المستجيبون الأوائل صعوبة في تحديد مكان الناجين في منازل تضررت وتعرض حياتهم للخطر أثناء البحث عنهم. إن وجود نظام يمكنه تحديد مكان الأشخاص عن بُعد سيزيد بشكل كبير من السرعة التي يتمكن بها المستجيبون الأوائل من إخلائهم من المباني. بعد البحث عن أنظمة أخرى ، وجدت أن بعض الشركات قد أنشأت روبوتات تعتمد على الأرض أو أنشأت طائرات بدون طيار يمكنها تتبع الأشخاص ولكنها تعمل فقط خارج المباني. يمكن أن تسمح مجموعة كاميرات العمق إلى جانب كاميرات الأشعة تحت الحمراء الخاصة بالتتبع الدقيق للمنطقة الداخلية واكتشاف التغيرات في درجات الحرارة التي تمثل النار والأشخاص والحيوانات. من خلال تطبيق أجهزة الاستشعار باستخدام خوارزمية مخصصة على مركبة جوية بدون طيار (UAV) ، سيكون من الممكن تفتيش المنازل بشكل مستقل وتحديد مواقع الأشخاص والحيوانات لإنقاذهم في أسرع وقت ممكن.

الرجاء التصويت لي في مسابقة البصريات!

الخطوة 1: متطلبات التصميم

بعد البحث عن التقنيات المتاحة ، ناقشت الحلول الممكنة مع خبراء الرؤية الآلية والمستجيب الأول لإيجاد أفضل طريقة لاكتشاف الناجين في المناطق الخطرة. تسرد المعلومات أدناه أهم الميزات المطلوبة وعناصر التصميم للنظام.

• معالجة الرؤية - يحتاج النظام إلى توفير سرعة معالجة سريعة للمعلومات المتبادلة بين المستشعرات واستجابة الذكاء الاصطناعي (AI). على سبيل المثال ، يجب أن يكون النظام قادرًا على اكتشاف الجدران والعقبات لتفاديها مع العثور أيضًا على الأشخاص المعرضين للخطر.
• مستقل - يجب أن يكون النظام قادرًا على العمل بدون إدخال من مستخدم أو مشغل. يجب أن يكون الأفراد ذوو الخبرة الأقل في استخدام تقنية الطائرات بدون طيار قادرين على الضغط على زر واحد أو بضعة أزرار ليبدأ النظام في المسح بنفسه.
• النطاق - النطاق هو المسافة بين النظام وجميع الكائنات الأخرى القريبة. يجب أن يكون النظام قادرًا على اكتشاف الممرات والمداخل من مسافة 5 أمتار على الأقل. النطاق الأدنى المثالي هو 0.25 م بحيث يمكن اكتشاف الأجسام القريبة. كلما زاد نطاق الكشف ، كلما كان وقت اكتشاف الناجين أقصر.
• دقة الملاحة والكشف - يجب أن يكون النظام قادرًا على العثور بدقة على جميع المداخل وعدم اصطدام أي كائنات أثناء اكتشاف المظهر المفاجئ للأشياء أيضًا. يحتاج النظام إلى أن يكون قادرًا على إيجاد الفرق بين الأشخاص والأشياء غير الحية من خلال أجهزة استشعار مختلفة.
• مدة العملية - يجب أن يكون النظام قادرًا على الاستمرار لمدة 10 دقائق أو أكثر اعتمادًا على عدد الغرف التي يحتاج إلى مسحها ضوئيًا.
• السرعة - يجب أن يكون قادرًا على مسح المبنى بالكامل في أقل من 10 دقائق.

الخطوة 2: اختيار المعدات: طريقة التنقل

تم اختيار المروحية الرباعية بدلاً من سيارة التحكم عن بعد لأنه على الرغم من أن المروحية الرباعية هشة ، إلا أنه من السهل التحكم فيها وتغيير الارتفاع لتجنب العوائق. يمكن للطائرة الرباعية حمل جميع المستشعرات وتثبيتها بحيث تكون أكثر دقة أثناء التنقل في غرف مختلفة. المراوح مصنوعة من ألياف الكربون المقاومة للحرارة. أجهزة الاستشعار تبتعد عن الجدران لمنع الحوادث.

• مركبة برية تعمل بالتحكم عن بعد

  • الإيجابيات - يمكن أن يتحرك بسرعة دون السقوط ولا يتأثر بدرجة الحرارة
  • السلبيات - ستضع السيارة المستشعرات منخفضة على الأرض تغطي مساحة أقل في كل مرة ويمكن أن تسدها العوائق

• كوادكوبتر

  • الإيجابيات - يرفع المستشعرات في الهواء للحصول على عرض محيط بزاوية 360 درجة
  • السلبيات - إذا اصطدم بجدار ، فقد يسقط ولا يتعافى

الخطوة 3: اختيار المعدات: ميكروكنترولر

المطلبان الرئيسيان للميكروكونترولر هما الحجم الصغير لتقليل الحمولة على كوادكوبتر والسرعة لمعالجة مدخلات المعلومات بسرعة. يعد الجمع بين Rock64 و DJI Naza مزيجًا مثاليًا من وحدات التحكم الدقيقة حيث يتمتع Rock64 بقوة معالجة كافية لاكتشاف الأشخاص بسرعة ومنع الطائرة الرباعية من الاصطدام بالجدران والعقبات. تكملها DJI Naza جيدًا من خلال القيام بكل عمليات التثبيت والتحكم في المحرك التي لا يستطيع Rock64 القيام بها. تتواصل الميكروكونترولر عبر منفذ تسلسلي وتسمح للمستخدم بالتحكم إذا لزم الأمر. كان من الممكن أن يكون Raspberry Pi بديلاً جيدًا ولكن نظرًا لأن Rock64 كان لديه معالج أفضل واتصال أفضل بالمستشعرات المدرجة في الجدول التالي ، لم يتم اختيار Pi. لم يتم اختيار Intel Edison و Pixhawk بسبب نقص الدعم والاتصال.

• فطيرة التوت

  • الايجابيات - يمكن الكشف عن الجدران والأشياء الثابتة
  • السلبيات - تكافح من أجل مواكبة البيانات من جميع أجهزة الاستشعار حتى لا تتمكن من رؤية المداخل بالسرعة الكافية. لا يمكن إخراج إشارات المحرك وليس لديها أي مستشعرات استقرار للطائرة الرباعية

• روك 64

  • الايجابيات - قادرة على اكتشاف الجدران والمداخل مع قليل من الكمون.
  • السلبيات - قادر أيضًا على توجيه النظام في جميع أنحاء المنزل دون الاصطدام بأي شيء باستخدام جميع المستشعرات. غير قادر على إرسال الإشارات بسرعة كافية للتحكم في سرعة المحرك ولا يحتوي على أي مستشعرات استقرار للطائرة الرباعية

• إنتل اديسون

  • الايجابيات - قادرة على الكشف عن الجدران والمداخل مع بعض التأخير
  • السلبيات - التكنولوجيا القديمة ، ستحتاج العديد من المستشعرات إلى مكتبات جديدة تستغرق وقتًا طويلاً في إنشائها

• DJI نازا

  • الايجابيات - يحتوي على جيروسكوب مدمج ومقياس تسارع ومقياس مغناطيسي للسماح للطائرة الرباعية بالاستقرار في الهواء مع تعديلات دقيقة لسرعة المحرك
  • سلبيات - غير قادر على القيام بأي نوع من معالجة الرؤية

• بيكشوك

  • الإيجابيات - مدمج ومتوافق مع المستشعرات المستخدمة في المشروع باستخدام إخراج الإدخال للأغراض العامة (GPIO)
  • سلبيات - غير قادر على القيام بأي نوع من معالجة الرؤية

الخطوة 4: اختيار المعدات: أجهزة الاستشعار

يتم استخدام مزيج من عدة أجهزة استشعار للحصول على جميع المعلومات المطلوبة للعثور على الأشخاص في المناطق الخطرة. يشتمل المستشعران الرئيسيان المحددان على كاميرا ستيريو تعمل بالأشعة تحت الحمراء جنبًا إلى جنب مع SOund Navigation And Ranging (SONAR). بعد بعض الاختبارات ، قررت استخدام كاميرا Realsense D435 لأنها صغيرة وقادرة على تتبع مسافات تصل إلى 20 مترًا بدقة. يتم تشغيله بمعدل 90 إطارًا في الثانية مما يسمح بإجراء العديد من القياسات قبل اتخاذ قرار بشأن مكان وجود الكائنات والاتجاه الذي يجب توجيه المروحية الرباعية إليه. يتم وضع مستشعرات SONAR أعلى وأسفل النظام للسماح للطائرة الرباعية بمعرفة مدى ارتفاعها أو انخفاضها قبل الاتصال بالسطح. يوجد أيضًا واحدًا موجهًا للأمام للسماح للنظام باكتشاف أشياء مثل الزجاج التي لا يستطيع مستشعر كاميرا الأشعة تحت الحمراء الاستريو اكتشافها. يتم اكتشاف الأشخاص والحيوانات باستخدام خوارزميات التعرف على الحركة والأشياء. سيتم تنفيذ FLIR Camera لمساعدة كاميرا الأشعة تحت الحمراء الاستريو على تتبع ما هو حي وما لا يزيد من كفاءة المسح في الظروف المعاكسة.

• جهاز Kinect V1.0

  • الايجابيات - يمكن تتبع الكائنات ثلاثية الأبعاد بسهولة حتى 6 أمتار
  • سلبيات - يحتوي على مستشعر الأشعة تحت الحمراء واحد فقط وهو ثقيل جدًا بالنسبة للطائرات الرباعية

• ريل سينس D435

  • المميزات - يحتوي على كاميرتين تعمل بالأشعة تحت الحمراء وكاميرا باللون الأحمر والأخضر والأزرق والعمق (RGB-D) لاكتشاف الأجسام ثلاثية الأبعاد عالية الدقة حتى مسافة 25 مترًا. يبلغ عرضه 6 سم مما يسمح بوضعه في كوادكوبتر بسهولة
  • السلبيات - يمكن تسخينها وقد تحتاج إلى مروحة تبريد

• ليدار

  • الايجابيات - شعاع يمكنه تتبع المواقع حتى 40 مترًا في خط بصره
  • السلبيات - يمكن أن تؤثر الحرارة في البيئة على دقة القياس

• سونار

  • الايجابيات - شعاع يمكنه تتبع مسافة 15 مترًا ولكنه قادر على اكتشاف الأشياء الشفافة مثل الزجاج والأكريليك
  • السلبيات - نقاط فقط في خط رؤية واحد ولكن يمكن تحريكها بواسطة المروحية الرباعية لمسح المنطقة

• بالموجات فوق الصوتية

  • الايجابيات - يصل مداه إلى 3 أمتار وهو غير مكلف للغاية
  • السلبيات - نقاط فقط في خط رؤية واحد ويمكن أن تكون خارج نطاق استشعار المسافة بسهولة بالغة

• كاميرا FLIR

  • الإيجابيات - قادرة على التقاط صور بعمق من خلال الدخان دون تدخل ويمكن اكتشاف الأشخاص الأحياء من خلال بصمات الحرارة
  • السلبيات - إذا تداخل أي شيء مع أجهزة الاستشعار ، فيمكن حساب المسافة بشكل غير صحيح

• مستشعر PIR

  • الايجابيات - قادرة على اكتشاف التغير في درجة الحرارة
  • السلبيات - غير قادر على تحديد مكان اختلاف درجة الحرارة

الخطوة 5: اختيار المعدات: البرمجيات

لقد استخدمت Realsense SDK جنبًا إلى جنب مع نظام تشغيل الروبوت (ROS) لإنشاء تكامل سلس بين جميع أجهزة الاستشعار باستخدام وحدة التحكم الدقيقة. قدمت SDK دفقًا ثابتًا لبيانات السحابة النقطية التي كانت مثالية لتتبع جميع الكائنات وحدود المروحية الرباعية. ساعدني نظام ROS في إرسال جميع بيانات المستشعر إلى البرنامج الذي أنشأته والذي ينفذ الذكاء الاصطناعي. يتكون الذكاء الاصطناعي من خوارزميات الكشف عن الأشياء وخوارزميات اكتشاف الحركة التي تسمح للطائرة الرباعية بالعثور على الحركة في بيئتها. تستخدم وحدة التحكم Pulse Width Modulation (PWM) للتحكم في موضع المروحية الرباعية.

• فرينيكت

  • الايجابيات - لديه مستوى وصول أقل للتحكم في كل شيء
  • سلبيات - يدعم فقط Kinect V1

• Realsense SDK

  • الايجابيات - يمكن بسهولة إنشاء بيانات سحابة النقطة من تدفق المعلومات من كاميرا Realsense
  • السلبيات - يدعم فقط كاميرا Realsense D435

• برنامج تشغيل FLIR Linux

  • الايجابيات - يمكن استرداد دفق البيانات من كاميرا FLIR
  • السلبيات - التوثيق محدود للغاية

• نظام تشغيل الروبوت (ROS)

  • الايجابيات - نظام تشغيل مثالي لبرمجة وظائف الكاميرا
  • السلبيات - يجب تثبيته على بطاقة SD سريعة لجمع البيانات بكفاءة

الخطوة السادسة: تطوير النظام

"عيون" الجهاز هي مستشعر الأشعة تحت الحمراء المجسم Realsense D435 وهو مستشعر جاهز للاستخدام في التطبيقات الآلية مثل رسم الخرائط ثلاثية الأبعاد (الشكل 1). عندما يتم تثبيت هذا المستشعر على كوادكوبتر ، يمكن لكاميرا الأشعة تحت الحمراء توجيه والسماح للطائرة الرباعية بالتحرك بشكل مستقل. تسمى البيانات التي تم إنشاؤها بواسطة الكاميرا "سحابة نقطية" تتكون من سلسلة من النقاط في مساحة تحتوي على معلومات حول موضع كائن معين في رؤية الكاميرا. يمكن تحويل سحابة النقاط هذه إلى خريطة عمق تُظهر الألوان كأعماق مختلفة (الشكل 2). الأحمر هو أبعد ، في حين أن الأزرق هو أقرب متر.

لضمان سلاسة هذا النظام ، تم استخدام نظام تشغيل مفتوح المصدر يسمى ROS ، والذي يستخدم عادة على الروبوتات. يسمح بإجراء التحكم في الجهاز منخفض المستوى ، والوصول إلى جميع أجهزة الاستشعار وتجميع البيانات لاستخدامها من قبل البرامج الأخرى. ستتواصل ROS مع Realsense SDK الذي يسمح بتشغيل وإيقاف الكاميرات المختلفة لتتبع مدى بُعد الكائنات عن النظام. يتيح لي الارتباط بين كليهما الوصول إلى دفق البيانات من الكاميرا مما يؤدي إلى إنشاء سحابة نقطية. يمكن لمعلومات السحابة النقطية تحديد مكان الحدود والأشياء ضمن 30 مترًا ودقة 2 سم. تسمح المستشعرات الأخرى مثل مستشعرات SONAR والمستشعرات المضمنة في وحدة التحكم DJI Naza بتحديد موضع أكثر دقة للطائرة الرباعية. يستخدم برنامجي خوارزميات الذكاء الاصطناعي للوصول إلى سحابة النقاط ومن خلال الترجمة ، قم بإنشاء خريطة للمساحة الكاملة المحيطة بالجهاز. بمجرد بدء تشغيل النظام وبدء المسح ، سوف ينتقل عبر الممرات ويجد مداخل للغرف الأخرى حيث يمكنه بعد ذلك إجراء مسح للغرفة بحثًا عن أشخاص على وجه التحديد. يكرر النظام هذه العملية حتى يتم فحص جميع الغرف. حاليًا ، يمكن للطائرة الرباعية الطيران لمدة 10 دقائق تقريبًا وهو ما يكفي للقيام بعملية مسح كاملة ولكن يمكن تحسينها بترتيبات مختلفة للبطارية. سيتلقى المستجيبون الأوائل إشعارات عندما يتم رصد الأشخاص حتى يتمكنوا من تركيز جهودهم على المباني المختارة.

الخطوة السابعة: المناقشة والاستنتاج

بعد العديد من التجارب ، قمت بإنشاء نموذج أولي عملي يفي بالمتطلبات المدرجة في الجدول 1. باستخدام كاميرا Realsense D435 التي تعمل بالأشعة تحت الحمراء مع Realsense SDK ، تم إنشاء خريطة عمق عالية الدقة لمقدمة الطائرة الرباعية. في البداية واجهت بعض المشكلات مع كاميرا الأشعة تحت الحمراء التي لم تكن قادرة على اكتشاف أشياء معينة مثل الزجاج. من خلال إضافة مستشعر SONAR ، تمكنت من التغلب على هذه المشكلة. كان الجمع بين Rock64 و DJI Naza ناجحًا حيث كان النظام قادرًا على تثبيت كوادكوبتر بينما كان قادرًا على اكتشاف الأشياء والجدران من خلال خوارزميات رؤية الكمبيوتر التي تم إنشاؤها خصيصًا باستخدام OpenCV. على الرغم من أن النظام الحالي يعمل ويستوفي المتطلبات ، إلا أنه يمكن أن يستفيد من بعض النماذج الأولية المستقبلية.

يمكن تحسين هذا النظام باستخدام كاميرات عالية الجودة لتتمكن من اكتشاف الأشخاص بدقة أكبر. تتمتع بعض كاميرات FLIR الأكثر تكلفة بالقدرة على اكتشاف التوقيعات الحرارية التي يمكن أن تسمح باكتشاف أكثر دقة. يمكن أن يكون النظام أيضًا قادرًا على العمل في بيئات مختلفة مثل الغرف المغبرة والمليئة بالدخان. مع التكنولوجيا الجديدة ومقاومة الحريق ، يمكن إرسال هذا النظام إلى المنازل التي تحترق ويكتشف بسرعة مكان وجود الأشخاص حتى يتمكن المستجيبون الأوائل من استعادة الناجين من الخطر.

شكرا للقراءة! لا تنسوا التصويت لي في مسابقة البصريات!