سينما الارتجاع البيولوجي: 7 خطوات

2024 مؤلف: John Day | [email protected]. آخر تعديل: 2024-01-30 07:41

مؤلف المشروع

جيسيكا آن

المتعاونون

• جريجوري هوغ
• سالود لوبيز
• بيدرو بيرا

عن

نظام التقاط فيديو تجريبي يربط دماغ المشارك بوظائف الكاميرا عبر سماعة رأس Neurosky Mindwave EEG Reader. يعمل نظام Biofeedback Cinema بدلاً من المصور السينمائي التقليدي ، وبدلاً من ذلك يمنح وكالة التكوين للمشارك نفسه عبر واجهة BRAIN to CAMERA المخصصة. تم تطوير المشروع بالتعاون مع الحاضرين في ورشة العمل Gregory Hough و Salud Lopez و Pedro Peira. يمكنك قراءة نتائج ورشة العمل على:

تكوين النموذج الأولي

يفسح نظام Biofeedback Cinema نفسه للعديد من التطبيقات المحتملة. بالنسبة لهذا التوجيه ، قمنا بإعداد عرض توضيحي للنظام ينظر إلى مستوى تركيز / انتباه المشارك (عدد صحيح واحد) ويترجم ذلك إلى موضع الكاميرا (عبر التحريك والإمالة) وتركيز الكاميرا (داخليًا عبر OpenCV). أصبح كل هذا ممكنًا بفضل اتصال البلوتوث بين سماعة قارئ Neurosky EEG و Raspberry Pi.

Raspberry Pi هو جهاز كمبيوتر صغير مزود بكاميرا ويب ونصوص (متوفرة أدناه) تعمل على ربط نشاط دماغ المشارك بإعدادات الكاميرا وموضع الكاميرا. أصبح وضع الكاميرا الديناميكي ممكنًا من خلال متحكم Arduino يستقبل الإشارات من Raspberry Pi. نتطلع إلى مزيد من التطوير لأننا نهدف إلى تضمين معلمات موجات الدماغ الإضافية (الترددات المرتبطة بوميض العين ، وما إلى ذلك) ووظائف الكاميرا (مثل تدرج اللون ، والتشبع ، والسطوع ، وما إلى ذلك).

فيما يلي الإرشادات الخاصة ببناء نظام Biofeedback Cinema الخاص بك.

تجربة سعيدة

الخطوة 1: المستلزمات

كل ما تحتاجه لبناء نموذج Biofeedback Cinema الخاص بك مذكور أدناه.

1. سماعة رأس Neurosky Mindwave Mobile EEG

2. Raspberry Pi B + (b + أفضل ، المزيد من منافذ USB ، لكن الطراز B جيد أيضًا إذا كان لديك محور USB).

   1. محول طاقة Raspberry Pi أو حزمة بطارية
   2. Wifi Dongle -أو- اتصال Ethernet (ضروري فقط أثناء الإعداد)
   3. Bluetooth Dongle انظر ويكي للحصول على الدونجل المتوافق
   4. بطاقة SD (على الأقل 8 جيجابايت) مع NOOBS.

3. Arduino أي لوحة جيدة ، باستخدام Uno في هذه التعليمات. لاحظ أيضًا أنه يمكنك فقط استخدام I / O على Pi.

   1. محول طاقة اردوينو أو حزمة بطارية
   2. كابل يو اس بي ايه-بي
4. كاميرا ويب USB
5. مجموعة إمالة صغيرة

6. مراقب مع مدخلات HDMI أو استخدم VNC للتحكم عن بعد في جهاز الكمبيوتر الخاص بك [البرنامج التعليمي هنا]

   كابل HDMI

7. توصي لوحة مفاتيح USB والماوس باستخدام لوحة مفاتيح وماوس بلوتوث لتقليل استخدام منافذ USB.

الخطوة 2: إعداد Raspberry Pi

1. إعداد الأجهزة

قم بتوصيل لوحة المفاتيح والماوس وبلوتوث دونجل وويفاي دونجل (أو إيثرنت) وكاميرا الويب والشاشة عبر كابل HDMI والطاقة إلى Raspberry Pi

2. إعداد نظام التشغيل

• قم بتبديل الطاقة ويجب أن يبدأ Pi الخاص بك. قم بتثبيت نظام التشغيل Rasbpian OS ، التعليمات هنا:
• إذا تم تمهيده وتثبيت Raspian بشكل صحيح ، يجب أن ترى سطح المكتب الرئيسي [الصورة أعلاه].

تلميحات:

• إذا كانت نسبة العرض إلى الارتفاع على سطح المكتب معطلة ، فحاول إعادة تشغيل Raspberry Pi. إذا كانت لا تزال في وضع إيقاف التشغيل ، فابحث هنا لتحديث نسبة العرض إلى الارتفاع يدويًا.
• إذا فتحت محرر نصوص وتم تعيين الأحرف الخاصة للوحة المفاتيح ، فابحث هنا لتحديث تكوين لوحة المفاتيح.
• اختبر اتصالك بالإنترنت (ستحتاج إلى هذا لتثبيت المكتبات أثناء الإعداد). ابحث هنا للحصول على مساعدة في الحصول على إعداد wifi.

الخطوة 3: قم بتوصيل سماعة Neurosky

1. تكوين بلوتوث

قبل أن يتمكن Pi من الاتصال بـ Neurosky ، نحتاج إلى إعداد البلوتوث:

على سطح المكتب ، افتح "LXTerminal" (يشار إليها باسم Terminal من الآن فصاعدًا). قم بتشغيل هذا الأمر لحل أوجه القصور وتحديثها:

sudo apt-get update

قم بتثبيت البلوتوث بهذا الأمر:

sudo apt-get install bluetooth

تثبيت أداة بلوتوث مفيدة لشريط أدوات سطح المكتب:

$ sudo apt-get install -y bluetooth-utils blueman blueman

إعادة تشغيل Pi من Terminal:

sudo إعادة التشغيل

2. اختبار اتصال بلوتوث

• قم بتشغيل سماعة Neurosky
• من مسح المحطة الطرفية للأجهزة:

فحص hcitool

يجب إدراج سماعة الرأس Mindwave ، لاحظ عنوان MAC الخاص بسماعة الرأس [الصورة أعلاه]

3. تثبيت مكتبات Neurosky

نحن الآن جاهزون لتثبيت مكتبات Neurosky Python والبدء في التقاط دفق البيانات باستخدام البرنامج النصي لاختبار المكتبة:

من Terminal ، قم بتثبيت الأداة المساعدة github:

sudo apt-get install git-core

مستودع Clone Github مع مكتبة Neurosky Python:

sudo git clone

نحتاج إلى تحديث ملف MindwaveMobileRawReader.py بعنوان MAC الخاص بسماعات الرأس. لمعلوماتك: أسماء الملفات حساسة لحالة الأحرف

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• قم بتحديث عنوان MAC المدرج في الملف. Ctrl-X للإنهاء ، Y للحفظ ، أدخل للخروج.
• قم بإقران Neurosky و Pi واسمح بميزة الاتصال التلقائي ، إذا طُلب منك استخدام رقم التعريف الشخصي "0000":

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

موثوقة $ sudo bluez-test-device XX: XX: XX: XX: XX: XX نعم

قم بتثبيت مكتبة Python Bluetooth:

sudo apt-get install python-bluez

قم بتشغيل البرنامج النصي لاختبار المكتبة للتأكد من أن Pi قادرة على معاينة datastream. يجب أن تشاهد تدفق البيانات [الصورة أعلاه]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

الخطوة 4: قم بتوصيل USB Webcam W / Open CV

1. قم بتثبيت OpenCV

من المبنى:

sudo apt-get install libopencv-dev python-opencv

عند الانتهاء ، تابع:

sudo apt-get -f install

للقياس الجيد:

sudo apt-get install libopencv-dev python-opencv

اختبار التثبيت بمحاولة استيراد المكتبة:

$ بيثون

> استيراد السيرة الذاتية 2

2. اختبر OpenCV في Python باستخدام USB Webcam

• على سطح المكتب ، افتح "IDLE" (لا تفتح IDLE3!)
• من القائمة ملف حدد نافذة جديدة. انسخ البرنامج النصي لاختبار Cv-Blur-Test في النافذة الجديدة واحفظه. البرنامج النصي متاح هنا:
• من قائمة التشغيل ، حدد تشغيل الوحدة النمطية (أو اضغط F5). قد يستغرق الأمر بضع ثوانٍ للبدء ، ولكن من المفترض أن ترى إطارًا صغيرًا يظهر مع تغذية كاميرا الويب المباشرة ، ويجب أن يكون الفيديو ضبابيًا. تهانينا ، تم تثبيت OpenCV ويعمل بنجاح مع كاميرا الويب الخاصة بك [الصورة أعلاه].

الخطوة 5: قم بتوصيل Arduino

1. قم بتنزيل Arduino IDE

من المبنى:

sudo apt-get install arduino

2. قم بتوصيل Arduino وتحميل الرسم التخطيطي

• قم بتوصيل اردوينو بـ Pi باستخدام كبل USB A-B.
• من قائمة بدء سطح المكتب ، انتقل إلى الإلكترونيات وافتح Arduino IDE. انسخ مخطط arduino-serial-pi الخاص بنا إلى IDE [الرابط أدناه]. هذا رسم تخطيطي أساسي للغاية سينقل محركات مؤازرة بناءً على المدخلات القادمة عبر المسلسل. سنرسل البيانات عبر المسلسل بناءً على إخراج الفكرة الرائعة ، باستخدام رسم بايثون في الخطوة الأخيرة عندما نجمع كل شيء معًا.

رسم Arduino-serial-pi عبر الإنترنت هنا:

في Arduino IDE ، انتقل إلى قائمة الأدوات ، وحدد المنفذ التسلسلي وحدد منفذ Arduino المدرج ، ربما شيء مثل / dev / ttyACM0. قم بتدوين المنفذ

3. تعطيل وحدة التحكم التسلسلية

قم بتنزيل برنامج نصي وتشغيله لتعطيل وحدة التحكم التسلسلية حتى يعمل اتصال USB التسلسلي بسلاسة:

$ wget

/alamode-setup.tar.gz؟raw=true -O alamode-setup.tar.gz

tar -xvzf $ alamode-setup.tar.gz

$ cd alamode-setup

$ sudo./setup

sudo إعادة التشغيل

لمعلوماتك:

إذا كنت تستخدم B + فقد يكون هناك ما يكفي من الإدخال / الإخراج لدعم الماكينات (انظر هنا لإعداد واستخدام GPIO). ومع ذلك ، فأنا مهتم بإضافة مكونات إضافية للتجارب المستقبلية من الدماغ إلى الإلكترونيات. لذا ، فإن إعداد النموذج الأولي باستخدام اردوينو يضمن الكثير من الاحتمالات الإلكترونية الهائلة.

الخطوة 6: وضع كل ذلك معًا

1. نص بايثون النهائي

قبل أن نتمكن من إضافة نص Python النهائي إلى مجلد "python-mindwave-mobile" ، نحتاج إلى تغيير أذونات المجلد. من المبنى:

$ chmod a = rwx / home / pi / python-mindwave-mobile

• افتح IDLE وقم بتشغيل برنامج Python النصي النهائي ، المتاح عبر الإنترنت هنا: https://github.com/PrivateHQ/biofeedback-cinema/ تأكد من وجوده في مجلد python-mindwave-mobile. لمعلوماتك: ستحتاج إلى تحديث برنامج Python الخاص بنا بعنوان منفذ Arduino الفعلي.
• عند تشغيل هذا البرنامج النصي ، يجب أن تحدث ثلاثة أشياء: 1) سيتم إدراج مستوى انتباهك في Python Shell ، 2) يظهر إطار صغير يعرض البث المباشر لكاميرا الويب مع تغيير التمويه بناءً على مستوى الانتباه ، 3) المحرك (ق) يتحرك حيث يتم تمرير مستوى الانتباه إلى اردوينو عبر المسلسل [فيديو أعلاه].

الخطوة 7: التحسينات والتطوير

يتمتع Raspberry Pi بقدرة معالجة محدودة ، ويكافح لتشغيل وظائف OpenCV بسلاسة. هذا شيء سأستمر في تطويره وتحسينه. بالإضافة إلى ذلك ، أخطط لتضمين معلمات موجات دماغية إضافية (الترددات المرتبطة بوميض العين ، إلخ) ووظائف الكاميرا (مثل تدرج اللون والتشبع والسطوع وما إلى ذلك) في التكرارات المستقبلية.