جهاز التعرف على حركة اليد: 5 خطوات

2024 مؤلف: John Day | [email protected]. آخر تعديل: 2024-01-30 07:37

ملخص

في هذا المشروع ، سنصنع قفازًا يمكنه التعرف على بعض حركات اليد الأساسية ، باستخدام MicroBit ، وعدد قليل من أجهزة الاستشعار. سنستخدم إمكانات Bluetooth على MicroBit ، جنبًا إلى جنب مع تطبيق Android وخادم الويب لتدريب نموذج التعلم الآلي لتحديد حركات اليد.

ابدء

غالبية الجهد المبذول في هذا المشروع على جانب البرنامج ، وكل الكود المطلوب لتشغيل هذا المشروع متاح على GitHub. تشتمل قاعدة الشفرة على 3 مكونات ، ورمز لإنشاء ملف HEX لـ MicroBit ، وقاعدة كود تطبيق Android التي تعتمد بشكل كبير على تطبيق MicroBit Blue الخاص بمؤسسة MicroBit ، مع التعديلات التي تم إجراؤها لحالة الاستخدام المحددة هذه ، وخادم ويب مع رمز لـ تدريب نموذج قائم على Tensorflow لتحديد حركات اليد.

سنرى كيفية بناء القفاز وربطه بالتطبيق وخادم الويب بعد ذلك.

اللوازم

• 1 بي بي سي ميكروبيت
• 1 حامل بطارية مع بطاريتين AAA
• 1 قفاز
• مجموعة من أسلاك العبور ومقاطع التمساح
• جهاز استشعار المرن
• مستشعر القوة
• الفيلكرو
• شريط كهربائي
• هاتف Android
• كمبيوتر / كمبيوتر محمول

الخطوة 1: الخطوة 1: إعداد MicroBit والبطارية

• ابدأ بربط حامل البطارية بقطعة من الفيلكرو كما هو موضح في الصورة الأولى. استخدم شريطًا كهربيًا لتوصيل حامل البطارية بحزام الفيلكرو بإحكام.
• بعد ذلك ، قم بعمل حلقة بشريط كهربائي بحيث يكون لزجًا على كلا الجانبين ، وقم بلصقه أعلى حزمة البطارية.
• قم بلصق MicroBit على حلقة الشريط لتوصيل MicroBit بحامل البطارية كما هو موضح في الصورة الثانية.

الخطوة 2: ربط أجهزة الاستشعار

• اتبع مخطط الدائرة الموضح في الصورة لتوصيل مستشعر المرن الخاص بك بالدبوس 1 من MicroBit ، وإجبار المستشعر على Pin 0 من MicroBit.
• قم بتأمين المستشعرات الموجودة على القفاز باستخدام شريط كهربائي كما هو موضح في الصور.

الخطوة 3: إنهاء الجهاز

• استخدم طرفي أشرطة الفيلكرو لتشكيل حلقة وحرك الحلقة فوق أصابع القفاز ، كما هو موضح في الصورة.
• يمكنك استخدام أربطة سلكية لتأمين الأسلاك الموجودة على القفاز لمنعها من التحرك كثيرًا.

في القسم التالي سننظر في كيفية إعداد البرنامج.

الخطوة 4: إعداد البرنامج

إقران هاتفك بـ MicroBit الخاص بك

1. لإقران هاتفك ، تأكد أولاً من تشغيل البلوتوث على هاتفك.
2. قم بتشغيل MicroBit ، واضغط مع الاستمرار على الزرين A و B. في نفس الوقت ، اضغط على زر إعادة الضبط وحرره مع الاستمرار في الضغط على الزرين A و B. يجب أن يدخل الميكروبيت الآن في وضع الاقتران.
3. على هاتفك ، ابحث عن MicroBit الخاص بك ضمن قائمة أجهزة البلوتوث حيث عادةً ما تضيف جهاز Bluetooth جديدًا ، وابدأ في الاقتران. سترى على MicroBit الخاص بك سهمًا يشير إلى الزر A. عندما تضغط على هذا ، ستعرض MicroBit سلسلة من الأرقام وهي رمز الاقتران الذي يجب عليك إدخاله على هاتفك. بمجرد إدخال الرمز على هاتفك وتحديد الزوج ، يجب عرض علامة اختيار على MicroBit.
4. اضغط على زر إعادة الضبط على MicroBit الخاص بك.

إعداد البرنامج

اتبع أدلة ReadMe في كل مجلد فرعي على GitHub Repository لإعداد مشروع Android App في Android Studio ، لإنشاء ملف HEX وتحويله إلى MicroBit ، وتشغيل خادم الويب لتشغيل نماذج التعلم الآلي.

الخطوة 5: الاستخدام

قاعدة بيانات للانترنت

افتح Terminal في دليل مشروع Web Server وقم بتشغيل `python server.py` لبدء تشغيل الخادم بعد اتباع الإرشادات الموجودة في الملف التمهيدي لتثبيت التبعيات

الروبوت التطبيق

1. قم بإنشاء وإنشاء ملف APK لتطبيق Android من Android Studio. قم بتشغيل التطبيق بعد إقران هاتفك بـ MicroBit (انظر الخطوة السابقة).
2. في صفحة مقياس التسارع ، يمكنك تعيين عنوان URL لخادم الويب باستخدام قائمة الإعدادات في الزاوية اليمنى العليا. تأكد من تغيير هذا إلى IP الخاص بخادم الويب.
3. انتظر حتى تبدأ قراءات مقياس التسارع بالملء من MicroBit. سترى القراءات تتغير بتواتر مختلف. لتغيير التردد اضغط B على MicroBit. من الناحية المثالية ، يمكنك استخدام قيمة تردد 10 (والتي تأخذ عينات من القراءات كل 10 مللي ثانية)
4. بمجرد نشر القراءات ، قم بتسمية إيماءتك باستخدام مربع النص المسمى "Gesture:" ، واضغط على زر التسجيل. بمجرد الضغط على زر التسجيل ، قم بتحريك يدك بشكل متكرر حتى يتم تمكين الزر مرة أخرى.
5. كرر الخطوة 3 لتسجيل إيماءات متعددة.
6. اضغط على زر القطار لبدء تدريب النموذج على الخادم. بمجرد الانتهاء من التدريب (حوالي 15 ثانية) ، يمكنك المتابعة لعمل تنبؤات.
7. اضغط على زر التنبؤ واجعل حركتك / إيماءتك. سيحاول التطبيق مطابقته مع إحدى الحركات المدربة بأفضل شكل ممكن.