قفاز تحويل الكلام / النص: 5 خطوات

2024 مؤلف: John Day | [email protected]. آخر تعديل: 2024-01-30 07:37

كانت الفكرة / الدفع وراء تنفيذ هذا المشروع هي مساعدة الأشخاص الذين يجدون صعوبة في التواصل باستخدام الكلام والتواصل باستخدام إيماءات اليد أو المعروفة باسم اللغة الأمريكية الموقعة (ASL). يمكن أن يكون هذا المشروع خطوة نحو توفير فرصة لهؤلاء الأشخاص للعمل مع أشخاص آخرين ، لا يستطيعون فهم لغة الإشارة ، في بيئة تعاونية. كما سيمكنهم هذا المشروع من إلقاء الخطب العامة دون استخدام مترجم بشري حقيقي. كبداية ، كنت أحاول فقط اكتشاف بعض الإيماءات الأسهل مثل الحروف الأبجدية A و B و I وما إلى ذلك ، وقمت أيضًا بتعيين إيماءات معينة للكلمات / التحيات الشائعة مثل "مرحبًا" و "صباح الخير" وما إلى ذلك.

الخطوة 1: تجميع الدائرة

الخطوة الثانية: تفاصيل المشروع

يتضمن هذا المشروع قفازًا يمكن ارتداؤه مع 4 مستشعرات مرنة مثبتة / مدمجة في القفاز - واحد لكل من الأصابع الصغيرة والمتوسطة والسبابة والإبهام. لم يتم استخدام مستشعر Flex لـ Ring Finger بسبب القيود المفروضة على توفر دبابيس الإدخال التناظرية على Arduino Uno R3 وبشكل عام بسبب عدم وجود حركة مستقلة يعرضها الإصبع في لغات الإشارة. يتم استخدام مقياس التسارع MMA8452Q أيضًا وهو عالق على الجانب الخلفي من راحة اليد لقياس اتجاه اليد. يتم تحليل المدخلات من هذه المستشعرات واستخدامها لاستشعار الإيماءة. بمجرد استشعار الإيماءة ، يتم حفظ الحرف / الرسالة المقابلة في متغير. تستمر هذه الأحرف والرسائل في التسلسل حتى يتم عمل إيماءة معينة محددة مسبقًا تشير إلى اكتمال الجملة. بمجرد اكتشاف هذه الإيماءة الخاصة ، يتم إرسال سلسلة الجملة المحفوظة إلى Raspberry Pi عبر كابل USB بواسطة Arduino. ثم يرسل Raspberry Pi السلسلة المستلمة إلى Amazon Cloud Service المسماة Polly لتحويل الجملة المستلمة بتنسيق نصي إلى تنسيق الكلام ثم يقوم بتدفق الكلام المستلم على مكبر الصوت المتصل بـ Raspberry Pi عبر كابل AUX.

كان هذا المشروع مجرد إثبات للمفهوم وبأجزاء أفضل من المعدات والتخطيط ومعايرة بشكل أفضل لاكتشاف الكثير من الإيماءات وحركات اليد الأخرى. حاليًا ، يتم برمجة وظائف محدودة فقط في هذا المشروع مثل الكشف عن الإيماءات الأساسية وإخراج النص إلى كلام.

الخطوة 3: الكود

الخطوة 4: الخطوات

1. قم بتوصيل المستشعرات المرنة ومقياس التسارع MMA8452Q بـ Arduino وفقًا لمخطط الدائرة المتوفرة.

2. تفريغ البرنامج Final_Project.ino (الموجود في ملف Arduino_code.zip) في Arduino.

3. قم بتوصيل Arduino بـ Raspberry Pi عبر كابل USB. (نوع الكابل أ / ب).

4. قم بتشغيل Raspberry Pi ، وانسخ ملف Raspberry_pi_code.zip إلى Raspberry Pi ، واستخرجه. قم بتوصيل السماعة بـ Raspberry Pi.

5. انسخ بيانات اعتماد حساب AWS ، مثل aws_access_key_id و aws_secret_access_key و aws_session_token إلى ملف ~ /.aws / بيانات الاعتماد. هذه الخطوة مطلوبة للتواصل مع سحابة AWS واستخدام خدمات AWS.

6. قم بتشغيل برنامج seria_test.py الموجود داخل المجلد المستخرج في الخطوة 4.

7. الآن قم بالإيماءات لتشكيل جملة ثم قم بالإيماءة الخاصة (حافظ على أصابعك وكفك مستقيمة وفي خط بحيث تكون راحة اليد بعيدة عنك ، ثم قم بتدوير الرسغ لأسفل بحيث يصبح كفك الآن يواجهك ويشير طرف أصابعك إلى أسفل نحو قدميك.) للإشارة إلى اكتمال الجملة.

8. استمر في التحقق من الجهاز للحصول على معلومات مفيدة.

9. واستمع إلى الخطاب المحول الذي يتم بثه على المتحدث.

الخطوة 5: المراجع

1.

2.

3.

4.