مدرب اللغة الإنجليزية الشخصي - مساعد صوت AI: 15 خطوة

2024 مؤلف: John Day | [email protected]. آخر تعديل: 2024-01-30 07:39

سيساعد هذا المشروع الطلاب الذين يستعدون لأي اختبار لغوي ، حيث يمكن تدريبهم من خلال التفاعل مع Snips AI.

الخطوة 1: القصة

لماذا قمنا ببناء هذا؟

من تجربتي الشخصية ، رأيت العديد من الأشخاص يستعدون للاختبارات اللغوية المختلفة مثل GRE و TOEFL و IELTS. إنهم بحاجة إلى شخص يساعدهم في حفظ الكلمات وفهمها. بشكل عام ، عندما يستعد الشخص لأي من هذه الاختبارات ، يكون في حاجة إلى شخص للتحقق والتصحيح إذا ارتكب خطأ. باستخدام هذا الحل ، يمكننا تقليل القوى العاملة من خلال استخدام مساعد صوتي.

الخطوة 2: بناء الأجهزة

بادئ ذي بدء ، أود أن أشكر SNIPS و SEEED لدعم هذا المشروع من خلال مجموعة أدوات تطوير التفاعل الصوتي Snips المذهلة (Base Kit) ، لقد شعرت حقًا بالمعلومات باستخدام هذا المنتدى وقادر على تحقيق بعض المشاريع المعقدة المدمجة داخل PCB.

يمكنك شراء Snips Voice Interaction Base Kit مقابل 115 دولارًا و Snips Voice Interaction Satellite Kit مقابل 85 دولارًا

الخطوة 3: الشروع في استخدام SNIPS

قبل البدء ، دعنا نراجع ما ستحتاج إليه.

• Raspberry Pi 3B / B + (موصى به) أو Pi 2 Model B (مدعوم).
• كابل Micro-USB ومحول طاقة Micro-USB لـ Raspberry Pi.
• بطاقة Micro SD (بحد أدنى 8 جيجابايت) - يلزم وجود نظام تشغيل للبدء. يمكنك تنزيل Raspbian Stretch واستخدام الأدلة لأنظمة Mac OS و Linux و Windows في موقع Raspberry Pi على الويب.
• لوحة مفاتيح وماوس USB وشاشة HDMI خارجية - نوصي أيضًا بوجود لوحة مفاتيح وماوس USB بالإضافة إلى شاشة HDMI في متناول يديك.
• اتصال الإنترنت (إيثرنت أو واي فاي)

مجموعة قواعد التفاعل الصوتي Snips

تعمل مجموعات تطوير التفاعل الصوتي في Snips على تمكين المستخدمين من بدء تطوير واجهات الصوت ودمج منصة Snips AI الصوتية بسهولة مع الأجهزة. يتم تشغيل القصاصات على الجهاز ، مما يعني أن جميع أوامرك الصوتية وبياناتك تتم معالجتها محليًا بدلاً من إرسالها إلى السحابة. ينتج عن هذه المعالجة على الجهاز مساعد صوتي آمن تمامًا غير متصل بالإنترنت يحافظ على خصوصية بياناتك الشخصية ، كما ينبغي أن تكون.

تتيح لك مجموعة قواعد التفاعل الصوتي تشغيل نظام Snips AI الصوتي بالكامل. مدعوم من Raspberry Pi 3 Model B + و ReSpeaker 2-Mics Pi HAT ، فهو قادر على العمل كمكبر صوت ذكي في منزلك. إلى جانب الطقم ، يأتي مكبر الصوت ، ومستشعر Grove - درجة الحرارة والرطوبة (SHT31) ، و Grove - Relay ، ولوح المشابك لتعليقه على الحائط أو إنشاء حامل أنيق.

لكن هذا ليس كل شيء! ستعمل مجموعة أدوات التفاعل الصوتي عبر الأقمار الصناعية على توسيع محطتك الأساسية لتصل إلى كل غرفة في منزلك وتسمح لك بالتفاعل مع الأجهزة بناءً على المكان الذي تصدر فيه أوامرك!

تحتوي هذه المجموعة على لوحة Raspberry Pi3 B + ، ReSpeaker 2-Mics Pi HAT ، Grove - Relay ، Grove - مستشعر درجة الحرارة والرطوبة (SHT31) ، مكبر صوت 6 أوم 2 واط ، بطاقة MicroSD ، محول طاقة مع موصل Micro USB ، كابل Grove × 2 ، قاعدة أكريليك لوجة.

خطوات التجميع: (محتوى من SNIPS) الصورة التالية هي نظرة عامة على أجزاء التجميع.

هنا يتم تثبيت أجزاء التجميع على اللوحة الأساسية.

بعد ذلك ، يتم تثبيت جميع الأجزاء الإلكترونية على السبورة.

بعد ذلك ، قم بتركيب غطاء الحماية الأكريليكي أعلى Grove -Relay.

يستخدم هذان الجزءان لجعل الطقم في حامل طاولة.

أخيرًا ، أنت جاهز للعب مع Snips.

توفر المجموعة طريقتين للتنسيب. يمكن وضعه على سطح أفقي مثل الحامل أو يمكن تعليقه على الحائط باستخدام الأسلاك أو الخيط. يرجى توخي الحذر مع Relay عند تشغيل المجموعة لأن جهد العمل سيكون مرتفعًا.

ملاحظة: لدينا أيضًا مجموعة Snips Voice Interaction Satellite Kit التي تحتوي على Raspberry Pi صفر بدلاً من Raspberry Pi 3B +

الخطوة 4: التفاعل مع Snips AI (مشروع أساسي)

• قم بتشغيل المجموعة بواسطة محول الطاقة الافتراضي في المجموعة أو استخدم محول 5V-2A DC مع موصل Micro USB.
• الخطوة التالية هي تثبيت مساعد Snips في Raspberry Pi. لتوفير وقت الإعداد ، تم وميض بطاقة MicroSD الموجودة في المجموعة بصورة نظام كاملة الوظائف ، مما يعني أن مساعد Snips جاهز لكلمات التشغيل الخاصة بك.
• نقترح عليك بشدة دراسة دليل التثبيت خطوة بخطوة من خلال زيارة: https://docs.snips.ai/getting-started/quick-start… وتعلم أداة sam في سطر الأوامر.
• شغّل المساعد بقول "Hey-snips" ، واتبع الأمر:

يمكنك العثور على مقطع فيديو للمثال المثبت مسبقًا في مجموعة أدوات Snips Voice Interaction الأساسية أدناه.

الخطوة 5: التفاعل مع Snips AI (مشروع AI)

إذن هذه هي الطريقة التي يعمل بها. أولاً ، نستخدم الكلمة المهمة لبدء التعرف على القصاصات. يفهم الجملة باستخدام Snips NLU ويحدد القصد. بعد ذلك باستخدام القصد ، قم باستخراج الفتحات على التوالي. باستخدام رمز الإجراء ، نقوم ببرمجة استجابة الذكاء الاصطناعي وفقًا للفتحات.

الخطوة 6: إنشاء التطبيق والنوايا

• إنشاء مساعد. في حالتي ، قمت بإنشاء مساعد باسم JARVIS وكلمة ساخنة JARVIS.
• قم بإنشاء تطبيق مخصص أو للمبتدئين ، استخدم التطبيق من المكتبة.
• لقد قمت بإنشاء تطبيق باسم Words
• أنشئ نية وابدأ في تدريب الذكاء الاصطناعي. يلعب هذا دورًا رئيسيًا في جعل الذكاء الاصطناعي الخاص بك قويًا. قم بتدريبه بكل المدخلات الممكنة.
• قم بإنشاء فتحة للتعرف على الكلمات. ضع الفتحة في العبارة المتوقعة من الجملة. على سبيل المثال ، الكلمة المحددة هي اسم الفتحة ويتم تمييزها باللون الأزرق.
• بمجرد الانتهاء من ذلك ، سيكون ASR المخصص الخاص بك جاهزًا. جرب مع المدخلات. يمكننا العثور على الرد على يمينك ، أسفل المساعد. يمنحك هذا استخراج القيمة الأولية واسم النية والفتحة.
• حدد الفتحات بمزيد من الأمثلة على النحو الوارد أدناه
• أخيرًا ، انشر مساعدك لتجربة الذكاء الاصطناعي المخصص لك.

الخطوة 7: نسخ Raspbian على بطاقة SD

Raspbian هو توزيع Linux المفضل الذي يعمل على Raspberry Pi. في هذا الدليل ، سنستخدم الإصدار Lite ، ولكن يمكن أيضًا استخدام إصدار سطح المكتب (الذي يأتي مع بيئة رسومية).

• قم بتنزيل Etcher وتثبيته.
• قم بتوصيل قارئ بطاقة SD ببطاقة SD بالداخل.
• افتح Etcher وحدد من محرك الأقراص الثابتة ملف Raspberry Pi.img أو.zip الذي ترغب في كتابته على بطاقة SD
• حدد بطاقة SD التي ترغب في كتابة صورتك إليها.
• راجع اختياراتك وانقر فوق "فلاش!" لبدء كتابة البيانات على بطاقة SD

قم بتوصيل الجهاز بشبكتك

• قم بتمكين الوصول إلى SSH عن طريق إضافة ملف ssh فارغ ، يتم وضعه مرة أخرى في جذر وحدة تخزين التمهيد على بطاقة SD الخاصة بك.
• أدخل بطاقة SD في Raspberry Pi. سيتم تشغيله في غضون 20 ثانية تقريبًا. يجب أن يكون لديك الآن وصول SSH إلى Raspberry Pi الخاص بك. افتراضيًا ، سيكون اسم مضيفه هو raspberrypi.local. على جهاز الكمبيوتر الخاص بك ، افتح نافذة طرفية واكتب ما يلي:

ssh [email protected]

كلمة المرور الافتراضية هي التوت

الخطوة 8: قم بتثبيت منصة Snips

إذا لم تكن قد قمت بذلك بالفعل ، فقم بتثبيت Sam Command Line Interface على جهاز الكمبيوتر الخاص بك. افتح نافذة طرفية ، وأدخل:

تثبيت sudo npm -g snips-samor npm install -g snips-sam // Windows

ابحث عن Raspberry Pi الخاص بك على الشبكة عن طريق تشغيل:

أجهزة سام

بعد ذلك ، قم بتأسيس اتصال بالجهاز. سيُطلب منك اسم المستخدم وكلمة المرور للجهاز (الافتراضي هو pi و raspberry ، على التوالي):

سام كونيكت

نحن الآن جاهزون لتثبيت منصة Snips على Raspberry Pi. أدخل الأمر:

سام فيرت

الخطوة 9: تكوين الأجهزة

يوفر Sam بعض الأوامر لإعداد مكونات الأجهزة وتكوينها بسهولة. في هذا القسم ، سنقوم بإعداد مكبر صوت وميكروفون. اعتمادًا على الإعداد الخاص بك ، يجب إجراء بعض التهيئة المخصصة.

سام الإعداد السمعي

اختبر السماعة

للتحقق من عمل مكبر الصوت ، قم بتشغيل

سام اختبار المتحدث

إذا كان كل شيء يعمل بشكل جيد ، يجب أن تسمع على مكبر الصوت صوتًا يقول بضع كلمات. تكوين الميكروفون يمكنك التحقق من أن الميكروفون يعمل:

ميكروفون اختبار سام

بافتراض أن لديك مكبر صوت ، إذا كان بإمكانك سماع ما قلته للتو بوضوح ، فيمكنك المضي قدمًا بدون تكوين مزيد من الميكروفون.

بمجرد أن تشعر بالرضا عن عمل إعداد أجهزتك ، فأنت جاهز للانتقال إلى الخطوة التالية ، حيث ستقوم بنشر مساعدك الأول.

الخطوة 10: استيراد نموذج AI من وحدة التحكم

بمجرد إنشاء المساعد الخاص بك من الخطوات السابقة ، قم بتسجيل الدخول إلى وحدة التحكم من نافذة المحطة الطرفية عن طريق تشغيل:

سام تسجيل الدخول

سيُطلب منك إدخال بيانات اعتماد وحدة التحكم في Snips.

بعد ذلك ، قم بتثبيت المساعد:

مساعد تثبيت سام

إذا قمت بإنشاء العديد من المساعدين في وحدة التحكم ، فسيُطلب منك اختيار أي واحد تريد تثبيته من القائمة.

الخطوة 11: المعالج وكود الإجراء

لكي يستجيب Raspberry Pi ، سيتعين علينا كتابة بعض التعليمات البرمجية للمعالج. هذا رمز يتم تنفيذه عند حدوث حدث معين على منصة Snips ، مثل عند اكتشاف النية.

لديك طرق مختلفة لإنشاء Handler اعتمادًا على الأداء.

قم بإنشاء مجلد على جهاز الكمبيوتر الخاص بك تريد تخزين رمز المعالج الخاص بك عليه. من نافذة Terminal ، غيّر إلى هذا الدليل ، وأدخل:

الحرف الأول npm

سيؤدي هذا إلى إنشاء ملف باسم package.json يحتوي على وصف مشروعك والتبعيات والمزيد. بعد ذلك ، أضف تبعية الحزمة mqtt:

npm تثبيت mqtt - حفظ

الآن ، أنشئ ملفًا يسمى index.js ، والصق الكود التالي ، واستبدل متغير اسم المضيف باسم مضيف Raspberry Pi الخاص بك (إذا كان يختلف عن raspberrypi الافتراضي):

var mqtt = يتطلب ('mqtt') ؛

var hostname = "mqtt: //raspberrypi.local" ؛ var client = mqtt.connect (اسم المضيف) ؛ client.on ('connect'، function () {console.log ("[Snips Log] متصل بـ MQTT broker" + hostname)؛ client.subscribe ('hermes / #')؛})؛ client.on ('message'، function (topic، message) {if (topic === "hermes / asr / startListening") {onListeningStateChanged (true)؛} وإلا إذا (topic === "hermes / asr / stopListening") {onListeningStateChanged (false)؛} else if (topic.match (/ hermes / / hotword / /.+ / / selected / g)! == null) {onHotwordDetected ()} else if (topic.match (/ hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (message)) ؛}}) ؛ دالة onIntentDetected (intent) {console.log ("[Snips Log] تم اكتشاف Intent:" + JSON.stringify (intent))؛ } function onHotwordDetected () {console.log ("[Snips Log] Hotword المكتشفة")؛ } وظيفة onListeningStateChanged (استماع) {console.log ("[Snips Log]" + (listen؟ "Start": "Stop") + "listen")؛ }

قم بتشغيل هذا الرمز باستخدام Node:

index.js العقدة

يجب أن ترى رسالة تشير إلى نجاح الاتصال بالوسيط Snips MQTT. كما في السابق ، قم بإجراء تفاعل صوتي مع Raspberry Pi الخاص بك:

مرحبًا Snips ، ما هو الطقس في تشيناي

من المفترض أن ترى تحديث السجلات:

[Snips Log] متصل بالوسيط MQTT mqtt: //raspberrypi.local

[سجل القصاصات] تم اكتشاف الكلمة المهمة [سجل القصاصات] بدء الاستماع [سجل القصاصات] توقف عن الاستماع [سجل القصاصات] تم اكتشاف الهدف: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933" ، "customData": فارغ ، "siteId ":" default "،" input ":" ما هو الطقس في تشيناي "،" intent ": {" intentName ":" searchWeatherForecast "،" probability ": 0.73845243}،" slots ": [{" rawValue ":" تشيناي "،" القيمة ": {" النوع ":" مخصص "،" القيمة ":" تشيناي "} ،" النطاق ": {" البداية ": 44 ،" النهاية ": 53} ،" الكيان ":" المنطقة " ، "slotName": "Forecast_locality"}]}

الخطوة 12: استكشاف الأخطاء وإصلاحها

احذف المساعد السابق إن وجد

$ sudo rm -rf / usr / share / قصاصات / مساعد /

لتغيير الدليل إلى المساعد

قرص مضغوط / فار / ليب / قصاصات / مهارات /

لاستنساخ محتوى الريبو إلى المستوى المحلي

استنساخ بوابة

لتشغيل البرنامج النصي setup.sh

./setup.sh

تفعيل البيئة الافتراضية

مصدر venv / بن / تفعيل

قم بتشغيل رمز الإجراء

./action-.py

لإعطاء الإذن لسيناريو بايثون

chmod + x action-.py

الخطوة 13: الضميمة

• لقد استخدمت حاوية مصنفة IP لهذا المشروع
• أولاً ، قمت بعمل الثقوب اللازمة لتركيب الدوائر وفتحات لسلك الطاقة وكابل HDMI.
• ثم وضعت كل Raspberry Pi داخل العلبة وقمت بلفها بإحكام.
• لقد قمت بعمل فتحة صغيرة للسماعة والميكروفون وقمت بتغطيتها باستخدام قطعة صغيرة من لوح الأكريليك.
• قم بتوصيل السماعة بقبعة ReSpeaker بإحكام.
• أخيرًا ، يتم تثبيت كل البرغي بإحكام ويتم إدخال كابل الطاقة عبر فتحة.
• هكذا يبدو الذكاء الاصطناعي أخيرًا: د

الخطوة 14: عمل الذكاء الاصطناعي

يمكنك العثور على البيانات التي يتم مراقبتها باستخدام Snips-watch

الآن حان وقت العرض. لقد بدأت في صنع التحيات البسيطة لمنظمة العفو الدولية. إلقاء نظرة على أنها تعمل.

تمت برمجة المدرب AI لكلمات محدودة. هذا قابل للتمديد مع بعض التعديلات. يساعد هذا الطلاب على حفظ المعنى بشكل أسرع من الطريقة التقليدية.

الاهتمام اللطيف: تم تدريب هذا المشروع على 25 كلمة تقريبًا. يمكن توسيعه عن طريق إجراء تعديلات طفيفة في رمز الإجراء.

يمكنك العثور على نصوص الإجراءات في مستودع Github الخاص بي مرفقًا.

مشروع ريبو للتحية منظمة العفو الدولية -

مشروع ريبو للمدرب AI -

رابط التطبيق الخاص بي:

يكلف الإعداد بالكامل حوالي 115 دولارًا والتي يمكن شراؤها من SNIPS وهذا الحل رخيص جدًا وفعال عند مقارنته بالطرق التقليدية. تم إجراء ما يقرب من 100000 اختبار في الهند وسيكون هذا المنتج أفضل مكمل لمستخدمي GRE.

أعط إبهامًا إذا كان قد ساعدك حقًا وتابع قناتي لمشاريع مثيرة للاهتمام.:) شارك هذا الفيديو إذا أردت. يسعدنا اشتراكك: https://console.snips.ai/store/en/skill_xBKlxnE5K … شكرًا على القراءة!