الجزء 2. نموذج ThinkBioT مع Google AutoML: 8 خطوات

2024 مؤلف: John Day | [email protected]. آخر تعديل: 2024-01-30 07:38

تم تصميم ThinkBioT ليكون "التوصيل والتشغيل" ، مع نماذج TensorFlow Lite المتوافقة مع Edge TPU.

سنغطي في هذه الوثائق إنشاء مخططات طيفية وتنسيق بياناتك واستخدام Google AutoML.

سيتم كتابة الكود الموجود في هذا البرنامج التعليمي بلغة bash بحيث يكون متوافقًا مع الأنظمة الأساسية المتعددة.

التبعيات

• ومع ذلك ، قبل البدء ، ستحتاج إلى تثبيت Sox ، وهو برنامج صوتي لسطر الأوامر متوافق مع أجهزة Windows و Mac و Linux.
• إذا كنت تستخدم جهاز Windows ، فإن أسهل طريقة لتشغيل البرامج النصية bash هي عبر Git ، لذا أوصي بتنزيلها وتثبيتها لأنها مفيدة من نواح كثيرة ،
• لتحرير الكود ، استخدم المحرر المفضل لديك أو قم بتثبيت NotePad ++ لنظام التشغيل windows أو Atom لأنظمة التشغيل الأخرى.

** إذا كان لديك نموذج TensorFlow حالي أو كنت ترغب في محاولة نقل التعلم باستخدام نموذج موجود ، فيرجى الرجوع إلى وثائق Google Coral.

الخطوة 1: إعداد حزمة Google Cloud Storage

1. تسجيل الدخول في حساب gmail الخاص بك (أو إنشاء واحد إذا لم يكن لديك حساب Google)

2. انتقل إلى صفحة محدد المشروع وقم بعمل مشروع جديد لك ملفات النماذج والبرنامج الطيفي. ستحتاج إلى تمكين الفوترة للتقدم أكثر.

3. قم بزيارة https://cloud.google.com/storage/ واضغط على زر إنشاء دلو أعلى الصفحة.

4. أدخل اسم الحاوية الذي تريده وأنشئ الحاوية التي تقبل الإعدادات الافتراضية.

الخطوة 2: قم بتنسيق البيانات الخاصة بك وإنشاء Dataset Csv

لقد صممت نصًا مفيدًا لإنشاء ملف dataset.csv المطلوب لإنشاء نموذجك. يربط ملف مجموعة البيانات الصور الموجودة في مجموعتك بتسمياتها في مجموعة البيانات..

1. قم بتنزيل مستودع ThinkBioT من GitHub و

2. انسخ ملف tbt_spect_example.sh من دليل الأدوات إلى مجلد جديد على سطح المكتب.

3. أضف الملفات الصوتية التي ترغب في استخدامها في النموذج الخاص بك ، وضعها في مجلدات لها ملصق خاص بها (أي ما تريد ترتيبها فيه. على سبيل المثال ، إذا كنت تريد تحديد الكلاب أو القطط ، فيمكنك الحصول على مجلد كلب ، بأصوات لحاء أو مجلد اسمه قطة مع أصوات قطة ، إلخ.

4. افتح tbt_spect_example.sh بـ Notepad ++ واستبدل "yourbucknamename" في السطر 54 باسم حاوية تخزين Google. على سبيل المثال ، إذا كانت الحاوية الخاصة بك تسمى myModelBucket ، فسيتم تغيير الخط إلى

دلو = "gs: // myModelBucket / Spectro-data /"

5. قم بتشغيل الكود عن طريق كتابة ما يلي في محطة Bash الخاصة بك ، سيتم تشغيل الكود وإنشاء ملف csv الخاص بالتسميات ودليل يسمى البيانات الطيفية على سطح مكتبك باستخدام الطيف الناتج.

sh tbt_spect_example.sh

الخطوة 3: قم بتحميل مخططات الطيف إلى مجموعتك

هناك عدة طرق للتحميل على Google Storage ، أسهلها هو تحميل مجلد مباشر ؛

1. انقر فوق اسم المستودع الخاص بك في صفحة تخزين Google الخاصة بك.

2. حدد الزر "تحميل مجلد" واختر دليل "سبيكترو-داتا /" الذي تم إنشاؤه في الخطوة الأخيرة.

أو

2. إذا كان لديك عدد كبير من الملفات ، يمكنك إنشاء دليل "Spectro-data /" يدويًا عن طريق تحديد "CREATE FOLDER" ، ثم انتقل إلى المجلد وحدد "تحميل الملفات". يمكن أن يكون هذا خيارًا رائعًا لمجموعات البيانات الكبيرة حيث يمكنك تحميل مخططات الطيف في أقسام ، حتى باستخدام أجهزة كمبيوتر متعددة لزيادة سرعة التحميل.

أو

2. إذا كنت مستخدمًا متقدمًا ، يمكنك أيضًا التحميل عبر Google Cloud Shell ؛

gsutil cp Spectro-data / * gs: // your-bucket-name / Spectro-data /

يجب أن يكون لديك الآن دلو مليء بالمخططات الطيفية الجميلة!

الخطوة 4: قم بتحميل ملف Csv الخاص بمجموعة البيانات

نحتاج الآن إلى تحميل ملف model-labels.csv إلى دليل "spectro-data /" الخاص بك في Google Storage ، وهو في الأساس نفس الخطوة الأخيرة ، فأنت تقوم فقط بتحميل ملف واحد بدلاً من العديد.

1. انقر فوق اسم المستودع الخاص بك في صفحة تخزين Google الخاصة بك.

2. حدد الزر "تحميل الملف" واختر ملف model-labels.csv الذي قمت بإنشائه مسبقًا.

الخطوة 5: إنشاء مجموعة البيانات

1. أولاً ، ستحتاج إلى العثور على واجهة برمجة تطبيقات AutoML VIsion ، فقد يكون الأمر صعبًا بعض الشيء! أسهل طريقة هي البحث عن "رؤية تلقائية" في شريط البحث في Google Cloud Storage (في الصورة).

2. بمجرد النقر فوق ارتباط API ، ستحتاج إلى تمكين API.

3. الآن ستكون في لوحة معلومات رؤية AutoML (في الصورة) ، انقر فوق زر مجموعة البيانات الجديدة وحدد تسمية واحدة وخيار "تحديد ملف CSV". ستقوم بعد ذلك بتضمين رابط ملف model-labels.csv في حاوية التخزين الخاصة بك. إذا كنت قد اتبعت هذا البرنامج التعليمي ، فسيكون كما هو موضح أدناه

gs: //yourBucketName/spectro-data/model-labelsBal.csv

4. ثم اضغط على متابعة لإنشاء مجموعة البيانات الخاصة بك. قد يستغرق الأمر بعض الوقت للإنشاء.

الخطوة 6: إنشاء نموذج AutoML الخاص بك

بمجرد استلام بريدك الإلكتروني لإعلامك بأن مجموعة البيانات الخاصة بك قد تم إنشاؤها ، فأنت على استعداد لإنشاء نموذجك الجديد.

1. اضغط على زر القطار
2. حدد نوع النموذج: تقديرات زمن الوصول للنموذج والحافة: Edge TPU واترك الخيارات الأخرى كخيار افتراضي في البداية ، قد ترغب في تجربتها لاحقًا.
3. الآن سيتم تدريب نموذجك ، وسيستغرق الأمر بعض الوقت وستتلقى بريدًا إلكترونيًا عندما يكون جاهزًا للتنزيل.

ملاحظة: إذا كان زر التدريب غير متوفر ، فقد تواجه مشكلات في مجموعة البيانات الخاصة بك. إذا كان لديك أقل من 10 من كل فئة (تسمية) ، فلن يسمح لك النظام بتدريب نموذج ، لذا قد تضطر إلى إضافة صور إضافية. يجدر إلقاء نظرة على فيديو Google AutoML إذا كنت بحاجة إلى توضيح.

الخطوة 7: اختبر النموذج الخاص بك

بمجرد استلام البريد الإلكتروني لإكمال النموذج ، انقر فوق الارتباط للعودة إلى AutoML Vision API.

1. الآن ستتمكن من عرض النتائج ومصفوفة الارتباك الخاصة بنموذجك.

2. الخطوة التالية هي اختبار النموذج الخاص بك ، انتقل إلى "الاختبار والاستخدام" أو "التنبؤ" بشكل غريب يبدو أنه يوجد 2 مستخدمين GUI ، وكلاهما قد صورتهما ، لكن كلا الخيارين لهما نفس الوظيفة.

3. يمكنك الآن تحميل مخطط طيفي اختباري. لعمل مخطط طيفي واحد ، يمكنك استخدام برنامج tbt_make_one_spect.sh من ThinkBioT Github. ما عليك سوى إفلاته في مجلد باستخدام wav الذي تريد تحويله إلى مخطط طيفي ، افتح نافذة Git Bash (أو محطة طرفية) واستخدم الكود أدناه ، واستبدل اسم الملف الخاص بك.

sh tbt_make_one_spect.sh yourWavName.wav

4. الآن ببساطة قم بتحميل المخطط الطيفي وتحقق من النتيجة!

الخطوة 8: قم بتثبيت النموذج الخاص بك في ThinkBioT

لاستخدام النموذج اللامع الجديد ، قم ببساطة بإسقاط النموذج وملف txt في مجلد CModel ؛

pi> ThinkBioT> ClassProcess> CModel

أنت الآن جاهز لاستخدام ThinkBioT:)

** ملحوظة ** إذا كنت تستخدم النموذج الخاص بك خارج إطار عمل ThinkBioT ، فستحتاج إلى تعديل مستند التسمية الخاص بك كإضافة أرقام إلى بداية كل سطر حيث تفترض وظيفة "readlabels" الأحدث في مترجمي tflite وجودهم هناك. لقد كتبت وظيفة مخصصة في إطار عمل ThinkBioT classify_spect.py كعمل حوله يمكنك استخدامه في التعليمات البرمجية الخاصة بك:)

def ReadLabelFile (file_path):

عداد = 0 مع فتح (file_path، 'r'، encoding = 'utf-8') مثل f: lines = f.readlines () ret = {} للخط في السطور: ret [int (counter)] = line.strip () العداد = العداد + 1 العودة