تصور البيانات من Magicbit في AWS: 5 خطوات

2024 مؤلف: John Day | [email protected]. آخر تعديل: 2024-01-30 07:36

سيتم نشر البيانات التي تم جمعها من أجهزة الاستشعار المتصلة بـ Magicbit إلى AWS IOT core من خلال MQTT ليتم تصورها بيانياً في الوقت الفعلي. نحن نستخدم Magicbit كلوحة تطوير في هذا المشروع الذي يعتمد على ESP32. لذلك يمكن استخدام أي لوحة تطوير ESP32 في هذا المشروع.

اللوازم:

ماجيكبيت

الخطوة 1: القصة

يتعلق هذا المشروع بتوصيل جهاز Magicbit الخاص بك بسحابة AWS عبر MQTT. يتم تحليل البيانات المرسلة عبر MQTT وتصورها في السحابة باستخدام خدمات AWS. لذلك دعونا نبدأ

أولاً ، يجب عليك الانتقال إلى وحدة تحكم AWS وتسجيل الدخول. لأغراض التعلم ، يمكنك استخدام خيار المستوى المجاني الذي توفره AWS. سيكون كافيا لهذا المشروع.

لتبسيط الأمر ، سأقسم المشروع إلى قسمين.

ستكون هذه هي المرحلة الأولى من مشروعنا. في نهاية المرحلة الأولى ، سيتم تخزين البيانات في حاويات S3.

خدمات AWS التي سيتم استخدامها في القسم الأول ،

• Kinesis Firehose
• AWS Glue
• AWS S3

انتقل أولاً إلى خدمة AWS Kinesis.

اختر Kinesis Data Firehose كما هو موضح أدناه وانقر فوق إنشاء

ثم سيتم توجيهك إلى الخطوة 1 لإنشاء خدمة Firehose. أدخل اسم تدفق التسليم واختر وضع مباشر أو مصادر أخرى. انقر فوق {التالي.

في نافذة الخطوة 2 ، اترك كل شيء افتراضيًا وانقر فوق التالي. بعد إنشاء AWS Glue Service سنعود لتعديل هذه الخطوة.

في الخطوة 3 ، اختر حاوية S3 إذا كنت قد قمت بإنشائها من قبل. خلاف ذلك ، انقر فوق إنشاء وإنشاء مستودع. في قسم البادئة S3 استخدم dest / وفي بادئة الخطأ أدخل خطأ /. يمكنك إدخال أي اسم للاثنين أعلاه. ولكن من أجل السهولة سنستمر مع اسم شائع. تأكد من إنشاء مجلد باسم dest داخل الحاوية التي اخترتها. انقر فوق {التالي.

في الخطوة 4 ، اختر الحد الأدنى لحجم المخزن المؤقت وفاصل التخزين المؤقت لنقل البيانات في الوقت الفعلي. في قسم الأذونات ، اختر إنشاء أو تحديث دور IAMKinesisFirehoseServiceRole. احتفظ بكل شيء افتراضيًا. انقر فوق {التالي.

في القسم التالي ، سيتم عرض مراجعة للتغييرات التي أجريتها. انقر فوق موافق. ثم سيكون لديك Kinesis Firehose فعال.

إذا أنشأت خدمة Firehose بنجاح ، فستحصل على شيء من هذا القبيل.

الخطوة 2: اختبار خرطوم الإطفاء ودلو S3

لاختبار عمل خرطوم الإطفاء وحاوية S3 بشكل صحيح ، حدد IOT core في وحدة التحكم. سيتم توجيهك إلى صفحة مثل هذه. اختر قاعدة وأنشئ قاعدة.

ما هي قاعدة AWS IOT؟

يتم استخدامه لإعادة توجيه أي بيانات مستلمة من MQTT إلى خدمة معينة. في هذا المثال سوف نرسل إلى Kinesis Firehose.

اختر اسمًا للقاعدة. اترك بيان القاعدة والاستعلام كما هو. يخبرنا هذا أن أي شيء يتم نشره في موضوع iot / topic ستتم إعادة توجيهه إلى kinesis Firehose من خلال هذه القاعدة.

ضمن القسم تعيين إجراء واحد أو أكثر ، انقر فوق إضافة إجراء. اختر إرسال رسالة إلى Amazon Kinesis Firehose Stream. اختر تكوين. ثم حدد اسم تيار خرطوم الإطفاء الذي تم إنشاؤه مسبقًا. ثم انقر على إنشاء دور وأنشئ دورًا. لقد نجحت الآن في إنشاء دور في AWS.

ستتم إعادة توجيه أي رسالة تنشرها عبر Kinesis Firehose إلى حاويات S3.

ضع في اعتبارك أن Firehose يرسل البيانات عند ملء المخزن المؤقت أو عند الوصول إلى الفاصل الزمني للمخزن المؤقت. الحد الأدنى لفترة المخزن المؤقت هو 60 ثانية.

الآن يمكننا الانتقال إلى الجزء الثاني من المشروع. سيكون هذا مخطط تدفق البيانات لدينا.

الخطوة 3: تكوين AWS Glue

لماذا نحتاج إلى AWS Glue و AWS Athena؟

لا يمكن استخدام البيانات المخزنة في حاويات S3 مباشرةً كمدخلات في AWS Quicksight. نحتاج أولاً إلى ترتيب البيانات في شكل جداول. لهذا نستخدم الخدمتين أعلاه.

انتقل إلى AWS Glue. حدد الزاحف على شريط الأدوات الجانبي. ثم حدد إضافة الزاحف.

في الخطوة الأولى ، أدخل اسمًا للزاحف الخاص بك. انقر فوق {التالي. في الخطوة التالية ، اتركه كافتراضي. في الخطوة الثالثة ، أدخل المسار إلى حاوية S3 التي اخترتها. اترك النافذة التالية كإعداد افتراضي. في النافذة الخامسة ، أدخل أي دور IAM. في الخطوة التالية ، اختر تكرار تشغيل الخدمة.

يُنصح بتحديد مخصص في المربع المنسدل واختيار الحد الأدنى من الوقت.

في الخطوة التالية ، انقر فوق إضافة قاعدة بيانات ثم التالي. انقر فوق "إنهاء".

الآن يجب علينا دمج Kinesis Firehose مع AWS Glue الذي أنشأناه.

انتقل إلى AWS Kinesis firehose الذي أنشأناه وانقر على تحرير.

قم بالتمرير لأسفل إلى القسم تحويل تنسيق السجل واختر ممكّن.

اختار تنسيق الإخراج مثل Apache Parquet. بالنسبة لبقية التفاصيل ، قم بملء تفاصيل قاعدة بيانات Glue التي قمت بإنشائها. يجب إنشاء جدول في قاعدة البيانات ويجب إضافة الاسم في هذا القسم. انقر فوق حفظ.

الخطوة 4: تكوين AWS Athena

اختر قاعدة البيانات وجدول البيانات الذي أنشأته. في قسم الاستعلام يجب إضافة هذا الرمز.

يجب استبدال اسم الجدول بالاسم الفعلي لجدول الغراء الذي أنشأته.

انقر فوق تشغيل الاستعلام. إذا كانت تعمل ، فيجب عرض البيانات المخزنة في حاوية AWS S3 كجدول بيانات.

الآن نحن جاهزون لتصور البيانات التي حصلنا عليها.

الخطوة الخامسة: تكوين QuickSight

انتقل إلى AWS Quicksight

انقر فوق تحليل جديد في الزاوية اليمنى العليا ، ثم انقر فوق مجموعة بيانات جديدة.

اختر أثينا من القائمة. أدخل أي اسم مصدر بيانات على البطاقة المنبثقة.

حدد قاعدة بيانات الغراء من المربع المنسدل والجدول ذي الصلة. هذا سوف ينقلك إلى هذه الصفحة.

قم بسحب وإسقاط أي حقل من قائمة الحقول وحدد أي نوع مرئي.

يمكنك الآن تصور أي بيانات مرسلة من MagicBit باستخدام خدمات AWS !!!

تذكر السماح بالوصول للرؤية السريعة لحاويات S3 المعنية من أجل تصور البيانات الموجودة فيها.