إعداد كافكا: 4 خطوات

2024 مؤلف: John Day | [email protected]. آخر تعديل: 2024-01-30 07:38

مقدمة:

Apache Kafka هو نظام مراسلة مفتوح المصدر وقابل للتطوير وعالي الإنتاجية تم تطويره بواسطة Apache Software Foundation المكتوبة بلغة Scala. تم تصميم Apache Kafka خصيصًا للسماح لمجموعة واحدة بالعمل بمثابة العمود الفقري المركزي للبيانات لبيئة كبيرة. لديها إنتاجية أعلى بكثير مقارنة بأنظمة وسطاء الرسائل الأخرى مثل ActiveMQ و RabbitMQ. إنه قادر على التعامل مع كميات كبيرة من البيانات في الوقت الحقيقي بكفاءة. يمكنك نشر كافكا على خادم Apache واحد أو في بيئة مجمعة موزعة.

سمات:

الملامح العامة لكافكا هي كما يلي:

استمر في وجود رسالة على القرص توفر أداءً ثابتًا للوقت.

إنتاجية عالية مع هياكل القرص التي تدعم مئات الآلاف من الرسائل في الثانية.

يتوسع النظام الموزع بسهولة دون توقف.

يدعم تعدد المشتركين ويوازن تلقائيًا بين المستهلكين أثناء الفشل.

يوضح هذا البرنامج التعليمي كيفية تثبيت وتكوين Apache Kafka على خادم Ubuntu 16.04.

متطلبات

خادم Ubuntu 16.04.

تم إعداد حساب مستخدم غير جذر بامتياز مستخدم فائق على الخادم الخاص بك.

الخطوة 1: الشروع في العمل وتثبيت Java

1) لنبدأ في التأكد من تحديث خادم Ubuntu 16.04 بالكامل

يمكنك تحديث الخادم الخاص بك عن طريق تشغيل الأوامر التالية: -

sudo apt-get update -y

sudo apt-get الترقية -y

2) تثبيت Java

تحقق مما إذا كان جهازك يحتوي على جافا مثبت بالفعل أم أنه يحتوي على إصدار افتراضي من جافا عن طريق الأمر التالي: -

جافا الإصدار

حتى لو كان لديك إصدار جافا ولكن إصدار أقل ، فسيتعين عليك ترقيته.

يمكنك تثبيت Java عن طريق: -

sudo apt-get install default-jdk

أو

يمكنك تثبيت Oracle JDK 8 باستخدام مستودع PPA لفريق Webupd8.

لإضافة المستودع ، قم بتشغيل الأمر التالي: -

sudo add-apt-repository -y ppa: webupd8team / java

سودو apt-get install oracle-java8-installer -y

الخطوة 2: قم بتثبيت Zookeeper

ما هو Zookeeper؟

Zookeeper هي خدمة مركزية للحفاظ على معلومات التكوين والتسمية وتوفير التزامن الموزع وتوفير خدمات المجموعة. يتم استخدام كل هذه الأنواع من الخدمات بشكل أو بآخر بواسطة التطبيقات الموزعة. في كل مرة يتم تنفيذها ، هناك الكثير من العمل الذي يتم إجراؤه لإصلاح الأخطاء وظروف السباق التي لا مفر منها. نظرًا لصعوبة تنفيذ هذه الأنواع من الخدمات ، عادةً ما تبخل التطبيقات عليها في البداية ، مما يجعلها هشة في ظل وجود التغيير وتصعب إدارتها. حتى عند القيام بذلك بشكل صحيح ، تؤدي عمليات التنفيذ المختلفة لهذه الخدمات إلى تعقيد الإدارة عند نشر التطبيقات.

قبل تثبيت Apache Kafka ، ستحتاج إلى توفر حارس الحديقة وتشغيله. ZooKeeper هي خدمة مفتوحة المصدر للحفاظ على معلومات التكوين وتوفير المزامنة الموزعة والتسمية وتوفير خدمات المجموعة.

1) تتوفر حزمة Zookeeper بشكل افتراضي في مستودع Ubuntu الافتراضي

يمكنك تثبيته عن طريق تشغيل الأمر التالي: -

sudo apt-get install zookeeperd

بمجرد الانتهاء من التثبيت ، سيبدأ كبرنامج خفي تلقائيًا. بشكل افتراضي ، سيعمل Zookeeper على المنفذ 2181.

يمكنك اختباره عن طريق تشغيل الأمر التالي:

netstat -ant | grep: 2181

يجب أن يوضح لك الإخراج أنه يتم الاستماع إلى المنفذ 2181.

الخطوة الثالثة: تثبيت وبدء تشغيل خادم كافكا

الآن بعد أن تم تثبيت Java و ZooKeeper ، حان الوقت لتنزيل واستخراج كافكا من موقع Apache.

1) يمكنك استخدام curl أو wget لتنزيل Kafka: (كافكا إصدار 0.10.1.1)

قم بتشغيل الأمر التالي لتنزيل إعداد kafka: -

حليقة- O https://apache-mirror.rbc.ru/pub/apache/kafka/0.10 …

أو

wget

2) أنشئ دليلًا لكافكا

بعد ذلك ، قم بإنشاء دليل لتثبيت كافكا:

sudo mkdir / opt / kafka

cd / opt / kafka

3) قم بفك ضغط المجلد الذي تم تنزيله

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C / opt / kafka /

* تغيير اسم المستخدم حسب اسم المستخدم الخاص بك

4) ابدأ سيرفر كافكا

الخطوة التالية هي بدء تشغيل خادم Kafka ، يمكنك تشغيله عن طريق تشغيل البرنامج النصي kafka-server-start.sh الموجود في الدليل /opt/kafka/kafka_2.11-0.10.1.1/bin/ باستخدام الأمر التالي: -

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) تحقق مما إذا كان خادم كافكا يعمل بشكل جيد

لديك الآن خادم كافكا يعمل ويستمع على المنفذ 9092.

الآن ، يمكننا التحقق من منافذ الاستماع:

- حارس حديقة الحيوان: 2181

- كافكا: 9092

netstat -ant | grep -E ': 2181 |: 9092'

الخطوة 4: اختبر خادم كافكا الخاص بك

حان الوقت الآن للتحقق من أن خادم كافكا يعمل بشكل صحيح.

1) قم بإنشاء موضوع جديد

لاختبار كافكا ، أنشئ نموذجًا للموضوع باسم "اختبار" في أباتشي كافكا باستخدام الأمر التالي:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh - إنشاء - اختبار موضوعي - المضيف المحلي للحارس: 2181 - الأقسام 1 - عامل النسخ 1

2) تحقق مما إذا تم إنشاء موضوعك بنجاح

الآن ، اطلب من Zookeeper سرد الموضوعات المتاحة على Apache Kafka عن طريق تشغيل الأمر التالي:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh - قائمة - المضيف المحلي zookeeper: 2181

3) انشر رسالة باستخدام الموضوع الذي قمت بإنشائه

صدى "مرحبا العالم" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh - مضيف محلي لقائمة الوسطاء: 9092 - اختبار موضوعي

4) تلقي الرسالة الخاصة بالموضوع الذي تم إنشاؤه

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh - المضيف المحلي لخادم التمهيد: 9092 - اختبار الموضوع - من البداية

5) إرسال ملف باستخدام kafka على موضوع

kafka-console-producer.sh - مضيف محلي لقائمة الوسطاء: 9092 - اختبار موضوعي