PiTextReader - قارئ مستندات سهل الاستخدام لضعاف البصر: 8 خطوات (بالصور)

2024 مؤلف: John Day | [email protected]. آخر تعديل: 2024-01-30 07:40

ملخص

تحديث: عرض فيديو قصير:

يتيح PiTextReader لشخص ضعيف البصر "قراءة" النص من المغلفات والخطابات والعناصر الأخرى. يقوم بلقطات صورة للعنصر ، ويتحول إلى نص عادي باستخدام OCR (التعرف الضوئي على الأحرف) ثم ينطق النص باستخدام تحويل النص إلى كلام.

تم تصميم القارئ ليكون سهل الاستخدام تمامًا قدر الإمكان. لا حاجة للإنترنت ، لا واجهة رسومية ، زر واحد فقط. ما عليك سوى وضع العنصر المراد قراءته على الحامل والضغط على الزر. بعد لحظات قليلة ، ستتم قراءة النص عليهم مرة أخرى.

لقد صممت هذا لوالد مسن يعاني من مشاكل في البصر مثل الضمور البقعي ، ولكن يمكن استخدامه على نطاق أوسع لأي شخص يريد ترجمة نص مطبوع إلى كلام صوتي.

هناك العديد من القراء المتاحين ، على الرغم من أن معظمهم يكلفون آلاف الدولارات أو مخصص لشخص خبير في التكنولوجيا ويحتاج إلى الاتصال بالإنترنت واستخدام الهاتف الذكي. تم تصميم هذا القارئ ليكون مستقلاً تمامًا بدون إنترنت ولا واجهة بخلاف زر ضغط كبير.

الايجابيات

• زر واحد للتحكم
• لا يلزم الاتصال بالإنترنت
• لا توجد واجهة مستخدم رسومية للتنقل
• التكلفة الإجمالية أقل من 100 دولار
• دائما على استعداد للذهاب

سلبيات

• يمكن أن يكون التعرف الضوئي على الحروف محدودًا بسبب الخطوط والألوان وحجم النص وما إلى ذلك.
• يبدو الكلام مثل ستيفن هوكينج
• يعمل بشكل أفضل مع الأقسام الصغيرة من النص الأسود على ورق أبيض.

الخطوة 1: الأجهزة

• Raspberry Pi 3 (يحتاج إلى قوة حصانية!)
• 8 جيجا + بطاقة مايكرو اس دي
• 5v 2A DC امدادات الطاقة لتوت العليق
• كاميرا Raspberry Pi (عادية أو NoIR)
• كابل كاميرا Raspberry Pi 24 بوصة
• حامل أو علبة الكاميرا
• أداة ضبط العدسة (لتركيز الكاميرا)
• مكبر صوت أحادي يعمل بنظام USB (يفضل الحجم الصغير!)
• زر ضغط كبير - مؤقت مع LEDhttps://www.adafruit.com/product/1440
• 330 أوم المقاوم للزر LED أعلاه
• صندوق خشبي 8 "x8" x2 "من Michaels أو غيرها من متاجر المستلزمات الفنية الكبيرة.
• الخشب الخردة لبناء حامل الكاميرا:
• 8 "Lx1" Wx1 / 2 "T شريط مسطح
• 5 "Lx1" Wx1 / 4 "T شريط مسطح
• 6 "Lx1 / 2" x1 / 2 "وتد مربع لدليل التنسيب
• مسامير ، غراء ، سلك ، لحام إلخ.

الخطوة 2: بناء الأجهزة

باستخدام المربع 8 "× 8":

1. حفر حفرة في الخلف لسلك الطاقة.

2. حفر حفرة في الزاوية اليمنى الأمامية للزر لحظة 3. حفر حفرة (ثقوب) لمكبر الصوت. (انظر الخطوة الصوتية 12 أدناه)

4. لقد استخدمت قطعة من شريط ألومنيوم مقاس 2 "× 1/4" × 13 "لحامل الكاميرا ، لكن الشرائط الخشبية تعمل أيضًا.

أ. قم بتركيب الشريط الخشبي المسطح مقاس 8 بوصات على الجزء الخلفي من غطاء الصندوق. (تأكد من توصيله بالجفن وليس أسفل الصندوق ، وإلا فلن تتمكن من فتحه!)

ب. قم بتركيب شريط الخشب المسطح مقاس 5 بوصات أعلى الشريط الرأسي مقاس 8 بوصات باستخدام البراغي والغراء. لاحظ أن ارتفاع الكاميرا يحدد حجم المستند والتركيز المطلوب. قد ترغب في الانتقال إلى مستوى أعلى للحصول على مستندات ذات مساحة أكبر.

5. قم بقص فتحة مقاس 1 "x1 / 16" في الجزء العلوي من الصندوق بالقرب من العمودية مقاس 8 بوصة حتى يمر كابل الكاميرا من خلالها.

ملاحظة: بالنسبة للإلكترونيات ، أقترح عدم تركيب المكونات بشكل دائم حتى الآن ، بحيث يمكنك إجراء التعديلات بسهولة.

6. قم بتوصيل كابل الكاميرا 24 بوصة بالكاميرا. لا تتصل بالتوت حتى الآن.

الخطوة 3: متابعة الأجهزة …

7. قم بتركيب الكاميرا باتجاه الأسفل من نهاية الشريط الخشبي مقاس 5 بوصات. أقترح الانتظار قبل وضع الكاميرا في علبتها حتى تتمكن من تركيز العدسة بسهولة بمجرد تشغيلها!

للتركيز الأولي ، استخدم أداة Adjustment وقم بتدوير العدسة عكس اتجاه عقارب الساعة 1/4! منعطف أو دور.

8. قم بتمرير كابل الكاميرا لأسفل من خلال الفتحة ثم قم بتوصيله بـ Pi. (تأكد من إيقاف تشغيل Pi!)

9. قم بتثبيت الزر اللحظي وتوصيل الأسلاك بينه وبين دبابيس Pi GPIO 24 و GND. وقم بتوصيل مؤشر LED الخاص بالزر من خلال مقاوم 220 أوم بمنافذ Pi GPIO 18 و GND.

10. قم بتشغيل مصدر الطاقة في الصندوق وقم بتوصيله بـ Pi. تحتاج إلى استخدام تخفيف الضغط مثل الغراء المصهور الساخن أو ما شابه ذلك لسد الفتحة في الصندوق حتى لا يتمكن الكابل من الانسحاب.

الخطوة 4: تثبيت أجهزة الصوت …

11. بالنسبة للصوت ، استخدمت مكبر صوت أحادي يستخدم طاقة USB وصوت مقبس صغير. قمت بإزالة الإلكترونيات ومكبر الصوت من العلبة البلاستيكية الأصلية ، وقمت بتوصيل قابس الصوت بمقبس الصوت Pi وكابل USB في Pi USB. لقد استبدلت أيضًا السماعة الصغيرة الأصلية بسماعة أكبر مقاس 3 بوصات للحصول على جودة صوت أفضل بكثير.

منذ أن قمت بتثبيت السماعة أسفل غطاء الصندوق ، قمت بحفر العديد من الثقوب الصغيرة على شكل شبكة مكبر صوت.

12. أخيرًا ، تحقق من التوصيلات ، لا سيما كبل الكاميرا وتوصيلات GPIO.

لا تقم بتشغيل PI حتى الآن. المتابعة إلى إعداد البرنامج أولاً …

لا يوجد مفتاح تشغيل / إيقاف ، حيث يُفترض أن Pi يجب أن يعمل طوال الوقت حتى يكون جاهزًا لقراءة شيء ما على الفور. يستخدم فقط بضع واط ويمكن تشغيله على مدار الساعة طوال أيام الأسبوع دون مشاكل.

من الممكن أن تتلف بطاقة SD في حالة عدم توصيلها أو انقطاع التيار الكهربائي ، لكن هذا نادر الحدوث. لم يكن لدي بطاقة SD غير قابلة للتمهيد حتى الآن. لكن لا تقم بتوصيله بمشترك طاقة يتم إيقاف تشغيله / تشغيله بانتظام.

الخطوة 5: إعداد وتكوين نظام التشغيل

قم بتهيئة بطاقة microSD بسعة 8 جيجابايت أو أكبر باستخدام Raspbian Jessie (أو Stretch) Lite (لا توجد واجهة مستخدم رسومية لهذا المشروع).

www.raspberrypi.org/downloads/raspbian/

ستحتاج إلى الوصول إلى Raspberry عن بُعد عبر SSH. على نظام Windows ، يمكنك استخدام برنامج طرفي PUTTY SSH. على نظام Mac ، ما عليك سوى إظهار نافذة الأوامر الطرفية. بالتناوب ، يمكنك توصيل لوحة مفاتيح وشاشة HDMI مؤقتًا لمجرد تصميمها ، لكن SSH يجعل من السهل العمل لاحقًا.

هل تعلم إذا قمت بتثبيت Raspbian Jessie على بطاقة SD باستخدام جهاز كمبيوتر يعمل بنظام Windows ، فيمكنك إنشاء ملفين على البطاقة لتهيئة وصول WiFi و SSH قبل تشغيله على Raspberry؟

لهذا ، افترض أن بطاقة SD الخاصة بك مثبتة حاليًا كـ K: على جهاز الكمبيوتر الخاص بك:

1) قم بتثبيت أحدث صورة Raspbian Jessie على بطاقة SD. بالنسبة لهذا المشروع ، يجب أن تعمل Jessie Lite.

2) باستخدام برنامج notepad ، قم بإنشاء ملف يسمى فقط "ssh" واستخدم Save As "All files" إلى K: / ssh يمكن أن يحتوي الملف على أي شيء. هو اسم الملف المهم. يجب ألا يكون "ssh.txt" !!!

3) باستخدام برنامج المفكرة ، قم بإنشاء ملف يسمى "wpa_supplicant.conf" بما يلي:

ctrl_interface = DIR = / var / run / wpa_supplicant GROUP = netdevupdate_config = 1

الشبكة = {

ssid = "mySSID" psk = "mypassword" key_mgmt = WPA-PSK}

استخدم حفظ باسم "جميع الملفات" إلى K: / wpa_supplicant.confA مرة أخرى ، لا تدع Notepad يغيره إلى "wpa_supplicant.conf.txt" !!

عندما تقوم بتشغيل Raspberry في المرة الأولى ، ستبحث Jessie عن هؤلاء وتتصل بشبكة Wifi الخاصة بك. سيتعين عليك البحث في جهاز التوجيه الخاص بك عن عنوان IP ، على الرغم من ذلك ، منذ تعيينه تلقائيًا باستخدام DHCP.

الآن جاهز للتثبيت على Pi الخاص بك:

1. أدخل بطاقة microSD في Pi وقم بتوصيل الطاقة الآن.

2. لتسجيل الدخول إلى Raspberry Pi الخاص بك عن بُعد ، ستحتاج إلى العثور على عنوان IP الخاص به. يمكنك المحاولة:

$ ssh [email protected]

أو من Putty ، أدخل اسم المضيف: [email protected]

خلاف ذلك ، سوف تحتاج إلى معرفة ما إذا كان جهاز التوجيه الخاص بك سيعرض عناوين IP الخاصة بأجهزتك المحلية.

بمجرد تسجيل الدخول كمستخدم pi:

3. قم بتحديث نظام التشغيل Raspbian الخاص بك:

sudo apt update

sudo apt الترقية

4. تكوين Raspberry وتمكين الكاميرا:

sudo raspi-config. $

أ. تغيير كلمة مرور المستخدم

ب. خيارات التفاعل -> الكاميرا -> تمكين

ج. ينهي

د. اعادة التشغيل

الخطوة 6: تثبيت برنامج التطبيق

الآن قم بتسجيل الدخول مرة أخرى إلى Pi الخاص بك وأنت على استعداد لتثبيت تطبيق PiTextReader.

1. قم بتثبيت البرنامج الأولي المطلوب: sudo apt install git –y

2. تنزيل البرنامج:

$ cd / home / pi

استنساخ git $

$ cd PiTextReader

$ sh install.sh

يمكنك إعادة تشغيل install.sh بأمان عدة مرات ، إذا لزم الأمر.

3. ضع مستندًا بسيطًا لقراءته وقم بتشغيل برنامج الاختبار الذي يضبط مستوى الصوت ، ويشغل بعض أصوات تحويل النص إلى كلام ويلتقط صورة.

$ sh test.sh

إذا تلقيت أي رسائل خطأ ، فتحقق من استكشاف الأخطاء وإصلاحها أدناه. قم بتحرير برنامج test.sh لضبط مستوى الصوت إذا لزم الأمر.

4. يحفظ برنامج الاختبار صورة في "test.jpg". ستحتاج إلى نسخ هذه الصورة إلى جهاز كمبيوتر حتى تتمكن من رؤية التركيز ومجال الرؤية. هناك طريقة سريعة وقذرة للقيام بذلك وهي بدء تشغيل خادم ويب صغير على Pi الخاص بك واستخدام متصفح:

$ python -m SimpleHTTPServer 8080 &

ثم تصفح إلى https:// {IPaddress}: 8080 /

انقر فوق test.jpg

استخدم أداة ضبط العدسة لتركيز الكاميرا.

أعد تشغيل برنامج test.sh كلما دعت الحاجة.

ملاحظة: إذا كنت بحاجة إلى ضبط إعدادات كاميرا raspistill ، فستحتاج أيضًا إلى تعديل برنامج pitextreader.py بالإعدادات الجديدة.

CAMERA = "raspistill -cfx 128: 128 --awb auto -rot 90 -t 500 -o /tmp/image.jpg"

5. sudo $ reboot

يجب أن يظهر Pi ويعمل تلقائيًا ، ويكون جاهزًا للتشغيل.

الخطوة 7: العملية

عندما تقوم بتشغيل Pi ، سوف تسمع عبارة "OK Ready" وكذلك سترى زر LED يضيء.

في أي وقت يضيء مؤشر LED ، تكون الوحدة جاهزة للعمل.

ضع بعض النصوص المطبوعة أسفل الكاميرا ، ويفضل أن يكون ذلك مجرد بضعة أسطر من النص الأسود على ورق أبيض.

لاحظ أن الكاميرا لا تحتاج إلى الكثير من الضوء ، وخاصة NoIR. كان ضوء الغرفة المحيط جيدًا بالنسبة لي. يسبب الكثير من الضوء إضاءة غير متساوية ويشوه التعرف الضوئي على الحروف.

اضغط الزر.

يجب أن يضيء مؤشر LED وصوت نقرة الكاميرا بالإضافة إلى صوت الكلام "OK working".

بعد بضع ثوان ، يجب قراءة النص. إذا كان النص مشوهًا ، أو كان الخط غامقًا جدًا أو فاتحًا جدًا ، أو مقلوبًا أو مقلوبًا ، فستكون النتيجة كلامًا مبتذلًا!

يمكن أن يستغرق التحويل وبدء القراءة ما بين 5 إلى 30 ثانية ، لذا كن صبورًا. كلما زاد النص ، كلما استغرق الأمر وقتًا أطول.

إذا كنت بحاجة إلى التوقف عن القراءة ، فيمكنك الضغط على الزر أثناء استمرار تشغيل الصوت (مؤشر LED مطفأ).

بمجرد اكتمال الخطاب ، بعد بضع ثوانٍ ، يضيء مؤشر LED وستسمع "حسنًا جاهز" مرة أخرى. إنه جاهز لإجراء فحص آخر.

لاحظ أن المسافة التي تم ضبط الكاميرا بها لكاميرا Raspi ولجزء فقط من مستند مقاس 8 × 10. لقد وجدت أنه من الأفضل قراءة أجزاء من المستند في كل مرة حيث يصعب الاستماع إلى الصفحات الكاملة. العديد من الأشياء التي يجب قراءتها عبارة عن نصوص أصغر حجمًا ، لذا إذا كانت الكاميرا بعيدة جدًا ، فلا يمكن حلها.

لاستكشاف الأخطاء وإصلاحها ، تحقق أدناه ، لا سيما قسم المسح الضوئي والتعرف الضوئي على الحروف

إذا كان كل شيء على ما يرام ، فقم بتركيب جميع المكونات بشكل دائم لإكمال البناء.

الخطوة 8: استكشاف الأخطاء وإصلاحها

1. الكاميرا

تحقق من تمكين الكاميرا عبر

sudo raspi-config. $

خيارات التواصل -> الكاميرا

أعد تثبيت كابل الشريط لأن هذا دقيق ويجب محاذاته تمامًا. إذا لزم الأمر ، Google "استكشاف أخطاء كاميرا raspberry pi وإصلاحها" للبحث عن مشكلات مماثلة. أيضا جوجل رسالة الخطأ التي تحصل عليها عند تشغيل برنامج test.sh.

2. الصوت

لديك حجم الصوت؟

$ sudo amixer -q مجموعة PCM ، 0100٪

قم بتشغيل اختبار الصوت

$ aplay /usr/share/sounds/alsa/Front_Center.wav

لا يوجد صوت ثابت؟ إجبار الصوت على إخراج المقبس:

خيارات متقدمة $ sudo raspi-config -> الصوت -> إجبار مقبس سماعة الرأس

3. الكلام

إذا كان الصوت أعلاه يبدو جيدًا ، فجرب:

اختبار $ flite -t

رسائل خطأ Google ، إن وجدت.

أعد تشغيل install.sh

نعم ، يبدو الخطاب مثل ستيفن هوكينج.

4. المسح الضوئي والتعرف الضوئي على الحروف

هذا هو أكبر مجال الضبط المطلوب. لكي يعمل OCR بشكل صحيح ، يجب أن تكون صورة الكاميرا جيدة ؛ يجب أن يكون المستند مضاءً بسلاسة ، وليس بالضرورة بشكل ساطع.

يجب أن يكون النص مسطحًا وواضحًا. ليست كل الخطوط قابلة للقراءة.

للتحقق من الجودة ، افحص الملفين:

/tmp/text.txt و /tmp/image.jpg

يمكنك بدء خادم الويب الصغير واستخدام متصفح:

$ cd / tmp بيثون -m SimpleHTTPServer 8080 &

يجب أن يكون النص في الصورة عاديًا ومقروءًا. يجب أن تكون الصورة على الجانب الأيمن لأعلى ، وعلى النقيض الجيد ، في التركيز. قد تحتاج إلى قلب المستند إذا كان مقلوبًا. (ذكر المستخدم أنه إذا سمع gobbly-gook ، فحاول قلب المستند.) إذا كانت الصورة بها تباين ضعيف ، فستحتاج إلى تحسين الإضاءة ، حيث يمكن أن يتسبب الكثير أو القليل جدًا في حدوث مشكلات. ستؤدي الإضاءة غير المستوية أيضًا إلى فشل أجزاء من النص. يمكنك العثور على مزيد من المساعدة عن طريق البحث على Google "مساعدة tesseract-ocr"

5. شاشة HDMI / لوحة المفاتيح

نعم ، يمكنك توصيل لوحة مفاتيح وشاشة في Pi ، esp. إذا لم تتمكن من العثور على عنوان IP أو لا يمكنك الوصول عبر SSH. لا توجد واجهة GUI وقد يؤدي ذلك إلى إيقاف تشغيل الصوت إلا إذا كانت شاشتك تحتوي على مكبر صوت.

6. الإنترنت / WIFI

إذا كانت WIFI لا تعمل ، فيمكنك فقط توصيل كابل Ethernet مؤقتًا واستخدامه.

لا يحتاج هذا المشروع إلى الإنترنت أو WiFi بمجرد إتمام التثبيت والإعداد.