PiTextReader-könnyen használható dokumentumolvasó a látásromláshoz: 8 lépés (képekkel)

2024 Szerző: John Day | [email protected]. Utoljára módosítva: 2024-01-30 09:42

Áttekintés

Frissítés: Rövid videó bemutató:

A PiTextReader lehetővé teszi, hogy a látássérült személy „olvassa el” a szöveget borítékokból, levelekből és egyéb elemekből. Pillanatképeket készít az elem képéről, konvertálja egyszerű szöveggé OCR (optikai karakterfelismerés) segítségével, majd szövegből beszédbe beszél.

A Reader a lehető legegyszerűbben használható. Nincs szükség internetre, nincs grafikus felület, csak egy gomb. Csak helyezze az olvasandó elemet az állványra, és nyomja meg a gombot. Néhány pillanat múlva a szöveget visszaolvassák nekik.

Ezt egy idős szülőnek terveztem, akinek látásproblémái vannak, mint például a makula degenerációja, de szélesebb körben használható mindenki számára, aki nyomtatott szöveget szeretne beszédre fordítani.

Sok olvasó áll rendelkezésre, a legtöbb azonban több ezer dollárba kerül, vagy azok számára, akik jártasak a technikában, és megkövetelik az internetkapcsolatot és egy okostelefon használatát. Ezt az olvasót úgy tervezték, hogy teljesen önálló legyen, nincs internet és nincs interfész, csak egy nagy nyomógomb.

Előnyök

• Egy gomb a vezérléshez
• Nincs internet kapcsolat szükséges
• Nincs grafikus felhasználói felület a navigáláshoz
• A teljes költség kevesebb, mint 100 USD
• Mindig készen áll az indulásra

Hátrányok

• Az OCR korlátozható betűtípusok, színek, szövegméret stb. Miatt.
• A beszéd úgy hangzik, mint Stephen Hawking
• A legjobban a fehér szöveg kis részeihez használható.

1. lépés: Hardver

• Raspberry Pi 3 (lóerőre van szüksége!)
• 8 GB + micro SD kártya
• 5v 2A DC tápegység a Raspberry számára
• Raspberry Pi kamera (normál vagy NoIR)
• 24 hüvelykes Raspberry Pi kamera kábelhttps://www.adafruit.com/product/1731
• Kamera tartó vagy tok https://www.adafruit.com/product/3253 vagyhttps://www.adafruit.com/product/1434
• Objektív beállító eszköz (a kamera fókuszálásához)
• USB tápellátású mono hangszóró (kis méret előnyben!)
• Nagy nyomógomb - pillanatnyi LED -del
• 330 ohmos ellenállás a fenti LED -hez
• Fa doboz 8”x 8” x2”a Michaels -től vagy más nagy műtárgybolttól.
• Fahulladék a kameraállvány építéséhez:
• 8”Lx1” Wx1/2”T lapos szalag
• 5”Lx1” Wx1/4”T lapos szalag
• 6”Lx1/2” x1/2”négyzet alakú dübel elhelyezési útmutatóhoz
• Csavarok, ragasztó, huzal, forrasztás stb.

2. lépés: Hardverépítés

A 8 x 8 hüvelykes doboz használata:

1. Fúrjon lyukat hátul a tápkábelhez.

2. Fúrjon lyukat a jobb első sarokban a pillanatnyi gombhoz3. Fúrjon lyuka (ka) t a hangszóróhoz. (lásd az alábbi 12. hanglépést)

4. Egy darab 2”x1/4” x13”alumínium csíkot használtam a kamera rögzítéséhez, de a fa csíkok is működnek.

a. Szerelje fel a 8”-os lapos facsíkot a doboz LID hátoldalára. (győződjön meg róla, hogy a fedélhez van rögzítve, és nem a doboz aljához, különben nem tudja kinyitni!)

b. Szerelje fel az 5”-os lapos facsíkot a 8” -os függőleges tetejére csavarokkal és ragasztóval. MEGJEGYZÉS: a kamera magassága határozza meg a dokumentum méretét és a szükséges fókuszt. Nagyobb területű dokumentumok esetén érdemes magasabbra lépni.

5. Vágjon 1”x1/16” rést a doboz tetején a 8”függőleges közelében, hogy a kamera kábele áthaladjon.

MEGJEGYZÉS: Az elektronika esetében azt javaslom, hogy még NE szerelje fel tartósan az alkatrészeket, hogy könnyen elvégezhesse a beállításokat.

6. Csatlakoztassa a 24 hüvelykes kamera kábelét a fényképezőgéphez. Még ne csatlakozzon a málnához.

3. lépés: Hardverfogyasztás…

7. Szerelje fel a kamerát lefelé fordítva az 5”-os facsík végétől. Javaslom, hogy várjon, mielőtt a fényképezőgépet a tokjába helyezi, hogy futás közben könnyebben fókuszálhasson!

Az első fókuszáláshoz használja a beállító eszközt, és fordítsa el az objektívet az óramutató járásával ellentétes irányban 1/4! fordulat.

8. Futtassa le a kamera kábelét a nyíláson keresztül, majd csatlakoztassa a Pi -hez. (Győződjön meg róla, hogy a Pi ki van kapcsolva!)

9. Telepítse a pillanatnyi gombot, és csatlakoztassa a vezetékeket a Pi GPIO 24 és GND csapjai közé. Csatlakoztassa a gomb LED -jét egy 220 ohmos ellenálláson keresztül a Pi GPIO 18 és GND csapokhoz.

10. Futtassa a tápegységet a dobozba, és csatlakoztassa a Pi -hez. Nyúlásgátlót, például forró olvadék ragasztót vagy hasonlót kell használnia a doboz lyukának betöméséhez, hogy a kábel ne húzódjon ki.

4. lépés: Audio hardver telepítése…

11. A hangzáshoz mono hangszórót használtam, amely USB tápellátást és mini jack hangot használt. Kivettem az elektronikát és a hangszórót az eredeti műanyag házból, és az audio dugót a Pi audio aljzatba, az USB -kábelt pedig a Pi USB -be dugtam. Az eredeti apró hangszórót is kicseréltem egy nagyobb, 3”-os hangszóróra a sokkal jobb hangminőség érdekében.

Mivel a hangszórót a doboz fedele alá szereltem fel, több kis lyukat fúrtam hangszórórács alakjában.

12. Végül ellenőrizze a csatlakozásokat, különösen a kamera kábelét és a GPIO csatlakozásait.

MÉG NE TÁROLJA fel a PI -t. Először folytassa a szoftver beállításával…

Nincs be/ki kapcsoló, mivel feltételezzük, hogy a Pi -nek folyamatosan futnia kell, így azonnal készen áll arra, hogy olvasson valamit. Csak néhány wattot fogyaszt, és 24/7 üzemel gond nélkül.

Lehetséges, hogy az SD -kártya megsérül, ha kihúzza a konnektorból vagy áramszünetben, de ez ritka. Még soha nem volt indíthatatlan SD kártyám. De ne csatlakoztassa a rendszeresen ki-/bekapcsolt hálózati csatlakozót.

5. lépés: Az operációs rendszer beállítása és konfigurálása

Formázzon 8 GB vagy nagyobb méretű microSD -kártyát Raspbian Jessie (vagy Stretch) Lite programmal (ehhez a projekthez nincs GUI).

www.raspberrypi.org/downloads/raspbian/

A Raspberry -t távolról kell elérnie SSH -n keresztül. Windows rendszeren használhatja a PUTTY SSH terminálprogramot. Mac esetén csak nyisson meg egy parancssori ablakot. Alternatív megoldásként ideiglenesen csatlakoztathatja a billentyűzetet és a HDMI -monitort a beépítéshez, de az SSH megkönnyíti a későbbi munkát.

Tudta? Ha Raspbian Jessie -t telepít egy SD -kártyára Windows PC használatával, két fájlt hozhat létre a kártyán a WiFi és az SSH -hozzáférés konfigurálásához, mielőtt elindítja a Raspberry -n?

Ehhez tegyük fel, hogy az SD -kártya jelenleg K:ként van felszerelve a számítógépen:

1) Telepítse a legújabb Raspbian Jessie képet az SD -re. Ehhez a projekthez a Jessie Lite -nak működnie kell.

2) Jegyzettömb segítségével hozzon létre egy „ssh” nevű fájlt, és használja a Mentés másként „Minden fájl” parancsot a K: / ssh fájlba. A fájl bármit tartalmazhat. A fájlnév a fontos. NEM lehet „ssh.txt” !!!

3) Jegyzettömb segítségével hozzon létre egy „wpa_supplicant.conf” nevű fájlt a következőkkel:

ctrl_interface = DIR =/var/run/wpa_supplicant GROUP = netdevupdate_config = 1

hálózat = {

ssid = "mySSID" psk = "mypassword" key_mgmt = WPA-PSK}

Használja a Mentés másként „Minden fájl” mappát a K: / wpa_supplicant.conf fájlba. Ismét ne hagyja, hogy a Jegyzettömb „wpa_supplicant.conf.txt” fájlra változtassa !!

Amikor először indítja el a Málnát, Jessie megkeresi ezeket, és csatlakozik a Wifi -hez. Az útválasztón azonban meg kell keresnie az IP -címet, mivel az automatikusan hozzá van rendelve a DHCP használatával.

Most készen áll a Pi telepítésére:

1. Helyezze be a microSD -kártyát a Pi -be, és csatlakoztassa a tápfeszültséget.

2. A Raspberry Pi távoli bejelentkezéséhez meg kell találnia annak IP -címét. Megpróbálhatod:

$ ssh [email protected]

Vagy a Putty -ból írja be a gazdagép nevét: [email protected]

Ellenkező esetben meg kell néznie, hogy az útválasztó megjeleníti -e a helyi eszközök IP -címét.

Miután bejelentkezett pi felhasználóként:

3. Frissítse a Raspbian operációs rendszert:

$ sudo apt frissítés

$ sudo apt frissítés

4. Konfigurálja a Málnát és engedélyezze a kamerát:

$ sudo raspi-config

a. Felhasználói jelszó módosítása

b. Interfész opciók -> Kamera -> Engedélyezés

c. Befejez

d. Indítsa újra

6. lépés: Alkalmazásszoftver telepítése

Most jelentkezzen be újra a Pi -be, és készen áll a PiTextReader alkalmazás telepítésére.

1. Telepítse az első szükséges szoftvert: $ sudo apt install git –y

2. Töltse le a szoftvert:

$ cd /home /pi

$ git klón

$ cd PiTextReader

$ sh install.sh

Szükség esetén biztonságosan többször is futtathatja az install.sh fájlt.

3. Helyezzen el egy egyszerű dokumentumot, amelyet el kell olvasni, és futtassa a tesztprogramot, amely beállítja a hangerőt, lejátszik néhány szöveget-beszédet tartalmazó hangot és képet készít.

$ sh teszt.sh

Ha hibaüzenetet kap, ellenőrizze az alábbi Hibaelhárítás részt. Szerkessze a test.sh programot, ha szükséges, állítsa be a hangerőt.

4. A tesztprogram elmenti a fényképet a „test.jpg” mappába. Ezt a képet át kell másolnia egy számítógépre, hogy láthassa a fókuszt és a látómezőt. Ennek gyors és piszkos módja az, hogy elindít egy apró webszervert a Pi -n, és használ egy böngészőt:

$ python -m SimpleHTTPServer 8080 és

Ezután keresse meg a következőt: https:// {IPaddress}: 8080/

Kattintson a test-j.webp

Használja a lencse beállító eszközt a kamera fókuszálásához.

Futtassa újra a test.sh programot, ahányszor szükséges.

MEGJEGYZÉS: ha módosítani kell a raspistill kamera beállításait, akkor a pitextreader.py programot is módosítania kell az új beállításokkal.

KAMERA = "raspistill -cfx 128: 128 --awb auto -rot 90 -t 500 -o /tmp/image.jpg"

5. $ sudo újraindítás

A Pi -nek automatikusan fel kell lépnie és futnia kell, üzemkészen.

7. lépés: Művelet

Amikor elindítja a Pi -t, az „OK Ready” üzenetet hallja, valamint a gomb LED -je világít.

Bármikor, amikor a LED világít, a készülék használatra kész.

Tegyen nyomtatott szöveget a kamera alá, lehetőleg csak néhány sor fekete szöveget fehér papírra.

Vegye figyelembe, hogy a fényképezőgép nem igényel sok fényt, különösen a NoIR. A környezeti szoba fénye jó volt az enyémhez. A túl sok fény egyenetlen megvilágítást okoz, és torzítja az OCR -t.

Nyomja meg a gombot.

A LED -nek világítania kell, és a kamera kattanásának, valamint az „OK működő” beszédnek kell megszólalnia.

Néhány másodperc múlva el kell olvasni a szöveget. Ha a szöveg torz, a betűtípus túl sötét vagy túl világos, oldalra vagy fejjel lefelé, akkor az eredmény zokogó beszéd lesz!

Az átalakítás és az olvasás megkezdése 5-30 másodpercig tarthat, ezért legyen türelemmel. Minél több szöveg, annál tovább tart.

Ha le kell állítania az olvasást, megnyomhatja a gombot, miközben a hang még mindig lejátszódik (a LED nem világít.)

Miután a beszéd befejeződött, néhány másodperc múlva a LED visszakapcsol, és ismét az „OK Ready” hangot hallja. Készen áll egy újabb vizsgálat elvégzésére.

Ne feledje, hogy a kamera távolságát a Raspi kamera és a 8x10 méretű dokumentum csak egy része határozza meg. Úgy találtam, hogy a legjobb a dokumentum egyes részeit egyszerre olvasni, mivel a teljes oldalakat nehéz lehet hallgatni. Az olvasni kívánt dolgok nagy része kisebb szöveg, így ha a kamera túl messze van, nem tudja megoldani.

A hibaelhárításhoz ellenőrizze az alábbiakat, különösen a SZKENNELÉS ÉS OCR részt

Ha minden rendben van, rögzítse tartósan az összes alkatrészt az építkezés befejezéséhez.

8. lépés: Hibaelhárítás

1. KAMERA

Ellenőrizze, hogy a kamera engedélyezve van -e

$ sudo raspi-config

Interfész opciók -> Kamera

Helyezze vissza a szalagkábelt, mert ez kényes és pontosan igazítani kell. Ha szükséges, a google „málna pi kamera hibaelhárítása” segítségével keresse meg a hasonló problémákat. Szintén google -olja a hibaüzenetet, amelyet a test.sh program futtatásakor kap.

2. AUDIO

Növeli a hangerőt?

$ sudo amixer -q sset PCM, 0 100%

Futtassa az audio tesztet

$ aplay /usr/share/sounds/alsa/Front_Center.wav

Még mindig nincs hang? Hang kényszerítése a csatlakozóból:

$ sudo raspi -config Speciális beállítások -> Hang -> Fejhallgató -csatlakozó kényszerítése

3. BESZÉD

Ha a fenti hang jól hangzik, próbálja meg:

$ flite -t TESZT

Google hibaüzenetek, ha vannak.

Futtassa újra az install.sh fájlt

Igen, a beszéd kicsit olyan, mint Stephen Hawking.

4. SZKENNELÉS ÉS OCR

Ez a legnagyobb tuningterület, amire szükség van. Az OCR megfelelő működéséhez a kamera képének jó minőségűnek kell lennie; a dokumentumnak simán meg kell világítania, de nem feltétlenül fényesen.

A szövegnek laposnak és világosnak kell lennie. Nem minden betűtípus olvasható.

A minőség ellenőrzéséhez vizsgálja meg a két fájlt:

/tmp/text.txt és /tmp/image.jpg

Elindíthatja az apró webszervert, és böngészőt használhat:

$ cd /tmp $ python -m SimpleHTTPServer 8080 és

A kép szövegének egyszerűnek és olvashatónak kell lennie. A képnek jobb oldallal felfelé kell lennie, jó kontrasztúnak kell lennie. Lehet, hogy meg kell fordítania a dokumentumot, ha fejjel lefelé van. (emlékeztesse a felhasználót, hogy ha zokogást hall, próbálja meg megfordítani a dokumentumot.) Ha a kép gyenge kontrasztú, javítania kell a megvilágításon, túl sok vagy túl kevés problémát okozhat. Az egyenetlen megvilágítás miatt a szöveg egyes részei meghibásodnak. További segítséget a „tesseract-ocr help” google segítségével találhat

5. HDMI MONITOR/BILLENTYŰZET

Igen, csatlakoztathat billentyűzetet és monitort a Pi -hez, pl. ha nem találja az IP -címet, vagy nem fér hozzá SSH -n keresztül. Nincs grafikus felhasználói felület, és ez kikapcsolhatja a hangot, hacsak a monitor nem rendelkezik hangszóróval.

6. INTERNET/WIFI

Ha a WIFI nem működik, akkor csak ideiglenesen csatlakoztathat egy Ethernet -kábelt, és használhatja azt.

Ennek a projektnek nincs szüksége internetre vagy WiFi -re, miután befejezte a telepítést és a telepítést.