Gesztus beszéd/szöveg konvertáló kesztyű: 5 lépés

2024 Szerző: John Day | [email protected]. Utoljára módosítva: 2024-01-30 09:40

A projekt megvalósításának ötlete/lökése az volt, hogy segítsen azoknak, akiknek nehézségeik vannak a beszéddel való kommunikációban, és kézmozdulatokkal vagy közismertebb nevén amerikai jelnyelvként (ASL). Ez a projekt lépés lehet ahhoz, hogy ezeknek az embereknek lehetőséget biztosítsanak arra, hogy együttműködjenek másokkal, akik nem értik a jelnyelvet, együttműködési környezetben. Ezenkívül ez a projekt lehetővé teszi számukra, hogy nyilvános beszédeket tartsanak tényleges emberi fordító használata nélkül. Kezdetben csak néhány egyszerűbb gesztust próbáltam észlelni, például az A, B, I ábécét stb., És bizonyos gesztusokat is hozzárendeltem a gyakori szavakhoz/üdvözletekhez, például „Hello”, „Jó reggelt” stb.

1. lépés: Áramköri összeszerelés

2. lépés: A projekt részletei

Ez a projekt egy hordható kesztyűt tartalmaz, 4 flexibilis érzékelővel, amelyek a kesztyűbe vannak ragasztva/beágyazva - egy -egy kis, középső, mutatóujj és hüvelykujj. A flex érzékelőt nem használták az ujjgyűrűhöz az Arduino Uno R3 analóg bemeneti tűinek korlátozott rendelkezésre állása és általában az ujj jelnyelven megjelenített független mozgásának hiánya miatt. MMA8452Q gyorsulásmérőt is használnak, amely a tenyér hátoldalára van ragasztva a kéz tájolásának mérésére. Ezeknek az érzékelőknek a bemenetét elemzik és a gesztus érzékelésére használják. A gesztus érzékelése után a megfelelő karakter/üzenet mentésre kerül egy változóba. Ezek a karakterek és üzenetek összekapcsolódnak, amíg egy bizonyos előre meghatározott gesztust el nem végeznek, amely jelzi a mondat befejezését. Miután ezt a különleges gesztust észlelte, az elmentett mondatláncot Arduino elküldi a Raspberry Pi -nek USB -kábelen keresztül. A Raspberry Pi ezután elküldi a kapott karakterláncot a Polly nevű Amazon Cloud Service -nek, hogy a szöveges formátumban kapott mondatot beszédformátummá alakítsa át, majd a fogadott beszédet továbbítja a Raspberry Pi -hez csatlakoztatott hangszórón az AUX -kábelen keresztül.

Ez a projekt csak egy bizonyíték volt a koncepcióra, jobb felszereltséggel és tervezéssel, és sokkal kalibráltabb, hogy sok más gesztust és kézmozdulatot érzékeljen. Jelenleg csak korlátozott funkcionalitás van programozva ebbe a projektbe, mint például az alapvető gesztusérzékelés és a szöveg -beszéd kimenet.

3. lépés: Kód

4. lépés: Lépések

1. Csatlakoztassa az MMA8452Q flex érzékelőket és gyorsulásmérőt az Arduino -hoz a mellékelt kapcsolási rajz szerint.

2. Döntse ki a Final_Project.ino programot (megtalálható az Arduino_code.zip fájlban) az Arduino -hoz.

3. Csatlakoztassa az Arduino -t a Raspberry Pi -hez USB -kábel segítségével. (A/B típusú kábel).

4. Kapcsolja be a Raspberry Pi -t, másolja a Raspberry_pi_code.zip fájlt a Raspberry Pi -be, és bontsa ki. Csatlakoztassa a hangszórót a Raspberry Pi -hez.

5. Másolja át az AWS -fiók hitelesítő adatait, azaz aws_access_key_id, aws_secret_access_key és aws_session_token a ~/.aws/credentials fájlba. Ez a lépés szükséges az AWS felhővel való kommunikációhoz és az AWS szolgáltatások használatához.

6. Futtassa a 4. lépésben a kibontott mappában található seria_test.py programot.

7. Most hajtsa végre a mozdulatokat, hogy mondatot alkosson, majd végezze el a különleges gesztust (Tartsa az ujjait és a tenyerét egyenesen és egy vonalban, a tenyérrel szemben Ön felé, majd forgassa el a csuklóját, hogy lefelé forduljon, így most a tenyere szemben van veled és ujjaid hegye lefelé mutat a lábad felé.) a mondat befejezésének jelzésére.

8. Folyamatosan ellenőrizze a terminálon a hasznos információkat.

9. És hallgassa meg a konvertált beszédet a hangszórón.

5. lépés: Hivatkozások

1.

2.

3.

4.