Személyes angol edző - AI Voice Assistant: 15 lépés

2024 Szerző: John Day | [email protected]. Utoljára módosítva: 2024-01-30 09:41

Ez a projekt segítséget nyújt azoknak a diákoknak, akik bármilyen nyelvvizsgára készülnek, ahol a Snips AI -val való interakcióval képezhetik magukat.

1. lépés: Történet

Miért építettük ezt?

Személyes tapasztalataim alapján sok embert láttam a különböző nyelvi tesztekre, például GRE, TOEFL, IELTS. Szükségük van egy személyre, aki segít nekik a szavak memorizálásában és megértésében. Általában, amikor egy személy ilyen vizsgákra készül, szükségük van egy személyre, aki ellenőrizheti és kijavíthatja, ha hibázik. Ezzel a megoldással hangsegéd alkalmazásával csökkenthetjük a munkaerőt.

2. lépés: Hardverépítés

Először is szeretném megköszönni a SNIPS -nek és a SEEED -nek, hogy támogatják ezt a projektet a csodálatos Snips Voice Interaction Development Kit (Base Kit) csomaggal, igazán informatívnak éreztem magam a tábla használatával, és el tudtam érni néhány, a NYÁK -ba integrált összetett projektet.

A Snips Voice Interaction Base Kit 115 dollárért, a Snips Voice Interaction Satellite Kit 85 dollárért vásárolható meg

3. lépés: Első lépések a SNIPS használatával

Mielőtt elkezdené, nézzük át, mire van szüksége.

• Raspberry Pi 3B/B+ (ajánlott) vagy Pi 2 B modell (támogatott).
• Micro-USB kábel és Micro-USB hálózati adapter a Raspberry Pi számára.
• Micro SD kártya (legalább 8 GB) - Az induláshoz operációs rendszer szükséges. Letöltheti a Raspbian Stretch alkalmazást, és használhatja a Mac OS, Linux és Windows útmutatókat a Raspberry Pi webhelyen.
• USB billentyűzet és egér, valamint külső HDMI -monitor - azt is javasoljuk, hogy legyen kéznél USB -billentyűzet és egér, valamint egy HDMI -monitor.
• Internet kapcsolat (Ethernet vagy WiFi)

Snips Voice Interaction Base Kit

A Snips Voice Interaction Development Kits lehetővé teszi a felhasználók számára, hogy elkezdjék a hangfelületek fejlesztését, és könnyen integrálják a Snips AI Voice Platformot a hardverrel. Az eszközön csíkok futnak, ami azt jelenti, hogy az összes hangparancsot és adatot helyben dolgozzák fel, nem pedig a felhőbe. Ez az eszközön végzett feldolgozás egy teljesen biztonságos offline hangsegédet eredményez, amely a személyes adatait titokban tartja.

A Voice Interaction Base Kit lehetővé teszi a teljes Snips AI Voice Platform futtatását. A Raspberry Pi 3 B+ modell és a ReSpeaker 2-Mics Pi HAT hajtja, képes otthoni intelligens hangszóróként működni. A készlethez tartozik egy hangszóró, egy Grove - hőmérséklet és páratartalom érzékelő (SHT31), egy Grove - relé és egy tábla a falra akasztáshoz, vagy egy remek állvány létrehozásához.

De ez még nem minden! A Voice Interaction Satellite Kit kiterjeszti a bázisállomást, hogy elérje házának minden helyiségét, és lehetővé teszi a hardverrel való interakciót a parancsok kiadási helye alapján!

Ez a készlet tartalmaz egy Raspberry Pi3 B+ táblát, ReSpeaker 2 -Mics Pi HAT, Grove - relét, Grove - hőmérséklet- és páratartalom -érzékelőt (SHT31), hangszórót, 6 Ohm 2W, MicroSD -kártyát, hálózati adaptert Micro USB -csatlakozóval, Grove -kábelt 2, akril alapot panel.

Összeszerelési lépések: (SNIPS -tartalom) Az alábbi kép az összeszerelési alkatrészek áttekintését tartalmazza.

Itt a szerelőelemek az alaplapra vannak felszerelve.

Ezután az összes elektronikus alkatrészt a táblára szerelik fel.

Ezt követően szerelje fel az akril védőburkolatot a Grove -relé tetejére.

Ebből a 2 részből áll a készlet asztali állványsá.

Végül készen állsz a Snips játékára.

A készlet kétféle elhelyezési lehetőséget biztosít. Vízszintes felületre, például állványra helyezhető, vagy huzalok vagy menet segítségével falra akasztható. Kérjük, legyen óvatos a relével a készlet bekapcsolásakor, mivel a munkafeszültség magas lesz.

MEGJEGYZÉS: Van egy Snips Voice Interaction Satellite Kit is, amelynek Raspberry Pi nulla van a Raspberry Pi 3B+ helyett

4. lépés: Interfész a Snips AI -val (alapprojekt)

• Táplálja a készletet a készletben található alapértelmezett hálózati adapterrel, vagy használjon 5V-2A DC adaptert Micro USB csatlakozóval.
• A következő lépés a Snips asszisztens telepítése a Raspberry Pi -be. A beállítási idő megtakarítása érdekében a készletben lévő MicroSD -kártyát a teljes funkcionális rendszerkép felvillantotta, ami azt jelenti, hogy a Snips asszisztens készen áll a kiváltó szavakra.
• Erősen javasoljuk, hogy tanulmányozza a telepítési útmutatót lépésről lépésre a következő címen: https://docs.snips.ai/getting-started/quick-start…, és tanulja meg a sam eszközt a parancssorban.
• Indítsa el az asszisztenst a „Hey-snips” mondattal, és kövesse a következő parancsot:

A példa videóját megtalálhatja az alábbi Snips Voice Interaction alapkészletben.

5. lépés: Interfész a Snips AI -val (Project AI)

Tehát ez így működik. Először a gyorsszó használatával kezdeményezzük a Snips felismerést. Megérti a mondatot a Snips NLU használatával, és meghatározza a szándékot. Ezután a szándék segítségével bontsa ki a réseket. A cselekvési kóddal programozzuk az AI választ a réseknek megfelelően.

6. lépés: Alkalmazás és szándékok létrehozása

• Segéd létrehozása. Esetemben létrehoztam egy asszisztenst JARVIS névvel és JARVIS forgatószóval.
• Hozzon létre egyéni alkalmazást, vagy kezdők számára használja az alkalmazást a könyvtárból.
• Létrehoztam egy Words nevű alkalmazást
• Hozzon létre egy szándékot, és kezdje el az AI képzését. Ez nagy szerepet játszik abban, hogy az AI robusztus legyen. Tanítsa meg az összes lehetséges bemenettel.
• Hozzon létre egy helyet a szavak azonosításához. Helyezze a rést a mondat várt mondatára. Példámban a megadott szó a hely neve, és kék színnel van kiemelve.
• Ha elkészült, az egyéni ASR készen áll. Próbálja ki a bemenetekkel. A választ a jobb oldalon, az asszisztens alatt találjuk. Ez megadja a nyers értéket, a szándék nevét és a helyet.
• Határozza meg a réseket további példákkal az alábbiak szerint
• Végül telepítse asszisztensét, hogy megtapasztalhassa személyre szabott mesterséges intelligenciáját.

7. lépés: Írja be a Raspbian -t az SD -kártyára

A Raspbian a Raspberry Pi -n futó Linux -disztribúció. Ebben az útmutatóban a Lite verziót fogjuk használni, de az asztali verzió (amely grafikus környezettel rendelkezik) is használható.

• Töltse le és telepítse az Etcher programot.
• Csatlakoztasson egy SD -kártyaolvasót a benne lévő SD -kártyával.
• Nyissa meg az Etcher alkalmazást, és válassza ki a merevlemezről azt a Raspberry Pi.img vagy.zip fájlt, amelyet az SD -kártyára szeretne írni
• Válassza ki azt az SD -kártyát, amelyre a képet be szeretné írni.
• Tekintse át a választásokat, és kattintson a "Flash!" elkezdeni az adatok írását az SD -kártyára

Csatlakoztassa az eszközt a hálózatához

• Engedélyezze az SSH -hozzáférést üres ssh fájl hozzáadásával, amely ismét az SD -kártya rendszerindító kötetének gyökerében található.
• Helyezze be az SD -kártyát a Raspberry Pi -be. Nagyjából 20 másodperc múlva indul. Most SSH -hozzáféréssel kell rendelkeznie a Raspberry Pi -hez. Alapértelmezés szerint a gazdagép neve raspberrypi.local lesz. A számítógépen nyisson meg egy terminál ablakot, és írja be a következőt:

ssh [email protected]

Az alapértelmezett jelszó a málna

8. lépés: Telepítse a Snips platformot

Ha még nem tette meg, telepítse a Sam parancssori felületet a számítógépére. Nyisson meg egy terminál ablakot, és írja be:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

Keresse meg Raspberry Pi -jét a hálózaton a futtatásával:

azonos eszközök

Ezután hozzon létre kapcsolatot az eszközzel. Az eszköz felhasználónevét és jelszavát fogja kérni (alapértelmezés szerint pi és málna):

sam connect

Most készen állunk a Snips platform telepítésére a Raspberry Pi -re. Írja be a parancsot:

sam init

9. lépés: Konfigurálja a hardvert

Sam néhány parancsot ad a hardverkomponensek egyszerű beállításához és konfigurálásához. Ebben a részben hangszórót és mikrofont állítunk be. A beállítástól függően néhány egyéni konfigurációt el kell végezni.

sam setup audio

Tesztelje a hangszórót

A hangszóró működésének ellenőrzéséhez futtassa

sam teszt hangszóró

Ha minden jól működik, akkor a hangszóróból néhány szót halló hangot kell hallania. A mikrofon beállítása Ellenőrizheti a mikrofon működését:

Sam teszt mikrofon

Feltételezve, hogy van hangszórója, és ha tisztán hallja, amit mondott, továbbléphet további mikrofonkonfiguráció nélkül.

Miután meggyőződött arról, hogy a hardver beállítása működik, készen áll a következő lépésre, ahol telepíteni fogja az első asszisztenst.

10. lépés: AI modell importálása a konzolból

Miután létrehozta asszisztensét az előző lépésekből, jelentkezzen be a konzolra a terminál ablakából a következő futtatással:

azonos bejelentkezés

Meg kell adnia a Snips Console hitelesítő adatait.

Ezután telepítse az asszisztenst:

sam telepítési asszisztens

Ha több asszisztenst hozott létre a konzolban, a rendszer felkéri a listából, hogy melyiket telepítse.

11. lépés: Kezelő és cselekvési kód

Ahhoz, hogy a Raspberry Pi válaszoljon, meg kell írnunk néhány kezelői kódot. Ez egy kód, amelyet akkor hajtanak végre, amikor egy bizonyos esemény történik a Snips platformon, például amikor szándékosságot észleltek.

A Handler létrehozásához különböző módszerek közül választhat, a működéstől függően.

Hozzon létre egy mappát a számítógépén, amelyen tárolni kívánja a kezelői kódot. A terminál ablakban váltson arra a könyvtárra, és írja be:

npm init

Ezzel létrejön egy package.json nevű fájl, amely tartalmazza a projekt leírását, függőségeit és egyebeket. Ezután adja hozzá az mqtt csomagfüggőséget:

npm install mqtt --save

Most hozzon létre egy index.js nevű fájlt, és illessze be a következő kódot, és cserélje le a hostname változót a Raspberry Pi gazdagépnevére (ha eltér az alapértelmezett raspberrypi -től):

var mqtt = igényel ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var kliens = mqtt.connect (hosztnév); client.on ('connect', function () {console.log ("[Snips Log] Csatlakoztatva az MQTT brókerhez" + gazdagépnév); client.subscribe ('hermes/#');}); client.on ('üzenet', függvény (téma, üzenet) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (true);} else if (topic === "hermes/asr/stopListening") {onListeningStateChanged (false);} else if (topic.match (/hermes \/hotword / /.+ \/észlelt/g)! == null) {onHotwordDetected ()} else if (topic.match (/hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (üzenet));}}); function onIntentDetected (szándék) {console.log ("[Snips Log] Szándék észlelve:" + JSON.stringify (szándék)); } function onHotwordDetected () {console.log ("

Futtassa ezt a kódot a Node használatával:

csomópont index.js

Látnia kell egy üzenetet a sikeres kapcsolatról a Snips MQTT brókerrel. A korábbiakhoz hasonlóan végezzen hang interakciót a Raspberry Pi készülékkel:

Szia Snips, milyen az idő Chennai -ban

Látnia kell a naplók frissítését:

[Snips Log] Csatlakozott az MQTT brókerhez mqtt: //raspberrypi.local

[Snips Log] Hotword észlelve [Snips Log] Hallgatás megkezdése [Snips Log] Hagyja abba a hallgatást [Snips Log] Szándék észlelve: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" alapértelmezett "," input ":" milyen az időjárás Chennai -ban "," szándék ": {" aimName ":" searchWeatherForecast "," valószínűség ": 0.73845243}," slots ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" locality ", "slotName": "előrejelzés_helye"}]}

12. lépés: Hibaelhárítás

Törölje az előző asszisztenst, ha van ilyen

$ sudo rm -rf/usr/share/snips/asszisztens/

A könyvtár átváltása a Segédre

cd/var/lib/snips/skill/

A repo tartalmának helyi klónozásához

git klón

A setup.sh szkript futtatásához

./setup.sh

Aktiválja a virtuális környezetet

forrás venv/bin/aktiválni

Futtassa a műveleti kódot

./action-.py

Engedélyt adni a Python szkripthez

chmod +x action-.py

13. lépés: Melléklet

• Ehhez a projekthez IP besorolású házat használtam
• Először szükséges lyukakat készítettem a tápkábel és a HDMI -kábel áramköreinek és nyílásainak rögzítéséhez.
• Ezután az összes Raspberry Pi -t a házba helyeztem, és erősen csavarom.
• Csináltam egy kis nyílást a hangszórónak és a mikrofonnak, és lefedtem egy kis darab akrillappal.
• Szorosan csatlakoztassa a hangszórót a ReSpeaker kalaphoz.
• Végül az összes csavart szilárdan rögzítik, és a tápkábelt egy nyíláson keresztül helyezik be.
• Így néz ki végül az AI: D

14. lépés: Az AI működése

Megtalálhatja az adatokat, amelyeket a Snips-watch segítségével figyelnek

Most itt a showtime. Egyszerű üdvözlet AI -val kezdtem el készíteni. Nézd meg, hogy működik.

A Trainer AI korlátozott szavakra van programozva. Ez kis módosításokkal bővíthető. Ez segíti a diákokat abban, hogy gyorsabban megjegyezhessék a jelentést, mint a hagyományos módszer.

Kedves figyelem: Ez a projekt körülbelül 25 szóra van kiképezve. Tovább bővíthető a cselekvési kód kisebb módosításaival.

Az akciószkripteket a csatolt Github -táromban találja.

Project Repo for Greetings AI-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Project Repo for Trainer AI-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

Link az alkalmazásomhoz:

A teljes beállítás körülbelül 115 dollárba kerül, amelyet a SNIPS -től lehet megvásárolni, és ez a megoldás nagyon olcsó és hatékony a hagyományos módszerekhez képest. Nagyjából több mint 100 000 tesztet végeztek Indiában, és ez a termék lesz a legjobb kiegészítő a GRE szedők számára.

Tedd a hüvelykujjad, ha tényleg segített neked, és kövesd a csatornámat az érdekes projektekért.:) Oszd meg ezt a videót, ha tetszik. Örülök, hogy feliratkozott: https://console.snips.ai/store/en/skill_xBKlxnE5K… Köszönöm, hogy elolvasta!