Kézmozgás -felismerő: 5 lépés

2024 Szerző: John Day | [email protected]. Utoljára módosítva: 2024-01-30 09:40

Áttekintés

Ebben a projektben olyan kesztyűt készítünk, amely felismer néhány alapvető kézmozdulatot, MicroBit és néhány érzékelő segítségével. A Bluetooth képességeit a MicroBit -en fogjuk használni, egy Android -alkalmazással és egy webszerverrel együtt, hogy megtanítsunk egy gépi tanulási modellt a kézmozdulatok azonosítására.

Elkezdeni

A projekt erőfeszítéseinek nagy része szoftveroldalon történik, és a projekt futtatásához szükséges összes kód elérhető a GitHubon. A kódbázis három összetevőből áll, a HEX -fájl létrehozására szolgáló kódból a MicroBit számára, az Android App kódbázisból, amely nagymértékben a MicroBit Foundation MicroBit Blue alkalmazásán alapul, az erre a speciális esetre elvégzett módosításokkal, valamint egy webszerver kóddal egy Tensorflow -alapú modell betanítása a kézmozgások azonosítására.

Majd meglátjuk, hogyan kell felépíteni a kesztyűt, és összekapcsolni az alkalmazással és a webszerverrel.

Kellékek

• 1 BBC Microbit
• 1 elemtartó 2 db AAA elemmel
• 1 Kesztyű
• Jumper vezetékek, aligátor klipek halmaza
• Flex érzékelő
• Erőérzékelő
• Tépőzár
• Elektromos szalag
• Android telefon
• PC/laptop

1. lépés: 1. lépés: A MicroBit és az akkumulátor beállítása

• Kezdje azzal, hogy az elemtartót egy tépőzárhoz rögzíti, amint az az első képen látható. Elektromos szalaggal erősen rögzítse az elemtartót a tépőzáras hevederhez.
• Ezután készítsen hurkot elektromos szalaggal úgy, hogy mindkét oldalán ragadjon, és ragassza rá az akkumulátor tetejére.
• Ragassza a MicroBit -et a szalaghurokra, hogy szilárdan rögzítse a MicroBit -et az elemtartóhoz, ahogy a második képen látható.

2. lépés: Csatlakoztassa az érzékelőket

• Kövesse a képen látható kapcsolási rajzot, hogy csatlakoztassa a flex érzékelőt a MicroBit 1. tűjéhez, és az erőérzékelőt a MicroBit 0. tűjéhez.
• Rögzítse az érzékelőket a kesztyűn elektromos szalaggal, a képeken látható módon.

3. lépés: A hardver befejezése

• Használja a tépőzáras pántok végét hurok kialakításához, és csúsztassa a hurkot a kesztyű ujjaira, amint az a képen látható.
• Drótkötél segítségével rögzítheti a vezetéket a kesztyűn, nehogy túlságosan elmozduljon.

A következő részben a szoftver beállítását nézzük meg.

4. lépés: Szoftver beállítása

A telefon párosítása a MicroBit készülékkel

1. A telefon párosításához először győződjön meg arról, hogy a Bluetooth be van kapcsolva a telefonon.
2. Kapcsolja be a MicroBit készüléket, és tartsa lenyomva mind az A, mind a B gombot. Ezzel egyidejűleg nyomja meg és engedje fel a reset gombot, miközben továbbra is tartja az A és B gombot. A mikrobitnek most párosítási módba kell lépnie.
3. A telefonon keresse meg MicroBitjét a Bluetooth -eszközök listájában, ahol általában új Bluetooth -eszközt ad hozzá, és kezdje el a párosítást. A MicroBit készüléken megjelenik egy nyíl, amely az A gombra mutat. Ha ezt megnyomja, a MicroBit számok sorozatát jeleníti meg, amely a párosítási kód, amelyet be kell írnia a telefonba. Miután megadta a kódot a telefonján, és kiválasztotta a párost, egy pipa jelenik meg a MicroBit -en.
4. Nyomja meg a MicroBit reset gombját.

A szoftver beállítása

Kövesse a GitHub -lerakat minden almappájában található ReadMe útmutatót az Android App projekt beállításához az Android Studio alkalmazásban, a HEX fájl MicroBit -re történő felépítéséhez és frissítéséhez, valamint a gépi tanulási modellek futtatásához szükséges webszerver futtatásához.

5. lépés: Használat

Web szerver

Nyisson meg egy terminált a Web Server projektkönyvtárában, és futtassa a "python server.py" parancsot a kiszolgáló elindításához, miután követte a ReadMe utasításokat a függőségek telepítéséhez

Android -alkalmazás

1. Készítsen és készítsen APK -t az Android Stúdióból származó Android -alkalmazáshoz. A telefon és a MicroBit párosítása után futtassa az alkalmazást (lásd az előző lépést).
2. A gyorsulásmérő oldalon beállíthatja a webszerver URL -jét a jobb felső sarokban található beállítások menü segítségével. Feltétlenül módosítsa ezt a webszerver IP -címére.
3. Várja meg, amíg a gyorsulásmérő leolvasása elkezdődik a MicroBitről. Látni fogja, hogy az értékek különböző gyakorisággal változnak. A frekvencia megváltoztatásához nyomja meg a MicroBit B gombját. Ideális esetben 10 -es frekvenciaértéket használhat (amely 10 ms -onként leveszi a mintákat)
4. A kiolvasott adatok megadása után nevezze el gesztusát a „Gesztus:” feliratú szövegmező segítségével, és nyomja meg a rögzítés gombot. Amint megnyomja a felvétel gombot, mozgassa a kezét többször, amíg a gomb ismét engedélyezve van.
5. Ismételje meg a 3. lépést több gesztus rögzítéséhez.
6. Nyomja meg a vonat gombot a modellképzés elindításához a szerveren. Az edzés befejezése után (kb. 15 másodperc) folytathatja az előrejelzéseket.
7. Nyomja meg a jóslás gombot, és végezze el a mozdulatot/gesztust. Az alkalmazás megpróbálja a lehető legjobban hozzáigazítani az egyik edzett mozdulathoz.