Biofeedback Cinema: 7 lépés

2024 Szerző: John Day | [email protected]. Utoljára módosítva: 2024-01-30 09:43

Projekt szerzője

Jessica Ann

Együttműködők

• Gregory Hough
• Salud Lopez
• Pedro Peira

Ról ről

Kísérleti videofelvételi rendszer, amely a résztvevő agyát a Neurosky Mindwave EEG olvasófejhallgatón keresztül csatlakoztatja a kamera funkcióihoz. A Biofeedback Cinema rendszer a hagyományos operatőr helyett működik, ehelyett a kompozíció ügynökségét átadja magának a résztvevőnek egy egyéni BRAIN to CAMERA felületen keresztül. A projekt Gregory Hough, Salud Lopez és Pedro Peira együttműködésével készült. A workshop eredményeiről itt olvashat:

Prototípus konfiguráció

A Biofeedback Cinema rendszer számos lehetséges alkalmazásra alkalmas. Ehhez az oktatható feladathoz a rendszer demóját készítettük el, amely a résztvevő fókusz/figyelem szintjét nézi (egyetlen egész szám), és ezt a kamera pozíciójába (pásztázás és döntés) és a kamera fókuszába (belső OpenCV -n keresztül) fordítja. Mindezt a Neurosky EEG olvasó fejhallgató és a Raspberry Pi közötti bluetooth kapcsolat teszi lehetővé.

A Raspberry Pi egy kisméretű számítógép, amely webkamerával és szkriptekkel van felszerelve (az alábbiakban elérhető), amelyek összekapcsolják a résztvevő agyi tevékenységét a kamera beállításaival és a kamera pozíciójával. A dinamikus kameraállást egy Arduino mikrokontroller teszi lehetővé, amely a Raspberry Pi jeleit fogadja. Várjuk a további fejlesztéseket, mivel további agyhullám -paramétereket (szemvillanásokhoz kapcsolódó gyakoriságok stb.) És a kamera funkcióit (például színárnyalat, telítettség, fényerő stb.) Kívánjuk bevonni.

Az alábbiakban bemutatjuk a saját Biofeedback Cinema rendszer létrehozására vonatkozó utasításokat.

Jó kísérletezést

1. lépés: Kellékek

Az alábbiakban felsorolunk mindent, ami a saját Biofeedback Cinema prototípus létrehozásához szükséges.

1. Neurosky Mindwave Mobile EEG fejhallgató

2. Raspberry Pi B+ (a b+ jobb, több USB -port, de egy B -modell is megfelelő, ha rendelkezik USB -elosztóval).

   1. Raspberry Pi hálózati adapter vagy akkumulátor
   2. Wifi -kulcs vagy Ethernet -kapcsolat (csak a beállítás során szükséges)
   3. Bluetooth Dongle kompatibilis hardverkulcsokért lásd a wikit
   4. SD -kártya (legalább 8 GB) NOOBS memóriával.

3. Arduino Bármelyik tábla rendben van, használja az Uno -t ebben az utasításban. Ne feledje, hogy csak használhatja az I/O -t a Pi -n.

   1. Arduino hálózati adapter vagy akkumulátor
   2. A-B USB kábel
4. USB webkamera
5. Mini Pan-Tilt készlet

6. Monitor HDMI bemenettel, vagy használja a VNC -t a pi távirányításához a számítógépről [oktatóanyag itt]

   HDMI kábel

7. Az USB billentyűzet és egér Bluetooth -billentyűzetet és egeret javasol az USB -portok minimálisra csökkentése érdekében.

2. lépés: A Raspberry Pi beállítása

1. Hardver beállítása

Csatlakoztassa a billentyűzetet, az egeret, a Bluetooth -kulcsot, a wifi -kulcsot (vagy ethernetet), a webkamerát, a monitort HDMI -kábelen keresztül és tápellátást a Raspberry Pi -hez

2. Az operációs rendszer beállítása

• Kapcsolja be a készüléket, és a Pi -nek el kell indulnia. Telepítse a Rasbpian OS-t, az utasításokat itt találja:
• Ha a rendszerindítás és a Raspian megfelelően van telepítve, akkor látnia kell az otthoni asztalt [Kép fent].

Tippek:

• Ha az asztali képarány ki van kapcsolva, próbálja újraindítani a Raspberry Pi -t. Ha még mindig ki van kapcsolva, nézze meg itt a képarány manuális frissítését.
• Ha megnyit egy szövegszerkesztőt, és a billentyűzet speciális karakterei rosszul vannak leképezve, itt frissítheti a billentyűzet konfigurációját.
• Tesztelje internetkapcsolatát (erre szüksége lesz a könyvtárak telepítéséhez a telepítés során). Itt talál segítséget a wifi beállításához.

3. lépés: Csatlakoztassa a Neurosky fejhallgatót

1. Bluetooth konfiguráció

Mielőtt a Pi csatlakozhat a Neurosky -hoz, be kell állítanunk a Bluetooth -ot:

Az asztalon nyissa meg az "LXTerminal" -ot (innentől kezdve Terminál). Futtassa ezt a parancsot a hiányosságok kiküszöböléséhez és frissítéséhez:

$ sudo apt-get frissítés

Telepítse a Bluetooth funkciót ezzel a paranccsal:

$ sudo apt-get install bluetooth

A praktikus asztali eszköztár Bluetooth segédprogram telepítése:

$ sudo apt-get install -y bluetooth bluez-utils blueman

Indítsa újra a Pi -t a terminálról:

$ sudo újraindítás

2. Tesztelje a Bluetooth kapcsolatot

• Kapcsolja be a Neurosky fejhallgatót
• Az eszközök terminálkereséséből:

hcitool szkennelés

A Mindwave headsetet fel kell sorolni, vegye figyelembe a headset MAC -címét [fenti kép]

3. Telepítse a Neurosky Libraries programot

Most készen állunk a Neurosky Python könyvtárak telepítésére, és elkezdjük felvenni az adatfolyamot a könyvtár teszt szkriptjével:

A terminálról telepítse a github segédprogramot:

sudo apt-get install git-core

Github -tár klónozása Neurosky Python könyvtárral:

sudo git klón

Frissítenünk kell a MindwaveMobileRawReader.py fájlt a fejhallgató MAC -címével. FYI: A fájlnevek megkülönböztetik a kis- és nagybetűket

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Frissítse a fájlban szereplő MAC -címet. Ctrl-X a befejezéshez, Y a mentéshez, Enter a kilépéshez.
• Párosítsa a Neurosky -t és a Pi -t, és engedélyezze az automatikus csatlakozás funkciót, ha a rendszer kéri a "0000" PIN -kód használatát:

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-device megbízható XX: XX: XX: XX: XX: XX igen

A Python Bluetooth könyvtár telepítése:

sudo apt-get install python-bluez

Futtassa a könyvtár teszt szkriptjét, hogy megbizonyosodjon arról, hogy a Pi képes az adatfolyam előnézetének megtekintésére. Látnia kell az adatfolyamot [fenti kép]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

4. lépés: Csatlakoztassa az USB webkamerát W/Nyissa meg a CV -t

1. Telepítse az OpenCV -t

A terminálról:

$ sudo apt-get install libopencv-dev python-opencv

Ha befejezte, folytassa:

$ sudo apt -get -f install

Jó méréshez:

$ sudo apt-get install libopencv-dev python-opencv

Tesztelje a telepítést a könyvtár importálásával:

$ python

> import cv2

2. Tesztelje az OpenCV -t Pythonban USB webkamerával

• Az asztalon nyissa meg az "IDLE" -t (ne nyissa meg az IDLE3 -at!)
• A Fájl menüben válassza az Új ablak lehetőséget. Másolja a Cv-Blur-Test szkriptünket az új ablakba, és mentse. A szkript itt érhető el:
• A Futtatás menüben Válassza a Futtatás modul lehetőséget (vagy nyomja meg az F5 billentyűt). Eltarthat néhány másodpercig, amíg elindul, de látnia kell egy kis keretet az élő webkamera -hírcsatornában, és a videónak homályosnak kell lennie. Gratulálunk, az OpenCV telepítve volt, és sikeresen működik a webkamerával [Kép fent].

Lépés: Csatlakoztassa az Arduino -t

1. Töltse le az Arduino IDE -t

A terminálról:

sudo apt-get install arduino

2. Csatlakoztassa az Arduino & Load Sketch alkalmazást

• Csatlakoztassa az arduinót a Pi-hez az A-B USB-kábellel.
• Az asztali Start menüből lépjen az Electronics elemre, és nyissa meg az Arduino IDE -t. Másolja az arduino-serial-pi vázlatunkat az IDE-be [Link alább]. Ez egy nagyon egyszerű vázlat, amely a szervomotorokat a soros bemenet alapján mozgatja. A sorozaton keresztül adatokat küldünk az agyhullám -kimenet alapján, Python -vázlat segítségével az utolsó lépésben, amikor mindent összeállítunk.

Arduino-serial-pi vázlat online itt:

Az Arduino IDE -ben lépjen az Eszközök menübe, válassza a Soros port lehetőséget, és válassza ki a felsorolt Arduino -portot, valószínűleg valami hasonlót /dev /ttyACM0. Jegyezze fel a portot

3. Kapcsolja ki a soros konzolt

Töltse le és futtassa a szkriptet a soros konzol letiltásához, hogy az USB soros kapcsolat zökkenőmentesen működhessen:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode -setup.tar.gz

$ cd alamode-setup

$ sudo./setup

$ sudo újraindítás

FYI:

Ha a B+ -t használja, akkor lehet, hogy elegendő I/O van a szervók támogatásához, (itt nézheti meg a GPIO beállítását és használatát). Mindazonáltal érdekel, hogy további komponenseket adhatok hozzá a jövőbeli agy-elektronika kísérletekhez. Tehát a kezdeti prototípus felállítása arduino -val rengeteg kitörési lehetőséget biztosít az elektronikus eszközök számára.

6. lépés: Összerakás

1. Végső Python -szkript

Mielőtt hozzáadnánk a végső python-szkriptet a "python-mindwave-mobile" mappához, meg kell változtatnunk a mappa engedélyeit. A terminálról:

$ chmod a = rwx/home/pi/python-mindwave-mobile

• Nyissa meg az IDLE-t, és futtassa az utolsó Python-szkriptünket, amely online elérhető itt: https://github.com/PrivateHQ/biofeedback-cinema/ Győződjön meg róla, hogy a python-mindwave-mobile mappában található. FYI: Frissítenie kell a Python szkriptünket a tényleges Arduino portcímével.
• Amikor ezt a szkriptet futtatja, három dolognak kell történnie: 1) Figyelme szintje megjelenik a Python Shellben, 2) Egy kis keret jelenik meg, amely a webkamera élő hírcsatornáját mutatja, az elmosódottság pedig a figyelem szintje alapján változik, 3) a motor (s) mozogjon, miközben a figyelem szintjét átadják az arduino -nak a sorozaton keresztül [fenti videó].

7. lépés: Fejlesztések és fejlesztések

A Raspberry Pi korlátozott feldolgozási teljesítménnyel rendelkezik, és küzd az OpenCV funkciók zökkenőmentes futtatásával. Ezt tovább fogom fejleszteni és fejleszteni. Ezenkívül további agyhullám -paramétereket (a szempillantásokhoz kapcsolódó gyakoriságok stb.) És a kamera funkcióit (például színárnyalat, telítettség, fényerő stb.) Kívánom beépíteni a későbbi iterációkba.