Multimodális zenei állvány: 9 lépés (képekkel)

2024 Szerző: John Day | [email protected]. Utoljára módosítva: 2024-01-30 09:44

A multimodális zenei állvány (MMMS) egy új módja annak, hogy hagyományos hangszeren (szaxofonon, fuvolán, hegedűn) játsszon az audioszintézis és az effektusok szabályozása közben, és jó néhány extra lehetőséget kínál a játék közben használható kiterjesztett technikákhoz ! Már létezik egy weboldal a csoportos projektünkről a Santa Barbara UC -ben, amelyben kifejlesztettük az MMMS -t, ezért ahelyett, hogy itt megismételném, közzéteszem a linket - nézze meg! Multimodális zenei stand weboldal A működő MMMS rövid klipje itt, de vannak jobb videók a fenti webhelyen … A Multimodal arra utal, hogy több módban is képes érzékelni a bemenetet (audio bemenet, videó bemenet és érzékelőalapú bemenet). Az audio- és videobemenet meglehetősen egyszerű, egy normál mikrofont és egy számítógéphez csatlakoztatott webkamerát tartalmaz, de az érzékelő bemenete egy kicsit összetettebb, ezért ez tanulságos … A CREATE USB interfészt használjuk, egy egyszerű áramkört, amelyet egy osztály számára fejlesztettem ki Az UCSB-n tanítok, a ThereminVision II E-field készlettel (más néven kapacitív érzékelés), ahogy itt látható: CREATE USB Interface ThereminVisionII kit ne legyél csalódott! Az MMMS alapvetően 2 Theremin-nek felel meg, mivel 4 E-mező érzékelő antennával rendelkezik, természetesen az audio/video bemeneten kívül. Ha érdekli, hogy kibővítse az előadástechnikákat a hangszerével a számítógéppel való interakcióval, de ne akarjon egyszerű lábpedálokat használni, építsen magának egy multimodális zenei állványt, és kezdjen el gyakorolni vele!

1. lépés: A CREATE USB interfészről

A CREATE USB interfész (CUI) egy egyszerű, PIC-alapú programozható áramkör, amely vagy teljesen barkácsolható, vagy 50 dollárért beszerezhet közvetlenül tőlem egy előre elkészített áramkört (+ 5 a szállításért), és nem kell vásárolni egy PIC programozót, mivel feltettem a rendszerbetöltőt … a részletekért nézze meg a weboldalt, vagy csak írjon nekem e -mailt, hogy kérjek egyet: CREATE USB Interface website érdekes projektek a világ minden tájáról … néhány példa a Santa Barbara UC hallgatóitól található ebben a konferenciaanyagban (PDF). A CUI az USB -kábelen keresztül újraprogramozható a rendszerbetöltő segítségével, ezért olyan könnyen adaptálható - egyszerűen cserélje ki a firmware -t, és ez valami más. Például a CUI -t könnyen vezeték nélküli érzékelő interfészsé teheti a Bluetooth -modulok szikrázó szórakozástól - ha valakit érdekel ez, tegyen megjegyzést a megjegyzésekben, kérve egy másik tanulhatót. A CUI 13 csatornás 10 bites analóg bemenettel és 16 általános célú bemeneti/kimeneti tűvel rendelkezik. A CUI v1.0 kártyákkal szállított alapértelmezett firmware mindegyiket bemenetként küldi a gazdagépre, és jól működik az olyan interaktív művészeti környezetekkel, mint a Max/MSP/Jitter, Pd/Gem, SuperCollider, Chuck stb. az egyik CUI v1.0 tábla a multimodális zenei állvány építéséhez ebben az oktatható. Környezetként a Max/MSP/Jitter -t használjuk, de ezt mindenképpen bátran igazítsuk a Pd -hez vagy az Ön által választott szoftverhez. Nagy rajongója vagyok a nyílt forráskódnak (maga a CUI nyílt forráskódú), és nagy segítséget jelent, ha mindannyian egymás vállára állunk, és javítjuk az általunk készített dolgokat!

2. lépés: A ThereminVision II készletről

A ThereminVision II készletként (50 dollár) és előre gyártott (80 dollár) áron is elérhető a gyártó webhelyéről, a RobotLand -tól, és nyílt forráskódú is - a ThereminVision II kézikönyv (PDF) tartalmazza a kapcsolási rajzokat. Az MMMS-hez megvettem a készletet, majd úgy döntöttem, hogy ezúttal az előre elkészített eszközzel megyek (ez a második MMMS, amit építettem). Félretekintve, ha kíváncsi, miért nem kínálok A CREATE USB interfész kit formája, mert a CUI rendszerbetöltőt hagyományos PIC programozóval kell programozni, mielőtt új firmware -t lehet küldeni USB -n keresztül - különben feltétlenül felajánlanék egy készletet, bár felületre szerelt forrasztással járna … a ThereminVision II - ha készletben vásárolta meg, kövesse a (nagyszerű!) pdf -ben található utasításokat: ThereminVision II kézikönyv Sok szép rajz van a kábelezésről, amelyeket meg kell tennie - az egyetlen dolog, ami nem jelenik meg a CREATE USB interfész csatlakozásai, ezért a következő néhány lépésben közzéteszem az általam készített fényképeket … ja, és az All Electronics -től szereztem be a ThereminVision antennáit (nem tartozék).

3. lépés: A Music Stand előkészítése

Készítse el multimodális zenei állványát egy szép zenei állványból, például az itt látható "karmesteri állványból", vagy használjon bármit, ami a kezében van - még jobb, ha elkészíti sajátját!

Függetlenül attól, hogy milyen állványt használ, szüksége lesz az állvány sarkain lévő négy antenna elszigetelt rögzítésére. Kezdje azzal, hogy lyukakat fúr a sarkokba - a rögzítőelemek, amelyeket fektettem, egy 1/4 -os fúróval működtek, a tiéd valószínűleg más lesz. Próbáld meg a felület elülső felületét a lehető legegyenletesebben tartani, hogy ne zavarja a kottákat.

4. lépés: A ThereminVision érzékelőmodulok csatlakoztatása

A ThereminVision "érzékelő" modulok (555 időzítő áramkör) és a ThereminVision "processzor" modul csatlakoztatását is részletesebben tárgyalja a ThereminVision II kézikönyv, de itt van néhány kép a folyamatról…

5. lépés: Az ThereminVision csatlakoztatása a CREATE USB interfészhez

Amint azt az utolsó lépésben láttuk, az érzékelőmodulokat 4 vezeték köti össze a ThereminVision processzor modullal. Ezenkívül 6 vezeték csatlakozik a ThereminVision processzormodulhoz a CREATE USB interfészhez - ezek a következők: tápellátás, földelés, érzékelő kimenet, A szenzorválasztás, B szenzorválasztás és leállítás.

Mivel a ThereminVision II energiáját a CREATE USB interfészről kapja (ami viszont az USB -ről kapja az energiát), úgy döntöttem, hogy az egyes ThereminVision érzékelőmodulok áramellátását közvetlenül a CREATE USB interfészhez csatlakoztatom - ez egy kicsit kevesebb madárfészket a vezetékeken, mivel már sok vezeték van a TherminVision processzorlapon. Csatlakoztassa a "+" -ot az ThereminVision-en az "5V" -hoz a CUI Connect-en "-" az ThereminVision-en a "GND" -hez a CUI Connect "4" -en (osztás 4 kimenettel) a ThereminVision-en a "D7" -re a CUI Connect-en "SEL B" az ThereminVision -en "D5" a CUI -n, csatlakoztassa a "SEL A" -ot az ThereminVision -en a "D4" -re a CUI Connect "S" -en az ThereminVision -en a "D6" -ra a CUI -n

6. lépés: Minden felszerelése az állványra

Tehát az elektronika kész, most csak az állványra kell felszerelni - erre számos módszer létezik, és érdemes az elektronikát védő dobozba helyezni stb.

Íme néhány fotó a legegyszerűbb rögzítési módokról.

7. lépés: A ThereminVision firmware -jének betöltése a CUI -ba

A ThereminVision analóg kimenetek (vagy bármely szabványos digitális protokoll, például I2C vagy SPI) helyett időzítő jeleket küld érzékelőinek. Szükség volt tehát némi egyedi firmware -re ezen jelek időzítésének méréséhez … A Multimodal Music Stand firmware első verziója az alábbi zip fájlban található, mind a forráskód, mind az összeállított hexa fájl tartalmazza (a Max/ MSP/Jitter): CUI -ThereminVision firmware Az alábbi képernyőképen látható az OS X program Boot Down by Craig Schimmel - egy Macintosh rendszerbetöltő segédprogram a CUI számára. Ha Windows rendszeren dolgozik, akkor a legegyszerűbb a Microchip saját eszközének, a PDFSUSB.exe -nek a használata, amely letölthető a webhelyükről, vagy szerepel a CREATE USB Interface példakódjában. A CUI „bootloader módba” helyezéséhez tartsa lenyomva nyomja meg a program gombot, és nyomja meg a reset gombot (vagy csak dugja be az USB -kábelt, miközben lenyomva tartja a program gombot). A CUI állapotjelző LED folyamatosan villog, jelezve, hogy bootloader módban van. Most a Boot Down segítségével küldheti el a CUIEfieldBootDown.hex fájlt a CREATE USB interfészre. Ha valaha is vissza szeretné állítani a CREATE USB interfész firmware -jét az eredetire, itt van, és más példák is vannak a firmware -re. CUI itt is.

8. lépés: A multimodális zenei állvány tesztelése Max/MSP/Jitter módban

Nyissa meg a példafoltot a Max/MSP/Jitter alkalmazásban (30 napos demó letölthető a www.cycling74.com webhelyről, és rendelkezésre áll egy "futásidejű" verzió is, amely nem teszi lehetővé a javítások mentését), vagy kövesse a Max javításban leírtakat. és készítse el saját patch -jét a PureData -ban (Pd) … A Jitter a gesztusos bemenetek 3D -s pozíciójának megjelenítésére szolgál, ahol a z -tengely (az állvány felé és attól távol) mind a 4 antenna teljes intenzitására van leképezve - nem túl tudományos, de működik! Az egyes szenzorok adatait OSC -ként is elküldik a 127.0.0.1 (localhost) címre, hogy szükség esetén más alkalmazások is használhassák. Hasznos objektum a Max/MSP/Jitter alkalmazásban a tüskék szűrésére az érzékelő adataiból (elektromos interferencia miatt) Tristan Jehan "simább", amely innen letölthető: simább max objektum, Noisiness ~, és az all-in-one analizátor ~ objektum. Miután adatai érkeznek a Max-be, egyénileg kell beállítani a ThereminVision érzékelők érzékenységét egy kis csavarhúzóval. Ehhez húzza ki teljesen az antennákat, majd forgassa el a kék trimpot az óramutató járásával ellentétes irányba, amíg „fordított érzékelés” módba nem vált - majd forgassa vissza az óramutató járásával megegyező irányba, amíg vissza nem tér a normál érzékelési tartományba. Az antennák hosszának megváltoztatásával apró kiigazításokat (az érzékelés hangolása, akár a gitár hangolása) lehet elvégezni, így nem kell magával vinnie az apró csavarhúzót koncertekre.

9. lépés: A multimodális zenei állvány használata teljesítményben! (és kiterjesztése)

Ne felejtsük el, hogy a multimodális zenei állvány új előadástechnikáinak gyakorlására, új leképezések és ötletek kifejlesztésére van szükségük, amellyel szabályozni szeretnénk! Továbbá, ha az MMMS -t más típusú érzékelőkre is ki szeretné terjeszteni, lehetőség lesz a CUI 13 analóg bemenetének használatára a ThereminVision érzékelők mellett az MMMS firmware jövőbeli verzióiban, tehát néhány egyszerű érzékelővel (csúszka/gomb/lábpedál) vagy más típusú érzékelőkkel (IR/ultrahang/stb.), ezek audió bemenettel és videóval együtt használhatók a számítógéphez. Jelenleg a firmware "soros-USB-n keresztül" protokollt használ, de végül a terv az, hogy átvált a "HID" (Human Input Device) protokollra, amelyet általában a CREATE USB interfész használ. Kérjük, bátran járuljon hozzá az erőfeszítésekhez… Van egy hasonló nyílt forráskódú projekt az E -mező érzékeléshez (más néven kapacitív érzékelés), amely ugyanazt az áramkör -topológiát (a ThereminVision tervezés alapján) használja, CapToolKit néven - a "kistestvért" "a PIC18F4550 -ből, a PIC18F2550, amely nem rendelkezik annyi analóg bemenettel (10 helyett 10). A CapToolKit firmware -je kissé eltérő lesz, mivel nem használják a ThereminVision processzorlapot. Egy egyszerű firewire kamerát (webkamera stílus) használunk a zenei állvány tetejére a fizikai gesztusok optikai felismeréséhez és a tekintet észleléséhez - Ha Ha érdekli csoportunk kutatásának számítógépes látása vagy audioelemzése és szintézise, kérjük, tekintse meg a Multimodal Music Stand honlapján található cikkeket. És kérjük, tegye közzé tapasztalatait, ha multimodális zenei standot épít … Most kettő van nálunk az UCSB -n, amint az az alábbi képen látható - jó lenne, ha több szerzemény, előadás és zenész használná őket! Dr. JoAnn Kuchera-Morin írta az első, MMMS-t tartalmazó kompozíciót, amelyet Jill Felber fuvolaművész adott elő az Eastman School of Music-ban 2007 márciusában.