Autonóm drón infravörös kamerával az első válaszadók segítésére: 7 lépés

2024 Szerző: John Day | [email protected]. Utoljára módosítva: 2024-01-30 09:41

Az Egészségügyi Világszervezet jelentése szerint a természeti katasztrófák évente 90 000 embert ölnek meg, és világszerte közel 160 millió embert érintenek. A természeti katasztrófák közé tartozik a földrengés, szökőár, vulkánkitörés, földcsuszamlás, hurrikán, árvíz, erdőtűz, hőhullám és aszály. Az idő a legfontosabb, mivel a túlélés esélye minden percben csökkenni kezd. Az elsősegélynyújtóknak nehézségeik lehetnek a túlélők megtalálásával olyan házakban, amelyek sérültek, és életüket veszélyeztetik, miközben keresik őket. Ha olyan rendszerrel rendelkezünk, amely képes távolról felkutatni az embereket, az jelentősen megnövelné azt a sebességet, amellyel az elsősegélynyújtók képesek kiüríteni őket az épületekből. Más rendszerek kutatása után megállapítottam, hogy egyes vállalatok olyan robotokat hoztak létre, amelyek szárazföldi alapúak, vagy olyan drónokat hoztak létre, amelyek nyomon tudják követni az embereket, de csak az épületeken kívül működnek. A mélységmérő kamerák és a speciális infravörös kamerák kombinációja lehetővé teszi a beltéri terület pontos nyomon követését és a tűz, az emberek és az állatok reprezentáló hőmérsékletváltozásainak észlelését. Az egyedi algoritmusú szenzorok pilóta nélküli légi járműveken (UAV) történő megvalósításával lehetőség nyílik a házak önálló ellenőrzésére és az emberek és állatok helyének azonosítására, hogy a lehető leggyorsabban megmentsék őket.

Kérem, szavazzon rám az optika versenyen!

1. lépés: Tervezési követelmények

Miután megvizsgáltam a rendelkezésre álló technológiákat, megbeszéltem a lehetséges megoldásokat a gépi látás szakértőivel és egy első válaszolóval, hogy megtaláljuk a legjobb módszert a túlélők észlelésére a veszélyes területeken. Az alábbi információk felsorolják a rendszerhez szükséges legfontosabb funkciókat és tervezési elemeket.

• Látásfeldolgozás - A rendszernek gyors feldolgozási sebességet kell biztosítania az érzékelők és a mesterséges intelligencia (AI) közötti információcsere számára. Például a rendszernek képesnek kell lennie észlelni a falakat és az akadályokat, hogy elkerülje azokat, miközben veszélyben lévő embereket is talál.
• Autonóm - A rendszernek képesnek kell lennie arra, hogy a felhasználó vagy az üzemeltető bemenete nélkül működjön. Az UAV technológiában minimális tapasztalattal rendelkező személyzetnek képesnek kell lennie egy vagy néhány gomb megnyomására, hogy a rendszer magától elkezdje a szkennelést.
• Hatótávolság - A tartomány a rendszer és a többi közeli objektum közötti távolság. A rendszernek képesnek kell lennie észlelni a folyosókat és a bejáratokat legalább 5 méter távolságból. Az ideális minimális hatótávolság 0,25 m, így a közeli tárgyak észlelhetők. Minél nagyobb az észlelési tartomány, annál rövidebb a túlélők észlelési ideje.
• Navigációs és észlelési pontosság - A rendszernek képesnek kell lennie arra, hogy pontosan megtalálja az összes bejáratot, és ne ütközzön semmilyen tárgyba, miközben érzékeli a tárgyak hirtelen megjelenését. A rendszernek különféle érzékelőkön keresztül képesnek kell lennie megtalálni a különbséget az emberek és a nem élő tárgyak között.
• A működés időtartama - A rendszernek 10 percig vagy tovább kell tartania attól függően, hogy hány szobát kell beolvasni.
• Sebesség - Képesnek kell lennie az egész épület beolvasására kevesebb mint 10 perc alatt.

2. lépés: Felszerelés kiválasztása: Mobilitási módszer

A quadcoptert azért választották a távirányítós autó helyett, mert bár a quadcopter törékeny, könnyebb az irányítása és a magasságváltása az akadályok elkerülése érdekében. A quadcopter képes minden érzékelőt befogadni és stabilizálni, hogy pontosabbak legyenek, miközben különböző helyiségekben mozognak. A légcsavarok szénszálas, hőállóak. Az érzékelők a falaktól távol állnak, hogy elkerüljék a baleseteket.

• Távirányító szárazföldi jármű

  • Előnyök - Gyorsan mozoghat esés nélkül, és nem befolyásolja a hőmérséklet
  • Hátrányok - A jármű alacsonyan helyezné az érzékelőket a talajra, és egyszerre kevesebb területet fed le, és akadályok akadályozhatják őket

• Quadcopter

  • Előnyök - A levegőbe emeli az érzékelőket, hogy 360 fokos képet kapjon a környezetről
  • Hátrányok - Ha a falnak ütközik, leeshet, és nem térhet vissza

3. lépés: Berendezés kiválasztása: Mikrokontrollerek

A mikrovezérlőkkel szemben támasztott két fő követelmény a kisméretű, hogy csökkentse a quadcopter hasznos terhelését, és az adatbevitel gyors feldolgozásának sebessége. A Rock64 és a DJI Naza kombinációja a mikrokontrollerek tökéletes kombinációja, mivel a Rock64 elegendő feldolgozási képességgel rendelkezik ahhoz, hogy gyorsan felismerje az embereket, és megakadályozza, hogy a quadcopter falakba és akadályokba ütközzön. A DJI Naza jól dicséri, hogy elvégzi az összes olyan stabilizációt és motorvezérlést, amire a Rock64 nem képes. A mikrokontrollerek soros porton keresztül kommunikálnak, és szükség esetén lehetővé teszik a felhasználói vezérlést. A Raspberry Pi jó alternatíva lett volna, de mivel a Rock64 -nek jobb processzora és jobb kapcsolata volt a következő táblázatban felsorolt érzékelőkkel, a Pi -t nem választották ki. Az Intel Edison és a Pixhawk nem lett kiválasztva a támogatás és a kapcsolat hiánya miatt.

• Raspberry Pi

  • Előnyök - felismeri a falakat és a rögzített tárgyakat
  • Hátrányok - küzd, hogy lépést tartson az összes érzékelő adataival, így nem látja elég gyorsan a bejáratokat. Nem tud motorjeleket kiadni, és nincs stabilizáló érzékelője a quadcopter számára

• Rock64

  • Előnyök - Képes észlelni a falakat és a bejáratokat kis késéssel.
  • Hátrányok - Szintén képes vezetni a rendszert a házban anélkül, hogy bármibe beleütközne az összes érzékelő használatával. Nem lehet elég gyorsan jeleket küldeni a motor fordulatszámának szabályozásához, és nincsenek stabilizáló érzékelői a quadcopter számára

• Intel Edison

  • Előnyök - Képes észlelni a falakat és a bejáratokat némi késéssel
  • Hátrányok - Régebbi technológia esetén sok érzékelőnek új könyvtárakra lenne szüksége, amelyek létrehozása nagyon időigényes
• DJI Naza
  • Előnyök - Beépített giroszkóp, gyorsulásmérő és magnetométer lehetővé teszi, hogy a quadcopter stabil legyen a levegőben a motor sebességének mikrobeállításával
  • Hátrányok - Nem lehet semmilyen látásfeldolgozást végezni

• Pixhawk

  • Előnyök - Kompakt és kompatibilis a projektben használt érzékelőkkel az általános célú bemeneti kimenet (GPIO) használatával
  • Hátrányok - Nem lehet semmilyen látásfeldolgozást végezni

4. lépés: Berendezés kiválasztása: Érzékelők

Több érzékelő kombinációját használjuk annak érdekében, hogy megkapjuk a veszélyes területeken lévő emberek megtalálásához szükséges összes információt. A kiválasztott két fő érzékelő tartalmazza a sztereó infravörös kamerát a SOUN Navigation And Ranging (SONAR) mellett. Némi tesztelés után úgy döntöttem, hogy a Realsense D435 kamerát használom, mert kicsi, és képes pontosan követni a 20 méteres távolságokat. 90 képkocka / másodperc sebességgel működik, amely lehetővé teszi számos mérés elvégzését, mielőtt döntést hozna arról, hogy hol vannak az objektumok és milyen irányba kell mutatni a quadcoptert. A SONAR érzékelőket a rendszer tetején és alján helyezik el, hogy a quadcopter tudja, milyen magasan vagy alacsonyan szabad megengedni, mielőtt felülettel érintkezik. Van egy előre néző is, amely lehetővé teszi a rendszer számára olyan tárgyak észlelését, mint az üveg, amelyeket a sztereó infravörös kamera érzékelője nem képes észlelni. Az embereket és az állatokat mozgás- és tárgyfelismerő algoritmusok segítségével észlelik. A FLIR kamera megvalósításával a sztereó infravörös kamera nyomon követi, hogy mi él és mi nem, hogy növelje a szkennelés hatékonyságát kedvezőtlen körülmények között.

• Kinect V1

  • Előnyök - Könnyen nyomon követheti a 3D objektumokat akár 6 méterre
  • Hátrányok -Csak 1 infravörös érzékelővel rendelkezik, és túl nehéz a quadcopter számára

• Realsense D435

  • Előnyök - 2 infravörös kamerával és egy piros, zöld, kék, mélységű (RGB -D) kamerával rendelkezik a nagy pontosságú 3D objektumok észleléséhez akár 25 méterre. 6 cm széles, így könnyen beilleszthető a quadcopterbe
  • Hátrányok - Felmelegedhet, és szükség lehet hűtőventilátorra

• LIDAR

  • Előnyök - Sugár, amely a látómezőjében akár 40 méterre lévő helyeket is nyomon követheti
  • Hátrányok - A környezetben lévő hő befolyásolhatja a mérési pontosságot

• HANGLOKÁTOR

  • Előnyök - Sugár, amely 15 m távolságra képes nyomon követni, de képes észlelni olyan átlátszó tárgyakat, mint az üveg és az akril
  • Hátrányok - Csak pontok egy látómezőben, de a quadcopter áthelyezheti a szkennelési területre

• Ultrahangos

  • Előnyök - Hatótávolsága legfeljebb 3 m, és nagyon olcsó
  • Hátrányok - Csak egy látómezőben lévő pontok, és nagyon könnyen kívül eshetnek a távolságérzékelési tartományon
• FLIR kamera
  • Előnyök - Képes mélyreható képeket készíteni füstön keresztül interferencia nélkül, és érzékeli az élő embereket a hő aláírásokon keresztül
  • Hátrányok - Ha bármi zavarja az érzékelőket, a távolságszámításokat helytelenül lehet kiszámítani

• PIR érzékelő

  • Előnyök - képes érzékelni a hőmérséklet változását
  • Hátrányok - Nem lehet pontosan meghatározni, hogy hol van a hőmérséklet -különbség

5. lépés: Berendezés kiválasztása: Szoftver

A Realsense SDK -t használtam a robot operációs rendszer (ROS) mellett, hogy zökkenőmentes integrációt hozzon létre az összes érzékelő között a mikrokontrollerrel. Az SDK folyamatos adatfolyamot biztosított a pontfelhő -adatokból, amely ideális volt a quadcopter összes objektumának és határainak nyomon követéséhez. A ROS segített abban, hogy az összes érzékelőadatot elküldjem az általam létrehozott, mesterséges intelligenciát megvalósító programba. Az AI tárgyfelismerő algoritmusokból és mozgásérzékelő algoritmusokból áll, amelyek lehetővé teszik a quadcopter számára, hogy mozgást találjon a környezetében. A vezérlő impulzusszélesség -modulációt (PWM) használ a quadcopter helyzetének szabályozására.

• Freenect

  • Előnyök - Alacsonyabb hozzáférési szinttel rendelkezik minden ellenőrzéséhez
  • Hátrányok - Csak a Kinect V1 -et támogatja

• Realsense SDK

  • Előnyök - Könnyen létrehozhatja a pontfelhő adatait a Realsense Camera információs adatfolyamából
  • Hátrányok - Csak a Realsense D435 kamerát támogatja

• FLIR Linux illesztőprogram

  • Előnyök - Az adatfolyam letölthető a FLIR kamerából
  • Hátrányok - A dokumentáció nagyon korlátozott

• Robot operációs rendszer (ROS)

  • Előnyök - Az operációs rendszer ideális a kamera funkcióinak programozásához
  • Hátrányok - Gyors SD -kártyára kell telepíteni a hatékony adatgyűjtés érdekében

6. lépés: Rendszerfejlesztés

Az eszköz „szeme” a Realsense D435 sztereó infravörös érzékelő, amely egy polcon kívüli érzékelő, amelyet főként olyan robotikai alkalmazásokhoz használnak, mint például a 3D-s leképezés (1. ábra). Ha ezt az érzékelőt a quadcopterre szerelik fel, az infravörös kamera képes irányítani és lehetővé tenni a quadcopter önálló mozgását. A kamera által generált adatokat pontfelhőnek nevezzük, amely egy térben lévő pontsorozatból áll, amelyek információt tartalmaznak egy bizonyos objektum helyzetéről a kamera látásában. Ez a pontfelhő alakítható mélységtérképpé, amely a színeket különböző mélységben jeleníti meg (2. ábra). A piros távolabb van, míg a kék közelebb méter.

A rendszer zökkenőmentességének biztosítása érdekében nyílt forráskódú, ROS nevű operációs rendszert használtak, amelyet általában robotokon használnak. Lehetővé teszi alacsony szintű eszközvezérlés végrehajtását, valamint az összes érzékelő elérését és adatok összeállítását más programok számára. Az ROS kommunikálni fog a Realsense SDK -val, amely lehetővé teszi a különböző kamerák be- és kikapcsolását, hogy nyomon kövesse az objektumok távolságát a rendszertől. A kettő közötti kapcsolat lehetővé teszi, hogy hozzáférjek az adatfolyamhoz a kamerából, amely pontfelhőt hoz létre. A pontfelhő információ határozza meg, hol vannak a határok és az objektumok 30 méteren belül és 2 cm pontossággal. A többi érzékelő, például a SONAR érzékelők és a DJI Naza vezérlő beépített érzékelői lehetővé teszik a quadcopter pontosabb pozicionálását. A szoftverem AI algoritmusokat használ a pontfelhő eléréséhez, és a lokalizáció révén térképet készít az eszközt körülvevő teljes térről. Amint a rendszer elindul, és elkezdi a szkennelést, áthalad a folyosókon, és bejáratokat talál más helyiségekbe, ahol ezután elsöpörheti a helyiséget, kifejezetten embereket keresve. A rendszer mindaddig megismétli ezt a folyamatot, amíg az összes helyiséget át nem vizsgálják. Jelenleg a quadcopter körülbelül 10 percig repülhet, ami elegendő a teljes söpréshez, de javítható a különböző akkumulátor -elrendezésekkel. Az első válaszadók értesítést kapnak, amikor észreveszik az embereket, hogy erőfeszítéseiket a kiválasztott épületekre összpontosíthassák.

7. lépés: Vita és következtetés

Sok kísérlet után létrehoztam egy működő prototípust, amely megfelel az 1. táblázatban felsorolt követelményeknek. A Realsense D435 sztereó infravörös kamera és a Realsense SDK használatával nagy felbontású mélységtérkép készült a quadcopter elejéről. Eleinte voltak gondjaim azzal, hogy az infravörös kamera nem képes észlelni bizonyos tárgyakat, például az üveget. A SONAR érzékelő hozzáadásával sikerült leküzdenem ezt a problémát. A Rock64 és a DJI Naza kombinációja sikeres volt, mivel a rendszer képes volt stabilizálni a quadcoptert, miközben képes volt objektumokat és falakat észlelni az egyénileg létrehozott számítógépes látási algoritmusokon keresztül az OpenCV használatával. Bár a jelenlegi rendszer működőképes és megfelel a követelményeknek, hasznos lehet néhány jövőbeli prototípus.

Ez a rendszer továbbfejleszthető lenne, ha jobb minőségű kamerákat használnának, hogy pontosabban érzékeljék az embereket. A drágább FLIR kamerák némelyike képes érzékelni a hőjeleket, ami lehetővé teszi a pontosabb észlelést. A rendszer különböző környezetekben is működhet, például poros és füsttel teli helyiségekben. Az új technológiának és a tűzállóságnak köszönhetően ezt a rendszert el lehet küldeni olyan házakba, amelyek égnek, és gyorsan felismerik az emberek tartózkodási helyét, hogy az elsősegélynyújtók meg tudják előzni a túlélőket a veszélyből.

Köszönöm, hogy elolvasta! Ne felejts el szavazni rám az optika versenyen!