A fotogrammetria használata modellek létrehozásához: 9 lépés

2024 Szerző: John Day | [email protected]. Utoljára módosítva: 2024-01-30 09:40

Ki vagyok én?

Samuel Conklin vagyok, és másodéves vagyok az E. L. Meyers Gimnázium. Az elmúlt pár hónapban kísérleteztem a fotogrammetriával, és remélem, hogy segíthetek, ha úgy dönt, hogy újratelepíti ezt a terméket. Kíváncsi vagyok, hogy mások hogyan tudják használni ezt az új és folyamatosan fejlődő technológiát.

Mi a virtuális valóság és a SteamVR?

A virtuális valóság a művészi kifejezés és élmény új formája. Ez még mindig a technológia új határa, mivel számtalan vállalat és ember dolgozik a médium fejlesztésén. Nagy rossz szolgálatot tesz magának, ha még soha nem próbálta ki a VR -t, mivel teljesen magában foglalja a felhasználó látás- és hangérzékét. A virtuális valóság egyik fő platformja a Valve SteamVR. A SteamVR lehetővé teszi a felhasználók számára, hogy ingyenesen osszák meg egymással a környezeteket és állítsanak össze darabokat. Többnyire nyílt forráskódú, és számtalan fejhallgatót engedélyez. Ezek közé tartozik, de nem kizárólagosan, a HTC Vive sorozat, az Oculus Rifts, az Oculus Quest, a Valve Index, a Windows Mixed Reality stb. A SteamVR az a platform, amelyet a környezetünk létrehozására használunk.

Mi a fotogrammetria és hogyan használható?

A fotogrammetria az a folyamat, amikor fényképeket vagy videókat készítünk, és a képeket 3D -s modellekké alakítjuk. Ennek a technológiának a leghíresebb példája a Google Earth. A Google műholdas képeket és utcaképeket használ a tájak és épületek rekonstrukciójához. A Google Earth -t tekintve egyértelmű, hogy kevés képük volt, amelyekből dolgozniuk kellett, így egyes épületek rosszul fognak kinézni. Ha helyesen használják, a fotogrammetria rendkívül meggyőző módja a 3D modellek létrehozásának. Ez a projekt ezt a technológiát használja a történelmi nevezetességek megőrzésére. Az erózió és az elemeknek való kitettség azt jelenti, hogy a történelmi nevezetességek végül romba dőlnek, és az emberek elfelejtik őket. A fotogrammetria segítségével mindent megőrizhetünk digitálisan, így a jövő generációi megtapasztalhatják és értékelhetik ezeket a szerkezeteket. Ez azt is jelenti, hogy világszerte többen tapasztalhatják meg más kultúrákat az utazás költsége vagy kockázata nélkül.

Milyen kellékekre van szükségem?

Ehhez a projekthez a Reality Capture -t, a SteamVR -t és a Kritát használtam. Vannak Autodesk, Agisoft és Zephyr programok, amelyek használhatók a Reality Capture helyett, ha nem rendelkezik a futtatásához szükséges Nvidia GPU -val. A Photoshop vagy más képszerkesztő programok használhatók a Krita helyett, de mivel ingyenes és nyilvános, ezért ezt a projektet választottam. Szüksége lesz egy asztali VR fejhallgatóra is, amely közvetlenül csatlakoztatható a számítógéphez. Végül egy kiváló minőségű kamerára van szükség. A mobil kamera megfelelő, de Nikon D7000 -et használtam, mivel a Reality Capture automatikusan felismeri a kamera rekeszét, ami jobb minőségű modellekhez vezet.

1. lépés: Fényképezés

Ez a legfontosabb része ennek a projektnek, mivel meg kell adnia a helyes megoldást egyetlen lövésben. Ha nem, akkor vissza kell mennie a helyszínre, és mindent újra kell készítenie.

Először is meg kell találnia a megfelelő helyet és szerkezetet. A szerkezetnek nagynak és könnyen azonosíthatónak kell lennie. Ez azt jelenti, hogy a fotogrammetriai szoftver képes lesz felismerni a szerkezet és a háttér közötti különbségeket.

Általában a legjobb módja a felhős napon történő fényképezés. Ennek oka az, hogy egy napsütéses napon lehetőség van egyes fényképek túlexponálására, míg mások alulexponálására. Nem kívánt árnyékokat is létrehozhat. A kevés vagy egyáltalán nincs árnyékú modell megkönnyíti a világítást a szintfejlesztési részben. Ezenkívül a szoftvernek szüksége van a színegyensúlyra, hogy minden fényképnél ugyanaz maradjon, mivel színeket használ az objektum méretének kiszámításához. A borús napon készült fényképek azonban javítják a szerkezet minőségét. A felhők az égen természetes diffúzorként működnek a kamera számára. Ez egyenletesebben osztja el a fényt, és azt jelenti, hogy a modell pontos lesz a megjelenítési folyamat során.

Az utolsó tanács az, hogy készítsen minél több fényképet. A legtöbb program kiválasztja, hogy mely fényképeket fogja használni a végtermékhez. Ha több fényképet készít, minden pontosabb lesz, és lélegzetet ad a programnak. Mintegy 150-300 fotóm volt mindegyik modellhez.

2. lépés: Első lépések a fotogrammetria szoftverrel

Most importáljuk a fényképeket a szoftverbe. Ne feledje, hogy a Reality Capture Nvidia grafikus kártyát igényel. Enélkül nem lépheti túl a Képek igazítása részt.

Ha van egy mappája az összes használni kívánt képpel, válassza a Mappa lehetőséget a bal felső sarokban. Ezzel a fájlkezelőbe jut, és kiválaszthatja a mappát. A bemenetek lehetővé teszik az egyes fényképek kiválasztását a Fájlkezelővel.

Ezután megkezdjük a modell felépítésének folyamatát. A képernyő tetején, a Munkafolyamat alatt található a Folyamat szakasz. Meg akarjuk nyomni a nagyobb Start gombot. Ez elkezdi igazítani a képeket. A negyedik fotó röviden bemutatja, hogy mi történik e folyamat során. Felismeri a szarvas bal szemét, és összehasonlítja a távolságot más fotókkal. Továbbra is összehasonlítja a különböző fényképeket, amíg át nem megy az összes lehetséges kombináción. Ez a lépés akkor fejeződött be, ha apró pontokat lát, amelyek hasonlítanak a szerkezetre.

3. lépés: Számítsa ki és egyszerűsítse

A következő lépés a modell kiszámítása. Ehhez kattintson a Modell kiszámítása a Folyamat részben. Ez közvetlenül lefordítja, amit a fényképeken talál, 3D formátumba. Az eredmények tisztán közel állnak ahhoz, amit szeretnénk, hogy a modell kinézzen, de a modell ezen verziójával három probléma van. Először is, vannak olyan lyukak a modellben, amelyek nem a valós életben. Másodszor, a felület túlságosan göröngyös. Mivel a program közelíti a számításait, tévesen egyes sima felületeket rögössé tesz. Harmadszor, túl sok a háromszög. A Reality Capture minden modellje kis háromszögekkel készül. Mindegyik háromszög a modell kis felületét képviseli. A lehető legkevesebb háromszöget szeretnénk a modell optimalizálása érdekében. Ha túl sok háromszög van, az teljesítményproblémákat okozhat.

Ezeket a problémákat az Egyszerűsítés eszközzel lehet megoldani. Minden modell 3 000 000 000 háromszöget tartalmaz a Modell kiszámítása szakasz után, és választhatunk, hogy ezt a számot magasabbra vagy alacsonyabbra tesszük. Minden olyan modell esetében, mint amilyeneket ebben a projektben találtak, a háromszögek számát 1 000 000 -re csökkentettem. Az eredmény a második képen található, ahol minden rögös felület simább és kevesebb lyuk van. Ezenkívül, mivel kevesebb háromszöget kell megjeleníteni, a teljesítmény jobb lesz, ha belépünk a VR -be.

4. lépés: Szín és textúra

A modellnek színre és textúrára lesz szüksége, hogy még élethűbbé tegye. Ez a két rész hasonló az elért eredményhez, de működésükben eltérnek. A Folyamat részben található Color használatával a program színezni fogja a modellt. Az eszköz elkészíti a modell létrehozásához használt képeket, és körbecsomagolja képeit a modell különböző felületein. A textúra viszont a modell egyszerűsített részein fog színezni. Az első képre nézve jól látható, hogy a program hogyan tekerte körbe a képeket a modell körül, de a Texture folyamatot követő második képen a képek éles oldalai most kisimulnak.

5. lépés: Exportálás és SteamVR

A Reality Capture -ben a modelleket átvisszük a SteamVR -re. A képernyő tetején, az Exportálás alatt válassza a Mesh lehetőséget, amely a Folyamat szakasz mellett található. Látnia kell ezt az előugró ablakot, amely lehetővé teszi a modell beállításainak és paramétereinek módosítását. A legjobb, ha az összes beállítást alapértelmezettként tartja, kivéve a JPEG textúra formátum megváltoztatását. A program most OBJ formátumú fájlt exportál, amely a háló fájl, és egy JPEG formátumú fájlt, amely a modell textúrája. Referenciaként a JPEG -nek ebben a lépésben a második képnek kell lennie.

Most importálnunk kell modelljeinket a SteamVR -be. Először nyissa meg a SteamVR -t, majd navigáljon a Környezet létrehozása/módosítása lehetőséghez, amely a Műhely lapon található. A SteamVR Workshop Tools most megnyílik. Válassza az Üres bővítmény létrehozása lehetőséget, majd kattintson az Indítóeszközök elemre.

Az Eszközböngésző mostantól megnyílik különböző anyagokkal és modellekkel. A bal felső sarokban egy kalapács szimbólummal ellátott ikon látható. Ez a beépített SteamVR Hammer szerkesztő, amely lehetővé teszi a térképek létrehozását. A térképek azok a környezetek, amelyekben a VR felhasználó játszani fog.

6. lépés: A SteamVR térkép létrehozása

A SteamVR -ben megnyitott Hammer szerkesztővel most létrehozhatunk egy kockát. Egy kockát szeretnénk létrehozni a környezet építésének megkezdése érdekében. A program lehetővé teszi a kocka méretének megváltoztatását, mielőtt a helyére rögzítené. Jelenleg csak a kocka külső felületei láthatók. A CTRL+F billentyűkombinációval a felületek megfordulnak, és a kocka helyiséggé alakul. Ezenkívül hozzá kell adnia egy info_player_start nevű objektumot, amely a program betöltésekor megmondja Hammernek, hogy honnan kell létrehoznia a felhasználót.

Ahhoz, hogy a szoba reálisabb legyen, textúrákat is hozzá kell adnunk. Az Anyagszerkesztőben hozzáadhatunk néhány egyéni képet. Ez a kör alakú ikon az Eszközböngésző Kalapács gombjától jobbra. Ha kiválasztja az Anyagszerkesztőt, egy új ablakba lép, amely lehetővé teszi, hogy egy képet textúrává alakítson. Használhatja saját képeit, vagy képeket szerezhet be a textúrájú webhelyekről, például a textures.com webhelyről. Kattintson a Fájl gombra a Színválasztás alatt a használni kívánt kép kiválasztásához. A kép kiválasztása után mindenképpen mentse el azt az Anyagszerkesztő ablak bal felső sarkában található Floppy Disk ikon megnyomásával. Most zárja be az Anyagszerkesztőt, és navigáljon vissza az Eszközböngészőhöz. Itt keresse meg a használni kívánt textúrafájlt, majd kattintson rá, és húzza a Kalapácsszerkesztőbe. Ebben az ablakban alkalmazhatja textúráját a kocka különböző oldalaira.

Világítást is kell adnunk a szobához. Ehhez tegyünk egy light_omni -t vagy egy light_spot -ot a térképünkre, amely a térképnézet bal oldalán található Entity szakaszban található. A light_omni minden irányba világít, míg a light_spot egy adott irányba. Ehhez a projekthez minden objektumhoz legalább két light_spotot és egy light_omni -t használtam a szoba megvilágításához.

7. lépés: Objektumaink hozzáadása a térképhez

Itt az ideje, hogy elkezdjük objektumaink áthelyezését a térképünkbe. Az Eszközböngészőben az Anyagszerkesztő ikon jobb oldalán található a Modellszerkesztő, amely egy humanoid ikonra hasonlít. A Modellszerkesztő megnyitásakor lehetősége nyílik böngészni vagy új VDML -t készíteni, amely az OBJ fájl Hammer Editor verziója. Válassza ki a lehetőséget, hogy új VDML -t hozzon létre, és ehhez egy mappát kell létrehoznia. Ez a mappa tárolja a VDML fájlt. Győződjön meg róla, hogy a Hozzáadás mappában van, és nyomja meg a Folytatás gombot.

Ezzel a képernyőn megjelenik a modellje, amely fehér textúrájú. A textúra hozzáadásához ehhez a modellhez válassza az Anyagok lehetőséget a bal oldali eszköztáron. Ezzel az Anyagszerkesztőbe jut, és kiválaszthatja a JPEG fájlt a Reality Capture exportálásából. A Floppy Disk ikonra kattintva mentse el a textúrát és a modellt. Térjen vissza a Hammer Editorhoz.

A Hammerben a modellt az Eszközböngészőből a térképre húzhatja. A modell valószínűleg kicsi lesz, és át kell méreteznie. A billentyűzet T megnyomásával megváltoztathatja a pozícióját a térképen. Az E gomb megnyomása megváltoztatja a modell arányait, míg az R elforgatja.

8. lépés: Az objektumcímkék elkészítése

Az egyes tájékozódási pontok mellett látható objektumcímkék kontextust és előzményeket nyújtanak a felhasználói élmény fokozásához. Az objektumcímkéimhez egyszerűen fotóztam az információs táblákat minden helyen, hogy könnyen rögzíthessem azokat a fontos információkat, amelyeket később használni akartam. Ezután a Krita nevű ingyenes képszerkesztő szoftvert használtam az objektumcímkék létrehozásához, beleértve a további képeket és szöveget.

A bányászpark és a szoba horgony oldala esetében nem volt probléma a címkék textúrákkal való hozzáadásával. Egyszerűen adja hozzá őket az Eszközböngészőhöz az Anyagszerkesztőben, és adja hozzá a képet egy blokkhoz, amelyet a Hammer Editorban lehet létrehozni. Problémák merültek fel, amikor táblákat készítettem a szoba másik oldalára. Az összes szöveg és kép visszamaradt, és nem volt egyértelmű módszer a textúrák visszafordítására a szerkesztőben. Hogy ezt kijavítsam, visszamentem Kritába, és megfordítottam a szarvas és a medve deszkáját, és szerencsére ez megoldotta a problémát.

Ezenkívül különféle képeket adtam hozzá Wilkes-Barre-ről, mivel olyan szobát akartam létrehozni, amely egy butikmúzeum hangulatát és hangulatát tükrözi.

9. lépés: Következtetés

Összefoglalva, mind a virtuális valóság, mind a fotogrammetria hatalommal rendelkezik számtalan iparág jelentős javítására, beleértve, de nem kizárólagosan a sportot, az ingatlant és a kriminalisztikát. Ma a fotogrammetria segítségével megőriztem szülővárosom helytörténetének néhány apró, mégis fontos részét. A VR és a fotogrammetria még mindig kísérleti technológiák, amelyek néha kihívást jelenthetnek. Néhány hiányosság ellenére mindkét folyamat innovatív felhasználási lehetősége izgalmas és határtalan. Köszönöm, hogy elolvasta ezt a projektet, és remélem, ez inspirált arra, hogy valami újat próbáljon ki a Virtual Reality segítségével.

A projekt letöltési linkje itt található.