3D modellek a Freestyle Drone felvételeiből: 4 lépés

2024 Szerző: John Day | [email protected]. Utoljára módosítva: 2024-01-30 09:43

A drón videózás valóban robbanásszerűen felrobbant az elmúlt években, és rengeteg tehetséges pilóta van, akik quadcoptereik és first-view-headsetjeik segítségével készítik a legtöbb akrobatikus videót. Az öcsém, Johnny FPV egyike ezeknek a pilótáknak, ezért szerettem volna megnézni, hogy lehetséges -e rekonstruálni azokat a környezeteket, amelyekbe repült a freestyle felvételeiből.

Az állandó, érdekes pontról lezárt drónfelvételek minden bizonnyal nagy pontosságú 3D-s modellt hozhatnak létre, amint azt itt tárgyaltuk, de mi történik, ha a felvétel ennyire frenetikus?

1. lépés: A videó előfeldolgozása

Miután megkapta a légi felvételeket, előzetes feldolgozás szükséges. Adobe Media Encoder -t használok, de szinte minden videószerkesztő szoftvernek képesnek kell lennie erre.

Kiválasztottam egy rövid klipet (~ 11 másodperc), és a képsebességet 29,77 -ről 30 kép / mp -re változtattam, és az új videót a kívánt mappába mentettem.

Ezután az FFMPEG segítségével exportálom a videó összes többi képkockáját-j.webp

Az FFMPEG telepítéséhez jó útmutató található itt.

A könyvtárat a képfájl (cd) helyére kell cserélnie, majd a következő parancsfájlt kell használnia:

ffmpeg -i (a videofájl neve) -vf fps = 15 exp%03d.jpg

Az fps megváltoztatása természetesen megváltoztatja a videó másodpercenként exportált képeinek számát. Ez arra vezethető vissza, hogy miért változtattam meg a videó fps-jét 29,97-ről 30-ra. 15 másodpercenként 15 kép rögzítése most egyszerűen megragad minden más képkockát a videóból. Ha minden hatodik képkockát szeretne, 5 képkocka / másodpercre állítja be … stb.

Az "exp %03d.jpg" eredményeképpen a képek exp000-j.webp

(Megjegyzés: "ffmpeg -i (a videofájl neve) -r (framerate) -f image2 exp%03d.jpg" is használható a képkockák kinyerésére a videóból, de bármilyen okból jobb pontfelhőket kapok a az előbbi módszer)

2. lépés: Fotók importálása és pontfelhő létrehozása

Miután megkapta a képeket, elkezdheti a normál fotogrammetriai munkafolyamatot. Agisoft PhotoScanPro -t használok, de más programok, például az Autodesk Remake valószínűleg ugyanolyan (ha nem is több) sikeresek lennének.

A fényképek importálása után a kamera kalibrálását is Halszemre állítottam, mivel ez a felvétel eredetileg egy GoPro -tól származik. Pár perc feldolgozás később, és néhány 3D információ kezd feltűnni! Lehet, hogy a pontfelhő nem tűnik soknak, és csak néhány ezer pontból áll, így még nem elég egy háló kiszámításához. Ebből építettem egy sűrű pontfelhőt, és most körülbelül 200 ezer ponttal kell dolgoznom.

3. lépés: Háló építése

Most, hogy mindezekkel a pontokkal dolgoznunk kell, ki lehet számítani egy hálót. Viszonylag magas arcszámot használok, és lehetővé teszem az interpolációt- ez kissé "homályosabbá" teszi a hálót, de a végén sokkal kevesebb hiányzó felület és lyuk lesz a hálóban. Néhány perces feldolgozás után kezdünk olyan eredményt kapni, amely hasonlít az architektúrára, amelyen a drón repült!

4. lépés: Textúra és végeredmények

A Photoscan lehetővé teszi, hogy a bemeneti képekből textúrát készítsen a hálójához, ami megadja a modell utolsó részletét. Vegyesek az érzéseim ennek a folyamatnak az eredményeivel kapcsolatban (vannak jobb módszerek is a pontos modell elkészítésére), de összességében elképesztőnek tartom, hogy egyáltalán minden modell ki tud jönni ilyen diós felvételekből!

A projekt további irányai lehetnek, ha a felületeket vízzáró modellekké vastagítják a 3D nyomtatáshoz, vagy egy szürrealista VR táj részévé válhatnak.