Kvantimetrikus képfeldolgozás: 5 lépés

2024 Szerző: John Day | [email protected]. Utoljára módosítva: 2024-01-30 09:43

(A fenti ábra a meglévő képfeldolgozási módszer és a kvantimetrikus képfeldolgozás összehasonlítását szemlélteti. Vegye figyelembe a javított eredményt. A jobb felső képen furcsa műtermékek láthatók, amelyek abból a téves feltételezésből származnak, hogy a képek valamit, például fényt mérnek. A jobb alsó kép jobb eredményt mutat, ha ugyanezt teszi mennyiségileg.)

Ebben az utasításban megtanulhatja, hogyan lehet jelentősen megnövelni a meglévő képalkotó vagy látásérzékelő rendszerek teljesítményét egy nagyon egyszerű koncepció: a kvantimetrikus képérzékelés használatával

A kvantimetrikus képfeldolgozás jelentősen javítja az alábbiak bármelyikét:

• Meglévő képfeldolgozás, például képsötétítés;
• Gépi tanulás, számítógépes látás és mintafelismerés;
• Viselhető arcfelismerő (lásd: https://wearcam.org/vmp.pdf), AI és HI alapú látás, stb.

Az alapötlet a képek kvantimetrikus elő- és utófeldolgozása, az alábbiak szerint:

1. Bővítse a kép vagy képek dinamikus tartományát;
2. Feldolgozza a képet vagy képeket a szokásos módon;
3. Tömörítse a kép vagy képek dinamikus tartományát (azaz visszavonja az 1. lépést).

A korábbi Instructables -ben a HDR (High Dynamic Range) és a kvantimetrikus érzékelés néhány aspektusát tanítottam, pl. linearitás, szuperpozíció stb.

Most hasznosítsuk ezt a tudást.

Végezze el a használni kívánt meglévő folyamatot. A példa, amelyet mutatok, a képek elmosása, de szinte bármi másra is használható.

1. lépés: Bontsa ki a kép vagy képek dinamikus tartományát

(Az ábrák az "Intelligens képfeldolgozás", John Wiley és Sons Interscience sorozat, Steve Mann, 2001. november módosítása alapján készültek)

Az első lépés a bemeneti kép dinamikus tartományának bővítése.

Ideális esetben először határozza meg a kamera válaszfunkcióját, f, majd alkalmazza a képre az inverz inverz választ.

A tipikus kamerák tömörítik a dinamikus tartományt, ezért jellemzően kiterjesztő funkciót szeretnénk alkalmazni.

Ha nem ismeri a válaszfunkciót, először próbáljon ki valami egyszerűt, például töltse be a képet egy képtömbbe, a változókat adattípusba, például (lebegő) vagy (kettős), és növelje minden egyes képpont értékét kitevőre, mint például az egyes pixelértékek négyzetbe állítása.

Indoklás:

Miért csináljuk ezt?

A válasz az, hogy a legtöbb kamera tömöríti dinamikus tartományát. Ennek oka az, hogy a legtöbb megjelenítő média bővíti a dinamikatartományt. Ez teljesen véletlen: a katódsugárcsöves televíziós kijelző által kibocsátott fénymennyiség nagyjából megegyezik a 2,22-es kitevőre emelt feszültséggel, így amikor a videó feszültség bemenete körülbelül a felére esik, a kibocsátott fény mennyisége nagyjából megegyezik kevesebb mint fél.

A fényképészeti média dinamikus tartományban is kiterjedt. Például egy fényképészeti "semleges" szürke kártya a beeső fény 18% -át bocsátja ki (nem a beeső fény 50% -át). Ennyi fényt (18%) a válasz közepén tartanak. Amint láthatja, ha a kimenet grafikonját a bemenet függvényében nézzük, a megjelenítő adathordozók úgy viselkednek, mintha ideális lineáris kijelzők lennének, amelyek dinamikus tartománybővítőt tartalmaznak az ideális lineáris válasz előtt.

A fenti felső ábrán látható, hogy a kijelző szaggatott vonallal be van dobozolva, és ez egyenértékű azzal, ha az ideális lineáris kijelző előtt bővítő van.

Mivel a kijelzők természetüknél fogva kiterjedtek, a fényképezőgépeket tömörítésre kell tervezni, hogy a képek jól nézzenek ki a meglévő kijelzőkön.

A régi időkben, amikor több ezer televíziókészülék -kijelző és csak egy vagy két műsorszóró állomás volt (pl. Csak egy vagy két televíziós kamera), könnyebb megoldás volt tömörítő nemlinearitás behelyezése a kamerába, mint az összes televízió és tegyen egyet minden televíziós vevőkészülékbe.

Véletlenül ez is segített a zajcsökkentésben. Hangban ezt Dolby -nak hívjuk ("companding"), és szabadalmat adunk érte. A videón teljesen véletlenül történt. Stockham javasolta, hogy a feldolgozás előtt vegyük fel a képek logaritmusát, majd vegyük az antilogot. Amit nem vett észre, az az, hogy a legtöbb kamera és kijelző ezt már egészen véletlenül teszi. Ehelyett én azt javasoltam, hogy mi pont az ellenkezőjét tesszük, mint amit Stockham javasolt. (Lásd "Intelligens képfeldolgozás", John Wiley és Sons Interscience sorozat, 109-111. Oldal.)

Az alsó képen a javasolt anti-homomorf (kvantimetrikus) képfeldolgozás látható, ahol hozzáadtuk a dinamikus tartomány kiterjesztésének és tömörítésének lépését.

2. lépés: Feldolgozza a képeket, vagy hajtsa végre a számítógépes látást, a gépi tanulást vagy hasonlókat

A második lépés a dinamikus tartomány bővítése után a képek feldolgozása.

Esetemben egyszerűen a kép dekonvolúcióját hajtottam végre, az elmosódási funkcióval, azaz a kép elmosásával, amint az a technika állása szerint általánosan ismert.

A kvantimetrikus képérzékelésnek két nagy kategóriája van:

• Segít az embereknek látni;
• Segítő gépek lásd.

Ha megpróbálunk segíteni az embereknek, hogy lássanak (ezt a példát mutatom itt), akkor még nem végeztünk: vissza kell vinnünk a feldolgozott eredményt a képtérbe.

Ha segítünk a gépeknek látni (pl. Arcfelismerés), akkor most végeztünk (nincs szükség a 3. lépésre).

3. lépés: Tömörítse újra az eredmény dinamikus tartományát

Amikor kibővített dinamikus tartományban dolgozunk, azt mondják, hogy "fénytérben" (kvantimetrikus képtér) vagyunk.

A 2. lépés végén fénytérben vagyunk, és vissza kell térnünk a képtérhez.

Ez a 3. lépés tehát arról szól, hogy visszatérünk a képtérhez.

A 3. lépés végrehajtásához egyszerűen tömörítse a 2. lépés kimenetének dinamikus tartományát.

Ha ismeri a kamera válaszfunkcióját, egyszerűen alkalmazza azt, hogy megkapja az eredményt, f (p (q)).

Ha nem ismeri a kamera válaszfunkcióját, egyszerűen alkalmazzon egy jó tippet.

Ha az 1. lépésben négyzetbe állította a képképpontokat, akkor itt az ideje, hogy minden képképpont négyzetgyökét felhasználva visszatérjen a képteret érintő feltételezéséhez.

4. lépés: Érdemes kipróbálni néhány más változatot

A homályosítás csak egy példa a sok lehetséges példa közül. Gondoljunk például a több expozíció kombinálására.

Készítsen bármilyen két képet, például a fenti két képet. Az egyiket nappal, a másikat éjszaka vették fel.

Kombinálja őket, hogy alkonyatszerű képet kapjon.

Ha csak átlagoljuk őket, akkor szemétnek tűnik. Próbáld ki ezt magad!

De ha először kibővíti az egyes képek dinamikus tartományát, majd hozzáadja őket, majd tömöríti az összeg dinamikus tartományát, akkor nagyszerűnek tűnik.

Hasonlítsa össze a képfeldolgozást (a képek hozzáadását) a kvantimetrikus képfeldolgozással (bővítés, hozzáadás, majd tömörítés).

A kódomat és további példaanyagomat innen töltheti le:

5. lépés: Lépjen tovább: most próbálja ki HDR képkompozitokkal

(Kép felett: a HDR hegesztősisak kvantimetrikus képfeldolgozást használ a kiterjesztett valóság fedvényeihez. Lásd Slashgear 2012 szeptember 12.)

Összefoglalva:

készítsen képet, és hajtsa végre az alábbi lépéseket:

1. bővítse a kép dinamikus tartományát;
2. feldolgozza a képet;
3. tömörítse az eredmény dinamikus tartományát.

És ha még jobb eredményt szeretne, próbálja meg a következőket:

többféleképpen exponált kép rögzítése;

1. a dinamikus tartomány kiterjesztése a fénytérbe, a HDR -re vonatkozó korábbi Instructable szerint;
2. feldolgozza a kapott kvantimetrikus képet, q, fénytérben;
3. tömörítse a dinamikus tartományt a tonemapping segítségével.

Jó szórakozást, és kérjük, kattintson a "Megcsináltam" gombra, és tegye közzé az eredményeket, és örömmel teszek megjegyzést, vagy adok némi építő jellegű segítséget.