Teknillinen korkeakoulu
Fotogrammetrian ja kaukokartoituksen laboratorio
Maa-57.270 Fotogrammetrian, kaukokartoituksen ja kuvatulkinnan seminaari 1999
Mikko Hynninen
Kuvapohjaisista visualisointimenetelmistä
Sisällysluettelo:
5.2 Sylinterimäisten panoraamakuvien interpolointi
Kuvapohjaisista visualisointimenetelmistä
Tiivistelmä: Kuvapohjaiset visualisointitekniikat (rendering techniques) vaativat ainoastaan alkuperäiset kuvat uusien virtuaalinäkymien luomiseen. Aikaisemmissa tekniikoissa on usein vaadittu kuvattavasta kohteesta 3D-malli. Kuvapohjaiset renderöintitekniikat voidaan jakaa neljään ryhmään: 1) Mosaikointi, 2) Interpolointi tiheästä kuvajoukosta, 3) Kuvamäppäys, 4) Geometrisesti tarkka pikseleiden reprojektio. Näitä tekniikoita on kehitetty sekä tietokonenäön että tietokonegrafiikan aloilla.
Johdanto:Perinteinen tapa muodostaa kohteesta virtuaalinäkymiä on renderöidä(visualisoida) kohdetta kuvaava 3D-malli. Tämä 3D-malli on voitu luoda CAD-mallinnusohjelmalla tai se on voitu luoda kohdetta kuvaavasta todellisesta datasta, joka on esim. stereokuvilta tai etäisyysmittauksilla kerätty. 3D-malli voi olla esitetty polygoni- tai CSG-malli (constructive solid geometry; malli muodostetaan geometrisistä kappaleista, joita yhdistelemällä saadaan haluttu muoto esitettyä), pintojen parametriesityksenä (x,y,z-arvot u:n ja v:n funktioita) tai tilanositusesityksenä (esim. Octree; hierarkinen puumalli, jolla esitetään täytettyjä kohteita. Jokainen solmu vastaa yhtä kolmiulotteisen avaruden osaa). /1/
Mallin realismia voidaan parantaa lisäämällä kohteiden pinnoille tekstuureja, varjostuksia jne. 3D-mallinnuksen voi tehdä myös tilavuusesityksenä. Tilavuusmalli voidaan esittää pintamallina tai myös vokselimallina, jolloin myös kohteen sisäosat pystytään esittämään valitsemalla kohteen eri osia esittäville vokseleille eri värejä ja läpikuultavuusominaisuuksia.
Viime aikoina on kehitetty uusia tapoja luoda kohteesta virtuaalinäkymiä (virtuaalikuvia). Yksi tällainen menetelmä on kuvapohjainen renderöinti. Verrattuna vanhoihin menetelmiin, jotka vaativat olemassaolevaa 3D-mallia kohteesta tämä uusi menetelmä perustuu pääasiassa vain alkuperäisiin kohdetta esittäviin kuviin tai opetuskuvajoukkoon, jonka avulla uudet kuvat muodostetaan. Vertailu 3D-mallipohjaisista ja kuvapohjaisista renderöintimenetelmistä on esitetty taulussa 1. 3D-mallipohjaisessa renderöinnissä kappaleet ja maisemat on esitetty erityisesti muodostettujen kohdemallien avulla. Uudet virtuaalinäkymät (virtuaalikuvat) muodostetaan näiden mallien liikuttelulla virtuaalikameran suhteen ja laskemalla näin syntyvä uusi kuva. Kuvapohjaisessa renderöinnissä taas kappaleet ja näkymät esitetään ryhmänä kuvia, jotka on helpompi saada kohteesta.
3D-mallipohjainen renderöinti perustuu perinteisiin kuvan renderöintivaiheisiin, johon kuuluvat mallin muunnokset, kuvakulman muunnokset, kohteiden valinta ja piiloon jäävien pintojen poistaminen. Tästä johtuen uuden virtuaalinäkymän renderöintiin kuluva aika on riippuvainen kohteen monimutkaisuudesta ja samalla erityisesti mallin esityksessä käytettyjen pinta-alkioiden tai vokseleiden lukumäärästä.
Kuvapohjaiset renderöintimenetelmät perustuvat alkuperäisen kuvajoukon interpolointiin tai pikseleiden uudelleenprojisointiin lähtökuvilta uudelle kuvalle. Kuvan renderöintiaika on riippumaton kuvattavan kohteen monimutkaisuudesta. Haittapuolena on menetelmän vaatima suuri laskentatehon ja muistin vaatimus (useita kuvia käsiteltävä yhtäaikaa); toisaalta menetelmällä pystytään muodostamaan fotorealistisia esityksiä (valokuvista valokuvia). Seuraavassa on esitelty neljä erilaista keinoa kuvapohjaiseen renderöintiin (kuvapohjaiseen uusien perspektivinäkymien luomiseen).
|
3D-mallipohjainen renderöinti |
Kuvapohjainen renderöinti |
|
3D-mallien käyttö |
Kuvajoukon hyväksikäyttö |
|
Tavanomaisen renderöintimenetelmien käyttö |
interpolointi tai pikseleiden uudelleenprojektio |
|
Nopeus riippuvainen kohteen monimutkaisuudesta |
Nopeus kohteesta riippumaton |
|
Hyväksikäyttää laitepohjaisia kiihdyttimiä |
Laskenta-aika riippuu prosessoritehosta |
|
Kuvien realismi ohjelmistosta riippuvainen |
Realismi riippuu lähtökuvista |
Taulu 1. 3D-malli- ja kuvapohjaisten renderöintimenetelmien vertailu
2. Kohteen geometriaan perustumaton kuvan laskenta (Non physically based image mapping)
Tässä menetelmässä 3D-geometriaa ei oteta ollenkaan huomioon laskettaessa pikseleiden paikkoja uudella kuvalla. Tämä menetelmä voidaan jakaa kahteen alaluokkaan; suoraan ja epäsuoraan pikseleiden kuvaukseen (kuvan mäppäykseen).
Suoran kuvauksen menetelmässä uusi kuva muodostetaan kuvaparista (lähtö- ja tuloskuva) laskemalla. Käytetyn kuvaparin ei tarvitse välttämättä kuvata ollenkaan samaa kohdetta. Tätä tekniikkaa on hyvin paljon käytetty mainos-, sekä viihdeteollisuudessa. Tunnetuin tekniikka on Beierin ja Neelyn piirteisiin perustuva morfaus (vaiheittainen muodonmuuttaminen) /2/. Tässä tekniikassa asetetaan aluksi manuaalisesti kuvien väliset vastaavuudet suunnattuja viivapareja hyväksikäyttäen. Morfausprosessissa lähtökuva muuttuu hitaasti kohdekuvaksi. Kohdekuvan ja lähtökuvan pikseleiden vastaavuuden etsiminen tehdään ns. käänteiskuvauksena (inverse mapping), jossa jokainen kuvapikseli käydään läpi kohdekuvalla ja sitä vastaava pikseli etsitään lähtökuvalta. Ne pikselit jotka osuvat kohdekuvalla manuaalisesti määritetylle viivalle, kuvataan lähtökuvan vastaavalle viivalle. Muut pikselit ja niiden paikat lasketaan painotetulla funktiolla, joka muodostuu seuraavista muuttujista:
Kuva 2.1. Parametrien u ja v määräytyminen.
Välikuvia muodostettaessa interpoloidaan lähtökuvan ja kohdekuvan välisien pikseleiden siirtyminen ja arvojen muuttuminen.
Tällä tavoin suoritetun morfausmenetelmän etuna on hyvä mahdollisuus vaikuttaa muunnoksen lopputulokseen määrittelemällä manuaalisesti kuvilta yhtäläisyyksiä. Puutteena on toisaalta se, että menetelmässä ei voi kontrolloida tarkasti muunnosta alueilla, jotka sijaitsevat manuaalisesti määriteltyjen alueiden ulkopuolella. Lisäksi menetelmä vaatii suurta laskentatehoa.
Monia muita muodonmuunto-tekniikoita on olemassa. Esimerkiksi 2D-spliniverkkokuvaus. Tässä menetelmässä käyttäjä määrittelee toisiaan vastaavan pistegridin sekä lähtö- että kohdekuvalla. Jokaisella kohdekuvan gridipisteellä on vastaava gridipiste lähtökuvalla. Siirrot gridipisteiden välillä voidaan laskea jollain interpolointimenetelmällä. Lineaarinen interpolointi on helpoin ja siksi käytetyin menetelmä. Morfauksen nopeuttamiseksi voidaan kuvan deformointi suorittaa kaksivaiheisella algoritmilla, joka ensimmäisessä vaiheessa tekee pikseleiden siirrot x-suunnassa ja toisessa vaiheessa y-suunnassa. Morfauksessa saattaa usein tapahtua kuvalla sellaisia vääristymiä, joita on vaike manuaalisesti korjata. Verrattuna piirrepohjaisiin interpolointitekniikoihin 2D-spliniverkkotekniikka sallii deformaation paremman paikallisen kontrollin sekä paremman laskentanopeuden. Tällä tekniikalla on kuitenkin vaikeampi määrätä halutunlainen kuvan vääristäminen. Lisäksi jos käytetään kaksivaiheista algoritmia on olemassa vaara, että kuvassa tapahtuu ylimääräisiä vääristymiä (90 ast. kiertymä). Steven M. Seitz ja Charles R. Ryder ovat esittäneet morfausmenetelmän, joka pystyy käsittelemään oikein 3D-projektiokuvien muunnokset. Tämän tekniikan englanninkielinen nimitys on view morphing /3/. Tässä tekniikassa kuvat ensin oikaistaan, niiden välille lasketaan morfauksella uudet kuvat ja tämän laskennan jälkeen interpoloidut kuvat ’taivutetaan’ lähtö- ja tuloskuvan projektioiden välisiin projektioihin. Tässä tekniikassa välikuvien esittämät kohteet säilyttävät muotonsa, mikä ei useinkaan toteudu tavanomaisissa morfaustekniikoissa.
Kuva 2.2 Esimerkki tavanomaisessa morfauksessa tapahtuvasta vääristymisestä
Kuva 2.3 Esimerkki view morph-tekniikalla luodusta Mona Lisa –kuvasta. Keskimmäinen kuva on puolivälistä morfausta siirryttäessä vasemmasta kuvasta oikeaan kuvaan (käännetty vasemmasta)
Uusin joukko kohteen geometriaan perustumattomia kuvanlaskentatekniikoita ovat epäsuorat/opitut kuvausmenetelmät, jotka käyttävät erilaisista kuvista muodostettua opetuskuvajoukkoa, uusien kuvien muodostamisessa. Esimerkkinä tästä ovat kuvan 2.2 tikku-ukot tai kuvan 2.3 ihmiskasvot. Ideana uutta kuvaa muodostettaessa on rakentaa se opetuskuvajoukon kuvien lineaarikombinaationa.
Ihmiskasvojen tapauksessa uusi mielivaltaisesta kuvakulmasta katsottu kasvokuva on lineaarikombinaatio erilaisista samanasentoisista kasvokuvista. Tällaisten kasvojen kuvaamiseksi täytyy ensin irroittaa paras joukko lineaarikombinaatiokertoimia opetuskuvajoukon standardiasentoisista kasvokuvista. Kertoimet lasketaan siten, että opetusjoukon standardiasentoisten kasvokuvien painotettu keskiarvo on paras approksimaatio uudelle kasvomallille samassa asennossa.
Kuva 2.3 Uusien kasvojen muodostaminen
Kuva 2.2 Tikku-ukko esimerkki
3. Mosaikointi
Mosaiikilla tarkoitetaan vähintään kahden eri kuvan kombinatiota, jolla tuotetaan joko korkeampiresoluutioinen esitys kohteesta tai sitä laajemmin esittävä kokonaiskuva. Alun perin kuvamosaiikkeja on käytetty eniten ilma- ja satelliittikuvissa, sekä tähtitieteessä. Kuvamosaiikista, jossa kuvakulma on suurempi kuin yksittäisessä osakuvassa voidaan nopeasti laskea uusia pienemmän alueen rajaavia kuvia. Kuvamosaiikeissa osakuvien välisien rajojen poistamiseen on useita menetelmiä. Näitä ovat mm. lineaarisen ramppifunktion laskeminen samanlaisten arvojen saamiseksi mosaiikin rajoilla, päällekkäisten alueiden histogrammimuunnoksen avulla laskettava harmaasävysiirros, sekä multiresoluutio-splinitekniikka. Lineaarisella pengerfunktiolla tasataan kuvien raja-alueella olevien pikseleiden harmaasävyarvot asteittain. Esim. jos kahden kuvan reunalla arvot pisteen a vasemmalla puolella ovat 9 9 9 9 ja pisteessä a ja siitä oikealla 6 6 6 voidaan reuna häivyttää ramppifunktiolla, jolloin saadaan harmaasävyiksi esim. 9 8 7 6 6 5 4 3. /4/ Harmaasävysiirrolla saadaan tasattua kuvien välisiä sävyeroja. Sävyt ovat vierekkäisten kuvien välillä yleensä samankaltaisia, jos kuvanottohetket ovat samat. Satelliittikuvien tapauksessa kuvien väliset aikaerot voivat olla hyvinkin suuria, jolloin myös mahdollisuus kuvien ulkonäköjen eroavuuksiin on olemassa. Kuvan histogrammiesitys esittää esim. harmaasävykuvalla eri harmaasävyjen esiintymisjakauman. Samankaltaiset kohteet aikaansaavat samankaltaiset histogrammit, jolloin esim. kohteen valaistuksen muuttuminen siirtää histogrammia. Jälkikäsittelyssä histogrammi voidaan siirtää vastaamaan tilannetta, joka oli viereistä kuvaa otettaessa (esim. pilvinen päivä; tummempi kuva) /5/. Multiresoluutio-splinitekniikassa jokaisella tarkkuustasolla, kaistanpäästösuodatetut kuvat yhdistetään laskemalla painoitettu keskiarvo pikseleille, jotka sijaitsevat kuvia yhdistävällä siirtoalueella. Siirtoalueen leveys riippuu resoluutiotasosta. Lopullinen kuvamosaiikki saadaan yhdistämällä jokaisen resoluutiotason mosaiikit. /6/
Ilmakuvien yhdistäminen kuvamosaiikiksi on helppoa, koska niissä on hyvin pieni perspektiivivääristymä. Tekniikoita suuria vääristymiä sisältävien lähiotoskuvien yhdistämiseen on kehitetty. Niitä käytetään mm. suurempien suoraviivaisten panoraamakuvien, suurtarkkuuskuvien, sekä moniliikkeisten kuvamosaiikkien muodostamiseen.
Suoraviivaiset panoraamakuvat ovat käyttökelpoisia suhteellisen pienillä kuvakulmilla (<180 ast.),mutta Suurempia kulmia vaativissa tilanteissa joko sylinteri- tai palloesitys on sopivampi. Näissä molemmissa esitystavoissa joudutaan kulloinkin tarkasteltavana oleva alue ensin oikaisemaan.
Panoraamakuvia tehdessä täytyy ensin selvittää kameran polttoväli. Alkuperäinen kuvasarja muunnetaan suoraviivaisista sylinterikoordinaatteihin ennen kuvamosaiikin muodostamista. kuva 3.1 yläosa. Sylinterimäisiä panoraamakuvia on muodostettu moniin käyttötarkoituksiin. Esim. kiinteältä paikalta tapahtuvaan visualisointiin, liikkuviin visualisointeihin tai 3D-mallin muodostamiseen.
Kuva 3.1 Näkymä laboratoriosta. Yllä vääristymättömät ja sylinteriprojisoidut kuvat. Alla yhdistetty panoraamakuva laboratoriosta.
Sylinterimäisten panoraamakuvien heikkoutena on niiden kykenemättömyys sisältää osa kuvien ylä- ja alareunoista. Tämä ongelma voidaan kiertää käyttämällä pallomaista kuvaa. Pallomainen kuva voidaan muodostaa liittämällä useita kalansilmälinssillä otettuja kuvia toisiinsa tai liittämällä toisiinsa kuvia, jotka on otettu normaalilinssillä useista kuvakulmista. Molemmissa tapauksissa täytyy mosaiikin fyysisen tarkkuuden toteutumiseksi varmistaa se, että osakuvien projektiokeskukset sijaitsevat samassa paikassa.
Muodostettu panoraamakuva on teoreettisesti tarkka vain silloin kun seuraavat kaksi ehtoa täyttyvät:
Kuvamosaiikin muodostamiseksi osakuvat täytyy ensin rekisteröidä. Käytetyt rekisteröintitekniikat ovat seuraavanlaisia
Näiden edellä esitettyjen ohjelmallisten kuvamosaiikkimuodostustapojen lisäksi on kehitetty saman tehtävän suorittavia laiteratkaisuja, joita ovat mm.
4. Interpolointi tiheästä kuvajoukosta
Tässä tekniikassa kohdetta kuvataan aluksi useista kuvakulmista ja näinsaaduista kuvista muodostetaan hakutaulukko. Tämän jälkeen kuva, joka halutaan muodostaa jostain kuvakulmasta interpoloidaan tästä jo muodostetusta hakutaulukosta. Tämän menetelmän etuna muihin edellä esitettyihin menetelmiin verrattuna on se, että pikseleiden vastaavuuksia eri kuvilla ei tarvitse selvittää. Lisäksi etuna on se että hakutaulukko sisältää kohteen oikeista kuvakulmista katsottuna; toisinsanoen hakutaulukko on plenoptisen funktion approksimaatio. Plenoptinen funktio on 5D-esitys valon kulusta kohdeavaruuden jokaisessa paikassa jokaiseen suuntaan. (Valon kulku on riippumaton kierrosta katselusuunnan suhteen.) Koska tässä menetelmässä kuvan muodostaminen perustuu hakutaulukon interpolointiin, uusien kuvien visualisointi on nopeaa. Haittapuolena voidaan mainita menetelmän vaativan paljon lähtöaineistoa, levy- ja muistitilaa, kuten myös tarve tietää kameran kuvauspiste (viewpoint) jokaisella kuvanottohetkellä. Varsinkin kameran kuvauspisteen määrittäminen käytännössä suurilla kohteilla voi olla hankalaa.
Verrattuna epäsuoraan tai opittuun kuvamuodostamistekniikkaan tässä tekniikassa tarvitaan huomattavasti suurempi määrä näytteitä kohteesta (satoja, jopa tuhansia näytteitä verrattuna kymmeniin). Lisäksi tässä kategoriassa virtuaalikohde tai kuvauspaikka lasketaan näytteistä, jotka perustuvat samaan kohteeseen. Tämä ei ole välttämätöntä opitussa kuvanmuodostuksessa. Näiden lisäksi opitussa kuvanmuodostuksessa täytyy opetuskuvajoukon kuvien välillä olla jotain vastaavuuksia. Tiheästä näytejoukosta interpoloitaessa kuvien vastaavuuksia ei tarvita.
Kaksi lähestymistapaa tämän menetelmän hyväksikäyttämiseksi on esitetty. Nämä ovat light field rendering /7/ ja lumigraph /8/. Molemmat lähestymistavat käyttävät kuvan katsontapaikan ja katsontasuunnan esittämiseen 4D-parametrisointia, nimittäin (u,v,s,t).
Levoyn ja Hanrahanin light field rendering:ssä käyttämä virtuaalikuvan pikseleiden approksimointimenetelmä perustuu lähimpien näytteiden interpolointiin. He ovat testanneet lähinaapuri-interpolointia, bilineaarista interpolointia u-v tasolla, sekä 4D-quadrilineaarista interpolointia.
Lumigraph-menetelmässä jatkuva lumigrafi muodostetaan kantafunktion ja jokaisen gridipisteen(u,v,s,t) välisen tulon lineaarisummana. Virtuaalinen katsontapaikka voidaan estimoida tästä jatkuvasta lumigrafista joko pikseleittäin tapahtuvalla ray-tracingillä tai kuvan kappaleisiin perustuvilla tekstuurimappaysoperaatioilla. Ray-tracing-menetelmää käytettäessä jokaiselle kuvasäteelle lasketaan sitä vastaavat (s,t,u,v)-koordinaatit, ja tätä pistettä lähinnä olevista gridipisteistä interpoloidaan koordinaattia vastaava arvo.
Kuva 4.1 Valokentän esitysmalli
Geometrista informaatiota voidaan hyväksikäyttää kantafunktioiden valinnassa. Lumigraf-menetelmä sallii pienemmän näytemäärän käytön jos likimääräinen geometrinen informaatio on kohteesta olemassa. Myös muita menetelmiä ja laajennuksia mm. Katayama:n ja Wong:n toimesta edellä esitettyihin verrattuna on kehitetty.
Edellä esitettyjen menetelmien heikkoutena on suuri kuvien määrän tarve hakutaulukkoa muodostettaessa. Kuvakulma, jota näissä menetelmissä käytetään on suhteellisen pieni. Vielä ei ole selvitetty käyvätkö nämä menetelmät laajan
todellisen näkymän kuvaamiseen, koska menetelmä vaativat kohteesta ennakolta hyvin monta kuvaa ja koska kaikilla kuvilla tulee tuntea kameran kuvauspaikka(viewpoint)
5. Geometrisesti paikkansapitävä pikseleiden uudelleenprojisointi
Tälle luokalle on ominaista, että näissä prosesseissa käytetään pientä määrää kuvia yhdessä geometristen rajoitteiden kanssa kuvan pikseleiden uudelleenprojisoimiseksi haluttuun virtuaaliseen kuvakulmaan. Geometriset rajoitteet voivat olla seuraavat: jokaiselle pikselille tunnettu syvyysarvo(etäisyys), epipolaarirajoitteet kuvaparin tapauksessa tai trilineaariset tensorit, jotka yhdistävät kuvakolmikkoja toisiinsa.
Jos jokaiselle pikselille tunnetaan sen syvyysarvo, pystytään tämän pikselin paikka ennustamaan uudelleenprojisoinnissa. Lisäksi järjestysinformaatio saadaan heti selville, jonka perusteella voidaan ratkaista kohteiden näkyvyys projektiokuvalla. Chen ja Williams ovat työssään käyttäneet etukäteen kerättyjä etäisyystietoja kuvien välisen yhtäläisyyksien selvittämiseksi.
Rademacher ja Bishop ovat tutkineet usean projektiokeskuksen esitystapaa(MCOP). Tämä esitys on luotu liittämällä yhteen jokaisesta kuvasta pystysuoria kaistaleita kameran liikkuessa ennaltamäärättyä liikerataa pitkin. Kuvattava kohteen muoto oletetaan etukäteen tunnetuksi. Uusia näkymiä voidaan luoda yksinkertaisella projektiomenetelmällä, koska jokaisen pikselin syvyys, sekä paikka tunnetaan.
Kahdesta kuvasta luodut välikuvat ovat näiden kuvien tarkka lineaarikombinaatio vain jos kameran liikkeet näissä välikuvissa ovat kohtisuorassa kameran katselusuuntaan. Eräs tapa luoda näitä välikuvia on Seiz:n ja Dyer:n luoma kolmivaiheinen menetelmä.
Tämä menetelmä toimii vain laskettaessa välikuvia kuvakulmasta, joka sijaitsee kannalla (viiva joka yhdistää alku- ja loppukuvan projektio- tai optiset keskukset.)
Kuvien oikaisua varten täytyy laskea 3x3 matriisi, jota kutsutaan fundamental-matriisiksi. Jos piste pi = (u,v,1)T kuvalla 1 ja piste pi’ = (u’,v’,1)T kuvalla 2 vastaavat samaa kuva-avaruuden pistettä niin tälle kuvaparille pätee
(u’,v’,1) F (u,v,1)T = 0
F:ää kutsutaan fundamental matriisiksi. F=[t]xA, jossa A on mielivaltainen 3x3-matriisi, t on kantavekto-reiden komponenteista muodostettu vastasymmetrinen matriisi., joka ilmoittaa kuvien välisen kameran paikan muutoksen. Matriisi F määrittää näiden kahden kuvan
Kuva 5.1 Epipolaarirajoitus kuvaparilla välisen epipolaarigeometrian. /9/
Tämä taas rajoittaa pisteiden vastaavuuden kuvien välillä. (Kuva5.1). F voidaan määrittää pelkästään kahden kuvan yhteisten pisteiden joukosta, tuntematta kameran sisäisiä parametreja (erityisesti poltoväliä, mittakaavaa, koordinaattiakselien välistä kulmaa ja pääpistettä), eli kun kamera on "heikosti" kalibroitu. Jos edellä esitetyt parametrit tunnetaan eli kun kamera on vahvasti kalibroitu, saadaan F:stä erikoistuneempi muoto, jota kutsutaan epipolaari-matriisiksi. Tämä matriisi voidaan jakaa suoraan kameran liikkeen kierto ja siirtokomponentteihin. F-matriisin laskentaan on useita algoritmejä. Esim. kahdeksan pisteen algoritmi .
Laveau ja Faugeras käyttävät viitejoukoksi kutsuttua kuvajoukkoa ja F-matriisia, uusien virtuaalinäkymien luomiseksi. Uusi näkökulma, joka saadaan interaktiivisesti valitsemalla neljän kontrollipisteen paikat, lasketaan käänteislaskennalla tai säteenseurantaprosessilla (ray-tracing). Uuden kohdekuvan jokaisen pisteen määrittämiseksi suoritetaan etsintä vastaavan kohteen löytämiseksi kahdelta lähtökuvalta. Etsintä suoritetaan hyväksikäyttäen epipolaarirajoitusta ja laskettuja eroja lähtökuvien välillä.
5.2 Sylinterimäisten panoraamakuvien interpolointi
Menetelmä jolla laskettiin uusia kuvia yhdensuuntaisista verrokkikuvista voidaan laajentaa sylinterimäisiin panoraamakuviin. Tässä on kuitenkin kaksi eroa. 1) epipolaariviivat ovat sinikäyriä sylinterimäisillä panoraamakuvilla suorien viivojen sijasta ja 2) kameran sisäiset parametrit tunnetaan (muutenhan ei pystyttäisi alun perin muodostamaan sylint.panor.kuvia). Ensimmäinen tekijä lisää laskentaa, kun taas jälkimmäinen kohta helpottaa suhteellisen kamera-asennon määrittämistä ja takaa oikean virtuaalinäkymän, kunhan kuvien vastaavuudet ovat oikein. Pääperiaate interpoloidessa sylinterimäisiä panoraamakuvia on samankaltainen kuin laskettaessa 3D-pisteitä kuvien vastaavuuksista ja projisoidessa niitä uudelle kuvalle. McMillan ja Bishop /10/ keksivät tehokkaan keinon tunnettujen sylinterimäisten panoraamakuvien välisten erojen siirtämiseksi uudeksi virtuaalikuvaksi. Heidän lähestymistapansa käyttää yleistettyä kulmaeroa, joka on samankaltainen perinteisen yhdensuuntaisen stereokuvaparin eroavaisuudelle. He käyttävät myös algoritmia, joka selvittää kohteiden näkyvyyden uudella kuvalla.
Epipolaarimatriisi F määrittää epipolaarirajoitteet kahden kuvan välillä. Kolmen kuvan tapauksessa vastaavuudet rajoittaa kolmiviivat . Nämä rajoitteet voidaan esittää 3x3 matriisilla, jota kutsutaan trilineaariseksi tensoriksi a ijk , missä i,j,k = 1,2,3. Kolmen kuvan väliset pisteiden vastaavuudet saadaan trilineaarisen tensorin avulla seuraavasti.
Kuva 5.3 Trilineaarisen tensorin esitys. P on piste 3-ulotteisessa avaruudessa ja p, p’ ja p’’ ovat P:n projektoidut pisteet eri kuvilla.
missä m , r = 1,2, sj1 ja sj2 kuvaavat kahta toisensa leikkaavaa viivaa kuvalla p’ ja rk1 sekä rk2 kuvaavat kahta toisensa leikkaavaa viivaa kuvalla p’’. kuva 9. On olemassa neljä eri rajoitetta edellä esitettyyn kaavaan.
Jos trilineaarinen tensori tunnetaan kolmen kuvan joukolle, voidaan silloin kun annetaan kahdella kuvalla toisiaan vastaavat pisteet, löytää vastaava piste kolmannelta kuvalta suoraan ilman projektiolaskentaa. Tätä ideaa on käytetty hyväksi laskettaessa uusia kuvia kahdesta tai kolmesta lähtökuvasta.
Menetelmä uusien kuvien laskemiseksi kahdelta tai kolmelta lähtökuvalta on melko yksinkertainen. Ensin lasketaan kuvien toisiaan vastaavista pisteistä ’referenssi’ trilineaarinen tensori. Kahden referenssikuvan tapauksessa jompikumpi kuvista ’monistetaan’ kolmanneksi kuvaksi. Jos kameran sisäiset parametrit tunnetaan, voidaan uusi trilineaarinen tensori laskea tunnetusta kameran liikkeestä suhteessa kolmanteen kameran paikkaan. Uusi näkymä voidaan jälkeenpäin laskea käyttämällä kahden ensimmäisen kuvan vastaavuuksia ja uutta trilineaarista tensoria.
Trilineaarisen tensorin käyttöä fundamental-matriisiin verrattuna puoltaa se, että se on vakaampi. Epipolaarigeometriasta tulee epävakaa tietyissä kamerakokoonpanoissa, kuten esim. silloin kun virtuaalikamera paikka on yhdensuuntainen kahden referenssikuvan kameroiden paikkojen kanssa.
Kuva 5 Esimerkki trilineaarisia tensoreita hyödyntävästä visualisoinnista. Vasemmalla olevat päällekkäiset kuvat ovat referenssikuvia. Muut kuvat ovat näkymiä eri kamerakulmista.
Kuvapohjaisten renderöintimenetelmien kaupalliset sovellukset ovat rajoittuneet pääasiassa mosaiikkikuvien katseluun. Kuvaa pystyy lähinnä katselemaan vain projektiokeskuksesta. Menetelmien käyttökelpoisuuden tehostamiseksi visualisoinnissa tulee kehittää mm. seuraavia asioita: laajojen vierekkäisten alueiden kuvaaminen, muodostetun kuvan alueella liikkumisen visualisointi, sekä kohteiden näkyvyyden selvittäminen uusila kuvilla ilman 3D-etukäteistietoa. Monet nykyisistä kuvapohjaisista renderöintimenetelmistä ovat käyttökelvottomia joko rajoitetun kuvakulman takia tai siksi, että ne vaativat liian suurta laskentatehoa. Nämä menetelmät eivät varmasti tule koskaan kokonaan syrjäyttämään 3D-mallipohjaisia menetelmiä. 3D-mallipohjaisia visualisointimenetelmiä tarvitaan esim. tuotettaessa kuvia kohteista, joita ei todellisuudessa ole olemassa. Tyypillinen tarve tällaiseen visualisointiin on CAD-mallinnus. Tulevaisuudessa ohjelmistoissa todennäköisesti yhdistyvät 3D-mallipohjainen ja kuvapohjaiset visualisointimenetelmät.
7. Viitteet
Alkuperäinen artikkeli: Sing Bing Kang: "A Survey of Image-based Rendering Techniques"