數(shù)字視頻處理-三維視頻處理

7.1立體感覺(jué)大量的立體視覺(jué)實(shí)驗(yàn)表明，人在觀看空間物體時(shí)不論單眼或雙眼都可以產(chǎn)生立體視覺(jué)，只是用單眼觀看的辨別精度比用雙眼時(shí)差，主體感較弱。因此，立體視覺(jué)有兩大類即:單眼立體信息和雙眼立體信息。第1頁(yè)/共54頁(yè)7.1.1單眼立體信息1)調(diào)節(jié)2)單眼運(yùn)動(dòng)視差3)視網(wǎng)膜像的相對(duì)大小4)線性透視5)視野6)光和陰影7)空氣透視8)重疊第2頁(yè)/共54頁(yè)7.1.2雙眼立體信息用雙眼觀看空間景物時(shí)，形成立體視覺(jué)的因素稱為雙眼立體信息。雙眼立體信息是人眼立體視覺(jué)的重要因素，包括雙眼視差和輻輳。第3頁(yè)/共54頁(yè)1．雙眼視差人眼在觀看三維空間物體的時(shí)候，會(huì)產(chǎn)生立體感，也就是說(shuō)人們不僅能夠感覺(jué)到空間物體之間的距離，也能夠感覺(jué)到空間物體與自己之間的距離。此外，即使是左、右兩眼都能看到的前平面和上平面，在左、右眼視網(wǎng)膜上所成的像也稍有差異。

第4頁(yè)/共54頁(yè)圖7-1雙目視差形成立體感覺(jué)

第5頁(yè)/共54頁(yè)2．輻輳人用雙眼觀看物體時(shí)，如果物體所成的像不是落在左、右兩眼視網(wǎng)膜的對(duì)應(yīng)點(diǎn)上，那么所看到的是二重像（也稱復(fù)像）。使這種二重像成為單像，在生理光學(xué)中稱為融合。融合時(shí)，眼球必須作旋轉(zhuǎn)運(yùn)動(dòng)。眼球的這種旋轉(zhuǎn)運(yùn)動(dòng)被稱為輻輳。

第6頁(yè)/共54頁(yè)圖7-2雙眼輻輳的產(chǎn)生

第7頁(yè)/共54頁(yè)圖7-3深度靈敏度與視距關(guān)系

第8頁(yè)/共54頁(yè)對(duì)三維視頻編碼而言，深度感覺(jué)是一個(gè)非常重要的信息，人類視覺(jué)系統(tǒng)的深度感覺(jué)特性是設(shè)計(jì)三維視頻采集和顯示系統(tǒng)的依據(jù)。

第9頁(yè)/共54頁(yè)7.2立體成像原理

上一節(jié)討論了視差的定義和人類視覺(jué)系統(tǒng)對(duì)三維視頻圖像的一些感覺(jué)特性，本節(jié)討論視差和深度的關(guān)系，這是三維視頻編碼的理論基礎(chǔ)之一。第10頁(yè)/共54頁(yè)7.2.1平行攝像機(jī)配置(a)三維視圖(b)X-Z截面視圖

圖7-4平行攝像機(jī)配置

第11頁(yè)/共54頁(yè)

圖7-5平行配置時(shí)攝像機(jī)空間坐標(biāo)與成像平面坐標(biāo)關(guān)系

第12頁(yè)/共54頁(yè)視差矢量為在世界坐標(biāo)系內(nèi)坐標(biāo)為

第13頁(yè)/共54頁(yè)7.2.2會(huì)聚攝像機(jī)配置(a)三維視圖(b)X-Z截面視圖

圖7-6會(huì)聚攝像機(jī)配置

第14頁(yè)/共54頁(yè)CI、Cr、CW的坐標(biāo)滿足第15頁(yè)/共54頁(yè)第16頁(yè)/共54頁(yè)7.3視差估計(jì)所謂視差估計(jì)，就是對(duì)右圖中的每個(gè)像素，找到左圖中與它“同源”的像素（以左圖預(yù)測(cè)右圖）。

第17頁(yè)/共54頁(yè)7.3.1視差場(chǎng)的規(guī)律1．偏振約束2．空間相關(guān)性3．時(shí)間相關(guān)性4．水平方向性約束第18頁(yè)/共54頁(yè)7.3.2視差估計(jì)的方法用于視差估計(jì)主要有基于塊的方法和基于網(wǎng)格的方法，二者既可以應(yīng)用于基于變換的三維視頻編碼，加以處理后也可以應(yīng)用于基于對(duì)象的三維視頻編碼。

第19頁(yè)/共54頁(yè)1.基于塊的視差估計(jì)基于塊的視差估計(jì)首先把右圖劃分為適當(dāng)大小的塊，然后根據(jù)某種誤差準(zhǔn)則，在左圖的搜索范圍內(nèi)為右圖的每一個(gè)塊尋找最優(yōu)匹配的塊，得到塊的視差矢量。

第20頁(yè)/共54頁(yè)誤差準(zhǔn)則均方誤差準(zhǔn)則

MSE=[xl(i,j)-xr(i,j)]2修改空間局部平滑特性：同一物體，其各個(gè)部分的視差應(yīng)當(dāng)是接近的

SMSE=

[xl(i,j)-xr(i,j)]2+aη|d-dη

|2

η為當(dāng)前塊的一次因果鄰域，共包含3塊

aη為加權(quán)系數(shù)，d，dη

分別為當(dāng)前塊和鄰域塊的視差矢量∑∑∑∑∑第21頁(yè)/共54頁(yè)圖7-9一次因果鄰域塊第22頁(yè)/共54頁(yè)塊大小的確定固定塊的視察估計(jì)算法(FSBM):塊大小為8×8或16×16比較好可變塊尺寸匹配算法(VSBM):平坦區(qū)以大的塊為單位進(jìn)行視差估計(jì)，在非平坦區(qū)以小的塊進(jìn)行視差估計(jì)分級(jí)塊匹配算法(HBM):首先用大的塊對(duì)整幅圖像進(jìn)行視差估計(jì)，然后檢查每個(gè)塊，將其歸入估計(jì)成功和估計(jì)不成功兩類；估計(jì)不成功的塊則減小塊的大小，再一次進(jìn)行視差估計(jì)，直到所有塊均估計(jì)成功或者已經(jīng)到達(dá)設(shè)定的最小塊尺寸為止。第23頁(yè)/共54頁(yè)混合塊匹配算法VSBM匹配效果好，但是計(jì)算復(fù)雜度較大，而且也不能保證各個(gè)大小不定的塊可以不重合的覆蓋整個(gè)圖像?；旌蠅K匹配算法結(jié)合固定尺寸和自適應(yīng)尺寸算法各自的優(yōu)點(diǎn)。步驟：（1）將圖像劃分為16×16的宏塊，對(duì)每個(gè)宏塊計(jì)算其最佳的視差矢量，作為塊中每一個(gè)像素的視差矢量。（2）對(duì)每一個(gè)宏塊，根據(jù)e=[fr(x,y)-fl(d,y)]

計(jì)算其視差補(bǔ)償預(yù)測(cè)圖像的誤差e，式中d是該宏塊的視差矢量?！频?4頁(yè)/共54頁(yè)（3）取所有宏塊平均誤差的一半作為閾值T，根據(jù)0,e≤T1,e＞T為每一個(gè)宏塊做標(biāo)記sign。（4）對(duì)上述標(biāo)記為1的所有宏塊，以其近似中心點(diǎn)（16×16宏塊無(wú)中心點(diǎn)）建立一個(gè)3×3的基本窗口，按照窗口自適應(yīng)擴(kuò)張策略，以該窗口所在宏塊為邊界，擴(kuò)張得到最后的矩形窗口。（5）對(duì)上述得到的矩形窗口重新進(jìn)行匹配，得到的視差矢量作為該窗口中所有像素的視差矢量。處于當(dāng)前宏塊而不在矩形窗口內(nèi)的像素，仍然使用步驟（1）中的視差矢量。（6）對(duì)矩形窗口的形狀大小和視差矢量、其他像素的視差矢量等進(jìn)行編碼，獲得碼流。（7）重復(fù)步驟（4）~（6），直到所有宏塊處理完畢。

sign=第25頁(yè)/共54頁(yè)2.基于網(wǎng)格的視差估計(jì)基于網(wǎng)格的視差估計(jì)首先給出網(wǎng)格節(jié)點(diǎn)（亦稱特征點(diǎn)）的視差矢量，然后通過(guò)插值的方法獲得其他像素點(diǎn)的視差矢量。網(wǎng)格的自適應(yīng)確定和搜尋網(wǎng)格匹配節(jié)點(diǎn)是基于網(wǎng)格的視差估計(jì)的關(guān)鍵。第26頁(yè)/共54頁(yè)網(wǎng)格的確定Delaunay三角形網(wǎng)格（DT）

對(duì)于一個(gè)二維平面上給定的數(shù)據(jù)點(diǎn)集{P1，P2，…,Pn}

（1）對(duì)每一個(gè)點(diǎn)Pi定義區(qū)域Vi，使該區(qū)域內(nèi)所有點(diǎn)與Pi的距離都小于與其他數(shù)據(jù)點(diǎn)集內(nèi)的距離，即

d(Pi,p)=min{d(Pj,p)},j=1,2,…n,p∈Vi

顯然，所有區(qū)域恰好不重合地覆蓋了整個(gè)二維平面。（2）把所有存在共同邊界線段的數(shù)據(jù)點(diǎn)連接起來(lái)得到DT網(wǎng)格，即若Vi與Vj存在公共邊界，連接Pi與Pj第27頁(yè)/共54頁(yè)圖7-11采用DT網(wǎng)格分割圖像

第28頁(yè)/共54頁(yè)7.3.3視差估計(jì)的快速算法利用視差矢量時(shí)空相關(guān)性的快速估計(jì)算法利用視差矢量、運(yùn)動(dòng)矢量相關(guān)性的快速估計(jì)算法第29頁(yè)/共54頁(yè)圖7-13基于視差矢量空間相關(guān)性快速算法實(shí)驗(yàn)結(jié)果（①為全搜索法結(jié)果，②為快速算法結(jié)果）

第30頁(yè)/共54頁(yè)圖7-14視差矢量與運(yùn)動(dòng)矢量相關(guān)性

第31頁(yè)/共54頁(yè)7.3.4視差估計(jì)殘差圖像的編碼1.基于小波變換的立體殘差圖像編碼

2.基于DCT的立體殘差圖像編碼

第32頁(yè)/共54頁(yè)圖7-15基于小波變換的殘差圖像編碼

第33頁(yè)/共54頁(yè)圖7-16立體殘差圖像自適應(yīng)DCT變換算法框圖

第34頁(yè)/共54頁(yè)圖7-17垂直掃描順序

第35頁(yè)/共54頁(yè)7.4三維變換編碼三維變換編碼對(duì)左通道圖像（左視圖）采用結(jié)合運(yùn)動(dòng)估計(jì)的變換編碼，把每幀圖像劃分為宏塊，每個(gè)宏塊一個(gè)運(yùn)動(dòng)矢量，可以把圖像作為I、P、B三種類型進(jìn)行編碼。

第36頁(yè)/共54頁(yè)圖7-18基于變換的三維視頻編碼器

第37頁(yè)/共54頁(yè)

圖7-19MPEG-2立體視頻編碼圖像結(jié)構(gòu)

第38頁(yè)/共54頁(yè)圖7-20多模式選擇立體視頻編碼算法

第39頁(yè)/共54頁(yè)7.5基于對(duì)象的三維編碼

與二維編碼相似，基于對(duì)象的三維視頻編碼比基于像素的編碼更有潛力，能獲得更高的編碼效率。基于對(duì)象的三維視頻編碼的基本原理如圖7-21所示.

第40頁(yè)/共54頁(yè)圖7-18基于對(duì)象的三維視頻編碼結(jié)構(gòu)

第41頁(yè)/共54頁(yè)7.6基于模型的三維編碼基于模型的三維編碼與基于知識(shí)的編碼非常類似，適用于場(chǎng)景中的大部分可能對(duì)象均已知的情況。由此可對(duì)每個(gè)可能的對(duì)象建立各自的模型，編碼器不斷的檢測(cè)場(chǎng)景，當(dāng)發(fā)現(xiàn)已有獨(dú)立模型的對(duì)象時(shí)，就對(duì)它應(yīng)用其獨(dú)立模型進(jìn)行處理。

第42頁(yè)/共54頁(yè)7.7立體視頻顯示技術(shù)7.7.1．

借助輔助工具的立體顯示技術(shù)借助輔助工具的立體顯示技術(shù)主要有分色式立體顯示技術(shù)、偏光式立體顯示技術(shù)和快門式立體顯示技術(shù)。第43頁(yè)/共54頁(yè)

圖7-22分色式立體電視系統(tǒng)的組成

第44頁(yè)/共54頁(yè)

圖7-23偏振式立體電視系統(tǒng)的組成

第45頁(yè)/共54頁(yè)圖7-24快門式立體電視系統(tǒng)的組成

第46頁(yè)/共54頁(yè)7.7.2自由立體顯示技術(shù)自由立體顯示技術(shù)主要有視差柵格技術(shù)、柱面透鏡技術(shù)、數(shù)字微鏡反射技術(shù)、分像素衍射技術(shù)、像素針孔陣列技術(shù)等.第47頁(yè)/共54頁(yè)

圖7-25視差柵格立體顯示原理

第48頁(yè)/共54頁(yè)

圖7-26自動(dòng)跟蹤觀眾位置的視差柵格立體顯示系統(tǒng)

第49頁(yè)/共54頁(yè)圖7-27柱面透鏡技術(shù)原理

第50頁(yè)/共54頁(yè)7.7.3真實(shí)