3D模型之立體感知控制研究課件

3D模型之立體感知控制研究

Controllingdepthperceptionforrenderingstereoscopic3Dmodels

中華民國102年7月3日

色彩與照明科技研究所碩士學(xué)位論文

國立臺(tái)灣科技大學(xué)

研究生：胡尚仁

指導(dǎo)教授：林宗翰博士3D模型之立體感知控制研究

Controllingd1研究摘要

1.1研究背景

1.2研究動(dòng)機(jī)與目的現(xiàn)今想使用立體影像的方式去自動(dòng)瀏覽一個(gè)3D模型是不容易的，往往產(chǎn)生出視覺舒適度不甚理想等情況，讓人無法長期凝視。僅有少數(shù)3D軟體可模擬立體影像的拍攝手法。故本研究注重發(fā)展虛擬立體相機(jī)的調(diào)變機(jī)制，以O(shè)penGL實(shí)作立體瀏覽環(huán)境，探討不同的3D虛擬相機(jī)擺設(shè)方式(arrangementofvirtualcameras)、相機(jī)夾角(cameravergence)、視差分佈(parallaxdistribution)等變數(shù)所產(chǎn)生的立體影像，並探討這些參數(shù)與視覺舒適之間的相關(guān)性。依研究中找出舒適的閾值，既可使虛擬立體相機(jī)的調(diào)變機(jī)制有著可參考的限定區(qū)間，更可確保大部份的視差都落在舒適範(fàn)圍內(nèi)，並透過軟體自動(dòng)調(diào)整虛擬相機(jī)，讓使用者瀏覽3D畫面時(shí)，全程皆可融合立體影像，以減少不舒適的問題。研究摘要

1.1研究背景

1.2研究動(dòng)機(jī)與目的22立體技術(shù)與成像原理

2.1立體顯示器立體影像技術(shù)主要分為兩大類：「眼鏡式」與「裸眼式」如圖2-1所示，差別在於眼鏡式的立體影像需借助於注視儀器，而裸眼式則不用藉由注視儀器即可觀看。2立體技術(shù)與成像原理

2.1立體顯示器立體影像技術(shù)主3[快門式]與[偏光]眼鏡是近期較流行的立體技術(shù)。兩種技術(shù)各有優(yōu)缺點(diǎn)，其主要差異如表2-1，經(jīng)由此比較後，本研究中選擇偏光式立體顯示器。[快門式]與[偏光]眼鏡是近期較流行的立體技術(shù)。兩種技術(shù)各有42.2雙眼視差產(chǎn)生的立體視覺2.2雙眼視差產(chǎn)生的立體視覺52.2.1感知深度深度的感知可用來判斷空間中物體的相對(duì)位置，可分為單眼線索(monoculardepthclues)與雙眼線索(binoculardepthcues)以及移動(dòng)深度線索(motionbaseddepthcues)三大類[6]。◎單眼視覺(monocularly)又可分為以下項(xiàng)目：2.2.1感知深度深度的感知可用來判斷空間中物體的相對(duì)6◎移動(dòng)深度線索(motionbaseddepthcues)是指當(dāng)發(fā)生相對(duì)運(yùn)動(dòng)時(shí)，近的物體會(huì)移動(dòng)較快，遠(yuǎn)的物體會(huì)移動(dòng)較慢，而基於大腦處理視覺刺激，並將刺激產(chǎn)生深度相關(guān)線索。

◎雙眼線索(binoculardepthcues)是利用人的雙眼產(chǎn)生的兩種不同視角，並使景物在雙眼中產(chǎn)生的差距，又稱之視網(wǎng)膜差距(retinaldispaties)或雙眼視差。而雙眼線索可由單眼深度配合移動(dòng)深度線索產(chǎn)生而來的，故此深度線索會(huì)更為準(zhǔn)確?！蛞苿?dòng)深度線索(motionbaseddepthcue72.2.2成像原理當(dāng)人眼觀看景物時(shí)，通常凝視點(diǎn)與收斂距離相同，如圖2-6中間影像所示，然而現(xiàn)今的帄面立體顯示技術(shù)尚未能將凝視點(diǎn)與收斂點(diǎn)完全限定至相同距離，故會(huì)造成圖2-6最左與最右圖的情況，而不同視差所產(chǎn)生的立體影像，依圖2-6左至右分別為負(fù)視差、零視差、正視差的立體影像。此現(xiàn)象可在腦中融合出立體深度感，但伴隨而來的則是視覺系統(tǒng)錯(cuò)誤認(rèn)知。換句話說立體影像與螢?zāi)簧献笥矣跋裾诓粩嗟貋砘卣{(diào)節(jié)眼球中的水晶體，使得螢?zāi)挥跋瘢芡耆淮竽X給接受。故此種立體效果是有可能造成視覺疲勞的潛在因素[7]。2.2.2成像原理當(dāng)人眼觀看景物時(shí)，通常凝視點(diǎn)與收斂距離相83D模型之立體感知控制研究課件92.3視角的量化計(jì)算而最常被引用的深度線索為雙眼視差(binocularparallax)，如圖2-7所示，定義視差為觀看立體物件時(shí)，視線方向夾角α與一般觀看螢?zāi)粻顟B(tài)下夾角β的差值[8]。舒適評(píng)估大多文獻(xiàn)研究是藉由視差角的大小做為評(píng)判依據(jù)[9]。一般而言，畫面中各區(qū)塊所產(chǎn)生的立體視差很可能不相同。故研究中無法猜測使用者會(huì)觀看畫面中的那個(gè)區(qū)塊，因此採用螢?zāi)恢虚g視點(diǎn)的視差分佈來分析影像。2.3視角的量化計(jì)算而最常被引用的深度線索為雙眼視差(bi10模型投影至螢?zāi)恢?，算出?duì)於投影後的視差面積分佈圖。模型投影至螢?zāi)恢?，算出?duì)於投影後的視差面積分佈圖。113文獻(xiàn)探討

3.1立體影像融合範(fàn)圍西元2011年Tam等學(xué)者指出，雙眼觀看物件時(shí)，雙眼會(huì)因同視點(diǎn)理論(horopter)而形成一種凝視點(diǎn)軌跡如圖3-1所示，人眼觀看同視點(diǎn)時(shí)則會(huì)將同視點(diǎn)前後的景物也映入在人眼視網(wǎng)膜上。換句話說雙眼觀看同視點(diǎn)，則影像沒有視差影響，而觀看融合區(qū)間中(fusionallimits)的影像，會(huì)有視差以及可在大腦融合並產(chǎn)生立體感，但觀看融合區(qū)間外的影像卻產(chǎn)生無法融合，以及雙眼競爭等情況[11]。3文獻(xiàn)探討

3.1立體影像融合範(fàn)圍西元2011年Tam123.2視覺疲勞視覺疲勞影響因素有四種分別為，(1)左右影像的幾何變形，(2)左右影像不同步，(3)凝視點(diǎn)與收斂點(diǎn)相互衝突，(4)過大的視差。故影像錯(cuò)誤率應(yīng)低於人類視覺系統(tǒng)的容忍閾值。西元2006年Wang等學(xué)者根據(jù)研究指出，當(dāng)人眼觀看立體影像時(shí)會(huì)產(chǎn)生凝視點(diǎn)(accommodation)與視線交會(huì)位置(convergence)不匹配時(shí)，則較會(huì)產(chǎn)生凝視點(diǎn)與影像預(yù)估呈現(xiàn)點(diǎn)不一致的現(xiàn)象如圖3-4。換句話說觀看3D立體影像時(shí)，可能因人眼凝視點(diǎn)與視線交會(huì)位置不同，造成影像不真實(shí)以及視覺疲勞[20]。因人眼的景深(depthoffield)有一定的限制。故凝視點(diǎn)前後超出景深的物體在大腦的成像看起來是模糊的，有可能造成視覺疲勞。觀看2D合成3D的內(nèi)容時(shí)，將與真實(shí)3D場景有所不同，主要原因乃是凝視點(diǎn)落在螢?zāi)簧?，而眼球交?huì)位置落於螢?zāi)会岱?，因此凝視點(diǎn)位於螢?zāi)簧希麖埩Ⅲw影像清晰且無模糊情況，與真實(shí)3D有衝突[21]。3.2視覺疲勞視覺疲勞影響因素有四種分別為，(1)左右影像133.3立體影像感知能力西元2002年Nojiri等學(xué)者根據(jù)研究指出，若將螢?zāi)环譃榫艆^(qū)塊，則立體影像的繪製編排，建議應(yīng)採上半部三區(qū)塊為凹入螢?zāi)?正視差)，下半部三區(qū)塊為擊出螢?zāi)?負(fù)視差)的畫面。Factor(comfort)=0.36xpp+1.0xsp-0.9pd+c3.3立體影像感知能力西元2002年Nojiri143.4像差與視差西元2010年Lang等學(xué)者發(fā)表了非線性視差映射技術(shù)(non-lineardisparityremapping)，其技術(shù)可將3D效果不良的影片重新分配原有的像差，使得3D效果可以限定在特定範(fàn)圍內(nèi)，讓人在觀看立體影片的舒適度增高。西元2002年Kawahara等學(xué)者根據(jù)統(tǒng)計(jì)研究發(fā)現(xiàn)，觀看3D投影式的立體影像，其立體影像的視差分佈與視覺舒適度有很高的相關(guān)性，換句話說視差越大，舒適程度越低。而場景立體存在感與視差分佈並沒有很高的相關(guān)性[24]，故此分析對(duì)將會(huì)引用至本實(shí)驗(yàn)假設(shè)的視差分布與舒適度影響。3.4像差與視差西元2010年Lang等學(xué)者發(fā)表了154實(shí)驗(yàn)設(shè)計(jì)與研究方法實(shí)驗(yàn)設(shè)計(jì)主要分為四大部分，分別為實(shí)驗(yàn)對(duì)象、實(shí)驗(yàn)工具、實(shí)驗(yàn)設(shè)計(jì)，以及統(tǒng)計(jì)的方法。4實(shí)驗(yàn)設(shè)計(jì)與研究方法實(shí)驗(yàn)設(shè)計(jì)主要分為四大部分，分別為實(shí)驗(yàn)對(duì)164.1視差分佈分析處理視差是分析立體影像舒適度的重要指標(biāo)本研究採用人臉的立體模型來評(píng)估此項(xiàng)假設(shè)，以人臉的立體模型來做主要因素是遮蔽面的演算不高，藉由左右相機(jī)拍攝一張人臉模型，並依照深度圖轉(zhuǎn)視差圖的方式完成此項(xiàng)評(píng)估。4.1視差分佈分析處理視差是分析立體影像舒適度的重要指標(biāo)本174.2前置測試實(shí)驗(yàn)測試流程主要由使用者先觀看近乎零視差的立體模型，之後隨意更改模型位置調(diào)整至舒適臨界值，最後填寫當(dāng)前影像之問卷。受測者調(diào)整的影像可能會(huì)產(chǎn)生兩種臨界值如圖4-5正視差與負(fù)視差，分別為影像靠近與影像遠(yuǎn)離的兩種影像?；渡鲜鎏岢龅慕缍ǚ椒?，並由12位平均年齡22歲，立體視覺正常的受測者測試舒適區(qū)間的界定。實(shí)驗(yàn)在暗室中進(jìn)行，觀測距離約100公分，並以五尺度量表評(píng)估舒適度的範(fàn)圍。4.2前置測試實(shí)驗(yàn)測試流程主要由使用者先觀看近乎零視差的立18從實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)在此款螢?zāi)幌?.92至1.15、-0.79至-0.98的視差是可融合但卻不舒適。從實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)在此款螢?zāi)幌?.92至1.15、-0.7194.3程式編寫架構(gòu)採用C/C++程式語言，結(jié)合OpenGL繪圖函數(shù)庫，並應(yīng)用於顯示卡抓取深度圖的加速機(jī)制，開發(fā)一套可以瀏覽3D模型物件的立體呈現(xiàn)軟體。4.3程式編寫架構(gòu)20最後依照立體相機(jī)的初始位置設(shè)定光源，也就是虛擬光源伴隨著相機(jī)移動(dòng)而變動(dòng)光源位置。最後依照立體相機(jī)的初始位置設(shè)定光源，也就是虛擬光源伴隨著相機(jī)214.4實(shí)驗(yàn)對(duì)象受測對(duì)象平均年齡居於24歲左右，受測者雙眼瞳孔間距平均約6.3公分，觀賞立體螢?zāi)痪嚯x約三倍螢?zāi)桓叨?，受測人數(shù)15人。4.4實(shí)驗(yàn)對(duì)象受測對(duì)象平均年齡居於24歲左右，受測者224.5實(shí)驗(yàn)工具

立體視覺測試工具:藉由此工具來檢測受測者是否有立體盲。

疲勞程度測試工具閃光融合儀:疲勞程度是一種人體感知系統(tǒng)，較不能藉由量化的方式呈現(xiàn)，故研究中測試人眼觀看閃爍頻率的快慢。而當(dāng)眼睛疲勞狀態(tài)下通常只能分辨比較低頻的閃爍。4.5實(shí)驗(yàn)工具

立體視覺測試工具:藉由此工具來檢測受測者234.5.3立體影像觀賞及操作介面

藉由3D滑鼠的開發(fā)將立體模型以最直覺的方式移動(dòng)及旋轉(zhuǎn)，而變動(dòng)後的的立體影像未盡理想，將採用視差直方統(tǒng)計(jì)圖完成每個(gè)影像的舒適區(qū)域調(diào)整。4.5.3立體影像觀賞及操作介面

藉由3D滑鼠的開發(fā)將244.6實(shí)驗(yàn)設(shè)計(jì)

4.6-1實(shí)驗(yàn)一『融合範(fàn)圍分析』視差分佈圖中可提出兩變動(dòng)因子分別為視差範(fàn)圍以及視差平均值。視差平均值與視差範(fàn)圍皆有五階層變化，故此實(shí)驗(yàn)將依照此兩變因產(chǎn)生二十五張立體測試影像。4.6實(shí)驗(yàn)設(shè)計(jì)

4.6-1實(shí)驗(yàn)一『融合範(fàn)圍分析』視差分佈圖25受測者:本實(shí)驗(yàn)受測者共有15名，年齡分布介於23歲至25歲，其中男女比例為10位男性與5位女性。所有受測者皆通過立視覺的測試以及視力正常測試(>1.0)。受測者:本實(shí)驗(yàn)受測者共有15名，年齡分布介於23歲26當(dāng)受測者在3D模式下觀看影像，主觀評(píng)價(jià)項(xiàng)目分為「立體感」、「融合程度」立體感(depthofsense)：測試立體影像與參考立體影像(如圖4-21所示，由左至右分別為固定評(píng)價(jià)2、4、6分的參考值)之立體感知對(duì)比程度，若立體感知程度較參考影像高，則評(píng)分越高。融合程度(fusion)：觀看整體立體影像時(shí)，其影像每個(gè)細(xì)節(jié)的融合程度，若融合程度越高則分?jǐn)?shù)越高。當(dāng)受測者在3D模式下觀看影像，主觀評(píng)價(jià)項(xiàng)目分為「立體感」274.6.2實(shí)驗(yàn)二「智慧調(diào)變機(jī)制實(shí)驗(yàn)」設(shè)計(jì)承接實(shí)驗(yàn)一的內(nèi)容進(jìn)行舒適閾值的限定如圖4-23，由最初始的人因觀看條件設(shè)定(viewingcondition)，依人因條件優(yōu)化立體虛擬相機(jī)測試模型:4.6.2實(shí)驗(yàn)二「智慧調(diào)變機(jī)制實(shí)驗(yàn)」設(shè)計(jì)承接實(shí)驗(yàn)一的內(nèi)容284.7統(tǒng)計(jì)方法實(shí)驗(yàn)一「融合範(fàn)圍分析」為雙因子變異數(shù)分析法，其變數(shù)為均值視差與視差範(fàn)圍，實(shí)驗(yàn)二「智慧調(diào)變機(jī)制實(shí)驗(yàn)」單因子變異數(shù)分析法，其變數(shù)為調(diào)變前後的舒適影響單因子變異數(shù)分析法4.7統(tǒng)計(jì)方法實(shí)驗(yàn)一「融合範(fàn)圍分析」為雙因子變異數(shù)分析法，295實(shí)驗(yàn)結(jié)果分析與討論其問卷題目如下七點(diǎn)：

1.看螢?zāi)粌?nèi)容有困難2.眼睛周圍有眼花撩亂的感覺3.感到眼睛疲勞4.感到視線模糊5.感到頭痛6.注視螢?zāi)粫r(shí)感到暈眩7.有想嘔吐的感覺5實(shí)驗(yàn)結(jié)果分析與討論其問卷題目如下七點(diǎn)：303D模型之立體感知控制研究課件316結(jié)論與建議6.1結(jié)論本論文提出一套可依使用者任意調(diào)變方位的立體影像觀賞軟體，該軟體具有智慧立體調(diào)變