3D相機圖像處理及顯示技術(shù)研究報告

1、- 3D相機圖像處理與顯示技術(shù)研究專業(yè)名稱： 指導(dǎo)教師：. z-摘要近年來，隨著三維顯示技術(shù)的進步，特別是3D電視、3D游戲和3D電影等一系列產(chǎn)品的投入，電子市場已經(jīng)掀起了一場關(guān)于三維成像與顯示的熱潮。群眾娛樂生活已邁進一個全新的紀元，人們已經(jīng)不再滿足于拍攝二維圖像的普通數(shù)碼相機，因而能實時拍攝和顯示三維圖像的3D相機、全景相機等受到了人們的大力追捧。 本論文研究3D相機圖像處理與顯示技術(shù)，主要涉及兩個方面：一是基于雙像合成的圖像匹配技術(shù)，二是基于柱透鏡的裸眼3D顯示技術(shù)。論文首先介紹了3D相機的工作原理、構(gòu)造和工作流程，并對幾個重要部件進展了簡要介紹。然后重點分析和研究了圖像匹配技術(shù)和自由立

2、體顯示技術(shù)，給出基于灰度變換的彩色圖像區(qū)域匹配技術(shù)，并做了詳細分析。對柱透鏡光柵立體顯示技術(shù)的單元光路光學(xué)參數(shù)和光柵參數(shù)做了詳細分析，并給出一套用于5.0英寸液晶顯示屏的柱鏡光柵構(gòu)造及參數(shù)。最后，討論了研究過程中可能出現(xiàn)的理論缺陷及相應(yīng)的解決方案。 關(guān)鍵詞：3D相機 圖像匹配技術(shù) 柱透鏡 裸眼3D. z-Abstract In recent years, with the progress of three-dimensional display technology, especially, the 3D TV, 3D games, 3D movies and a series of pro

3、ducts inputs, a new upsurge of three-dimensional imaging and display in the electronic market is ing. Mass entertainment has entered a new era. People satisfy with two-dimensional image of the ordinary digital camera no longer, which can real-time shooting and displaying three-dimensional images of

4、the 3D camera, panoramic camera are vigorously sought after by the people. Image processing and display technology of 3D camera are researched in the thesis. It mainly involves two aspects of the image matching technique based on the synthesis of double image, and based on the cylindrical lens glass

5、es-free 3D display technology. Firstly, the 3D camera operating principle, structure, workflow, and several important parts are introduced. Then, the image matching technology and stereoscopic display technology are researched, and the area matching technology of color image which based on gray-scal

6、e transformation is given, and analyzed in detail. The optical parameters of cylindrical lens unit are analyzed in detail, and the parameters of grating structure for a 5.0-inch LCD display are given. Finally, theoretical defects during the research process are discussed and the solutions are given.

7、Keywords: 3D camera, image matching technology, column lens, glasses-free 3D. z-目錄摘要IAbstractII目錄III前 言11 3D相機的構(gòu)造與工作流程71.1 3D相機的構(gòu)造原理71.1.1 圖像傳感器81.1.2 A/D轉(zhuǎn)換器91.1.3 數(shù)字信號處理器101.1.4 圖像數(shù)據(jù)壓縮器111.2 3D相機的工作流程112 圖像匹配處理技術(shù)142.1 基于區(qū)域灰度的彩色圖像匹配算法142.2 基于灰度變換的匹配152.2.1 灰度變換152.2.2 基于灰度變換的SAD匹配算法代價函數(shù)162.3 灰度變換的彩色

8、圖像匹配172.3.1 三基色原理172.3.2 基于灰度變換的彩色圖像匹配算法182.4 選擇匹配窗口192.5 約束條件193 3D顯示技術(shù)213.1 3D顯示技術(shù)簡介213.2 基于柱鏡光柵的LCD顯示設(shè)備223.2.1柱鏡光柵的光學(xué)原理223.2.2單元光路與視點排列順序分析243.3 柱透鏡光柵的參數(shù)設(shè)計253.4 問題與解決方案274 總結(jié)32致 34參考文獻35. z-前 言 隨著數(shù)碼時代的到來，照相技術(shù)的開展極為迅速。數(shù)碼化帶動了相機價格的逐步降低，也推動了照相技術(shù)的開展和照相機的普及。而隨著顯示技術(shù)的不斷成熟，以3D(英文：Three Dimension，中文：三維)電影為代

9、表所引發(fā)了一輪新的立體顯示熱潮。人們在感受了立體顯示所帶來的視覺沖擊后，已經(jīng)不再滿足于拍攝二維圖像的相機了。人們越來越渴求能實時拍攝并顯示三維圖像的相機。普通相機的開展1 照相起源于針孔成像，早在公元前四百多年，我國的?墨經(jīng)?一書就詳細記載了光的直線前進、光的反射，以及平面鏡、凹面鏡、凸面鏡的成像現(xiàn)象。到了宋代，在括所著的?夢溪筆談?一書中，還詳細表達了“小孔成像匣的原理。在16世紀文藝復(fù)興時期，歐洲出現(xiàn)了供繪畫用的“成像暗箱。下面我們把相機的開展按照時間劃分為以下四個階段：第一階段：從1839年至1924年為照相機開展的第一階段。1839年8月19日法國畫家達蓋爾公布了他創(chuàng)造的達蓋爾銀版攝影

10、術(shù)，于是世界上誕生了第一臺可攜式木箱照相機。圖1 世界上第一臺135照相機 1841年光學(xué)家沃哥蘭德創(chuàng)造了第一臺全金屬機身的照相機。該相機安裝了世界上第一只由數(shù)學(xué)計算設(shè)計出的、最大孔徑為1:3.4的攝影鏡頭。1845年德國人·馬騰斯創(chuàng)造了世界上第一臺可搖攝150°的轉(zhuǎn)機。1849年戴維·布魯司特創(chuàng)造了立體照相機和雙鏡頭的立體觀片鏡。1861年物理學(xué)家馬克斯威創(chuàng)造了世界上第一彩色照片。1866年德國化學(xué)家肖特與光學(xué)家阿具在蔡司公司創(chuàng)造了鋇冕光學(xué)玻璃，產(chǎn)生了正光攝影鏡頭，使攝影鏡頭的設(shè)計制造得到迅速開展。1888年美國柯達公司生產(chǎn)出了新型感光材料柔軟、可卷繞的“膠卷。

11、這是感光材料的一個飛躍。同年，柯達公司創(chuàng)造了世界上第一臺安裝膠卷的可攜式方箱照相機。1913年德國人奧斯卡·巴納克研制出了世界上第一臺135照相機圖1。 第二階段：從1925年至1938年為照相機開展的第二階段。這段時間，德國的萊茲、羅萊、蔡司等公司研制生產(chǎn)出了小體積、鋁合金機身等雙鏡頭及單鏡頭反光相機。在此階段，照相機的性能逐步提高和完善，光學(xué)式取景器、測距器、自拍機等被廣泛采用，機械快門的調(diào)節(jié)圍不斷擴大。照相機制造業(yè)開場大批量生產(chǎn)照相機，各國照相機制造廠紛紛仿制萊卡型和羅萊弗萊型照相機。黑白感光膠片的感光度、分辨率和寬容度不斷提高；彩色感光片開場推廣，從而使攝影隊伍迅速擴大并走向

12、專業(yè)化。第三階段：從1939年到1981年為照相機開展的第三階段。此階段的前半期即上世紀六十年代之前，黑白、彩色膠片的質(zhì)量有了進一步的提高，光學(xué)工業(yè)制成了含有稀有元素的新型光學(xué)玻璃，如鑭、鈦、鎘等玻璃。從而更好地校正了攝影鏡頭的相差，使鏡頭向大孔徑和多種焦距的方向迅速開展。因而，出現(xiàn)了變焦、微距、折反射式、廣角等多種攝影鏡頭。鏡頭單層鍍膜得到普遍推廣。照相機出現(xiàn)了計數(shù)器自動復(fù)零、反光鏡自動復(fù)位、半自動和全自動收縮光圈等構(gòu)造。照相機的質(zhì)量、產(chǎn)量開場飛速開展。圖2 佳能RC-701 從上世紀六十年代初至九十年代初為第三階段的后期。這期間，日本的小西六攝影公司生產(chǎn)出第一臺自動調(diào)焦照相機柯尼卡C35A

13、型135照相機。接著日本又生產(chǎn)出世界上第一臺雙優(yōu)選式自動曝光照相機美能達DG型135單鏡頭反光相機，開創(chuàng)了一臺相機具有多種曝光功能的先例。這期間，光學(xué)傳遞函數(shù)理論進入了光學(xué)設(shè)計領(lǐng)域，出現(xiàn)了成像質(zhì)量高，色彩復(fù)原好，大孔徑，低畸變的攝影鏡頭。同時，鏡頭向系列化開展，由焦距幾毫米的魚眼鏡頭到焦距長達2米的超攝遠鏡頭，并有了透視調(diào)整、變焦微距、夜視等攝影鏡頭。電子技術(shù)逐漸深入到照相機部，多種測光、高精度的電子鏡間快門、電子焦平面快門以及易于控制的電子自拍機等紛紛出現(xiàn)。曝光補償、存儲記憶、多記錄功能、電子上弦卷片、自動調(diào)焦等各種功能得到愈益精巧的應(yīng)用，高度自動化、小型、輕便等方面到達了前所未有的高度。第

14、四階段：從1981年至今為照相機開展的第四階段。1981年索尼公司創(chuàng)造了世界第一架不用感光膠片的電子靜物照相機靜態(tài)視頻馬維卡照相機。這是當今數(shù)碼照相機的雛形。圖4 DSC-R1 1988年富士與東芝在德國科隆博覽會上，展出了共同開發(fā)的，使用閃存卡的富士克斯數(shù)字靜物相機DS1P。在這前后，富士、東芝、奧林巴斯、柯尼卡、佳能等相繼發(fā)表了數(shù)字相機的試制品：如佳能RC-701(圖2)、卡西歐VS-101、富士DS-1P、東芝MC2000等。這些產(chǎn)品的推出大大刺激了群眾的好奇心，不需要感光膠片，相機同樣可以紀錄影像成為當時最熱門的話題之一。 圖3富士M*-2700 1997年11月柯達公司發(fā)布了DC21

15、0數(shù)碼相機，這款數(shù)碼相機使用了109萬的正方像素CCD圖像傳感器，而且還開場在數(shù)碼相機上采用變焦鏡頭，使得數(shù)碼相機的開展有了全新的突破。到了1999年，數(shù)碼相機再度在像素上有所突破，全面跨入200萬像素之年。富士推出的M*-2700圖3，號稱是當時全球首款最輕230萬像素的數(shù)碼相機，機身只有230克。其最高分辨率到達1800×1200像素。 進入2000年，不管在計算機方面，還是存儲設(shè)備方面，都有了很大程度的提高,數(shù)碼相機的像素也在200萬的根底之上，再上一個高樓。2002年，奧林巴斯推出C-40 ZOOM，作為世界上首款最小的400萬像素數(shù)碼相機，它不僅是一款最小巧的機型，而且在當

16、時的數(shù)碼相機市場上技術(shù)含量也是最高的，為時尚數(shù)碼相機小型化開展邁出了堅實的一步。索尼在2005年推出了全球第一款采用APS-C畫幅圖像傳感器的非單反數(shù)碼相機DSC-R1圖4。2006年數(shù)碼相機已經(jīng)全面進入了千萬像素級階段，一批批千萬像素級產(chǎn)被推向市場，成為了目前的主流產(chǎn)品。 隨著各個階段的演變，傳統(tǒng)相機已逐步被淘汰，高質(zhì)量的數(shù)碼相機已成為現(xiàn)代人的首選；普通家用數(shù)碼相機的千萬像素、大屏幕、觸摸屏、防抖、廣角等一系列功能遠遠滿足了我們?nèi)粘Ｉ钚枰?。近來，隨著三維顯示技術(shù)的技術(shù)進步，以及3D電影、3D電視、3D投影一系列成熟產(chǎn)品的投入市場，已經(jīng)掀起了一場關(guān)于三維成像與顯示的熱潮。隨著這場熱潮的掀起，

17、人們已經(jīng)不再滿足于普通的數(shù)碼相機，因而3D相機、全景相機等又讓相機步入了新臺階。3D相機時代的降臨 由于人們生活的世界是三維的，但是傳統(tǒng)相機只能獲取二維圖像，這種局限限制了人們通過二維成像系統(tǒng)對真實世界中物體的感知和理解的能力。所以人們一直沒有停頓過研究能用于拍攝三維圖像的相機。 在19世紀末已經(jīng)有人探索立體照相的技術(shù)問題，最著名的實驗是英國人懷特斯通，他用兩個照相機模擬左、右眼睛分別拍攝兩幅照片，然后用兩個互相分隔的目鏡，由左右眼觀察這兩幅照片，于是在大腦中從新合成了立體圖像。懷特斯通的視差理論2得到實驗支持，非常成功，至今仍然是研究立體照相技術(shù)的主要理論依據(jù)。自上世紀初以來，人們的主要精力

18、用于開展和完善黑白和彩色照相技術(shù)以及建立相應(yīng)的工業(yè)體系。因而，三維照相技術(shù)只是在小規(guī)模、小圍進展。早期的工作集中在用像對法重現(xiàn)立體影像，20世紀60年代出現(xiàn)過的立體電影就是這個原理。當然也可以用互相垂直的兩束偏振光去拍攝和重現(xiàn)像對的立體效果3。這些方法的共同缺點是只能一個人使用。20世紀50年代開場，有人提出用柱狀透鏡陣列(亦稱光柵片) 重現(xiàn)立體圖像的方案3。用這種方法表達立體圖像是成功的，因為它可以在相當大的視角供大家欣賞。經(jīng)過近50多年的努力，抑制了這種方案中出現(xiàn)的圖像抖動、模糊、死角等問題，近年已到達商業(yè)推廣的水平，掀起了一個3D畫像技術(shù)的高潮。由于這種方法具有很大的市場潛力，并需龐大投

19、資，過去10年主要由美國和日本的幾家公司集中研究，獲取專利以及壟斷技術(shù)。圖5 索尼W*10菜單控制圖 在以前所有民用級3D設(shè)備當中，見到最多的還是輸出設(shè)備，而在3D影像的捕捉設(shè)備上卻寥寥無幾，直到富士、索尼、松下以及奧林巴斯的多款3D數(shù)碼相機、3D數(shù)碼攝像機發(fā)布之后，民用級3D捕捉設(shè)備才終于初具規(guī)模。圖6 松下3D相機 位移式3D成像：索尼。它是通過拍攝兩或多取景角度略有差異的照片，然后再合成為一3D照片的技術(shù)。顯然，采用這種方式形成的3D影像只要從圖像處理的層面就可以實現(xiàn)，因此它幾乎不會增加產(chǎn)品的本錢。另外，采用這種方式拍攝出來的3D效果從理論上講也會受到拍攝者轉(zhuǎn)動相機速度的影響。索尼W*系

20、列的最新旗艦 W*10具備3D靜止影像、3D掃描全景、掃描多角度(圖5)，其中掃描多角度可以拍攝能以3D方式在本相機以及3D電視顯示的3D影像，從*種角度來說，該方法實現(xiàn)了裸眼3D。圖7 富士3D相機 雙象場3D系統(tǒng)+位移式3D成像：松下。松下的3D成像主要依靠其3D鏡頭圖6，通過在一支鏡頭上設(shè)立兩套獨立鏡組會形成兩個較小的成像圈，而光線通過這兩個成像圈投射到傳感器上時也會形成左右兩個影像。當然這兩幅影像之間是存在視差的，因此可以把它們合成為3D影像，而這個合成的過程則需要通過英寸處理器來完成。顯然，這種3D成像技術(shù)會浪費不少的有效像素，但它的拍攝效果要比位移式3D成像技術(shù)來的穩(wěn)定。 雙成像3

21、D系統(tǒng)：富士圖7。富士相機采用的雙鏡頭、雙傳感器3D相機從硬件構(gòu)造上講是目前最強大的3D成像系統(tǒng)，不但工作穩(wěn)定，而且在輸出3D影像的精度上也是最高的。3D相機的課題研究在分別介紹了相機的開展和3D顯示技術(shù)的開展，并充分考慮了人們對3D攝影設(shè)備的強烈渴望和當前此類設(shè)備的開展狀況后，本文提出了基于雙像合成技術(shù)和柱透鏡3D顯示技術(shù)的3D相機的課題研究。本論文的容及構(gòu)造為：前言主要介紹了相機的開展，并把相機的開展歷史劃分為四個階 段；并介紹了3D相機的視覺原理和目前開展狀況。 第一章主要介紹了3D相機的構(gòu)造和原理以及其工作流程，并對CCD、DSP等重要部件進展簡要介紹。 第二章重點介紹和分析了圖像處理

22、技術(shù)，由灰度變換技術(shù)和區(qū)域匹配技術(shù)提出來基于灰度變換的彩色圖像區(qū)域匹配技術(shù)，并對匹配算法做了詳細分析，由區(qū)域匹配的SAD相似性函數(shù)得出適用于本算法的匹配函數(shù)。第三章重點介紹和分析了基于柱透鏡的3D顯示技術(shù)，通過對柱透鏡光學(xué)參數(shù)的詳細分析從而推出光柵板的各項參數(shù)，并給出一套用于5.0英寸液晶顯示屏的柱鏡光柵板。在分析了系統(tǒng)構(gòu)造后對可能存在的問題提出了相應(yīng)的解決方案。 第四章對全文進展了總結(jié)。. z-1 3D相機的構(gòu)造與工作流程 一般情況下，當人觀察現(xiàn)實世界中*一物體的時候，每只眼睛的視網(wǎng)膜上各自形成一個獨立的影像，左眼看到物體的左邊多一些，右眼看到物體的右邊多些，同一物體在兩個視網(wǎng)膜上得到不同的

23、影像，同一物體上*點落在左右兩眼視網(wǎng)膜上的位置是不同的，這種位差就稱為雙目視差4。人之所以能有深度感知，就是因為有了這個視差。本論文研究的3D相機就是根據(jù)人類雙眼對同一景物成像的視差原理來設(shè)計的雙鏡頭、雙傳感器的圖像采集系統(tǒng)。1.1 3D相機的構(gòu)造原理圖1.1 3D相機構(gòu)造圖 3D數(shù)碼相機與普通數(shù)碼相機如果僅從外觀上看，兩者區(qū)別并不大，前者擁有兩個間距為6.5cm鏡頭，而后者只有一個鏡頭。雖然3D相機的光學(xué)鏡頭系統(tǒng)、電子快門系統(tǒng)、電子測光、光電傳感器、圖像存儲器、操作以及輸出控制單元等與普通數(shù)碼相機并無太大差異，但在圖像處理單元DSP、液晶顯示屏LCD等根本元器件和工作原理與普通數(shù)碼相機有著本

24、質(zhì)區(qū)別。最重要的區(qū)別在于3D相機獨有的圖像匹配處理技術(shù)圖1.1。 雙鏡頭3D相機成像系統(tǒng)采用的是雙像合成法2，它的原理是用兩個鏡頭對同一目標同時攝像得到兩不同視角的二維圖片，在經(jīng)過數(shù)字圖像處理器通過特定算法合成目標的三維圖像。相機構(gòu)造主要包括兩套鏡頭組件、取景系統(tǒng)、成像系統(tǒng)、圖像的存儲、圖像的輸出和電源等幾局部。各局部圍繞圖像信號的處理流程而構(gòu)成。下面對光電傳感器、A/D轉(zhuǎn)換器、數(shù)字信號處理器、圖像數(shù)據(jù)壓縮器作一個簡介。 1.1.1 圖像傳感器圖像傳感器又稱光電傳成器，是相機的主要部件之一，它的作用是將光信號轉(zhuǎn)換成電信號。圖像傳感器品質(zhì)的上下，直接決定了數(shù)碼相機的成像品質(zhì)。當前的圖像傳感器主要

25、有CCD和CMOS兩類，綜合考慮了它們各自的性能和3D相機高畫質(zhì)的要求后，本論文采用的是CCD傳感器。 CCD圖像傳感器( Charge Coupled Device電荷耦合器件)5是由許多個光敏像元按定的規(guī)律排列組成的。每個像元就是一個MOS電容器，大多為光敏二極管。它是在P型硅襯底外表上用氧化的方法生成一層厚度約為100-150nm的二氧化硅SiO2，再在二氧化硅外表蒸鍍一金屬層(多晶硅)，在襯底和金屬電極間加大一個偏置電壓，就構(gòu)成了一個MOS電容器。其工作原理是當有一束光線投射到MOS電容器上時，光子穿過透明電極及氧化層，進入P型硅襯底，襯底中處于價帶的電子將吸收光子的能量而躍入導(dǎo)帶。光

26、子進入襯底時產(chǎn)生的電子躍遷形成電子-空穴對，電子-空穴對在外加電場的作用下，分別向電極的兩端移動，這就是信號電荷。這些信號電荷儲存在由電極形成的“勢阱中，信號電荷在外加驅(qū)動脈沖的作用下，在CCD移位存放器中按順序傳送到輸出級。每列像素從CCD1到CCDn的電荷隨時鐘信號被送到一個為合成其輸出的水平CCD模擬移位存放器上，然后再經(jīng)過一個增幅放大器，輸出圖像信號。整個CCD 上的所有像素所產(chǎn)生的信號，構(gòu)成了一個完整的畫面。 綜上所述，CCD圖像傳感器是由光電轉(zhuǎn)換、電荷積蓄、電荷傳送、輸出局部這四大功能局部構(gòu)成，這四局部作為CCD單元被集成在線路板上。CCD把光學(xué)信號轉(zhuǎn)換為電信號，輸出的是串行信號。

27、就是說它把平面二維圖像信號變成了一維信號一個接一個的比特流。這些表示圖像的電荷按照一定的順序依次輸出，然后送到信號處理電路中進展處理。圖像信號處理電路以串行信號的方式輸出這些電荷所代表的圖像信息。 由于面陣中的每個光電藕合元件對映影像中的一個像素。由此，單位面積感光器件的數(shù)量越多，就越能細膩地分辨圖像，像素越多圖像分辨率越高。面陣CCD通過光電效應(yīng)收集電荷，由于光電二極管所取得的電荷量同入射光的強度和照射時間之積成正比，所以電荷量為模擬量。因此，轉(zhuǎn)移局部也就具備了模擬位移存放器的功能。由于輸出局部送出的電荷是模擬量，要想使其數(shù)字化，并在個人計算機中處理，則，A/D轉(zhuǎn)換器是必不可少的。1.1.2

28、 A/D轉(zhuǎn)換器6 數(shù)碼相機的圖像傳感器獲得信號以后，接著需要經(jīng)過模/數(shù)轉(zhuǎn)換器將模擬量轉(zhuǎn)換為數(shù)字量，變換成數(shù)字信號后才能進展下一步的匹配、壓縮、存儲等處理過程。 在數(shù)碼相機中，A/D轉(zhuǎn)換器(Analog Digital Converter)主要是將CCD 圖像傳感器生成的模擬電信號轉(zhuǎn)換成數(shù)字電信號，并將信號傳送到數(shù)字信號處理單元。A/D轉(zhuǎn)換器將模擬信號轉(zhuǎn)換為數(shù)字信號主要有采樣、量化、編碼等過程。A/D轉(zhuǎn)換器的量化精度編碼位數(shù)越高，則在A/D轉(zhuǎn)換過程中的數(shù)據(jù)失真越小，影像復(fù)原后的品質(zhì)越好。 客觀景物的細節(jié)是連續(xù)變化的，也就是說它的像素是無限多的。但是圖像傳感器的光電二極管卻是有限的，經(jīng)過圖像傳感器

29、后獲得的圖像像素是有限的，就是說在*,y方向上對圖像的細節(jié)作了一次量化。但客觀景物除細節(jié)外，它的亮度和色彩變化也是連續(xù)的，所以在經(jīng)過圖像傳感器成像后，每個像素的亮度和色彩仍然是模擬量即連續(xù)變化的量所以還必須對它進展量化處理。A/D轉(zhuǎn)換器的主要性能指標是量化精度和轉(zhuǎn)換速度。 量化精度是指將模擬信號分成多少個等級。數(shù)碼相機中，一般將亮度量化為256個等級。用二進制數(shù)的位來表示為8位28=256，也就是說數(shù)碼相機將灰度圖像量化為256個灰度等級。中、高檔數(shù)碼相機采用更高的量化精度，常為10位1024個等級或12位4096個等級。對于彩色圖像需要對RGB三個信號進展量化，其量化等級在數(shù)碼相機中稱為色彩

30、深度，通常以二進制的位bit為單位來表示。數(shù)碼相機常用的色彩深度有3種：24位RGB各8位、30位RGB各10位、36位RGB各12位。它們所對應(yīng)的顏色數(shù)分別為167萬、10億、680億。24位以上色彩深度的圖像稱為真彩色圖像。顏色數(shù)越多越能真實地再現(xiàn)景物的色彩，但量化的工作量就越大，計算的工作量也越大，處理的時間就越長，對相機的相應(yīng)器件的速度要求也就越高。一般24位、30位常用于低、中檔相機，36位則用于高檔相機中。 A/D 轉(zhuǎn)換器的轉(zhuǎn)換速度也是一個重要指標。轉(zhuǎn)換速度當然是越快越好，但芯片價格也就越高。所以不同檔次的數(shù)碼相機對轉(zhuǎn)換速度有不同要求。經(jīng)過A/D轉(zhuǎn)換后，產(chǎn)生的大量數(shù)據(jù)將送入微處理器

31、進展處理。對于有緩沖存儲器的3D相機，A/D轉(zhuǎn)換后的數(shù)據(jù)首先存入緩存，然后再送入微處理器進展處理。1.1.3 數(shù)字信號處理器 數(shù)字信號處理器Digital Signal Processor，?？s寫為DSP也稱作微處理器MPU，及Micro Processor Unit的縮寫7。它可以說是數(shù)碼相機中的“微電腦。相機中圖像的大量數(shù)據(jù)的匹配運算處理，黑白平衡調(diào)整、各種測量、控制、拍攝模式的設(shè)定等等，無一不是由它統(tǒng)一協(xié)調(diào)和控制的。 例如通過彩色濾鏡陣列，生成的圖像顏色是別離的，還需要DSP對這些數(shù)據(jù)進展處理將其合成為彩色圖像。數(shù)碼相機的所謂數(shù)碼變焦也是利用插值運算進展的。數(shù)碼相機的曝光控制可分為手動和

32、自動，自動曝光又可分為程序式自動曝光、光圈優(yōu)先式自動曝光和快門優(yōu)先式自動曝光。這些控制都由DSP來完成的，DSP通過對CCD感光強弱程度的分析，自動調(diào)節(jié)光圈和快門，進展自動曝光?？傊瑪?shù)碼相機的各種操作和控制的協(xié)調(diào)統(tǒng)一，一切數(shù)據(jù)的分析處理都是由微處理器來完成的。 在3D相機中，本模塊還有一個主要功能是對經(jīng)過預(yù)處理的兩幅圖像進展匹配和融合，使兩幅圖像合二為一，以方便后續(xù)處理和輸出。這是本系統(tǒng)中最重要的一步，也是決定整個系統(tǒng)好壞的一部，這將直接決定輸出的三維圖像的質(zhì)量好壞。 其中的關(guān)鍵技術(shù)主要包括：相機參數(shù)的標定、圖像預(yù)處理、RGB灰度變換、區(qū)域匹配等。通過對三維重建的立體匹配實現(xiàn)過程展開研究，本

33、課程的圖像匹配過程主要包括了以下幾個方面： 1、圖像預(yù)處理，通過最為常用的去噪方式，對圖像進展去噪，濾波等預(yù)處理操作，完成圖像的預(yù)處理。 2、圖像的RGB灰度變換，使用了灰度變換的方法對圖像進展匹配簡化。 3、圖像的區(qū)域匹配，選擇了基于區(qū)域灰度的彩色圖像匹配方法，基于灰度變換原理的匹配算法通過增加約束條件進展區(qū)域匹配，提高了匹配速度和匹配精度。 4、對進展處理后的兩幅圖像數(shù)字信號進展重新編碼。 為了完美整合兩套成像系統(tǒng)的影像，必須提供全新設(shè)計的3D影像處理引擎，它可以同步兩套成像系統(tǒng)的圖像信號，并即時成高質(zhì)量的3D影像無論是靜態(tài)照片和動態(tài)錄像。這同步意味著當快門被完全按下的瞬間，跟拍攝相關(guān)的重

34、要參數(shù)，例如對焦、變焦圍、曝光等都將被同步富士W*10的精度已到達了0.001秒數(shù)量級。1.1.4 圖像數(shù)據(jù)壓縮器 為了降低本錢，在有限的儲存空間儲存盡可能多的圖像，采用了將優(yōu)化處理后的圖像進展較高壓縮比的壓縮格式，如多數(shù)相機采用的JPEG編碼壓縮算法是把得到的圖像數(shù)據(jù)轉(zhuǎn)換成JPEG格式，這是以自然場景圖像為對象的彩色靜態(tài)圖像數(shù)據(jù)壓縮的國際標準。如果根據(jù)具體實現(xiàn)編碼算法的根本構(gòu)造進展分類的話，可分成DCT方式和Spatial方式7。Spatial方式是對于基線系統(tǒng)和擴展系統(tǒng)被稱為獨立的功能，編碼中使用差分脈碼調(diào)制DPCM(Differential PCM)和嫡編碼。該功能是基于編碼和解碼的無失

35、真、可逆的過程。 3D相機中為了獲得高品質(zhì)、高清晰的圖像，往往采用了無失真壓縮方式，這樣對圖像 信息進展編碼時不丟棄有效信息，經(jīng)復(fù)原而得的圖像與原圖像完全一樣，但這種方式要求存儲介質(zhì)有較大的容量。經(jīng)過數(shù)據(jù)壓縮以后的圖像數(shù)據(jù)以特定的格式存儲到圖像存儲媒體中，用于以后的相機本身顯示調(diào)用、外部媒體調(diào)用和數(shù)據(jù)保存等。 1.2 3D相機的工作流程 通過上面的簡介了解了相機的構(gòu)造和工作原理，下面對其整個工作流程進展詳細的分析。 當相機鏡頭對準景物時，兩鏡頭處在不同的角度對目標進展攝像，把拍攝的圖像通過特定的灰度變換轉(zhuǎn)換成該目標的三維圖像。光線通過主透鏡在CCD的感光面上形成一幅二維的光學(xué)圖像。此光學(xué)圖像中

36、包含有圖像的亮度信息和色度信息。為了得到代表紅、綠、藍三基色的信號R、G、B，需要把色度信號別離出來。別離色度信號的方法是采用一種彩色陣列式網(wǎng)格濾色片罩在CCD圖像傳感器感光面上，通過這層特殊的網(wǎng)格濾色片別離出三基色信號R、G、B來。 三基色信號R、G、B經(jīng)過A/D變換器轉(zhuǎn)換為數(shù)字信號后再由數(shù)字信號處理器DSP進展灰度變換、黑平衡調(diào)整、白平衡調(diào)整、雙像合成等處理后，經(jīng)過圖像數(shù)據(jù)壓縮成特定格式就可以記錄在存儲卡上，還可以經(jīng)D/A變換成為普通視頻信號輸出，用于觀察被拍景象的則是液晶顯示屏LCD。圖 1.2 3D相機圖像處理流程 整個相機的工作流程具體可以分為獲取圖像的流程和再現(xiàn)圖像的流程，具體容如

37、下。獲取圖像的流程： 1、圖像采集，兩組相機鏡頭對空間的同一物體進展取景，在同步控制信號下得到同一物體在兩個不同角度的圖像。 2、通過鏡頭的光分別聚焦在兩塊CCD上，并被轉(zhuǎn)化成電信號。儲存在CCD中的電信號被從TG計時發(fā)送器發(fā)出的驅(qū)動信號取出，此信號被CDS*3互取雙采樣消減噪音后再被A/D轉(zhuǎn)換成數(shù)字信號。 3、一旦形成數(shù)字圖像數(shù)據(jù)，就將被傳送到DRAM并臨時儲存。圖像數(shù)據(jù)被傳送到3D圖像處理引擎并進入Y/C亮度信號/顏色信號別離、白平衡、圖像匹配、圖像融合等操作。 4、被融合后的圖像數(shù)據(jù)被數(shù)據(jù)壓縮器以JPEG等格式壓縮，最后圖像數(shù)據(jù)被記錄在CF/SD卡。 再現(xiàn)圖像的流程： 1、從CF/SD卡

38、上獲得的JPEG等壓縮格式的數(shù)據(jù)被數(shù)據(jù)壓縮器重新恢復(fù)成原始數(shù)據(jù)；恢復(fù)后的圖像數(shù)據(jù)被傳送到DRAM。2、數(shù)字處理器在DRAM中獲取圖像數(shù)據(jù)并用D/A轉(zhuǎn)換將其轉(zhuǎn)化成模擬信號并通過圖像控制在LCD上顯示圖像；3、數(shù)字處理器在DRAM中獲取圖像數(shù)據(jù)并通過RS232C或USB接口將其輸出給外部媒體；或者是通過存儲控制器直接從CF/SD卡中獲取圖像數(shù)據(jù)從USB接口輸出給外部媒體。. z-2 圖像匹配處理技術(shù) 圖像匹配處理技術(shù)是3D相機最核心的技術(shù)。圖像匹配處理技術(shù)是3D相機能否實現(xiàn)立體視覺的較困難和關(guān)鍵的一步。如何快速、準確地實現(xiàn)圖像對的對應(yīng)點匹配，獲得滿足要求的視差圖，是當前研究的熱點之一。 圖像匹配算

39、法是在兩幅圖像的匹配點之間建立一一對應(yīng)關(guān)系的過程。根據(jù)匹配基元的不同，立體圖像匹配算法可分為：區(qū)域匹配法4、特征匹配法4和相位匹配法4。為了使圖像處理問題簡單化，利于圖像的提取，在圖像處理中經(jīng)常使用的一種有效手段是圖像變換，而最能直接表現(xiàn)圖像本質(zhì)特征的是像素灰度值，所以很多算法都采用的是像素灰度變換的匹配方法。基于這種思想，本文給出了一種基于灰度變換的彩色圖像區(qū)域匹配方法。2.1 基于區(qū)域灰度的彩色圖像匹配算法 圖像匹配的核心是快速、準確地實現(xiàn)圖像對的對應(yīng)點匹配，獲得滿足要求的視差圖。最能直接表現(xiàn)圖像本質(zhì)特征的是像素灰度值，所以本算法使用像素灰度值作為基元進展匹配。區(qū)域灰度算法是利用圖像處理的

40、區(qū)域相關(guān)方法8，它是解決基元對應(yīng)問題的一個最直觀最簡單的方法(圖2.1)。 圖2.1 匹配系統(tǒng)的流程圖 基于區(qū)域相關(guān)的匹配方法是把一幅圖像中當前像素點的鄰域像素作為模板，在另一幅圖像中以一樣大小的模板在一定圍搜索具有一樣或相似分布的對應(yīng)像素點。 用L(*，y)和R(*，y)分別代表左圖像和右圖像，如果L(*，y)和R(*+d，y)是正確的匹配對，則這兩點的鄰域窗口對應(yīng)位置的各像素對也應(yīng)該是正確的匹配對，所以考察兩個像素對是否是正確的匹配，其鄰域窗口像素相似性是重要的參考指標。該匹配算法是建立在基元之間的相似性度量根底上的區(qū)域匹配，是以匹配基元的灰度參數(shù)信息為依據(jù)的局部相似程度的度量。2.2 基

41、于灰度變換的匹配 灰度變換屬于非參量變換，是一種數(shù)理統(tǒng)計的方法，本節(jié)對灰度變換原理和一些特性進展了分析，給出了利用其變換特征作為基元的代價函數(shù)?；诨叶茸儞Q的匹配算法可分兩步，首先對圖像進展灰度變換，然后將轉(zhuǎn)換后的值應(yīng)用到預(yù)定的算法中。2.2.1 灰度變換8 像素的灰度變換，是以該像素點為中心取一個矩形區(qū)域(稱為灰度窗口)，統(tǒng)計灰度窗口中所有灰度值小于中心像素灰度值的像素的個數(shù)，并以這個數(shù)代替原來中心像素點的灰度值。經(jīng)過每個像素的灰度變換后，整個圖像被轉(zhuǎn)換為一個整數(shù)矩陣，這個整數(shù)矩陣稱為灰度圖像。 在這對灰度變換作一個定義。設(shè)f(*，y)表示當前像素(*，y)的灰度值，N(*，y)表示以(*，

42、y)為中心的矩形窗口像素集合，則對像素*，y的灰度變換定義為： 2-1 2-2 在這里取一個3×3的窗口，其中心像素f(*，y)的灰度為152，首先由式2-1把N(*，y)轉(zhuǎn)換為M(*，y)，然后求M(*，y)所有元素的代數(shù)和，即為f(*，y)以N(*，y)為灰度變換窗口的灰度變換值r(*，y)。直接從N(*，y)中可以看出，有5個像素灰度值小于中心像素，因此r(*，y)=5(如圖2.2)。圖 2.2 灰度變換求解過程 經(jīng)過灰度變換后，像素的灰度值(0到255)就轉(zhuǎn)換為一個取值圍較小的整數(shù)(0到n-1，n是窗口的像素總數(shù))。這個整數(shù)就是中心像素灰度值在轉(zhuǎn)換窗口灰度值排序的序號。這樣，

43、在計算左右窗口的相關(guān)性時，并不是直接用灰度，而是用這些序號來進展比擬。由于轉(zhuǎn)換是窗口像素灰度的相對值，使得匹配基元對干擾不敏感，相對于采用簡單的灰度值作為匹配基元來說，提高了算法的抗噪性。 2.2.2 基于灰度變換的SAD匹配算法代價函數(shù) 根據(jù)人眼視覺清晰圍，左右圖像進展匹配的主要圍為左圖像的右局部和右圖像的左局部。所以區(qū)域匹配的根本思路是，在給定右視圖中的一個點后，在左視圖中是根據(jù)鄰域的相似性來尋找匹配點，該鄰域稱為窗口，窗口通常以檢測點為中心。如果左右圖像中兩點是正確的匹配，則其鄰域的對應(yīng)像素也是正確的匹配，所以在匹配過程中，通常以鄰域相似性作為測度。在匹配搜索過程中，以SAD(Sum o

44、f AbsoluteDifference)函數(shù)8作為兩個鄰域的相似性度量。 圖2.3 相關(guān)窗口匹配圖例 如圖2.3所示，設(shè)左右灰度圖像函數(shù)分別為和，相關(guān)窗口為w，搜索圍為k。則SAD相似性函數(shù)為： 2-3 當SAD(*,y,k)取值最小時，左右兩個像素就為最正確匹配對。 以灰度變換值作為匹配基元，則本文算法的代價函數(shù)為： 2-4rl,rr分別為左右圖像變換后的灰度圖像，當SADrl,rr最小時，左右兩個像素就為最正確匹配對。這時視差d為 2-52.3 灰度變換的彩色圖像匹配 人眼視覺是彩色的，因而人們很早就開場對彩色進展研究，對色彩的感知是人眼及大腦皮質(zhì)的重要生理特征。彩色圖像不僅包含著被攝物

45、體的亮度信息，而且包含著它的色度信息，色度又具有兩個自由度。因而彩色圖像比灰度圖像有更豐富的信息，充分利用這些信息就有可能構(gòu)造出比灰度圖像更可靠、穩(wěn)健的算法。2.3.1 三基色原理三基色的容是：假設(shè)有三種視覺感受器，分別對紅、綠、藍三種顏色敏感。當光線同時作用在這三種感受器上時，三個感受器產(chǎn)生的興奮程度不同。不奮程度的組合將產(chǎn)生不同的顏色感覺?，F(xiàn)代技術(shù)的開展充分證實了三基色假說的合理性?，F(xiàn)在知道可見光譜上的大多數(shù)顏色都可以用紅(Red)綠(Green)藍(Blue)三種單色加權(quán)混合產(chǎn)生，基于RGB三基色的顏色表示稱為RGB顏色模型。根據(jù)這一原理，任何顏色I可以用公式表示： 2-6其中分別為紅綠

46、藍的加權(quán)系數(shù)。2.3.2 基于灰度變換的彩色圖像匹配算法 與灰度圖像比，彩色圖像包括了更多的圖像空間和更多信息，對噪聲和光度變化不敏感，這使得彩色圖像可以匹配得更準確，而且誤匹配率更低。本算法中采用上節(jié)中提到的灰度變換的圖像匹配策略，并且利用彩色圖像三基色的特點。 圖2.4 彩色圖像灰度變換算法流程圖 本算法首先將彩色圖像按紅綠藍三通道分別進展灰度轉(zhuǎn)換，然后使用區(qū)域匹配法求出視差。根據(jù)色度學(xué)的三基色原理，任何色光都可以由紅，綠，藍三種單色光按不同比例相配而成。因此彩色圖像的模型可以由紅R(*)，綠G(*)，藍B(*)圖像組合表示。設(shè)一對匹配圖像(R1(*),G1(*),B1(*)和(R2(*)

47、,G2(*),B2(*),以RGB三通道的灰度變換值作為匹配基元，則本算法的代價函數(shù)為： 2-7fs2,fs2分別表示左右圖像變換后的灰度圖像，當SADRGB(*,y,k)最小時，左右兩個像素就為最正確匹配對。這時視差d為 2-82.4 選擇匹配窗口 基于區(qū)域相關(guān)的方法是最根本的立體匹配方法，該方法的核心思想就是計算以當前欲匹配像素為中心的相關(guān)窗口的相似度，將相關(guān)性最高的那個點對為成功的匹配。該方法的難點之一是如何選擇相關(guān)窗口的大小。窗口大小的選擇應(yīng)該遵循以下原則：選取的窗口要足夠大以至于窗口的像素灰度值應(yīng)以一定的規(guī)律變化，另外一方面，窗口要足夠小以至于窗口的視差沒有變化。這樣如何選擇窗口的大

48、小就成為關(guān)鍵的問題。 如何解決這個問題，許多研究采用了許多不同的策略進展處理，例如固定窗口大小、自適應(yīng)可變窗口、多窗口等策略4。固定窗口大小的方法假設(shè)窗口的視差是一致的，這種方法簡單但誤匹配發(fā)生的概率增大；自適應(yīng)可變窗口使用了視差估計不確定性作為相關(guān)窗口匹配費用，該方法需要窗口的視差變化模型和初始視差估計；多窗口對每個像素利用幾個不同的相關(guān)窗口聯(lián)合作為該像素的測度。 綜合分析了3D相機的性能要求和三種方法的技術(shù)開展后，針對該問題，本文采用固定窗口大小的解決思路和方法，在保證匹配精度的前提下提高數(shù)據(jù)處理的速度。2.5 約束條件 由于在3D相機中左右鏡頭彼此參數(shù)一致，光軸平行且垂直于基線，構(gòu)成一對

49、共極性構(gòu)造，這樣只有水平方向的視差，使搜索空間大大減少，簡化對應(yīng)匹配過程和減少算法的計算量。為了幫助建立對應(yīng)關(guān)系，提出了許多約束條件來減少搜索的圍和確定正確的對應(yīng)點匹配，下面是一些最根本的約束條件。 1、相容性約束4 對于灰度圖像，這一約束的具體含義是同一景物像點的灰度值理論上應(yīng)該具有一定的相容性，由于鏡頭的位置不同和特性差異，場景中各對應(yīng)點處的光強可能具有一定的差異。在判斷兩個匹配基元是否相容時要根據(jù)它們之間的相似性。問題的關(guān)鍵是在于如何度量匹配基元的相似性。 現(xiàn)在主要用的有兩種相似性的假設(shè)，一種是基于光度學(xué)不變性，即左右圖像對應(yīng)區(qū)域中灰度的變化情況相似，如果景物中外表的深度變化比擬平緩，同

50、時由于雙眼相隔的距離不大作這樣的假設(shè)是有道理的；另一種假設(shè)是根據(jù)幾何學(xué)不變性，即兩幅圖像中同一對象的幾何構(gòu)造一樣。如在以邊緣作為匹配基元時沿外極線上任何掃描方向在左右圖像中邊緣出現(xiàn)的次序一樣，雖然有時候出現(xiàn)在左圖中的邊緣由于遮擋可能不出現(xiàn)在右圖中或出現(xiàn)在右圖中的邊緣由于遮擋可能不出現(xiàn)在左圖中。 2、唯一性約束 在一般情況下，一幅圖像上的每個基元只能與另一幅圖像上的唯一一個基元相對應(yīng)。而在特殊情況下，如物體外表是平滑的，每個像素灰度一樣時就會存在一個基元與多個基元匹配的現(xiàn)象，這就需要利用下面的條件進展約束。 3、連續(xù)性約束 這個約束條件考慮的前提是：同觀察者到物體外表的距離相比擬，物體外表凹凸引

51、起的變化造成的差異都很小，因此物體外表是平滑的，除了邊界處深度不連續(xù)的地方外，得到的視差值圖像中幾乎處處平滑，而物體的邊界只占圖像面積的很小局部。 4、RGB灰度疊加約束條件 在灰度圖像進展匹配時，可能會出現(xiàn)多個最正確匹配，這就會造成許多誤匹配。為了減少這種誤匹配，除了采用以上三個約束條件外，還采用了一種新的約束條件，當出現(xiàn)多個最正確匹配時，說明僅考慮相關(guān)窗口的當前值己無法判斷。彩色圖像的匹配有兩種策略：一是將彩色圖像的每個像素由原來三基色表示，轉(zhuǎn)化成灰度表示，然后按灰度圖像來匹配，這種方法完全不考慮彩色影像的色彩信息，很明顯會喪失局部信息。二是對彩色圖像的R、G、B三通道，按同樣方法分別處理

52、(按灰度算出代價函數(shù)值是其中的方法之一)，再將得到的結(jié)果按一定的方法綜合起來求得匹配圖像因為第二種策略得到的視差圖更準確。 本方法采用了先分別求三基色圖像是代價函數(shù)值，再求和作為總的代數(shù)值來進展匹配。當代價函數(shù)為最小值時，兩點即為最正確匹配對。. z-3 3D顯示技術(shù) 隨著科學(xué)技術(shù)的飛速開展，傳統(tǒng)二維圖像已經(jīng)越來越不能滿足眾多應(yīng)用領(lǐng)域?qū)ι疃葘哟蔚囊蟆?D顯示技術(shù)具有傳統(tǒng)顯示技術(shù)所不能比擬的高度臨場感，能給觀眾帶來身臨其境的逼真感覺和無與倫比的立體視覺享受。因此包含三維信息的3D顯示技術(shù)得到了人們的極大關(guān)注。3.1 3D顯示技術(shù)簡介 20世紀90年代以前的3D顯示技術(shù)雖然成功應(yīng)用于3D電視和3

53、D電影等領(lǐng)域，但都需佩戴特制眼鏡或者頭盔才能觀看到立體效果，從而大大限制了其推廣應(yīng)用。進入21世紀，人們將目光投向無需借助輔助視具就能觀看到立體效果的3D顯示技術(shù)即裸眼3D技術(shù)，并在世界圍掀起了新一輪的3D顯示技術(shù)研究熱潮。 3D顯示技術(shù)是以視差理論為根底的，觀眾可以在較大角度用裸眼自由清晰地觀看到屏幕上的立體圖像。當前，3D顯示技術(shù)的研究熱點主要集中于基于平板顯示器(如TFT LCD、PDP等)的顯示技術(shù)。具體說來可以分為以下幾類： 1、基于視差擋板的3D顯示技術(shù)9：其構(gòu)造是在液晶屏的前方放置一塊光柵擋板，這樣觀察者的單眼通過擋板上的一條狹縫只能看到顯示屏上的一列像素，如左眼只能看到奇像素列，而看不到偶像素列。這樣一來，分別由奇偶像素列組成的兩幅圖像就成了具有水平視差的立體圖像對，通過大腦的融合，最終形成一幅具有深度感的立體圖像。而該顯示技術(shù)是通過對光線的局部遮擋來實現(xiàn)立體顯示的，這種做法會導(dǎo)致圖像的亮度和分辨率降低，視點個數(shù)越多，亮度和分辨率降低得也越多。 2、基于柱鏡光柵的3D顯示技術(shù)10：原理與基于視差擋板的3D顯示技術(shù)類似，其利用柱透鏡單元的折射作用，引導(dǎo)光線進入特定的觀察區(qū)，產(chǎn)生對應(yīng)左右眼的立體圖像對，并最終在大腦的融合下產(chǎn)生立體視覺。 3、體三維顯示技術(shù)