基于圖像的風(fēng)景旅游模擬漫游系統(tǒng)論文

1、目 錄摘要1abstract 2第一章 緒論31.1課題背景 3 1.2本文工作 3第二章 相關(guān)技術(shù) 42.1現(xiàn)有的圖像處理技術(shù) 42.1.1圖像信息的獲取 42.1.2圖像信息的存儲(chǔ)和交換 52.1.3數(shù)字圖像處理 52.1.3.1 圖像變換 62.1.3.2 圖像增強(qiáng) 62.1.3.3 圖像恢復(fù) 62.1.3.4 圖像壓縮編碼 72.1.4數(shù)字圖像通信 82.1.5圖像的輸出和顯示 82.2全景圖技術(shù) 82.2.1圖像拼接 92.2.2顏色融合 102.2.2.1定義 102.2.2.2顏色融合算法 102.2.3圖像平滑度處理 112.2.4圖像銳化 13第三章 風(fēng)景旅游模擬漫游系統(tǒng)的實(shí)

2、現(xiàn) 133.1圖片管理 163.1.1圖片采集 163.1.2圖片上傳 173.2圖片初步處理 173.3平滑度處理 183.4 全景圖生成 213.5漫游系統(tǒng)的實(shí)現(xiàn) 24第四章 總結(jié)與展望 25 4.1完成情況 26 4.2展望 26參考文獻(xiàn) 26摘要基于圖像的虛擬現(xiàn)實(shí)技術(shù)是目前虛擬現(xiàn)實(shí)研究中最為活躍的研究課題之一。本文主要探索如何運(yùn)用數(shù)字技術(shù)、網(wǎng)頁(yè)制作技術(shù)設(shè)計(jì)一個(gè)風(fēng)景旅游漫游系統(tǒng)。該系統(tǒng)分為三個(gè)子系統(tǒng)，即圖片管理子系統(tǒng)、全景圖生成子系統(tǒng)和漫游子系統(tǒng)。應(yīng)用結(jié)果表明，該系統(tǒng)能對(duì)基于圖像的虛擬現(xiàn)實(shí)環(huán)境進(jìn)行構(gòu)造并實(shí)現(xiàn)快速漫游。關(guān)鍵詞：全景圖；虛擬環(huán)境；全景漫游;數(shù)字圖像處理abstractthe

3、virtual reality technology based on picture has become one of the most active research subjects currently. this dissertation mainly concerns how to employ digital technology and homepage designing method to build a virtual touring system. this system is composed of three subsystems including a pictu

4、re managing subsystem, a panorama generating subsystem, and a rambling subsystem. the application experience indicates that this system can be easily used to construct virtual reality environments based on picture and realize fast ramble.keywords: panorama, virtual reality (vr), full view navigation

5、; digital picture processing第一章 緒論 1.1課題背景基于圖像的虛擬現(xiàn)實(shí)技術(shù)是目前虛擬現(xiàn)實(shí)研究中最為活躍的研究課題之一，虛擬現(xiàn)實(shí)就是通過(guò)計(jì)算機(jī)生成與現(xiàn)實(shí)環(huán)境相適應(yīng)的圖形系統(tǒng)，使人仿佛置身其中。虛擬現(xiàn)實(shí)的實(shí)現(xiàn)，一般分為圖形與圖像兩種方法，圖形方法中，虛擬環(huán)境是由各類3d幾何體合成的。在虛擬環(huán)境中漫游是通過(guò)實(shí)時(shí)繪制3d幾何體實(shí)現(xiàn)的。對(duì)于圖像方法，虛擬環(huán)境是用全景圖集合構(gòu)成的。在虛擬環(huán)境中漫游相當(dāng)于選擇不同的全景圖，以360度的視角全面的觀看虛擬全景。全景圖可以用計(jì)算機(jī)生成，也可以用全景照相機(jī)拍攝，或者用普通相機(jī)拍攝而后再加拼接。以圖像方式實(shí)現(xiàn)的虛擬環(huán)境漫游，其關(guān)鍵問(wèn)題

6、是獲取全景圖，視點(diǎn)位置固定，而視線方向變化時(shí)的所有圖像構(gòu)成的圖叫全景圖。1.2本文工作由于虛擬景觀技術(shù)具有很廣泛的應(yīng)用前景，例如風(fēng)景旅游、地理導(dǎo)航等等方面，都有很大的作用，所以已經(jīng)成為圖像圖形學(xué)界最為活躍的研究課題之一。虛擬景觀漫游是對(duì)現(xiàn)實(shí)世界中的風(fēng)景的虛擬漫游，與一般的基于計(jì)算機(jī)動(dòng)畫或虛擬現(xiàn)實(shí)的漫游相比，它具有以下特點(diǎn)：（1）一般的漫游對(duì)象往往通過(guò)創(chuàng)作或設(shè)計(jì)想象出來(lái)，以人工環(huán)境為主；而虛擬景觀漫游的對(duì)象風(fēng)景，則是在現(xiàn)實(shí)世界中客觀存在的，它往往既包含人工景觀，又包含自然景觀，且以自然景觀為主。（2）一般的漫游環(huán)境中的視覺(jué)效果通常是由人工設(shè)計(jì)出來(lái)的，允許與實(shí)際情況不完全吻合；而虛擬景觀漫游中的視

7、覺(jué)效果則要求盡可能的與實(shí)際的視覺(jué)效果相一致，才能給人以身臨其境的視覺(jué)滿足感。開(kāi)發(fā)本系統(tǒng)的目的是為了構(gòu)造一個(gè)基于圖像的風(fēng)景漫游系統(tǒng)，具體是以我校園風(fēng)光為對(duì)象，制作一個(gè)校園的全景導(dǎo)航系統(tǒng)。系統(tǒng)構(gòu)造如圖一：風(fēng)景漫游系統(tǒng)圖片管理子系統(tǒng)圖像輸入模塊圖像初處理模塊全景圖生成子系統(tǒng)全景圖生成模塊虛擬空間構(gòu)造模塊全景漫游子系統(tǒng)視點(diǎn)定位模塊全景圖瀏覽模塊圖片綜合處理圖片平滑度處理圖一：風(fēng)景漫游系統(tǒng)由圖一可知，整個(gè)系統(tǒng)分為3個(gè)子系統(tǒng)，即圖片管理子系統(tǒng)，全景圖生成子系統(tǒng)和漫游子系統(tǒng)，共6個(gè)模塊：（1）圖像輸入模塊，能讀取標(biāo)準(zhǔn)照片掃描后的格式，或者是數(shù)碼照片的格式；（2）圖像初處理模塊，分成兩個(gè)小塊： 圖片綜合處理和

8、圖片平滑度處理。圖片綜合處理主要是用photoshop對(duì)拍攝的圖片初步處理，包括明暗、大小裁剪、清晰度等方面的處理；圖片平滑度的處理，是指對(duì)圖片進(jìn)行適當(dāng)?shù)哪：幚?，使圖像拼接后更平滑。圖片的初處理生成了構(gòu)造全景圖的素材；（3）全景圖生成模塊，將同一視點(diǎn)和同一視角的圖片進(jìn)行拼接生成全景圖；（4）虛擬空間構(gòu)造模塊，將一個(gè)視點(diǎn)的全景圖組合，同時(shí)記憶視點(diǎn)的位置，多個(gè)視點(diǎn)信息組合起來(lái)，建立空間鏈，構(gòu)造全景虛擬空間；（5）視點(diǎn)定位模塊，在用戶發(fā)布漫游命令后，快速選擇視點(diǎn)，取定視點(diǎn)視角，進(jìn)而確定全景圖；（6）全景圖瀏覽模塊，實(shí)現(xiàn)全景圖360o 或廣角瀏覽。第二章 相關(guān)技術(shù)2.1現(xiàn)有的圖像處理技術(shù)數(shù)字圖像處理

9、計(jì)算機(jī)，通俗的講是指應(yīng)用計(jì)算機(jī)以及數(shù)字硬件設(shè)備對(duì)圖像進(jìn)行加工處理的技術(shù)。大體上可以包括以下幾個(gè)方面的內(nèi)容。2.1.1圖像信息的獲取為了在計(jì)算機(jī)上進(jìn)行圖像處理，必須把作為處理對(duì)象的模擬圖像轉(zhuǎn)化成數(shù)字圖像信息。圖像信息的獲取一般包括圖像的攝取、轉(zhuǎn)換及數(shù)字化等幾個(gè)步驟。數(shù)字化（digitizing）是指將一幅圖像從其原來(lái)的形式轉(zhuǎn)換為數(shù)字形式的處理過(guò)程?！稗D(zhuǎn)換”是非破壞性的，因?yàn)樵紙D像未被破壞掉。常見(jiàn)的圖像攝取方式有掃描（scanning），掃描指對(duì)一幅圖像內(nèi)給定位置的尋址，在掃描過(guò)程中被尋址的最小單位是圖元像素（picture element）即像素（pixel）， 對(duì)攝影圖像的數(shù)字化就是對(duì)膠片上

10、一個(gè)個(gè)小斑點(diǎn)的順序掃描。掃描從不太嚴(yán)格的角度講，可以說(shuō)是數(shù)字化的代名詞。矩形掃描網(wǎng)格常稱為光柵(raster )。采樣（sampling）是指在一幅圖像的每個(gè)像素位置上測(cè)量灰度值。采樣通常是由一個(gè)圖像傳感元件完成，它將每個(gè)像素處的亮度轉(zhuǎn)換成與其成正比的電壓值。量化（quantization）是將測(cè)量的灰度值用一個(gè)整數(shù)表示。由于數(shù)字計(jì)算機(jī)只能處理數(shù)字，因此必須將連續(xù)的測(cè)量值轉(zhuǎn)化為離散的整數(shù)。在圖像的傳感器后面，經(jīng)常跟隨一個(gè)電子線路的模數(shù)轉(zhuǎn)換器（adc），將電壓值轉(zhuǎn)化為一個(gè)整數(shù)。掃描、采樣和量化這三個(gè)步驟組成了圖像的數(shù)字化過(guò)程，經(jīng)過(guò)數(shù)字化得到的圖像即數(shù)字圖像。2.1.2圖像信息的存儲(chǔ)和交換由于數(shù)字

11、圖像信息量大，且在處理過(guò)程中必須對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)和交換，為了解決大數(shù)據(jù)量及交換與傳輸時(shí)間的矛盾，通常采用大容量機(jī)內(nèi)存儲(chǔ)器進(jìn)行并行傳送，直接存儲(chǔ)訪問(wèn)外，還必須采用磁盤，光盤及磁帶存儲(chǔ)方式，從而達(dá)到提高處理速度的目的。2.1.3 數(shù)字圖像處理圖像信息輸入數(shù)字化（光電變換、a/d）數(shù)據(jù)壓縮（變換、編碼）像質(zhì)改善（增強(qiáng)、復(fù)原）模擬化（變換、d/a）圖像輸出（打印、顯示）特征分割、選擇圖像分析、分類數(shù)字圖像處理即把在空間上離散的，在幅度上量化分層的數(shù)字圖像，經(jīng)過(guò)一些特定數(shù)理模式的加工處理，以達(dá)到有利于人眼視覺(jué)或某種接受系統(tǒng)所需要的圖像的過(guò)程。廣義地說(shuō)，一般數(shù)字圖像處理的方法主要包括：圖像變換，圖像增強(qiáng)，圖

12、像恢復(fù)，圖像壓縮編碼，圖像分析，模式識(shí)別等內(nèi)容。由于數(shù)字圖像處理技術(shù)發(fā)展很快，可認(rèn)為圖像分析和模式識(shí)別是相對(duì)獨(dú)立的另兩個(gè)方面，最基本的特點(diǎn)是輸入的是圖像，輸出的不為圖像，而是對(duì)圖像的分析和特征分類，或?qū)D像的描述和解釋。前面幾個(gè)部分也可稱作數(shù)字圖像的預(yù)處理方法。這部分最基本的特點(diǎn)是輸入和輸出均為圖像，但因?yàn)檫@些內(nèi)容之間在理論基礎(chǔ)和處理方法上各有異同，在技術(shù)上既相互滲透，又分別和不同學(xué)科相結(jié)合，因此很難嚴(yán)格地劃分，但又可保持相對(duì)的獨(dú)立性。圖二表示了數(shù)字圖像處理的內(nèi)容和相互關(guān)系。（a）圖像圖像特征數(shù)據(jù)圖像分析、分類、識(shí)別計(jì)算機(jī)制圖編碼、增強(qiáng)、復(fù)原（b）圖二：數(shù)字圖像處理內(nèi)容和關(guān)系2.1.3.1 圖

13、像變換在數(shù)字圖像處理中，圖像增強(qiáng)、圖像恢復(fù)、圖像編碼壓縮、圖像分析與描述等每一種處理手段和方法都要用到圖像變換。例如，在進(jìn)行圖像低通濾波、高通濾波中，可以借助于傅立葉變換把要在空間域中解決的問(wèn)題轉(zhuǎn)換到空間頻率域中去解決。常用的圖像變換過(guò)程有連續(xù)函數(shù)的傅立葉變換、卷積和相關(guān)、離散傅立葉變換、二維離散傅立葉變換、離散卷積和離散相關(guān)、快速傅立葉變換等等。其中傅立葉變換是數(shù)字圖像處理中應(yīng)用最廣的一種變換，它除了具有許多非常獨(dú)特的性質(zhì)之外，更重要的是它的快速算法即fft。2.1.3.2 圖像增強(qiáng)在圖像的產(chǎn)生、傳輸和變換過(guò)程中，由于多種因素的影響，往往使圖像與原始景物之間或者與原始圖像之間產(chǎn)生某些差異。這

14、種差異稱為變劣或退化。圖像的變劣使從圖像中獲取各種信息造成困難和不便。因此，有必要對(duì)變劣的圖像進(jìn)行恰當(dāng)?shù)奶幚?，使處理后的圖像更適合于人眼觀察或有利于從圖像提取信息。這個(gè)處理稱為圖像增強(qiáng)處理。常用的圖像增強(qiáng)處理方法有灰度修改技術(shù)能有效的提高圖像的對(duì)比度；圖像平滑技術(shù)能去除或衰減圖像上的噪聲和假輪廓，即衰減高頻分率，增強(qiáng)低頻分量；圖像銳化技術(shù)能補(bǔ)償圖像的輪廓，使圖像較清晰。2.1.3.3 圖像恢復(fù)由于光學(xué)系統(tǒng)、運(yùn)動(dòng)等原因，圖像通常存在各種不同的畸變，校正這種畸變的處理過(guò)程稱為圖像恢復(fù)，或者說(shuō)圖像恢復(fù)是為了去除或減輕在獲得圖像過(guò)程中發(fā)生的圖像質(zhì)量下降。圖像恢復(fù)和上面討論的圖像增強(qiáng)的目的都是改善圖像質(zhì)

15、量，但改善的方法和評(píng)價(jià)的標(biāo)準(zhǔn)是不同的。圖像增強(qiáng)是突出圖像中感興趣的特征，衰減不需要的信息，因此它不考慮圖像退化的真實(shí)物理過(guò)程，增強(qiáng)后的圖像也不一定去逼近原始圖像；而圖像恢復(fù)則是針對(duì)圖像的退化原因設(shè)法進(jìn)行補(bǔ)償，首先需要對(duì)圖像的退化原因有一定的了解，然后利用圖像退化的逆過(guò)程去還原圖像，使復(fù)原后的圖像逼近真實(shí)的圖像。常用的圖像恢復(fù)技術(shù)主要有以下幾種：經(jīng)典復(fù)原濾波器，線形代數(shù)復(fù)原法，限制較少的退化復(fù)原等等。2.1.3.4 圖像壓縮編碼圖像數(shù)字化的關(guān)鍵是編碼。在滿足一定圖像質(zhì)量要求的前提下，能獲得減少數(shù)據(jù)量的編碼可稱為壓縮編碼。研究最佳的壓縮編碼的數(shù)理模型和方法，是人們追求的目標(biāo)。按壓縮技術(shù)所依據(jù)和使用

16、的計(jì)算方法可將壓縮技術(shù)分為統(tǒng)計(jì)編碼（statistical coding）、預(yù)測(cè)編碼（predictive coding ）和變換編碼（transform coding）三大類。統(tǒng)計(jì)編碼是指一類建立在圖像的統(tǒng)計(jì)特性基礎(chǔ)上的壓縮編碼方法。常見(jiàn)的統(tǒng)計(jì)編碼有以下幾類：l 霍夫曼（huffman）編碼，它完全依據(jù)信源字符出現(xiàn)的概率來(lái)構(gòu)造平均碼子長(zhǎng)度最短的異字頭碼字。其基本步驟如下：1) 將信源符號(hào)出現(xiàn)的概率按由大到小的順序加以排列；2) 將兩個(gè)最小的概率進(jìn)行組合相加，并繼續(xù)這種步驟，始終將較高的概率分支放在上部，直 到概率達(dá)到1.0為止； 3) 對(duì)每對(duì)組合上邊的一個(gè)都指定為1，下邊的一個(gè)指定為0（或相

17、反，指定上邊一個(gè)為0， 指定下邊一個(gè)為1）；4) 畫出由每個(gè)信源符號(hào)到達(dá)概率為1.0處的路徑，記下沿路徑遇到的各個(gè)1和0；5) 對(duì)于每個(gè)信源符號(hào)都寫出1和0序列，最后便得到了霍夫曼碼。l 算術(shù)編碼（arithmetic encoding，ae）算術(shù)編碼方法沒(méi)有沿用一般數(shù)據(jù)編碼技術(shù)中的用一個(gè)特定代碼代替一個(gè)輸入符號(hào)的做法，而是把要壓縮的整段數(shù)據(jù)一起映射到一段實(shí)數(shù)半開(kāi)區(qū)間0，1內(nèi)的某一區(qū)段上，構(gòu)做出小于1且大于或等于0的數(shù)據(jù)。這個(gè)數(shù)值是輸入信源數(shù)據(jù)序列的唯一可譯代碼。l 子塊編碼（block truncation coding，簡(jiǎn)稱btc）btc編碼是把圖像劃分成一些大小為n*n的子塊，在每個(gè)子塊

18、里找出兩個(gè)代表性的亮度來(lái)近似地代表該子像塊的各像素的亮度，然后指明該塊內(nèi)每個(gè)像素屬于哪個(gè)代表亮度，據(jù)此進(jìn)行編碼。預(yù)測(cè)編碼是數(shù)據(jù)壓縮技術(shù)的一個(gè)主要分支。其理論是建立在現(xiàn)代統(tǒng)計(jì)學(xué)和控制論基礎(chǔ)之上的。其基本方法的思路是：在圖像編碼過(guò)程中，可以利用圖像像素間的相關(guān)性，根據(jù)某一像素的值來(lái)預(yù)測(cè)相關(guān)下一點(diǎn)的取值，然后將像素的實(shí)際值和預(yù)測(cè)值相減得到一個(gè)誤差值，對(duì)該誤差值進(jìn)行編碼，就是預(yù)測(cè)編碼。常用的預(yù)測(cè)編碼有差分脈沖編碼調(diào)制（dpcm）和自適應(yīng)預(yù)測(cè)編碼。圖像變換編碼的基本概念是將原始空域的圖像經(jīng)過(guò)某種變換，諸如離散傅立葉變換（dft）、離散余弦變換（dct）、卡洛變換（klt）、離散沃爾什-哈達(dá)瑪變換（dwh

19、t）等轉(zhuǎn)換到頻域內(nèi)，從而在頻域內(nèi)進(jìn)行描述，達(dá)到去相關(guān)的目的，再經(jīng)過(guò)適當(dāng)?shù)姆绞搅炕幋a，進(jìn)一步壓縮圖像的編碼比特率而得到的。2.1.4 數(shù)字圖像通信隨著internet的飛速發(fā)展，使得數(shù)字圖像的通信技術(shù)也高速?gòu)V泛發(fā)展。因?yàn)閳D像通信具有形象直觀、可靠、高效率等一系列優(yōu)點(diǎn)，尤其是數(shù)字圖像通信比模擬圖像更具抗干擾性，便于加密等優(yōu)點(diǎn)。數(shù)字圖像通信的過(guò)程是指把數(shù)字化的圖像信號(hào)經(jīng)過(guò)預(yù)處理（包括去噪聲、低通、高通、帶通波等），再經(jīng)過(guò)編碼器（信原編碼和解決糾錯(cuò)碼的信道編碼）、調(diào)制器（目的在于使數(shù)字基帶信號(hào)變換成更適合于信道傳輸?shù)男问剑┘巴ㄟ^(guò)信道傳輸圖像，即完成了圖像的發(fā)送，而在接受端則要完成與發(fā)送端相應(yīng)的逆過(guò)程

20、，即圖像解調(diào)、信道解碼、信源解碼、最后致終端顯示圖像。以上諸多環(huán)節(jié)的核心是基于圖像壓縮編碼和實(shí)驗(yàn)基礎(chǔ)之上的軟硬件相結(jié)合的編碼技術(shù)。 2.1.5 圖像的輸出和顯示數(shù)字圖像處理的最終目的是為了提供便于人眼或接受系統(tǒng)解釋和識(shí)別的圖像，因此圖像的輸出和顯示很重要。一般圖像輸出的方式可分為硬拷貝，諸如照相、打印等等，還有所謂的軟拷貝，諸如crt監(jiān)視器及平板監(jiān)視器等等。 2.2全景圖技術(shù)人類的交流方式隨著網(wǎng)絡(luò)信息的發(fā)展，進(jìn)入了全新的領(lǐng)域。文字、圖像很難全面的表現(xiàn)事物，更不能說(shuō)明事物動(dòng)態(tài)的過(guò)程，而純粹的三維、動(dòng)畫方式又不能完全體現(xiàn)事物的實(shí)際現(xiàn)象，全景漫游與虛擬現(xiàn)實(shí)技術(shù)應(yīng)運(yùn)而生。它對(duì)圖形進(jìn)行“實(shí)時(shí)”渲染，使計(jì)

21、算機(jī)模擬的三維環(huán)境真實(shí)可信，用戶甚至可以走進(jìn)這個(gè)環(huán)境（用鼠標(biāo)控制您的瀏覽方向）并操縱場(chǎng)景中的對(duì)像，這是它與動(dòng)畫制作的最大區(qū)別。這種“實(shí)時(shí)性”和“可交互性”正是虛擬現(xiàn)實(shí)技術(shù)最大的優(yōu)勢(shì)，它給人們帶來(lái)了全新的視野，開(kāi)辟了人類交流的最新領(lǐng)域。全景圖制作技術(shù)可謂是全景漫游與虛擬現(xiàn)實(shí)技術(shù)中的關(guān)鍵核心技術(shù)。全景圖是虛擬現(xiàn)實(shí)和計(jì)算機(jī)視覺(jué)中一種重要的場(chǎng)景表示方法，它指的是在固定的視點(diǎn)，在垂直方向180和水平方向360的圖像視圖，簡(jiǎn)單的形式可以是固定平面上的360視圖。通常有兩種方法來(lái)獲得全景圖(如圖三所示):直接的方式和圖像拼接的方式。前一種方式可以很容易地進(jìn)行，但它需要使用全景相機(jī)等特殊的器材，而且這些器材通

22、常是十分昂貴的，因此后種方法的研究便十分普遍了。本文講述的全景視圖的生成方法正是采用后種方式的思想，利用若干離散局部圖像作為基礎(chǔ)數(shù)據(jù)，經(jīng)過(guò)一系列圖像處理后生成全景視圖。選擇視點(diǎn)及場(chǎng)景全景照相機(jī)普通照相機(jī)平滑處理拼接融合生成全景圖圖三獲得全景視圖的方法全景圖具有如下優(yōu)點(diǎn)：1） 百分之百現(xiàn)場(chǎng)實(shí)景實(shí)拍照片，藝術(shù)和技術(shù)的完美體現(xiàn)；2） 鼠標(biāo)鍵盤自由操縱畫面轉(zhuǎn)動(dòng)，前后左右、仰視、俯視； 3） 畫面靈活轉(zhuǎn)動(dòng)，隨意前進(jìn)后退和透視變形，有如真實(shí)進(jìn)入場(chǎng)景；4） 多種形式的聯(lián)接及相嵌，充分展示其產(chǎn)品；5） 360度大全景或廣角景色，使人體驗(yàn)身臨其境的新鮮感受；6） 實(shí)景環(huán)拍，表現(xiàn)“客觀真實(shí)”的最理想手段。全景圖像

23、的制作涉及到以下幾個(gè)關(guān)鍵的技術(shù)：圖像拼接（image stitching），顏色融合(color blend)，圖像平滑度處理（image smooth disposal），圖像銳化（color acute）等等。詳細(xì)敘述如下：2.2.1圖像拼接在全景圖的制作過(guò)程中，最重要、最關(guān)鍵的一個(gè)技術(shù)可謂是圖像拼接技術(shù)了。圖像的拼接主要根據(jù)兩幅圖像的重疊區(qū)域的相似性來(lái)實(shí)現(xiàn)，目前一般有基于區(qū)域和基于特征等算法。在應(yīng)用過(guò)程中，隨著技術(shù)的日益成熟，出現(xiàn)了很多圖像的拼接技術(shù)，例如傳統(tǒng)的拼接算法有zeliski的基于運(yùn)動(dòng)(otion based)的方法，eleg和erman的流形投影(anifold projec

24、tion)拼接法，yungho的等距匹配法等，它們都是直接從圖像的重疊區(qū)域中對(duì)應(yīng)像素灰度值出發(fā)去考慮，雖然可以實(shí)現(xiàn)圖像的拼接，但是由于在算法中存在大量的對(duì)像素灰度數(shù)據(jù)的計(jì)算，所以普遍存在計(jì)算量大的缺點(diǎn)，而且對(duì)光照的變化和鏡頭造成的幾何畸變比較敏感?；谔卣鞯乃惴ú捎脤ふ揖植繉?duì)應(yīng)和抽取重要特征方法進(jìn)行匹配，得到的結(jié)果往往是局部最優(yōu)解，而不能全面考慮整體的圖像效果。南京理工大學(xué)自動(dòng)化系的李忠新提出了一種基于相位相關(guān)法的柱面全景圖拼接技術(shù)，該技術(shù)針對(duì)基于圖像繪制技術(shù)中柱面全景圖拼接問(wèn)題，利用相位相關(guān)法，通過(guò)對(duì)圖像作快速傅立葉變換，利用頻域中的相位信息來(lái)實(shí)現(xiàn)圖像的拼接，實(shí)驗(yàn)表明該方法大大提高了拼接速度

25、，并且能夠有效地克服圖像間光照變化和相機(jī)鏡頭造成的幾何畸變對(duì)拼接的影響，是一種快速實(shí)用的全景圖拼接方法。相位相關(guān)法最早是由uglin和ines在1975年提出的，并且證明在純二維平移的情形下，拼接精度可以達(dá)到1個(gè)像素，多用于航空照片和衛(wèi)星遙感圖像的配準(zhǔn)等領(lǐng)域。相位相關(guān)法利用了傅立葉變換的位移性質(zhì)，對(duì)于2幅數(shù)字圖像1和2，1、2分別表示每幅圖像的傅立葉變換，即兩幅圖像在頻域的相位差可以通過(guò)下式計(jì)算: （1）假定圖像1、2之間相差一個(gè)平移量，則兩幅圖像間的關(guān)系可以表示為 （2）對(duì)(2)式作傅立葉變換得 （3）由(1)式、(3)式可以看出，對(duì)于每一空間頻率有 （4） （5）將(4)式作傅立葉逆變換，

26、有 結(jié)合(2)式可知在兩幅圖像的配準(zhǔn)點(diǎn)處為一函數(shù)，而在其他部分幾乎為零。故通過(guò)(5)式計(jì)算出()， 然后找出()的最大值所對(duì)應(yīng)的像素點(diǎn)即為配準(zhǔn)點(diǎn)，也就得到了圖像之間的平移參數(shù)。2.2.2顏色融合2.2.2.1 定義在合成全景圖時(shí)，為便于圖像的拼接，相鄰圖像應(yīng)有部分子圖是重疊的。但是由于相機(jī)拍攝角度及拍攝時(shí)間不同而使拍攝環(huán)境發(fā)生變化，相鄰的圖像之間存在亮度差，同一景物在相鄰圖像上的顏色并不相同，如果將圖像進(jìn)行簡(jiǎn)單的疊加，拼接處會(huì)產(chǎn)生明顯的接縫，為有效的消除拼接痕跡，在圖像拼接時(shí)，需要一種顏色融合算法來(lái)調(diào)整拼接線附近的顏色，以使顏色能平滑過(guò)渡。2.2.2.2顏色融合算法隨著技術(shù)的發(fā)展，人們對(duì)于顏色

27、融合的效果、精度和實(shí)時(shí)化要求越來(lái)越高，而且隨著軟硬件技術(shù)的發(fā)展，使更復(fù)雜融合算法應(yīng)用成為可能，圖像融合從簡(jiǎn)單的融合方法到復(fù)雜的融合方法一般有以下幾種：l 簡(jiǎn)單融合方法l 基于塔形結(jié)構(gòu)的顏色融合算法l 迭代松弛算法l 多元回歸算法簡(jiǎn)單圖像融合是將重疊區(qū)域的像素值按一定的權(quán)值相加合成新的圖像，并裁剪去垂直方向錯(cuò)開(kāi)的圖像部分，則重疊圖像部分的像素值可表示為3=11+22;其中，1和2分別為相鄰兩幅圖像重疊區(qū)域中相對(duì)應(yīng)像素點(diǎn)的像素值，1和2分別為該像素在各自圖像上的權(quán)值，其取值范圍為0，1，其與重疊區(qū)域的水平距離相關(guān)，3為融合后圖像中對(duì)應(yīng)像素的像素值。這樣可以使得相鄰圖像間平滑地過(guò)渡，大大減輕了圖像間

28、的拼接痕跡。基于塔形結(jié)構(gòu)的顏色融合算法，該算法將圖像分解成一組帶通圖像，在每一個(gè)頻率帶內(nèi)，對(duì)兩幅圖像進(jìn)行線形插值，最后將插值后得到的各個(gè)帶通圖像合成，即可得到拼接后的圖像。但是該方法有兩個(gè)限制：（1）要求圖像的寬度和高度應(yīng)該相等，這大大限制了其應(yīng)用范圍。（2）在所有頻率帶內(nèi)采用了相同長(zhǎng)度的插值區(qū)域，并且加權(quán)函數(shù)系數(shù)的確定經(jīng)常需要手工調(diào)整。迭代松弛算法，它首先獲得一個(gè)“最可能光滑”的函數(shù)，然后從源圖像中減去該函數(shù)，以使拼接線附近的顏色平滑過(guò)渡。但該松弛算法的迭代收斂速度非常緩慢，不適合用于大圖像的拼接。多元回歸算法，以其中一幅圖像為標(biāo)準(zhǔn)，利用多元回歸，將另一幅圖像的象素值變換成與第一幅圖像中對(duì)應(yīng)

29、象素值最可能相近的值。但是該方法需要進(jìn)行顏色補(bǔ)償，而且顏色補(bǔ)償所需的象素?cái)?shù)目難以確定。一般而言，在圖像拼接時(shí)，相鄰圖像的重疊區(qū)域變化很大，另外，自然景物圖像的頻率成分非常豐富，希望利用手工調(diào)整系數(shù)是非常困難的，在實(shí)際操作過(guò)程中，要選擇一個(gè)適合的顏色融合算法，使圖像質(zhì)量達(dá)到最優(yōu)。2.2.3圖像平滑度處理制作一幅高質(zhì)量的全景圖，對(duì)圖像進(jìn)行平滑度處理也是非常必要的。圖像平滑的主要目的就是去除或衰減圖像上的噪聲和假輪廓，即衰減高頻分量，增強(qiáng)低頻分量，或稱低通濾波。但是由于圖像平滑處理在消除或減弱圖像噪聲和假輪廓的同時(shí)，對(duì)圖像細(xì)節(jié)也有一定的衰減。因此，圖像平滑的直觀效果是圖像噪聲和假輪廓得以去除的同時(shí)，

30、圖像將變得比處理前模糊了，模糊的程度要看對(duì)高頻分析的衰減程度而定。就同一種平滑方法而言，去除或衰減噪聲和假輪廓的效果越好，圖像就越模糊，因而圖像細(xì)節(jié)就損失越多。因此，在對(duì)圖像作平滑處理過(guò)程中，要二者兼顧。假定f ( x ，y )是含有噪聲或假輪廓的圖像，或稱為待處理的數(shù)字圖像，g ( x ，y )為經(jīng)平滑處理以后的圖像，則圖像平滑可用（2-2-3-1）式表示：g ( x ，y ) = f ( x ，y ) * h ( x ，y ) = (2-2-3-1)式中h ( x ，y )為低通濾波器的脈沖響應(yīng)函數(shù)；a為 h ( x ，y )的作用域；m ，n均為正整數(shù)。（2-2-3-1）式是在空間域內(nèi)圖

31、像平滑的表示。對(duì)應(yīng)空間頻率域，有（2-2-3-2）式的表達(dá)方法：g ( u ，v ) = f ( u ，v ) h ( u ，v ) （2-2-3-2）式中g(shù) ( u ，v ) 是g ( x ，y )的傅立葉變換；f ( u ，v )是 f ( x ，y )的傅立葉變換； h ( u ， v )是低通濾波器的傳遞函數(shù)。按（2-2-3-2）式對(duì)圖像作平滑處理的過(guò)程是，先把待處理圖像作傅立葉變換，得到f ( u ， v )；然后根據(jù)選定的 h ( u ，v )按（2-2-3-2）計(jì)算出g ( u ，v )；最后對(duì) g ( u ，v ) 作反傅立葉變換即可得到g ( x ，y )。 常見(jiàn)的圖像平滑處

32、理方法有以下幾種：n 消噪聲掩模法n 鄰域平均法n 多圖像平均法n 頻域低通濾波 等等現(xiàn)以消噪聲掩模法為例加以說(shuō)明：消噪聲掩模法的主要作用是消減隨即相加性噪聲，它的處理原理表達(dá)式如（2-2-3-1）常用的h ( x ， y )有以下幾種：所列三種h ( x ，y )的作用域?yàn)?3，共有9個(gè)像素灰度參加運(yùn)算，用此運(yùn)算結(jié)果替代中心像素( x ，y )的像素灰度根據(jù)需要，也可選用55、77等不同作用域的h ( x ，y )，具體形式與所列33的形式相類似，只需要遵循一個(gè)原則，即h ( x ，y )矩陣的元素之和與其前面的系數(shù)相乘的結(jié)果為1，這保證了在平滑過(guò)程中處理結(jié)果的像素灰度不超過(guò)允許的像素最大灰

33、度值。在這種平滑方法中，h ( x ，y )矩陣中心的元素值占的比例越小，平滑作用越強(qiáng)，所帶來(lái)的副作用越大即圖像越模糊。h ( x ，y )的作用域越大，平滑作用越強(qiáng)，圖像就越模糊。值得注意的是，用這種方法作平滑處理，圖像四周邊緣的像素需要作特殊處理。以h ( x ， y )為33的形式的情形為例。有兩種方法可供選擇：（1）把原圖像mn加大到（m+2）（n+2），加大的方法是所加大的兩行和兩列的像素灰度均取0。然后對(duì)加大以后的圖像作平滑處理，結(jié)果只取mn，即舍取所加的兩行兩列的零灰度信息。（2）不處理原始圖像4個(gè)邊緣的像素，處理后4個(gè)邊緣的像素灰度保持原始灰度或人為地賦予特殊的灰度。2.2.4

34、圖像銳化圖像在處理、轉(zhuǎn)換或傳輸過(guò)程中，一般來(lái)說(shuō)，質(zhì)量都會(huì)有所降低，除了噪聲的因素之外，圖像一般都要變得模糊一些，這主要是因?yàn)閳D像的處理、轉(zhuǎn)換或傳輸系統(tǒng)的傳遞函數(shù)對(duì)高頻成分的衰減作用，造成圖像的細(xì)節(jié)輪廓不清晰。圖像銳化的作用就是補(bǔ)償圖像的輪廓，使圖像較清晰。與圖像平滑處理相對(duì)應(yīng)，圖像銳化也可分為空間域圖像銳化法和空間頻率域圖像銳化法兩大類型。常用的空間域圖像銳化法主要有微分法圖像銳化和反銳化掩模法兩種?？臻g頻率域圖像銳化法的常用方式也有很多，如理想高通濾波（ihpf）、巴特沃思（butter worth）高通濾波器（ bhpf）、指數(shù)高通濾波器（ehpf）、 梯形高通濾波器（thpf）等等。第三

35、章 風(fēng)景旅游模擬漫游系統(tǒng)的實(shí)現(xiàn)我們所在的城市杭州可謂是全國(guó)聞名的旅游城市，在現(xiàn)代化進(jìn)程中，利用信息技術(shù)提高其旅游管理和服務(wù)水平，是大勢(shì)所趨。如能創(chuàng)建一個(gè)以軟件技術(shù)和空間信息處理為核心的風(fēng)景旅游模擬漫游系統(tǒng)，具有強(qiáng)大的空間信息管理、三維影像顯示、空間信息分析等功能，應(yīng)該會(huì)極大的促進(jìn)杭州旅游事業(yè)的發(fā)展，也能極大的方便人們更好的了解和欣賞杭州美麗的湖光山色。如果我們能在風(fēng)景旅游漫游系統(tǒng)中加入許多旅游景點(diǎn)的全景圖，讓人們第一時(shí)間全方位多格局的領(lǐng)略杭州的湖光山色。360度多角度的觀看，使查看者對(duì)每個(gè)景點(diǎn)都有了百分百的領(lǐng)略和欣賞，作為旅游者來(lái)說(shuō)可以先睹為快，我想應(yīng)該是一件非常美妙的事情吧。根據(jù)圖一風(fēng)景旅游

36、漫游系統(tǒng)的結(jié)構(gòu)模塊，考慮到系統(tǒng)的通用性和傳播的方便性，故使用dreamweaver mx 6.0完成系統(tǒng)的整體設(shè)計(jì)，其中也使用了photoshop、frontpage等制作工作另外，考慮到素材采集的難度，故以學(xué)校風(fēng)光為風(fēng)景素材，具體結(jié)構(gòu)圖如下：杭師院風(fēng)景漫游系統(tǒng)（index.htm）圖片管理上傳（fileup.htm）上傳成功（fileupok.htm）顯示圖片（display.htm）圖像smooth處理（imageblending）全景圖生成調(diào)用cool360拼接圖片(tocool360.htm)cool 360 軟件全景地圖導(dǎo)航系統(tǒng)根據(jù)地圖位置的確定，導(dǎo)出全景圖像（mapload）tus

37、huguan.htmwenkelou.htmlikelou.htmtiyuguan.htmhuayuan.htmxiaomen.htm無(wú)圖片到(nothing.htm)幫助（help.htm） 圖像綜合處理(photoshop6.0)整個(gè)系統(tǒng)設(shè)計(jì)以黑白為主色調(diào)，崇尚簡(jiǎn)約、實(shí)用的風(fēng)格，但不失精細(xì)。上圖括號(hào)所標(biāo)識(shí)的是制作的網(wǎng)頁(yè)，具體實(shí)現(xiàn)功能如下：n index: 系統(tǒng)首頁(yè)，從這一頁(yè)可以到達(dá)系統(tǒng)的三個(gè)模塊：圖片管理模塊，全景圖生成模塊和風(fēng)景漫游系統(tǒng)模塊。這三個(gè)模塊是相對(duì)獨(dú)立的，互相沒(méi)有絕對(duì)的關(guān)聯(lián)，但是在全景圖的處理過(guò)程中都有重要的作用，圖片管理模塊的功能主要是對(duì)照相機(jī)采集的圖片進(jìn)行初步處理。由于各種

38、原因，采集的圖片不一定能直接拿來(lái)合成全景圖，所以在這個(gè)模塊中，可以處理圖片，如平滑度處理、明暗調(diào)整等等，使之合成的效果更好。全景圖生成模塊的功能是將調(diào)整好的圖片合成全景圖。風(fēng)景旅游漫游系統(tǒng)則是根據(jù)地圖的導(dǎo)航，瀏覽各個(gè)風(fēng)景點(diǎn)的全景圖。另外還有一個(gè)幫助按鈕。該頁(yè)界面如下圖所示：n fileup:上傳用相機(jī)拍攝的一組的待處理的圖片，支持多個(gè)文件同時(shí)上傳。n fileupok:顯示上傳成功的網(wǎng)頁(yè)。n display： 與fileupok鏈接，顯示上傳的圖片。圖片以縮略圖的形式顯示，單擊可以查看單張?jiān)敿?xì)圖片。此網(wǎng)頁(yè)還包括一個(gè)對(duì)鏈接到圖片平滑度處理的按鈕和鏈接到photoshop處理的按鈕。n tocoo

39、l360： 直接調(diào)用cool360拼接經(jīng)過(guò)初步處理后的圖片，起到一個(gè)從本系統(tǒng)到cool360的橋梁的作用n mapload：校園風(fēng)景建筑全景圖展示的區(qū)域。通過(guò)對(duì)校園平面圖的定位導(dǎo)航，觀看具體的全景圖。n help：該頁(yè)主要講述了該系統(tǒng)的主要功能和使用方式，使用戶使用起來(lái)更方便。如下所示： 3.1圖片管理3.1.1圖片采集俗話說(shuō)：巧婦難為無(wú)米之炊。所以制作一個(gè)全景系統(tǒng)首要的任務(wù)是采集圖片，筆者是使用nikon coolpix4300普通數(shù)碼相機(jī)拍攝照片的，設(shè)置分辨率為2048*1536。通過(guò)實(shí)地拍攝，筆者認(rèn)為在拍攝照片時(shí)，要注意以下幾點(diǎn)：1) 為了保證生成的全景照片質(zhì)量，一般需要使用三角架，并保

40、證相機(jī)位置水平（可以借助三角架上的氣泡調(diào)整），最好使用專用的全景攝影的三角架，以確保相機(jī)軸心固定。2) 拍攝張數(shù)的確定，一般要視相機(jī)焦距而定，一般采用6-12較為合適，但有時(shí)會(huì)了降低拼接的難度，不得不以降低圖像質(zhì)量為代價(jià)，減少照片的張數(shù)，但要保證相鄰的兩張照片至少要有30%的重合區(qū)域。3) 當(dāng)景點(diǎn)中出現(xiàn)動(dòng)的對(duì)象時(shí)，比如走動(dòng)的人，開(kāi)動(dòng)的汽車時(shí)，要注意在重合區(qū)域最好不要出現(xiàn)該對(duì)象。3.1.2圖片上傳當(dāng)景點(diǎn)的圖片收集完成，在制作成全景圖之前，首先需要對(duì)相鄰的圖片進(jìn)行綜合處理和平滑度處理，由于所有的操作是在網(wǎng)頁(yè)上進(jìn)行的，所以需要把圖片上傳到網(wǎng)頁(yè)中，先在網(wǎng)頁(yè)中顯示原照片。在“fileup” 頁(yè)面中，有一

41、個(gè)支持圖片上傳的表單，如下圖所示： 該表單將上傳的兩張圖片以固定的名字“picture1.bmp”和“picture2.bmp” 存放在“picture”文件夾下。以固定名字上傳是為了在制作顯示圖片的網(wǎng)頁(yè)時(shí)，可以直接根據(jù)固定地址調(diào)用圖片并顯示。代碼如下：3.2圖片綜合處理用普通相機(jī)拍攝過(guò)全景素材照片的人一定知道，如果我們直接將拍攝好的照片導(dǎo)入全景軟件中拼接，往往由于照片角度、明暗度、大小、色差等原因，使拼接好的圖像效果很不好，例如下面兩幅圖片：顯然，兩幅圖片由于拍攝角度、時(shí)間和光照的不同，色彩和角度有很大的差別，如果就直接用來(lái)拼接，圖片會(huì)有很明顯的拼接線，但是如果我們事先利用photoshop

42、強(qiáng)大的圖片處理功能處理這兩張圖片，那拼接效果將有可能達(dá)到“天衣無(wú)縫”，對(duì)比圖如下所示：（處理后進(jìn)行拼接）（未經(jīng)處理進(jìn)行拼接）所以，對(duì)于一般的圖片在拼接以前，我們還是建議利用photoshop或者其他的圖片處理工具來(lái)處理圖片，使圖片特別是重疊的部分基本相同。我們必須謹(jǐn)記的一點(diǎn)是要保證圖像拼接后盡量天衣無(wú)縫。3.平滑度處理前文中已經(jīng)提到圖像平滑處理目的在于消除拼接圖像的噪聲，使圖像拼接后拼接線不過(guò)于明顯。由于相鄰圖片之間亮度差的存在，如果將圖像簡(jiǎn)單疊加，拼接處會(huì)產(chǎn)生明顯的接縫。為了消除拼接縫隙，如果能事先淡化圖像的精度，作適當(dāng)?shù)钠交幚?，即適當(dāng)模糊圖片，就可以使圖像的重疊部分更一致，拼接后看不出拼

43、接縫隙。在本系統(tǒng)中，利用“display.htm”頁(yè)中的提示性圖片，將頁(yè)面轉(zhuǎn)入圖像的平滑度處理頁(yè)，如下圖所示：各按鈕解釋如下：open：打開(kāi)后綴名為.bmp的圖像文件，并在浮動(dòng)窗口中顯示，如果您的文件為.jpg的形式，請(qǐng)事先轉(zhuǎn)換格式。在我們這個(gè)系統(tǒng)中，因?yàn)閷?duì)需要做平滑處理的圖片已經(jīng)事先上傳到名為“picture”的文件夾中，所以為了方便起見(jiàn)，筆者已經(jīng)將它們存為.bmp的格式了。smooth：對(duì)打開(kāi)的圖片進(jìn)行平滑處理，并在浮動(dòng)窗口中顯示；如果不停點(diǎn)擊smooth按紐，那么平滑結(jié)果會(huì)越來(lái)越強(qiáng)烈，也就是越來(lái)越模糊。其調(diào)用的程序如下所示：void cimageblendingdlg:smooth()

44、bitmapinfoheader* bmhdr1 = (bitmapinfoheader*):globallock(m_hdib1);bitmapinfoheader* bmhdr3 = (bitmapinfoheader*):globallock(m_hdib3);int width = bmhdr1-biwidth， height = bmhdr1-biheight;lpbyte lpdibimage1 = (unsigned char*):finddibbits(char*)bmhdr1);lpbyte lpdibimage3 = (unsigned char*):finddibbits

45、(char*)bmhdr3);int line_byte = line_bytes(width， 24);for (int y = 1; y height - 1; y +) for (int x = 1; x width - 1; x +) int pos = y * line_byte + x * 3;float r = 0.0， g = 0.0， b = 0.0;for (int i = 0; i 3; i+)for (int j = 0; j 255 ? 255 : int (r + 0.5);lpdibimage3pos+1 = int (g + 0.5) 255 ? 255 : i

46、nt (g + 0.5);lpdibimage3pos+2 = int (b + 0.5) 255 ? 255 : int (b + 0.5);:globalunlock(hglobal)m_hdib1);:globalunlock(hglobal)m_hdib3);save as bmp：將處理好的圖片以.bmp的形式保存，以備用。select the template：為選擇平滑時(shí)用到的卷積模板，demo提供了三個(gè)常用平滑模板供用戶選擇；將會(huì)產(chǎn)生不同的平滑效果。例如將下面這幅圖選擇不同的響應(yīng)函數(shù)，各經(jīng)過(guò)三次平滑處理，效果如下：（原圖）（選擇1）（選擇2）（選擇3）通過(guò)比較我們不難發(fā)現(xiàn)，圖像的模糊程度是（選擇1）（選擇2）（選擇3），這符合我們前面講的，h(x，y)矩陣中心的元素值占的比例越小，平滑作用越強(qiáng)，所帶來(lái)的副作用即圖像越模糊。雖然圖片越模糊，使圖片拼接變得容易，但是平滑帶來(lái)的副作用“圖片變得不清晰”也是不容忽視的，所以要選擇一個(gè)合適的平滑模版，進(jìn)行適當(dāng)?shù)钠交幚怼?.4全景圖生成現(xiàn)在，軟件市場(chǎng)上有很多常用的全景圖制作工具，例如mgi photovista、adg pa