人臉全景紋理圖像拼接算法

1、收稿日期:2009-12-10 修回日期:2009-12-29第28卷 第2期計 算 機 仿 真2011年2月文章編號:1006-9348(201102-0276-04人臉全景紋理圖像拼接算法姚嘉梁1,2,胡 君1(1.中國科學院長春光學精密機械與物理研究所,吉林長春130033;2.中國科學院研究生院,北京100039摘要:研究人臉部位真實圖像問題,為了獲得真實感人臉三維模型,提出一種柱面人臉全景紋理圖像拼接算法?？紤]到人頭部接近于一個圓柱體以及因投影方向不同直接進行拼接會造成視覺的不一致性,采用了一種人臉特征的柱面投影方法;針對人臉紋理特征信息豐富的特點,利用特征塊匹配法配準相鄰的圖像;再

2、根據(jù)亮度直方圖均衡法消除相鄰圖像的亮度差異;并使用改進的平滑因子實現(xiàn)圖像的平滑過渡。實驗表明算法能夠有效地消除視覺不一致性,快速有效地生成真實感人臉全景圖像,為人臉三維建模提供參考依據(jù)。關(guān)鍵詞:人臉全景紋理圖像;無縫拼接;柱面投影;特征塊匹配;直方圖中圖分類號:TP391 41 文獻標識碼:BM osaic A l gorith m of Face Texture Panora m ic I mageYAO Jia-liang 1,2,HU Jun1(1.Changchun Institute o f Optics ,F i ne M echan i cs and Physics ,Ch i

3、nese A cade m y o f Sc iences ,Changchun Jili n130033,Ch i na ;2.G raduate Schoo l of Ch i nese A cademy o f Sciences ,Be iji ng 100039,Ch i na AB STRACT :In orde r to ob tai n rea listi c 3D m ode l of hu m an face ,a face texture pano ram ic i m age m osa ic algor i th m w as proposed .Consi der i

4、 ng tha t the hu m an head i s si m ilar to a cy li nder and stitching t he i m ages directl y w ill lead tounrea l resu lt ,cy li ndr ica l coord i nate projecti on is i m p l e m ented .B lock -m atch i ng m ethod is used to reg i ster the ne i ghbor i ng i m ages because o f r i ch texture infor

5、m ati on of hu m an face .A nd br i ghtness histog ram i s used to e li m i nate the br i ghtness differences bet w een adjacent i m ages .F urt her m ore ,s m oo th fac t o r is used to m erge the over l app i ng i m a ges .T he experi m ents show that th i s a l gor it hm can eli m ina te the v is

6、ua l i nconsistency e fficiently and gene ra te t he face tex ture panora m ic i m age qu i ckly ,w hich can be used i n 3D m ode li ng o f real hu m an face .K EY W ORDS :Face texture pano ra m ic i m age ;Sea m less stitchi ng ;Cy li ndrical coordi nate pro jecti on ;B l ock m atc h i ng ;H istog

7、ram1 引言在人類的交流過程中最重要的手段應該是語言,再接下來就是人類的肢體語言,而在肢體語言中最重要的表達部位應該就是人臉,人臉表面具有高度復雜的幾何形狀和十分豐富的紋理信息,正因為如此研究人臉建模有著其特殊的意義。自古以來人們就開始尋找人臉的建模方法,中國的壁畫,浮雕;外國的素描,雕塑。人們所追求的是多方位的表達手法,但受限于人類的認識,這些建模方法都只局限于二維表達,并不能全面的表達出人臉的信息。但隨著人類對空間的認識以及計算機技術(shù)的出現(xiàn)和發(fā)展,讓人臉三維建模成為了現(xiàn)實,并成為計算機圖形學領(lǐng)域的一個重要分支,出現(xiàn)了基于激光掃描的三維建模、基于曲線曲面的三維建模等方法1,其中基于圖像的三

8、維人臉建模技術(shù)是一種比較經(jīng)濟可行的建模方法:一般要經(jīng)過人臉特征信息提取、個性化人臉模型建立和紋理合成與紋理映射三個步驟。人臉全景紋理圖像的拼接是人臉三維建模中的一個重要的環(huán)節(jié),其拼接效果直接影響到建模結(jié)果的真實感。人臉全景紋理圖像拼接既有一般的圖像拼接的特點又有其特殊的地方。傳統(tǒng)的人臉全景紋理圖像的拼接方法,著重考慮如何配準拼接相鄰的重疊圖像,而沒用考慮到從不同方向拍攝得到的圖像直接進行拼接獲得的全景圖像存在著較嚴重的圖像扭曲,本文充分地分析了造成這種缺陷的原因,提出了基于柱面投影的人臉 全景紋理圖像的拼接方法,并通過對實驗結(jié)果進行對比,證明該方法是可行的。另一方面圖像配準是所有圖像拼接都要涉

9、及到的一項重要步驟,主要有比值匹配法和特征塊匹配法兩大類,考慮到人臉紋理信息豐富,對應的邊緣信息和特征點信息也十分豐富,本文采用了特征塊匹配法,實驗表明應用該方法可以快速的配準相鄰的圖像;再應用亮度直方圖均衡法消除相鄰圖像的亮度差異;并使用改進加權(quán)因子的漸進漸入方法實現(xiàn)圖像的平滑過渡獲得人臉柱面全景紋理圖像。2 人臉圖像拼接基本原理傳統(tǒng)的基于正側(cè)面兩幅圖像出發(fā)的合成紋理圖像的方法雖然算法簡單,但人臉的許多特征及紋理信息并不能在正面和側(cè)面照片中表達出來,并且由于受光照以及拍攝角度的影響獲得的紋理圖像無法滿足視覺一致性的要求。針對這兩個問題本文提出兩方面的改進。 1多角度拍攝。對于生成周圍景物的全

10、景圖像,其素材是通過以鏡頭為軸轉(zhuǎn)動一周連續(xù)拍攝獲得的2,3,但不能用這種方式來拍攝人臉。拍攝景物是視點不變、拍攝方向改變、拍攝目標變動,拍攝人臉是視點變動、拍攝方向改變、拍攝目標不變,這兩種拍攝方式有著本質(zhì)上的區(qū)別。人臉圖像的拍攝方式如圖1所示,以人頭部為中心軸繞著軸轉(zhuǎn)動一周多角度連續(xù)拍攝,拍攝過程中要求鏡頭要對準人頭部并且要求獲得的相鄰圖像邊界有一定程度的重疊。 圖1 拍攝方式2人臉柱面投影。由于圖像系列是在不同的方向上的二維投影得到的,從圖2中可以看出同一段弧A B 在相鄰的兩張圖像上投影CD 與EF 長度是不同的,這就使得同一部分紋理在不同投影圖像上不一致,從而無法滿足視覺的一致性,給拼

11、接帶來困難,因此需要將待拼接的圖像投影到一個標準坐標空間上,再進行拼接。考慮到人頭部輪廓近似于一個圓柱體以及柱面坐標變換比較簡單并且投影圖像與其投影到圓柱表面的位置無關(guān),所以選取柱面坐標為標準坐標空間,實驗證明用其描述的柱面人臉全景圖像可以在水平方向上滿足360 環(huán)視,較好的滿足視覺一致性的要求2。圖2 視覺不一致性3 人臉圖像拼接關(guān)鍵算法3.1 柱面投影柱面投影就是將圖像投影到柱面坐標上,以滿足視覺一致性的要求。由于拍攝方式的不同,所以本文采用的柱面投影方法得到的計算公式也不同于文獻3給出的公式。如圖3所示,O 為觀測點(拍攝點,K 為投影柱面,I 為待投影的人臉圖像,II 為I 的柱面投影

12、圖像。并使O 點在I 以及II 上的投影落在圖像的中心點P處。圖3 柱面投影由于人臉圖像是以像素為基本單位,不同于一般的空間距離單位,這樣在計算中就存在著度量單位的不統(tǒng)一的問題,為了避免相互轉(zhuǎn)化帶來的不便,該算法統(tǒng)一選取像素作為基本度量單位。為了計算的方便,取I 以及II 的中心位置P 作為像素原點。圖3(a過O 點取水平截面得到圖3(b。其中圖像的寬度為W,高度為H,焦距為F,而圓形的半徑的取值問題,根據(jù)中國成人人體頭面部尺寸男女統(tǒng)計信息:頭圍561mm-546mm;頭最大長度184mm-176mm;頭最大寬度154mm-149mm4。綜合考慮男女的頭部尺寸取圓柱半徑R=85mm 來進行計算

13、。再進行度量單位的統(tǒng)一處理得焦距為f,圓柱半徑為r。其中M(x,0為截面上圖像中任意一點,M!(x!,0為對應的柱面投影點。由三角關(guān)系可得: =arctan xfAD=(f+rsin =(f+rx f2+x2 =a rcsin ADAM!=arcsi n(f+rxr f2+x2= - =arcsi n(f+rxr f2+x2-arctanxf(1其中x的取值范圍為-W/2,W/2。在投影面上以弧長作為投影圖像上的水平坐標,則其對應的公式:x!=r(2 OMN截面如圖3(c所示,N(x,y為OMN截面上待拼接圖像中任意一點,N (x!,y!為對應的投影點?？傻萌缦玛P(guān)系式:y! y =O M! O

14、MOM=f2+x2OM!=OD-DM!=(f+rff2+x2-r2 -x2(f+r2f2+x2(3柱面投影公式:x!=r(arcs i n(f+rxr f2+x2-arc tanxfy!=yf(f+r-y r2f2-x2f2-2x2frf2+x2(4在這里面要求拍攝點O與圖像邊界點B的延長線一定要與投影柱面相割或者相切,也就是說拍攝的廣角BOC不能過大,主要的目的在于防止角度過大造成邊界部分投影模糊化。3.2 圖像配準人臉紋理信息豐富,對應的邊緣信息和特征點信息也十分豐富,為準確的進行圖像配準提供很好的條件。首先,應用邊緣信息進行特征塊與搜索塊的選取。在待拼接的兩幅圖像上初步劃分出待拼接帶(如

15、圖4所示:圖像1的右側(cè)1/4部分,圖像2的左側(cè)1/4部分,并在拼接帶上尋找一系列特征點。特征點的選擇方面上,使用sobe l算子對兩塊拼接帶圖像進行邊緣檢測,再進行閾值處理得到二值邊緣圖E(i,j以及F(i,j,然后以圖像中每個像素點的領(lǐng)域邊緣量(N EA來定義此位置的邊緣信息大小4:NEA1(i,j=#a m=-a#a n=-a E(i+m,j+nNEA2(i,j=#a m=-a#a n=-a F(i+m,j+n(5其中a為在點(i,j處所取領(lǐng)域的1/2長度。以N EA值為依 據(jù),分別找出圖像1中值最大的點(點*以及圖像2中前H個值最大的點如圖4所示。以圖像1中的點*為中心,取一大小適中(x

16、方向長度為e,y方向的長度為c,一般取e=c的塊作為特征塊w。分別以圖像2中選取的H個點為中心,以x方向長度為e!,y方向的長度為c!的范圍空間作為配準的搜索區(qū)域,其中e!>e,c!>c。圖4 圖像配準示意圖在確定了特征塊以及搜索區(qū)域之后,就要確定配準準則。本算法采用R ichard Sze li sk i方法,以重疊部分的像素值的平方和為標準來衡量是否配準。公式如下:E=#e/2i=-e/2#c/2j=-c/2w(i,j-s(i,j2(6其中w為圖像1中選取的特征塊,s為搜索塊。搜索的過程相當于特征塊w在搜索區(qū)域內(nèi)進行滑動,最佳匹配塊為E值最小的時候所對應的搜索塊。從而確定待拼接

17、圖像的相對位置。該算法可以通過調(diào)節(jié)所取特征點數(shù)H以及搜索區(qū)域大小e!和c!來控制計算量以及調(diào)節(jié)配對的成功率。在保證配準成功的情況下使圖像的配準時間達到很短。3.3 圖像融合在理想的情況下同一物體在相同的環(huán)境下應該具有相同的亮度,但由于拍攝角度的變動以及光源的變換就會造成同一物體在相鄰兩幅圖片上存在較大的亮度差異,針對亮度不一致所造成拼接區(qū)域有明顯的拼接痕跡的問題,提出了一種亮度直方圖校正的處理方法:1首先從24位的RGB圖像中得到H SL顏色空間的L分量(亮度分量。2確定相鄰圖像的重疊區(qū)域,要求像素個數(shù)要一致。3分別計算左右兩邊重疊區(qū)域的L分量的數(shù)值和s1與s2。4權(quán)值p=s1/s2,將右邊圖

18、像的每一個像素的L分量乘于權(quán)值p,這樣就保證了相鄰兩幅圖像的亮度的統(tǒng)一,為重疊區(qū)域的后續(xù)拼接更加平滑提供條件。在不同光照條件下,除了會造成相鄰圖像的亮度差異之外也可能造成色度空間上的一定微小差異,所以在兩張相鄰 圖像亮度統(tǒng)一之后,綜合考慮算法的復雜性以及拼接的效果,本算法采用了一種改進加權(quán)因子的漸進漸入的方法6。拼接后人臉圖像重疊區(qū)域的像素值i m age3如式(7所示,其中i m age1,i m ag e2分別表示拼接帶左側(cè)圖像與右側(cè)圖像重疊區(qū)域中對應點的像素值。i m age 3=(1-k *i m age 1+k *i mag e 2(7 圖5 加權(quán)因子傳統(tǒng)的拼接方法中加權(quán)因子k 的變

19、換如圖5(a,k 從0到1線性遞增,由于加權(quán)因子k 的一階導數(shù)不連續(xù)性使得采用該方法拼接得到的圖像在拼接帶的兩端會發(fā)現(xiàn)有輕微的突變效果。為了使的拼接的圖像更加的平滑過渡,有必要對拼接加權(quán)因子進行改進,改進式如式(8,對應函數(shù)圖像如圖5(b,改進后的加權(quán)因子在全區(qū)域內(nèi)是一階導數(shù)連續(xù)的,這就可以消除拼接帶兩端突變的現(xiàn)象。k =(x +122x -1,0-(x +122+1x 0,1(8清晰度與平滑度是相互矛盾的,應用亮度直方圖均衡法及改進加權(quán)因子的漸進漸入拼接方法可以在一定程度上兼顧這兩方面,消除拼接痕跡。4 實驗結(jié)果實驗中使用的人臉圖像系列是采用佳能A 570IS 數(shù)碼相機在室內(nèi)日光燈照射等焦距

20、的條件下依照圖1所示的方式拍攝得到的,相鄰圖像之間的重疊區(qū)域在15%左右。圖6(a為系列圖像中的其中一張,圖6(b為其對應的柱面投影圖像,圖6(e給出了由連續(xù)5幅圖像拼接得到的人臉紋理全景圖。從試驗結(jié)果可以看出相鄰的圖像之間過渡自然,拼接良好,沒用明顯的拼接痕跡,較好地滿足了視覺一致性的要求。相鄰的圖像中同一物體由于拍攝角度的不同,存在著視覺不一致的現(xiàn)象。圖6(d是直接拼接相鄰兩幅圖像得到的結(jié)果,發(fā)現(xiàn)由于視覺的不一致性致使拼接處圖像出現(xiàn)部分對齊,部分錯開的現(xiàn)象。對比圖6(c是采用本文提出的柱面投影方法進行處理得到的結(jié)果,實驗表明經(jīng)過了柱面投影處理可以一定程度上消除視覺的不一致性。另一方面在紋理

21、豐富的區(qū)域例如人臉正面部分可以快速精準的進行拼接;在紋理貧乏的區(qū)域例如人后腦勺部分特征信息比較稀疏,這不利于拼接配準,通過調(diào)整特征點數(shù)H圖6 拼接結(jié)果以及搜索區(qū)域大小(e !、c !,在不同的紋理區(qū)域條件下都能夠正確地拼接上的。但清晰度與平滑度是相互矛盾的,在圖像重疊區(qū)域會有一定的模糊現(xiàn)象,這還有待改進。5 結(jié)論人臉紋理圖像拼接是基于圖像的三維人臉建模技術(shù)中的一個重要的環(huán)節(jié)。近年來,人臉三維建模在虛擬現(xiàn)實、影視制作、視頻直播、輔助教學、醫(yī)學研究、游戲娛樂等諸多方面都得到了廣泛的應用6,人臉紋理圖像的拼接有其研究的價值。本算法充分的考慮了人臉紋理信息豐富以及人頭部的幾何形狀,采用了基于柱面投影的

22、特征塊匹配方法,實現(xiàn)了人臉紋理圖像的快速精確拼接。實驗結(jié)果表明該算法能夠有效地消除視覺不一致性,為三維人臉建模提供真實感的全景紋理圖像。參考文獻:1 X Fang ,et a.l Con ti nuous Fiel d Based Free-f or m SurfaceM odeli ng and M orph i ngJ.C o mpu ter &Graph ics ,2001,25(2:235-243.2 鐘力,張茂軍,孫立峰,李云浩.360度柱面全景圖象生成算法及其實現(xiàn)J.小型微型計算機系統(tǒng),1999,20(12:899-903.3 王娟,師軍.一種柱面全景圖像自動拼接算法J.計

23、算機仿真,2008,25(7:213-215.4 肖惠,滑東紅,楊廷欣,劉偉.中國成年人頭面部尺寸的研究J .人類工效學,1998,4(12:25-30.5 侯舒維,郭寶龍.一種圖像自動拼接的快速算法J.計算機工程,2005,31(15:70-72.6 趙娜.基于照片的三維人臉建模技術(shù)研究D .秦皇島:燕山大學,2007.(下轉(zhuǎn)第319頁圖3 拉普拉斯銳化要求,采用VC編程無疑是最佳的選擇。另外,軟件應采用模塊化的設(shè)計方法,應用實時操作系統(tǒng)來實現(xiàn)。4由于視頻圖像數(shù)據(jù)流龐大,數(shù)據(jù)的讀取非常耗時,所以數(shù)據(jù)流結(jié)構(gòu)和流向的設(shè)計非常重要。另外,在體積、重量允許的條件下,當運算速度難以達到時,可以使軟件設(shè)

24、計硬件化,以提高系統(tǒng)的實時性。4.4 仿真結(jié)果分析1對于用改進的中值濾波處理后的圖像,圖像噪聲大大降低,圖像質(zhì)量明顯提高。改進的中值濾波不僅較好地消除了強脈沖性噪聲的影響,而且較好地保留了圖像的邊緣,達到了圖像預處理的要求。但是,圖像輪廓不夠清晰,無法達到目標識別的要求。2采用改進的中值濾波法時,用大窗口的運算量大,耗時長,而且隨著窗口的變大,運算量顯著增大,耗時變長,但是圖像效果提高不明顯?？紤]到圖像處理效果和系統(tǒng)實時性的要求,若用此法處理圖像時,最好先選用較小的窗口,不滿足要求時再選擇較大的窗口。3從各向同性觀點來看,拉普拉斯銳化具有各向同性,即能對任何走向的界線和線條進行銳化,無方向性。從邊緣增強效果來看,用拉普拉斯銳化勾勒邊緣強,輪廓清晰,達到了易于目標識別的要求。4盡管拉普拉斯銳化會增強圖像的噪聲,但由于圖像的銳化處理是在圖像平滑后進行的,所以銳化處理后的圖像的噪聲不會對圖像的質(zhì)量造成大的影響。因此,對于紅外輻射大氣傳輸?shù)呐灤t外圖像的識別,先用改進的中值濾波方法進行預處理,再進行拉普拉斯銳化處理,可以達到易于實時識別目標的目的。5 結(jié)束語首先研究了紅外輻射在大氣傳輸中的特性和艦船的紅外輻射特性,然后,通過對因紅外輻射大氣傳輸造成降質(zhì)的艦船紅外圖像用改進的中值濾波進行預處理,再對預處理后的圖像進行拉普拉斯銳化處理