一種多視角眼鏡虛擬試戴算法

一種多視角眼鏡虛擬試戴算法

1系統(tǒng)仿真的背景與算法近年來(lái)，隨著電子商務(wù)和互聯(lián)網(wǎng)的快速發(fā)展，在線購(gòu)物越來(lái)越受人們喜愛(ài)。各行業(yè)都積極將自身與互聯(lián)網(wǎng)結(jié)合起來(lái)，作為互聯(lián)網(wǎng)發(fā)展的重要組成部分。電子商務(wù)給人們帶來(lái)了很多方便，但也存在無(wú)法滿足的需求。例如，消費(fèi)者想在網(wǎng)上看到貨物的識(shí)別效果。由于難以滿足，它對(duì)貨物有不同的識(shí)別，大量的貨物被迫退貨和更換。這對(duì)個(gè)人和社會(huì)都是資源浪費(fèi)。虛擬試驗(yàn)、復(fù)制和其他技術(shù)的出現(xiàn)彌補(bǔ)了這種分散的原材料購(gòu)物中心的不足，并使在線購(gòu)物和在線交易“真實(shí)”。如何真實(shí)性和多視角虛擬頭盔戴布是這項(xiàng)研究的主要內(nèi)容。目前已有一些眼鏡試戴系統(tǒng)和研究,這些系統(tǒng)有其自身特點(diǎn)和局限性.如系統(tǒng)一本文通過(guò)對(duì)人眼瞳孔檢測(cè)、瞳距突變的糾正以及提出一種估計(jì)人頭姿態(tài)信息的方法,能精確地估計(jì)出頭部姿態(tài)信息,在以上研究的基礎(chǔ)上,提出一種基于特征檢測(cè)的多視角眼鏡試戴算法,實(shí)現(xiàn)逼真的眼鏡虛擬試戴.該算法總體流程圖如下頁(yè)圖1所示.2左右眼區(qū)域的選取和圖像位置的拍攝人眼及瞳孔檢測(cè)應(yīng)用很廣泛,如疲勞檢測(cè)、視線跟蹤、眼控鼠標(biāo)等.目前人眼檢測(cè)方法主要有三大類(lèi).基于模板匹配的方法人眼檢測(cè)的Haar特征級(jí)聯(lián)分類(lèi)器方法,使用OpenCV計(jì)算機(jī)視覺(jué)庫(kù)實(shí)現(xiàn)的接口.但實(shí)際對(duì)頭部拍攝視頻時(shí),背景比較復(fù)雜和臉部其他區(qū)域的干擾,使得該方法獲得較多人眼備選區(qū)域,通常5到10個(gè),如圖2所示,所以需在備選區(qū)域中挑選出正確的左右眼區(qū)域,然后進(jìn)一步計(jì)算出瞳孔的位置.拍攝視頻時(shí),人與攝像頭的距離是一個(gè)相對(duì)固定的值,且攝像頭視框中有一個(gè)與臉型相似的區(qū)域,拍攝時(shí)需將人臉和該區(qū)域?qū)?zhǔn).因此,左右眼在整個(gè)圖像中滿足一定的約束,(1)總體上在一條水平線上;(2)瞳距(即兩眼瞳孔的距離)是一個(gè)固定值,在頭旋轉(zhuǎn)過(guò)程中,成像瞳距(兩眼在成像平面上的距離)在一個(gè)范圍內(nèi)變化,正面時(shí)成像瞳距最大,頭轉(zhuǎn)到最大角度時(shí)成像瞳距最小.使用如上約束對(duì)備選區(qū)域進(jìn)行挑選,能選出正確的左右眼區(qū)域,如圖3所示.計(jì)算左右眼區(qū)域的中心點(diǎn)作為左右眼瞳孔位置,如圖4所示.3瞳距糾錯(cuò)算法在檢測(cè)出瞳孔位置后,即可得對(duì)應(yīng)成像瞳距.因此對(duì)圖像序列處理后,將產(chǎn)生一個(gè)連續(xù)變化的成像瞳距序列.但由于人眼檢測(cè)誤差,有些圖像的成像瞳距有誤,導(dǎo)致整個(gè)序列并沒(méi)有完全連續(xù)有規(guī)律的變化.對(duì)沒(méi)有納入規(guī)律變化的點(diǎn),稱(chēng)其為突變點(diǎn).圖5是成像瞳距理想變化和有突變點(diǎn)的實(shí)際變化.由圖5理想變化曲線可知,整個(gè)序列存在5個(gè)極值點(diǎn),三個(gè)極大值和兩個(gè)極小值,而相鄰極值間的序列是單調(diào)變化的,因此可用該性質(zhì)對(duì)突變點(diǎn)進(jìn)行糾錯(cuò),讓瞳距的變化盡可能接近理想變化.記Z為任一序列,first(Z)為序列Z的第一個(gè)元素,last(Z)為序列Z的最后一個(gè)元素,|Z|為序列Z的元素個(gè)數(shù).設(shè)X={x算法偽代碼如下:輸入:待糾錯(cuò)瞳距序列X輸出:糾錯(cuò)之后的瞳距序列X經(jīng)上述算法后,成像瞳距序列在總體上趨近理想變化,能有效糾正由人眼檢測(cè)引起的成像瞳距錯(cuò)誤,使序列呈現(xiàn)出平滑性.4消毒頭的姿態(tài)為實(shí)現(xiàn)逼真的多視角眼鏡試戴,頭部姿態(tài)信息是關(guān)鍵,頭部姿態(tài)信息描述包括左右旋轉(zhuǎn)、前后旋轉(zhuǎn)、水平旋轉(zhuǎn)三個(gè)自由度4.1旋轉(zhuǎn)角后對(duì)應(yīng)的點(diǎn)為檢測(cè)水平自由度信息,從頭頂上觀察頭部和攝像機(jī)的空間關(guān)系及投影關(guān)系,能很好的反映頭部的水平旋轉(zhuǎn).通過(guò)觀察和分析建立頭部姿態(tài)檢測(cè)模型,如圖6所示.該模型中以N點(diǎn)為圓心r為半徑的圓表示頭部;AD所在線為成像平面;O為攝像機(jī)光心;f為焦距;E點(diǎn)和G點(diǎn)為頭部正對(duì)攝像機(jī)時(shí)人眼所在位置;F點(diǎn)和H點(diǎn)分別是E點(diǎn)和G點(diǎn)旋轉(zhuǎn)θ角后對(duì)應(yīng)的點(diǎn);A、B、C、D分別為E、F、G、H的透視投影點(diǎn).由圖中坐標(biāo)位置關(guān)系可得E點(diǎn)和G點(diǎn)坐標(biāo)如下:平面中一個(gè)點(diǎn)繞定點(diǎn)N(0,d)旋轉(zhuǎn)θ角的齊次坐標(biāo)旋轉(zhuǎn)變換矩陣R如下:用該旋轉(zhuǎn)變換矩陣R分別乘以E點(diǎn)和G點(diǎn)的齊次坐標(biāo),可得到F點(diǎn)和H點(diǎn)坐標(biāo)如下:檢測(cè)出人眼瞳孔位置后,可得AC和BD的長(zhǎng)度,即成像瞳距,因此需將AC、BD和旋轉(zhuǎn)角θ建立關(guān)系.由E點(diǎn)、G點(diǎn)與A點(diǎn)、C點(diǎn)的透視投影關(guān)系可得如下關(guān)系式:由(4)式可將p(實(shí)際瞳距)表示為式(5),即表示為焦距、正面成像瞳距和頭部半徑,以及頭部與攝像機(jī)距離的函數(shù).由F點(diǎn)、H點(diǎn)與B點(diǎn)、D點(diǎn)的透視投影關(guān)系可得如下關(guān)系式:將F點(diǎn)、H點(diǎn)坐標(biāo)帶入方程(6),化簡(jiǎn)可得方程(7).對(duì)(7)式進(jìn)行求解,得到頭部旋轉(zhuǎn)角度θ與各相關(guān)量函數(shù)關(guān)系式如下:其中頭部半徑r以及頭部與攝像機(jī)的距離d是相對(duì)穩(wěn)定的常數(shù),v由前兩節(jié)求出,m由(4)(5)式求出,攝像機(jī)內(nèi)部參數(shù)亦為常數(shù),因此使用如上關(guān)系式和相關(guān)參量,可對(duì)頭部水平旋轉(zhuǎn)角度進(jìn)行精確快速求解.4.2正面成像瞳距估計(jì)拍攝圖像序列是從人頭正面開(kāi)始,若檢測(cè)出的成像瞳距都是精確的,則第一幀的成像瞳距即可作為正面成像瞳距(即圖6中u).顯然成像瞳距存在誤差,不能簡(jiǎn)單用第一幀的成像瞳距作為正面成像瞳距,需用更加穩(wěn)定且誤差更小的方法估計(jì),因此提出雙重均值法來(lái)估計(jì)u.首先,該方法在圖像序列的開(kāi)始幾幀計(jì)算一個(gè)平均值k為第一次均值時(shí)圖像幀數(shù),一般3到5幀為宜,v5實(shí)驗(yàn)對(duì)象及環(huán)境實(shí)驗(yàn)中眼鏡圖像均為相機(jī)從多個(gè)角度拍攝而來(lái),拍攝角度可密可疏,角度范圍一般在30°~150°內(nèi),人頭轉(zhuǎn)動(dòng)應(yīng)在此范圍,角度過(guò)大會(huì)導(dǎo)致一只眼睛在圖像中消失,使人眼檢測(cè)必然失敗.視線看向左為0°,看向右為180°.然后對(duì)不同角度的眼鏡圖像進(jìn)行截取、背景祛除、瞳孔位置標(biāo)記預(yù)處理.對(duì)頭部圖像序列各種信息檢測(cè)結(jié)束后,用眼鏡圖像進(jìn)行合成.根據(jù)頭部圖像左眼瞳孔位置和眼鏡圖像左眼瞳孔位置進(jìn)行對(duì)齊,然后使用眼睛和眼鏡的成像瞳距比例進(jìn)行適當(dāng)縮放,對(duì)每一幀處理后,得到多視角虛擬試戴的圖像序列.本文算法實(shí)驗(yàn)環(huán)境如下:CPU為Intel(R)Core(TM)i7-47903.6GHz,內(nèi)存為12GB,Win8.1操作系統(tǒng),編程語(yǔ)言C/C++,VisualStdio2013集成開(kāi)發(fā)環(huán)境,OpenCV2.4.9庫(kù).5.1理想曲線的誤差為測(cè)試上述姿態(tài)估計(jì)算法的精確性,對(duì)圖像序列分別用文獻(xiàn)從圖7可知,當(dāng)人臉接近90°時(shí)(即正面),線性與非線性方法與理想曲線的誤差不大,但當(dāng)角度小于60°和大于120°時(shí),線性方法的誤差比較大.文獻(xiàn)5.2戴環(huán)境測(cè)試分別用本文眼鏡試戴算法和文獻(xiàn)6確定突變點(diǎn)和試戴效果本文通過(guò)對(duì)人眼檢測(cè)、連續(xù)成像瞳距糾錯(cuò)及人頭姿態(tài)估計(jì)的研究,提出人眼位置的精確挑選,突變瞳距的糾正算法,及頭部水平姿態(tài)精確估計(jì)方法,綜合以上研究,提出一種多視角眼鏡試戴算法.實(shí)驗(yàn)表明人頭姿態(tài)估計(jì)精確,虛擬試戴效果逼真,能多視角展示且具有很好的動(dòng)態(tài)效果,因不用計(jì)算量大的圖形學(xué)操作速度較快,能較好滿足當(dāng)前眼鏡虛擬試戴需求,對(duì)減少網(wǎng)上購(gòu)物的商品認(rèn)識(shí)偏差有積極作用,因此具有較大應(yīng)用價(jià)值.當(dāng)前在虛擬試穿試戴領(lǐng)域研究較少,正需投入大量研究,下一步工作將集中在如下兩方面,改善人眼特征提取精度,進(jìn)一步降低人眼瞳孔檢測(cè)誤差及進(jìn)一步提高算法魯棒性.若能在如上兩方面得到進(jìn)一步改進(jìn),必將對(duì)眼鏡行業(yè)產(chǎn)生重大深遠(yuǎn)影響.1.計(jì)算X序列的五個(gè)極值點(diǎn),三個(gè)極大值A(chǔ)、C、E,兩個(gè)極小值B、D.1.1.分別使用first,last,before,back操作確定極大值A(chǔ)、E.1.2.使用localmax操作確定極大值C.1.3.使用localmin操作確定極小值B、D.2.五個(gè)極值點(diǎn)將X序列分為4段,第1段和第3段為非遞增,第2段和第4段為非遞減,然后在每一段內(nèi)查找突變點(diǎn),對(duì)每一段做如下操作.2.1.計(jì)算該段內(nèi)的最長(zhǎng)非遞增或非遞減序列,記該序列為Y.2.2.將不屬于Y中的元素標(biāo)記為該段中的突變點(diǎn).2.3.將突變點(diǎn)進(jìn)行線性糾正,令被糾正的幀為F針對(duì)不同背景和性別下的試戴效果,分別拍攝多個(gè)圖像序列進(jìn)行試驗(yàn),并對(duì)試戴效果進(jìn)行分析統(tǒng)計(jì),結(jié)果如表1所示.視頻背景分為簡(jiǎn)單背景和復(fù)雜背景,復(fù)雜背景指拍攝時(shí)有人走動(dòng)或駐留,簡(jiǎn)單背景則無(wú),復(fù)雜背景圖像可能會(huì)存在多對(duì)眼睛.視頻分為表1中前4個(gè)類(lèi)型,后四行為匯總,星號(hào)表示取所有值,每個(gè)類(lèi)型均實(shí)驗(yàn)多個(gè)圖像序列.從表中可看出,不同背景中效果好的幀比例差為5.33%,不同性別中效果好的幀比例差僅0.8%,差值小說(shuō)明本文算法在不同情況下具有穩(wěn)定性.雖然復(fù)雜背景對(duì)瞳孔檢測(cè)影響較大,但本文第二節(jié)針對(duì)備選區(qū)域進(jìn)行了精確挑選,因此能很好的屏蔽備選區(qū)域增多的干擾;不同性別可能引起一些參數(shù)的微小差別,如頭部半徑,但對(duì)試戴效果的影響很小.在效果展示時(shí),需要進(jìn)行過(guò)濾,只顯示效果好的和效果較好的.所有實(shí)驗(yàn)視頻中,效果較好和效果好的幀平均占總幀數(shù)的40%以上,這個(gè)比例足以使試戴效果具有連貫性.文獻(xiàn)[15]涉及多種三維建模操作,如三維人臉合成、紋理映射等,且有些步驟需手工