基于紋理與幾何相似性的彩色圖像空洞修復(fù)方法及系統(tǒng)

民局 (21)(22)(71)申請(qǐng)人大(72)發(fā)明人石(74)專利機(jī)構(gòu)知識(shí)事務(wù)

(10)申請(qǐng)公布號(hào) (43)人權(quán)利要求書6頁(yè)說明書12頁(yè)附圖2A度圖與彩渲染合成新的虛擬視點(diǎn)的深度圖中A 權(quán)利要求 1/6確造成的針狀空洞；步驟2，基于深度圖像的幾何信息和彩像的紋理信息構(gòu)建最小紋理能量函數(shù)模型；步驟2中所述的最小紋理能量函數(shù)模型為：Ip_ip_iI*q_iIp_iD*q_iDp_oa0 權(quán)利要求 2/6，度源圖像；，集合A中元素?cái)?shù)；步驟3進(jìn)一步包括以下子步驟：修復(fù)空洞圖像塊最大幾何相似性和最大紋理特征相似性的最佳匹配圖像塊集；所述的子步驟3-2中采用如下分別對(duì)彩色目標(biāo)圖像和深度目標(biāo)圖像中的待修復(fù)空洞圖像塊中各像素依次進(jìn)行替換：a0a＝0 權(quán)利要求 3/6素值；素值；塊；元素?cái)?shù)；構(gòu)建最小紋理能量函數(shù)模型；2于：Ip_i 權(quán)利要求 4/6p_iI*q_iIp_iD*q_iD于：p_oa0匹配的圖像塊q_o之間的相似性：，度源圖像；，集合A中元素?cái)?shù)；如權(quán)利要求6所述的基于紋理與幾何相似性的彩像空洞修復(fù)系統(tǒng)，其特征在于： 權(quán)利要求 5/6索結(jié)果獲得與目標(biāo)圖像中待修復(fù)空洞圖像塊最大幾何相似性和最大紋理特征相似性的最佳匹配圖像塊集；于：所述的空洞圖像塊更新模塊采用如下分別對(duì)彩色目標(biāo)圖像和深度目標(biāo)圖像中的待修復(fù)空洞圖像塊中各像素依次進(jìn)行替換：a0a＝0素值；素值；塊；元素?cái)?shù)； 權(quán)利要求 6/6[0001]本發(fā)明屬于圖像修復(fù)領(lǐng)域，特別是針對(duì)基于深度圖的虛擬視點(diǎn)繪制（Depthimageg 使用基于3Dwar方法就可以合成虛擬視點(diǎn)[1]但是該方法在經(jīng)過3D空間畸變映射中將變成黑洞[2]。]CVP議中提出通過深度圖像輔助合成彩像紋理的方法，此方法通過衡量彩像的相似[0004]Luo[4]2009DIBR上作會(huì)使得有些有復(fù)雜背景或者包含多個(gè)物體的虛擬視點(diǎn)在合成時(shí)將產(chǎn)生人工塊效 ][0006]D.Simakov[8]提出基于圖像塊的空洞修復(fù)方一種基于紋理與幾何相似性的彩像空洞修復(fù)方法及系統(tǒng)，該方法能增強(qiáng)彩像中的不精確造成的針狀空洞；[0010]步驟2，基于深度圖像的幾何信息和彩像的紋理信息構(gòu)建最小紋理能量函數(shù)模型； 上述步驟2中所構(gòu)建的最小紋理能量函數(shù)模型為 Ip_i表示彩色源圖像I中選取的圖像塊p_i的像素值； p_iI* 表示彩色目標(biāo)圖像I*中選取的圖像塊q_i的像素值 q_iI 表示深度目標(biāo)圖像D*中圖像塊p_o的像素值圖像塊p_o為深度源圖像D中p_iD* 表示深度目標(biāo)圖像D*中圖像塊q_i的像素值 q_iD [0034]Imgp_i和Imgq_0分別表示源圖像中的圖像塊p_i和q_o的像素值 像和深度源圖像； B表示目標(biāo)圖像中圖像塊q_i在源圖像中對(duì)應(yīng)的b個(gè)最佳匹配圖像塊q_o的集合； A集合含義是當(dāng)源圖像中選取塊p_i在目標(biāo)圖像中搜索到的最佳匹配塊p_o恰好與目標(biāo)圖像中圖像塊q_i重合時(shí)源圖像中的選取塊p_i即為集合A中的元素，a為集合A中元素?cái)?shù)； δp_i和δq_o為標(biāo)志函數(shù)分別用來表示源圖像中圖像塊p_i和q_o是否為空洞圖像塊當(dāng)圖像塊為空洞圖像塊時(shí)其對(duì)應(yīng)的標(biāo)志函數(shù)取0否則對(duì)應(yīng)的標(biāo)志函數(shù)取1。 步驟3進(jìn)一步包括以下子步驟：圖像中選取的各圖像塊在源圖像中對(duì)應(yīng)的最佳匹配圖像塊；并根據(jù)搜索結(jié)果獲得與目標(biāo)圖像中待修復(fù)空洞圖像塊最大幾何相似性和最大紋理特征相似性的最佳匹配圖像塊集；[0040]3-23-1[0042]上述子步驟3-2中采用如下分別對(duì)彩色目標(biāo)圖像和深度目標(biāo)圖像中的待修復(fù)空洞圖像塊中各像素依次進(jìn)行替換： a0 a＝0 的像素值； 的像素值； 圖像塊； [0058]Ap_ip_o因不精確深度值造成的針狀空洞；信息構(gòu)建最小紋理能量函數(shù)模型； Ip_i表示彩色源圖像I中選取的圖像塊p_i的像素值； p_iI* q_iI 表示深度目標(biāo)圖像D*中圖像塊p_o的像素值圖像塊p_o為深度源圖像D中p_iD* 表示深度目標(biāo)圖像D*中圖像塊q_i的像素值 q_iD 最佳匹配的圖像塊q_o之間的相似性： Imgp_i和Imgq_0分別表示源圖像中的圖像塊p_i和q_o的像素值 像和深度源圖像； B表示目標(biāo)圖像中圖像塊q_i在源圖像中對(duì)應(yīng)的b個(gè)最佳匹配圖像塊q_o的集合； A集合含義是當(dāng)源圖像中選取塊p_i在目標(biāo)圖像中搜索到的最佳匹配塊p_o恰好與目標(biāo)圖像中圖像塊q_i重合時(shí)源圖像中的選取塊p_i即為集合A中的元素，a為集合A中元素?cái)?shù)； δp_i和δq_o為標(biāo)志函數(shù)分別用來表示源圖像中圖像塊p_i和q_o是否為空洞圖像塊當(dāng)圖像塊為空洞圖像塊時(shí)其對(duì)應(yīng)的標(biāo)志函數(shù)取0否則對(duì)應(yīng)的標(biāo)志函數(shù)取1。 上述空洞修復(fù)模塊進(jìn)一步包括以下子模塊： 2 所述的空洞圖像塊更新模塊采用如下分別對(duì)彩色目標(biāo)圖像和深度目標(biāo)圖像中的待修復(fù)空洞圖像塊中各像素依次進(jìn)行替換： a0 a＝0 的像素值； 的像素值； 圖像塊； [0108]Ap_ip_o 現(xiàn)有的基于深度圖像的虛擬視點(diǎn)繪制技術(shù)（DIBR）合成的虛擬視點(diǎn)彩像空洞出基于紋理與幾何相似性的彩像空洞修復(fù)技術(shù)，將考慮深度圖中幾何信息特征和彩色 [0114]本發(fā)明提出了一種基于紋理與幾何相似性的彩像空洞修復(fù)方法，該方法考慮體步驟如下：[0117]采用形態(tài)學(xué)方法處理經(jīng)3D空間畸變映射后得到的虛擬視點(diǎn)的彩像和深度圖[0119]經(jīng)過上述預(yù)處理操作，得到虛擬視點(diǎn)的彩像I和深度圖像D，D(x,y)代 由于空洞部分內(nèi)容完全缺失圖像補(bǔ)洞問題是一個(gè)問題3Dwar技術(shù)通過由參考圖像映射到立體空間再由立體空間映射至目標(biāo)平面得到虛擬視點(diǎn)圖像因此， 本發(fā)明以現(xiàn)有的最小紋理能量函數(shù)[8]diffA(Dp_i,)和深度圖像的一致性權(quán)重diffB(Dq_o,)構(gòu)建如下考慮了深度圖像幾 [0130]D*2[0131]Ip_i表示彩色源圖像Ip_i 表示彩色目標(biāo)圖像I*中圖像塊p_o的像素值圖像塊p_o為彩色源圖像I中p_iI* 表示彩色目標(biāo)圖像I*中選取的圖像塊q_i的像素值[0134]I表示彩色源圖像Iq_oq_oI*中q_iI 表示深度目標(biāo)圖像D*中圖像塊p_o的像素值圖像塊p_o為深度源圖像D中p_iD* 表示深度目標(biāo)圖像D*中q_i位置圖像塊的像素值 iD 0.3＝0.47 配的圖像塊p_o之間的相似性,見2此時(shí)僅考慮一定存在p_i的情況即a≠0 p_iA[0143]diffBq_iBq_ibq_o 像包括彩色目標(biāo)圖像和深度目標(biāo)圖像。那么，ImgImgImg 像I、I、I*、I*，又可依次表示深度圖像 [0147]δp_i和δq_op_iq_o S 圖像塊集合S。 步驟3，采用EM算法（期望值最大化算法，Expectation- [0154]基于步驟2構(gòu)建的最小紋理能量函數(shù)以最大化紋理特征相似和幾何特征[0155]本發(fā)明中的搜索分為兩步進(jìn)行： Ap_o。Bq_i。色紋理特征和深度幾何特征的集合AB中圖像塊的信息。標(biāo)圖像I*和深度目標(biāo)圖像D*中待修復(fù)空洞圖像塊中各像素依次進(jìn)行替換的方法見 的像素值； 的像素值； 用[0178]Ap_ip_oq_iA＝φa＝0，采（7）～（8）進(jìn)行空洞修復(fù)。用[0179]每次采用M步進(jìn)行空洞修復(fù)后最小化最小紋理能量函數(shù)的取值 EMI*D* 將本發(fā)明方法KaiLuo[4]空洞修復(fù)算法P.Ndjiki-Nya[6]空洞修復(fù)“BreakdancersLovebird1“Breakdancers“Lovebird1[0183]表1對(duì)比試驗(yàn)[0185]本發(fā)明方法在已有基于彩像紋理內(nèi)容信息的紋理能量函數(shù)基礎(chǔ)上，根據(jù)彩色[0186] [1]WilliamR.Mark,“Post-rendering3dimagewar:Visibility,reconstruction,andperformancefordepth-imagewar,”Aprl.1999. [2]ChristophFehn,“Depth-image-basedrendering(dibr),compression,andtransmissionforanewapproachon3d-tv,”pp.93–104,2004. [3]LiangWang,HailinJin,RuigangYang,andMingluninpainting:JointcoloranddepthcompletionfromstereoComputerVisionandPatternRecognition,2008.CVPR2008.IEEEConference[0190][4]KaiLuo,Dong-xiaoLi,Ya-meiFeng,andMingZhang,“Depth-aidedinpaintingfordisocclusionrestorationofmulti-viewimagesusingdepth-image-basedrendering,”JournalofZhejiangUniversitySCIENCE[0191][5]Kwan-JungOh,SehoonYea,andYo-SungHo,“Holefillingmethodusingdepthbasedin-paintingforviewsynthesisinviewpointevisionand3-d,”inPictureCodingSymposium,2009.PCS2009,may2009,pp.1–4.[0192][6]P.Ndjiki-Nya,M.Koppel,D.Doshkov,H.Lakshman,P.Merkle,K.Muller,andT.Wiegand,“Depthimagebasedrenderingwithadvancedtexturesynthesis,”inMultimediaandExpo(ICME),2010IEEEInternationalConference[0193][7]A.Criminisi,P.Perez,andK.Toyama,“Objectremovalbyexemr-basedinpainting,”inComputerVisionandPatternRecognition,2003.Proceedings.2003IEEEComputerSocietyConferenceon,June2003,vol.2,pp.II–[0194][8]D.Simakov,Y.Caspi,E.Shechtman,andM.Irani,“Summarizingvisualdatausingbidirectionalsimilarity,”inComputerVisionandPatternRecognition,2008.CVPR2008.IEEEConferenceon,June2008,pp.1–8.[0195][9]RuiZhong,RuiminHu,ZhongyuanWang,LuLiu,andZhenHan,“LBP-guideddepthimagefilter,”inDataCompressionConference,IEEEInternationalConferenceon,March2013.[0196][10]ISO/IECJTC1/SC29/WG11,“Referencesoftwaresfordepthestimationandviewsynthesis,”inDoc.M15377,Apr.2008.[0197][11]VivekKwatra,IrfanEssa,AaronBobick,andNipunKwatra,“Textureoptimizationforexample-basedsynthesis,”inACMTrans.Graph.,New[0198][12]KazuyoshiSuzuki,“Referencesoftwareforviewsynthesisversion2.3,”in