淺析圖像復(fù)原中的圖像修復(fù)

淺析圖像復(fù)原中的圖像修復(fù)

1基于變分pde的圖像inpaining算法總的來(lái)說(shuō)，許多因素導(dǎo)致了數(shù)字圖像本地信息的缺陷。例如，在數(shù)字掃描之前，必須刪除或銷毀的圖像。2.在特定的特殊用途上移動(dòng)數(shù)字圖像中的對(duì)象或文字后留下的信息白區(qū)域。3在數(shù)字圖像的接收、處理、壓縮、傳輸和壓縮中留下的信息缺陷區(qū)域。為了保證圖像信息的完整性,需要對(duì)這些受損圖像進(jìn)行填充修復(fù)。所謂圖像修復(fù)就是對(duì)圖像上信息缺損區(qū)域進(jìn)行信息填充的過(guò)程,其目的就是為了對(duì)有信息缺損的圖像進(jìn)行恢復(fù),并且要使觀察者無(wú)法察覺(jué)到圖像曾經(jīng)缺損或已被修復(fù)。目前存在兩大類圖像修復(fù)技術(shù):一類是用于修復(fù)小尺度缺損的數(shù)字圖像修補(bǔ)(inpainting)技術(shù)。這種技術(shù)最早是由Bertalmio,Sapiro,Caselles和Bellester引入到圖像處理中,他們利用待修補(bǔ)區(qū)域的邊緣信息,同時(shí)采用一種由粗到精的方法來(lái)估計(jì)等照度線(isophote)的方向,并采用傳播機(jī)制將信息傳播到待修補(bǔ)的區(qū)域內(nèi),以便得到較好的修補(bǔ)效果。本質(zhì)上,它是一種基于偏微分方程(partialdifferentialequation,PDE)的inpainting算法,該類方法的主要思想是利用物理學(xué)中的熱擴(kuò)散方程將待修補(bǔ)區(qū)域周圍的信息傳播到修補(bǔ)區(qū)域中,其典型的方法包括BSCB(Bertalmio-Sapiro-Caselles-Ballester)模型用三階PDE來(lái)模擬平滑傳輸過(guò)程及Chan-Shen提出的用三階PDE來(lái)模擬CDD(curvaturedrivendiffusions)等。在這類方法中,還有一種是基于幾何圖像模型的變分修補(bǔ)技術(shù),該類算法的主要思路是模仿修補(bǔ)師的手工修復(fù)圖像的過(guò)程,該類算法認(rèn)為修補(bǔ)一幅缺損圖片主要依賴于以下兩個(gè)因素:①如何觀察并讀懂圖片的現(xiàn)存部分Ι0|Ω\D,其用數(shù)學(xué)語(yǔ)言表達(dá),也就是如何建立圖像的數(shù)據(jù)模型(datamodel);②原始圖片I屬于哪類圖像,其用數(shù)學(xué)語(yǔ)言表達(dá),也就是如何獲得圖像的先驗(yàn)?zāi)Ｐ?imagepriormodel),即通過(guò)建立圖像的先驗(yàn)?zāi)Ｐ秃蛿?shù)據(jù)模型,將修補(bǔ)問(wèn)題轉(zhuǎn)化為一個(gè)泛函求極值的變分問(wèn)題。這類算法主要包括全變分(totalvariation,TV)模型、Euler’selastica模型、Mumford-Shah模型、Mumford-Shah-Euler模型等。由于偏微分方程與變分法是可以通過(guò)變分原理相互等價(jià)推出的,因此,可把這一類方法統(tǒng)稱為基于變分PDE的圖像inpainting算法。另外一類是用于填充圖像中大塊丟失信息的圖像補(bǔ)全(completion)技術(shù)。目前,這一類技術(shù)也包含以下兩種方法:一種是基于圖像分解的修復(fù)技術(shù),其主要思想是將圖像分解為結(jié)構(gòu)部分和紋理部分,其中結(jié)構(gòu)部分用inpainting算法修補(bǔ),紋理部分用紋理合成方法填充,例如,Bertalmio等首先用全變分最小化將圖像的結(jié)構(gòu)部分提取出來(lái),然后用一個(gè)震動(dòng)函數(shù)對(duì)紋理或噪聲部分建模,當(dāng)把圖像分解成這兩個(gè)部分以后,再用BSCB模型來(lái)修補(bǔ)結(jié)構(gòu)部分,同時(shí)用非參數(shù)采樣紋理合成技術(shù)來(lái)填充紋理部分,最后把這兩部分修補(bǔ)的結(jié)果疊加起來(lái),就是最終的修補(bǔ)圖像,類似的算法還包括文獻(xiàn)提出的算法;另一種方法是用基于塊的紋理合成技術(shù)來(lái)填充丟失的信息,該種算法的主要思想是,首先從待修補(bǔ)區(qū)域的邊界上選取一個(gè)像素點(diǎn),同時(shí)以該點(diǎn)為中心,根據(jù)圖像的紋理特征,選取大小合適的紋理塊,然后在待修補(bǔ)區(qū)域的周圍尋找與之最相近的紋理匹配塊來(lái)替代該紋理塊。近幾年來(lái),利用紋理合成來(lái)修復(fù)大塊丟失信息的圖像completion技術(shù)得到了相當(dāng)?shù)难芯?也取得了一些成果,其典型的算法包括文獻(xiàn)[1,13,14,15,16,17]提出的算法。由于數(shù)字圖像修復(fù)技術(shù)是近幾年來(lái)提出的一個(gè)具有挑戰(zhàn)性的課題,目前國(guó)外的研究正處于初步階段,國(guó)內(nèi)很少有這方面的文獻(xiàn)見(jiàn)諸報(bào)刊,因此,本文將系統(tǒng)介紹以上兩大類的圖像修復(fù)技術(shù),以及數(shù)字圖像修復(fù)的廣泛應(yīng)用。最后將結(jié)合自己對(duì)數(shù)字圖像修復(fù)的理解,提出對(duì)該問(wèn)題研究前景的一些展望。2數(shù)據(jù)模型的變分法從數(shù)學(xué)角度來(lái)看,圖像修復(fù)就是要根據(jù)待修補(bǔ)區(qū)域周圍的信息將圖像填充到待修補(bǔ)區(qū)域中(如圖1所示)。然而,圖像修補(bǔ)通常是一個(gè)病態(tài)問(wèn)題,因?yàn)槟壳叭詻](méi)有足夠的信息可以保證能唯一正確地恢復(fù)被損壞部分,所以,人們從視覺(jué)心理學(xué)的角度進(jìn)行分析,提出了各種假設(shè)限定用來(lái)解決這個(gè)問(wèn)題?？梢?jiàn),圖像修補(bǔ)屬于圖像復(fù)原的研究領(lǐng)域。通常,圖像在獲取過(guò)程中,往往受到一些因素的影響,使得圖像質(zhì)量退化。在圖像復(fù)原領(lǐng)域中,常用的退化模型是Ι0=Ι+Ν(1)其中,I0為所獲得的觀察圖像,I為原始圖像(I={I(x)}),N為加性白噪聲。對(duì)大多數(shù)的圖像修補(bǔ)問(wèn)題來(lái)說(shuō),數(shù)據(jù)模型具有以下形式:Ι0|Ω\D=[Ι+Ν]Ω\D(2)其中,Ω表示整個(gè)圖像區(qū)域,D表示信息丟失的待修補(bǔ)區(qū)域,Ω\D表示沒(méi)有丟失信息的區(qū)域,I0為Ω\D上的可利用的圖像部分,I為需要復(fù)原的目標(biāo)圖像。假設(shè)N為高斯的,那么關(guān)于數(shù)據(jù)模型的能量函數(shù)E,可常用最小均方誤差定義:E[Ι0|Ι]=λ2∫Ω\D(Ι-Ι0)2dx(3)由于修補(bǔ)區(qū)域D任何可用的數(shù)據(jù),因此,圖像(先驗(yàn))模型對(duì)圖像修補(bǔ)算法來(lái)說(shuō),比其他傳統(tǒng)的復(fù)原問(wèn)題(如去噪,去降晰)變得更為重要。圖像模型可以從圖像數(shù)據(jù)中經(jīng)過(guò)濾波、參數(shù)或非參數(shù)估計(jì)以及熵方法得到,這些統(tǒng)計(jì)方法雖對(duì)具有豐富紋理圖像的修補(bǔ)很重要,然而,對(duì)大多數(shù)的修補(bǔ)問(wèn)題來(lái)說(shuō),修補(bǔ)區(qū)域常常丟失的是圖像的重要幾何信息(如邊緣),為了重建這些幾何信息,圖像模型要事先解決這些幾何特征,而多數(shù)傳統(tǒng)的概率模型則均缺乏這種特征。幸運(yùn)的是,在很多文獻(xiàn)中,由幾何信息激發(fā)的“能量”形式的確存在,如Rudin,Osher和Fatermi模型以及Mumford-Shah模型。這就是所謂的變分法。在變分方法中,圖像修補(bǔ)問(wèn)題轉(zhuǎn)化為一個(gè)約束最優(yōu)化問(wèn)題:minE[Ι]s.t.E[Ι0|Ι]≤σ2(4)其中,E[I]為圖像先驗(yàn)?zāi)Ｐ偷哪芰啃问?σ2表示高斯白噪聲的方差,它可以用適當(dāng)?shù)慕y(tǒng)計(jì)估計(jì)器來(lái)估計(jì)。用Lagrange乘子法可將該約束問(wèn)題轉(zhuǎn)化為以下無(wú)約束問(wèn)題:minE[Ι]+λE[Ι0|Ι](5)通常,λ用于均衡匹配項(xiàng)E[Ι0|Ι]與正則化項(xiàng)E[I]。對(duì)于正則化項(xiàng)E[I],即圖像的先驗(yàn)?zāi)Ｐ?常由“能量”泛函實(shí)現(xiàn)。比如Sobolev范數(shù):E[Ι]=∫Ω|?Ι|2dx;Rudin等的全變分模型:E[Ι]=∫Ω|?Ι|dx,以及Mumford-Shah模型:E(Ι,Γ)=∫Ω\Γ|?Ι|2dx+βΗ1(Γ),其中H1表示1維Hausdroff測(cè)度,Γ為圖像的邊緣集。3變分技術(shù)對(duì)比這一節(jié)主要研究?jī)煞N最重要的基于幾何圖像模型的變分技術(shù)修補(bǔ)方案,以及它們的改進(jìn)模型。在本文中,?,div,?2分別表示梯度,散度和拉普拉斯算子。3.1tv模型的基本原理Rudin等將圖像看成是一個(gè)分段平滑函數(shù),并在有界變分空間上對(duì)圖像建模,由于所提出的全變分模型能夠起到延長(zhǎng)圖像邊緣的作用,從而非常適合于圖像的修補(bǔ)。TonyChan等人將該模型推廣到圖像修補(bǔ),根據(jù)上一節(jié)對(duì)圖像修補(bǔ)問(wèn)題的描述,他們建立的全變分圖像修補(bǔ)模型為minJ[Ι]=∫Ω|?Ι|dx+λ2∫Ω\D|Ι-Ι0|2dx(6)其中,λ為L(zhǎng)agrange乘子。根據(jù)變分原理,可求得與之對(duì)應(yīng)的Euler-Lagrange方程為-div[?Ι/|?Ι|]+λD(x)(Ι-Ι0)=0(7)其中,λD(x)=λ)Ω\D(x)={λx∈Ω\D0x∈D。由此可見(jiàn),求解泛函(式(6))的最小值等價(jià)于求解偏微分方程(式(7))。另外,還可以先引入一個(gè)時(shí)間變量t,再利用最陡下降法來(lái)求解式(7),其表達(dá)式為?Ι?t=div[?Ι/|?Ι|]-λD(x)(Ι-Ι0)(8)也就是說(shuō),隨著時(shí)間變量t的演化,當(dāng)?Ι?t→0時(shí),就得到了所要求的I的最小值。就數(shù)值計(jì)算的觀點(diǎn)來(lái)看,因?yàn)樵谄交瑓^(qū),|?Ι|將會(huì)很小,甚至?xí)吔诹?所以,在以上兩個(gè)偏微分方程中,為避免分母為零,一般用div[?Ι/|?Ι|ε]替代div[?Ι/|?Ι|],其中|?Ι|ε=√ε2+|?Ι|2?ε為一個(gè)小的正參數(shù)。這樣最優(yōu)化問(wèn)題就變?yōu)閙inJε[Ι]=∫Ω|?Ι|εdx+λ2∫Ω\D|Ι-Ι0|2dx(9)正如在大多數(shù)包含閾值的處理任務(wù)中(像去噪與邊緣檢測(cè))一樣,參數(shù)ε通常可被看著是閾值。在平滑區(qū)域,|?Ι|?ε,修補(bǔ)模型可采用調(diào)和修補(bǔ)模型;而在邊緣區(qū),|?Ι|?ε,則模型可采用TV模型。TV模型的主要優(yōu)點(diǎn)是能保持邊緣和數(shù)值PDE實(shí)現(xiàn)方便,但其主要不足是破壞了視覺(jué)理論中的連通原理(connectivityprinciple)。如圖2所示,w表示物體結(jié)構(gòu)的寬度,wl表示破損區(qū)域的寬度,無(wú)論w和wl的比率是多少,根據(jù)視覺(jué)心理學(xué)可知,人們會(huì)認(rèn)為圖2(b)是最優(yōu)的修補(bǔ)結(jié)果。但對(duì)于TV模型而言,當(dāng)wl<w時(shí),其修補(bǔ)結(jié)果如圖2(b),而當(dāng)wl>w時(shí),其修補(bǔ)結(jié)果為圖2(c),這就破壞了連通原理。由于在TV模型中,擴(kuò)散強(qiáng)度(diffusionstrength)僅僅依賴于等照度線的對(duì)比度或強(qiáng)度,且它是由傳導(dǎo)系數(shù)v=1/|?Ι|所反映的,因此,擴(kuò)散強(qiáng)度不依賴于等照度線的幾何信息。對(duì)于平面曲線,標(biāo)量曲率κ可以反映它的幾何信息。當(dāng)wl>w時(shí),從TV模型修補(bǔ)的結(jié)果來(lái)看,在4個(gè)角a,b,c,d處,κ=±∞。相反,按視覺(jué)心理學(xué)得出的結(jié)果,這4個(gè)角處的曲率應(yīng)該為零,也就是說(shuō),在對(duì)圖像進(jìn)行修補(bǔ)時(shí),要使曲率κ盡可能地小,才能得到符合人類視覺(jué)特點(diǎn)的圖像。根據(jù)以上的分析,文獻(xiàn)對(duì)TV模型進(jìn)行了改進(jìn),提出了CDD修補(bǔ)模型。在CDD模型中,是將TV模型的傳導(dǎo)系數(shù)修改為v=g(|κ|)/|?Ι|,此處,g的定義為g(κ)={0κ=0∞κ=∞大于零的有限數(shù)0<κ<∞(10)由于這種選擇可使在大曲率處擴(kuò)散變強(qiáng),小曲率處擴(kuò)散逐漸消失,因此,CDD修補(bǔ)模型為{?Ι?t=div[g(|κ|)|?Ι|?Ι]x∈DΙ=Ι0,x∈Ω\D(11)其中,κ=div[?Ι/|?Ι|]為曲率。3.2e.dx模型Mumford-Shah模型首先是由Chan等和Tsai等提出的。在第2節(jié)已提到,變分修補(bǔ)模型就是最小化如下能量函數(shù)J[Ι|Ι0]=E[Ι]+λ2∫D(Ι-Ι0)2dx(12)E[I]為圖像的先驗(yàn)?zāi)Ｐ?后一項(xiàng)為數(shù)據(jù)模型。這里假設(shè)I0=I+N,N為高斯白噪聲。Mumford和Shah提出的用于圖像分割的object-edge模型為E[Ι,Γ]=γ2∫Ω\Γ|?Ι|2dx+αΗ1(Γ)(13)其中,Γ為圖像的邊緣集,H1為1維Hausdorff測(cè)度。事實(shí)上,在大多數(shù)圖像分割中,特別是在數(shù)值計(jì)算中,H1(Γ)通常是用Γ的長(zhǎng)度l(Γ)代替(假設(shè)Γ為規(guī)則曲線),由式(12)可見(jiàn),基于Mumford-Shah圖像模型的修補(bǔ)算法為最小化以下能量函數(shù)JΜS[Ι,Γ|Ι0]=γ2∫Ω\Γ|?Ι|2dx+αl(Γ)+λ2∫D(Ι-Ι0)2dx(14)文獻(xiàn)將E[I,Γ]的T-收斂(T-convergence)逼近應(yīng)用到式(14)模型中,并分析了這種逼近的優(yōu)缺點(diǎn),其推導(dǎo)出的該模型的T-收斂逼近形式為JΜS[Ι,Γ|Ι0]=γ2∫Ωz2|?Ι|2dx+α∫Ω(ε|?z|2+(1-z)2/4ε)dx+12∫ΩλD(x)(Ι-Ι0)dx(15)其中,z為符號(hào)差(signature)函數(shù),其定義為z:Ω→。分別對(duì)I,z取變分,即得到JΜS[Ι,Γ|Ι0]的Euler-Lagrange方程組{λD(x)(Ι-Ι0)2-γdiv(z2?Ι)=0(γ|?Ι|2)z+α(-2ε?2z+(z-1)/2ε)(16)絕熱邊界條件為?I/?n=0,?z/?n=0,n為法向量。雖然Mumford-Shah模型的優(yōu)點(diǎn)是計(jì)算復(fù)雜度低,但它不像在圖像分割和去噪的傳統(tǒng)應(yīng)用中那樣有效,因該模型用于圖像修補(bǔ)有它固有的缺陷,即一方面,由于Mumford-Shah模型是使邊緣長(zhǎng)度最小,因此,修補(bǔ)的邊緣直接連接現(xiàn)存的邊緣,這將導(dǎo)致兩個(gè)可見(jiàn)的人為角度,而不是一條平滑的曲線;另一方面,該模型和TV模型一樣,也破壞了視覺(jué)心理學(xué)中的連通原理,而導(dǎo)致這兩種缺陷的主要因素則是由于Mumford-Shah模型嵌入了直線模型的緣故(因?yàn)橐筮吘壖L(zhǎng)度最小)。因此,為了克服上述不足,SelimEsedoglu和JianhongShen通過(guò)引入Euler’selastica改進(jìn)了該曲線模型,進(jìn)而提出了基于Mumford-Shah-Euler模型的圖像修補(bǔ)算法。文獻(xiàn)首先將Euler’selastica作為一個(gè)先驗(yàn)的曲線模型引入到計(jì)算機(jī)視覺(jué)中,其Euler’selastica曲線模型為e(Γ)=αl(Γ)+β∫Γκ2ds=∫Γ(α+βκ2)ds(17)其中,κ表示曲率,其定義為κ=divn=div[?Ι/|?Ι|]?ds為長(zhǎng)度元,α,β為兩個(gè)可調(diào)的正權(quán)值。因此,Mumford-Shah-Euler圖像模型為EΜSE[Ι,Γ]=γ2∫Ω\Γ|?Ι|2dx+e(Γ)(18)相應(yīng)的修補(bǔ)模型為JΜSE[Ι,Γ|Ι0]=12∫ΩλD(Ι-Ι0)2dx+γ2∫Ω\Γ|?Ι|2+∫Γ(α+βκ2)ds(19)對(duì)于給定的邊緣集Γ?JΜSE[Ι,Γ|Ι0]的Euler-Lagrange方程為λD(x)(Ι-Ι0)+γ?2Ι=0,x∈Ω\Γ(20)沿邊緣集合Γ的絕熱條件為?I/?n=0。4criminisi算法前一節(jié)介紹的圖像修補(bǔ)技術(shù)雖可以利用待修補(bǔ)區(qū)域的鄰域信息來(lái)填充丟失區(qū)域的像素值,但它不能修補(bǔ)細(xì)節(jié),只適合修補(bǔ)小尺度的缺損,如裂痕、劃痕等,而基于塊的紋理合成圖像補(bǔ)全技術(shù)則不但可以填充任意大小的丟失塊,還可以修復(fù)破損部分的細(xì)節(jié)。它的基本思想如圖3所示,即首先在圖像丟失塊的邊界上任選一像素點(diǎn),并以該點(diǎn)為中心,設(shè)定一定大小的模板,比如:3×3,9×9等;然后在整個(gè)已知區(qū)域內(nèi)按照某種準(zhǔn)則,尋找一個(gè)與該模板最為匹配的塊;最后用最優(yōu)匹配塊填充模板即可。近年來(lái),許多學(xué)者廣泛關(guān)注大目標(biāo)去除這一研究領(lǐng)域,取得了相當(dāng)?shù)倪M(jìn)展。Harrison首先提出一種基于模板的算法來(lái)去除不想要的目標(biāo),但這種算法對(duì)噪聲不魯棒,常常使圖像的線結(jié)構(gòu)變得模糊不清;后來(lái),Drori等提出一種基于碎片(fragmentbased)的圖像補(bǔ)全算法,該算法是利用自相似原理,采用一種由粗到精的方法迭代逼近丟失信息的區(qū)域,雖取得了很好的修復(fù)效果,但是,由于該算法是利用全搜索過(guò)程尋找相似碎片,速度相當(dāng)慢,其處理一幅大小為384×223的圖像,大概需要83min到158min(視修補(bǔ)區(qū)域的大小而定),這極大地影響了它的實(shí)用范圍;盡管文獻(xiàn)給出了一種快速算法,但修復(fù)后圖像的視覺(jué)效果相應(yīng)地下降。Criminisi等采用一種基于塊的圖像修補(bǔ)算法,其實(shí)質(zhì)是直接采用紋理合成的方法來(lái)去除照片中的大物體,并得到了很好的效果。這種紋理合成主要由優(yōu)先權(quán)計(jì)算、搜索和復(fù)制3步組成:(1)計(jì)算優(yōu)先權(quán)是為了決定填充的次序,以保證在紋理填充之前圖像的線結(jié)構(gòu)先被傳播,這樣就可以保證目標(biāo)邊界連通;(2)搜索就是根據(jù)紋理的相似性在原始區(qū)域找到最為匹配的塊;(3)復(fù)制就是將所選擇的塊復(fù)制到目標(biāo)區(qū)域內(nèi)的適當(dāng)位置。Criminisi給出的大量比較實(shí)驗(yàn)表明,該算法在時(shí)間和視覺(jué)效果上都優(yōu)于其他的算法。因此,就有大量的研究者開(kāi)始研究Criminisi算法:國(guó)內(nèi),浙江大學(xué)的FengTang等分析了Criminisi算法的不足,提出了一種新穎的基于紋理合成的圖像補(bǔ)全算法,該算法首先縮小了尋找匹配塊的搜索范圍,并給出了一種選擇最有匹配塊的準(zhǔn)則以避免誤差的傳播,使用該方法得到了相當(dāng)好的修復(fù)效果;文獻(xiàn)通過(guò)分析Criminisi算法中優(yōu)先權(quán)計(jì)算發(fā)現(xiàn),隨著填充過(guò)程的進(jìn)行,由于置信度值迅速下降到零,使優(yōu)先權(quán)的計(jì)算不可靠,從而導(dǎo)致錯(cuò)誤的填充次序,進(jìn)而影響修補(bǔ)效果。為了克服這一不足,他們給出了一個(gè)更合理的優(yōu)先權(quán)函數(shù),用來(lái)保證圖像結(jié)構(gòu)和紋理的正確填充,并取得了一定的效果。在上述的這些算法中,由于Criminisi算法及其改進(jìn)算法實(shí)現(xiàn)簡(jiǎn)單、快速、效果好,故得到了廣泛的應(yīng)用。但由于它是采用全局搜索方法來(lái)尋找原始的匹配塊,這樣不僅會(huì)產(chǎn)生錯(cuò)誤匹配,還會(huì)使填充速度過(guò)慢,因此,對(duì)于上述算法,還有待進(jìn)一步研究,以便得出更快更好的補(bǔ)全算法。5數(shù)字圖像修復(fù)技術(shù)的廣泛應(yīng)用5.1數(shù)字圖像修復(fù)技術(shù)的應(yīng)用數(shù)字圖像修補(bǔ)技術(shù)的應(yīng)用包括老照片的復(fù)原、文本去除以及圖像的有損編碼等。5.1.1tv修補(bǔ)算法仿真由于所有的仿真算法均采用TV模型修補(bǔ)算法。因此下面簡(jiǎn)要介紹一下TV修補(bǔ)模型的數(shù)值實(shí)現(xiàn)。TV修補(bǔ)模型的數(shù)值實(shí)現(xiàn)關(guān)鍵在于|?Ι|的逼近和PDE的退化。如圖4所示,pe,pn,pw,ps分別代表目標(biāo)像素O的東、北、西、南4個(gè)半像素鄰域點(diǎn),PE,PN,PW,PS表示目標(biāo)像素O的東、北、西、南4個(gè)鄰域點(diǎn),|?Ιpe|可由下式逼近:|?Ιpe|?1h√(ΙΡE-ΙΟ)2+[((ΙΡΝE+ΙΡΝ-ΙΡS-ΙΡSE)/4)](21)另外,還可以同樣的方式得到其他3個(gè)方向的逼近式。其離散化后變?yōu)椤痞薄师?|?ΙΡ|(ΙΟ-ΙΡ)+λD(ΙΟ-Ι0Ο)=0(22)其中,ΛO={PN,PS,PE,PW}表示目標(biāo)像素點(diǎn)O的4個(gè)鄰域點(diǎn)。對(duì)于任意一個(gè)目標(biāo)像素點(diǎn)O,如果定義ωΡ=1/|?ΙΡ|Ρ∈ΛΟhΡ=ωΡ/(∑Ρ∈ΛΟωΡ+λD(Ο))hΟ=λD(Ο)/(∑Ρ∈ΛΟωΡ+λD(Ο))(23)此處,如果P取像素點(diǎn)PE,那么p就表示半像素點(diǎn)pe。因此,式(22)就變?yōu)棣│?∑Ρ∈ΛΟhΡΙΡ+hΟΙΟ0∑Ρ∈ΛΟhΡ+hΟ=1(24)這樣就可將式(24)改寫(xiě)成Gauss-Jacobi迭代形式ΙΟ(n)=∑Ρ∈ΛΟhΡ(n-1)ΙΡ(n-1)+hΟ(n-1)ΙΟ0(25)在數(shù)值仿真時(shí),通常先用掩碼確定需要修補(bǔ)的區(qū)域(需要用戶給定修補(bǔ)區(qū)域D的掩碼),然后根據(jù)修補(bǔ)區(qū)域周圍的信息,用圖像修補(bǔ)算法來(lái)自動(dòng)恢復(fù)區(qū)域中的信息,那么根據(jù)式(25),算法步驟如下:(1)讀入圖像和掩碼信息;(2)對(duì)掩碼中的每一個(gè)像素執(zhí)行第(3)、(4)、(5)步;(3)計(jì)算其周圍中間像素的一階導(dǎo)數(shù)值和梯度的模值;(4)若像素位于修補(bǔ)區(qū)域以外,則置λD(O)=1,否則,置λD(O)=0;(5)通過(guò)計(jì)算hP,hO來(lái)得到新的像素值,并保存到新圖像中;(6)判斷新圖像與舊圖像之間的差值,若小于事先給定的閾值,則以新圖像代替舊圖像,退出;否則轉(zhuǎn)到第2步。本文用Matlab6.5對(duì)上述算法進(jìn)行了仿真。圖5為恢復(fù)舊照片中丟失信息的模擬效果,其中的白色三角形是待修補(bǔ)的區(qū)域。圖6是模擬圖像傳輸中丟失塊的修補(bǔ)過(guò)程。圖6(c)是用TV修補(bǔ)算法去除圖像中的文字得到的效果圖。圖5(b)中的白色三角形,圖6(b)中的黑色方塊和圖7(a)中的英文字母都是通過(guò)掩碼加到原始圖像上的。5.1.2tv模型求解眾所周知,邊緣在圖像和視覺(jué)分析中占據(jù)重要位置,因此,在圖像編碼中,一個(gè)方案的好壞在很大程度上是由它對(duì)邊緣反映的好壞決定。文獻(xiàn)將圖像修補(bǔ)方法應(yīng)用于圖像編碼,并介紹了一種基于邊緣信息的圖像有損編碼與壓縮方案,其具體實(shí)現(xiàn)算法如下:編碼階段由以下3步組成:(1)用一個(gè)邊緣檢測(cè)算子(如Canny算子等)提取所給圖像I0的邊緣集合E。E通常是一組沒(méi)有好的幾何規(guī)則度的像素或曲線(如圖8所示)。另外要求圖像區(qū)域Ω的4條邊屬于該邊緣集合E;(2)通過(guò)固定一個(gè)小的常數(shù)ξ來(lái)產(chǎn)生一個(gè)邊緣集合E的ξ-鄰域T,T的灰度可以是E的一個(gè)或兩個(gè)像素的寬度(如圖7(b)所示);(3)編碼像素集T的地址,并用高比特率來(lái)精確編碼Ι0|Τ上的灰度值。這樣,由于該編碼方案產(chǎn)生了大面積的無(wú)任何圖像信息的“空區(qū)域”,因此可得到一個(gè)高的壓縮比。理論上說(shuō),當(dāng)ξ→0時(shí),T的面積也將趨于零,也就是,壓縮比將趨于無(wú)窮大。當(dāng)然,這種高壓縮比將使解碼變得困難。為此文獻(xiàn)采用數(shù)字修補(bǔ)方案來(lái)修補(bǔ)大的空白區(qū)域。為了解碼,可將TV修補(bǔ)模型應(yīng)用于T和灰度數(shù)據(jù)Ι0|Τ:minΙ[∑α∈Ω|?αΙ|+∑α∈ΩλΤ(α)2(Ια-Ια0)2](26)此處,Lagrange乘子為λΤ(α)={λα∈Τ0α∈Ω\Τ?Ω\Τ定義為Ω-T,表示圖像區(qū)域Ω去除區(qū)域T后的區(qū)域。與JPEG和JPEG2000不同,此處的解碼是由變分復(fù)原完成的。這里用TV模型有它固有的好處,由于其在解碼過(guò)程中,不用要求邊緣是規(guī)整的,而本身,E是一個(gè)無(wú)任何幾何規(guī)則度的雜亂集,因此,TV模型在解碼過(guò)程中可以通過(guò)調(diào)整雜亂的邊緣,以改進(jìn)其平滑度。圖8給出了該算法的編解碼效果圖,其中,邊緣檢測(cè)算子采用的是Canny算子,ξ取1。5.2圖像的預(yù)處理及補(bǔ)全在許多實(shí)際應(yīng)用中,往往為了某種特殊目的而移走數(shù)字圖像上的目標(biāo)物體或文字,又由于不希望觀察者察覺(jué)出圖像中有物體或文字被移走,因此,為了保證圖像信息的完整性,需要對(duì)這些受損圖像進(jìn)行填充修補(bǔ)。實(shí)踐表明,基于紋理合成的圖像補(bǔ)全技術(shù)能達(dá)到這一目的。這一節(jié)采用文獻(xiàn)的算法來(lái)給出應(yīng)用實(shí)例。所采用的算法步驟如下:(1)用戶選擇需要去除并填充的目標(biāo)區(qū)域Ω。定義原始已知區(qū)域Φ為整個(gè)圖像區(qū)域R減去目標(biāo)區(qū)域Ω,即Φ=R-Ω;(2)根據(jù)圖像的紋理特征,首先確定用于計(jì)算優(yōu)先權(quán)的模板窗口φp,窗口的大小應(yīng)比圖像中最大紋理元稍大一些,然后,計(jì)算塊的優(yōu)先權(quán),優(yōu)先權(quán)計(jì)算的目的,就是為了使那些具有較強(qiáng)的連續(xù)邊緣以及需要填充的塊里有較多的已知信息的紋理塊先被修補(bǔ),這樣,在填充紋理塊時(shí),就會(huì)得到更多的信息,并能同時(shí)保證圖像的結(jié)構(gòu)信息被修補(bǔ),而對(duì)任意邊緣點(diǎn)p∈δΩ,則定義模板窗口φp的優(yōu)先權(quán)W(p)為W(p)=C(p)D(p)(27)其中,C(p)是置信度項(xiàng),D(p)為數(shù)據(jù)項(xiàng),它們分別定義為其中,|φp|是φp的面積,α是歸一化因子,np是點(diǎn)p的法向量,Ωˉ為Ω的補(bǔ)集;(3)找到一個(gè)點(diǎn)p^=argmaxp∈δΩW(p),在整個(gè)圖像區(qū)域內(nèi)尋找一個(gè)匹配塊Ψq^∈Φ,使得d(Ψp^,Ψq^)為最小。最后,用Ψq^中的相應(yīng)點(diǎn)替代Ψp^中的未知點(diǎn);(4)在Ψp^填充了新的像素之后,重新更新置信度C(p),即C(q)=C(p^)?q∈Ψp^∩Ω;(5)重復(fù)步驟(3)～步驟(5),直到整個(gè)目標(biāo)區(qū)域都被填充。圖9給出了上述算法的仿真結(jié)果,其中圖9(a),圖9(d)是原始圖像;圖9(b),圖9(e)為想要去除的目標(biāo)(用白色標(biāo)示出);圖9(c),圖9(f)為去除目標(biāo)后補(bǔ)全的圖像。從圖中可看出,該算法不僅能有效地去除目標(biāo),并且觀察者無(wú)法察覺(jué)圖像已被修復(fù)。6圖像修復(fù)技術(shù)的展望由于Internet網(wǎng)絡(luò)的誕生以及掃描儀、數(shù)碼相機(jī)的出現(xiàn),使得數(shù)字照片的數(shù)量急劇增加,為此人們迫切希望有一種軟件能自動(dòng)改進(jìn)他們的照片,該軟件用于去除圖像的一部分,同時(shí)自動(dòng)填補(bǔ)這些區(qū)域,并使觀察者無(wú)法察覺(jué)圖像曾經(jīng)缺損或已被修復(fù),它將是廣受歡迎的一種工具。因此,數(shù)字圖像修復(fù)技術(shù),特別是基于變分PDE方法的圖像修補(bǔ)技術(shù)和基于塊的紋理合成圖像補(bǔ)全技術(shù),已成為近年來(lái)國(guó)際上比較熱門的研究課題。鑒于國(guó)內(nèi)在這方面的研究較少,因此,本文較為詳細(xì)地介紹了幾種主要的、應(yīng)用較為廣泛的變分圖像修補(bǔ)模型以及圖像補(bǔ)全技術(shù)的概況,并以TV