一種新的低分辨率圖像重建方法

一種新的低分辨率圖像重建方法

1tikhonov正則化重建算法基于現(xiàn)有成像系統(tǒng)的高速成像技術(shù)，重建低分辨率的圖像，以獲得更詳細(xì)的高分辨率圖像。超分辨率圖像重建技術(shù)廣泛應(yīng)用在醫(yī)學(xué)、軍事、安防等領(lǐng)域。它利用同一場(chǎng)景的一幅或多幅低分辨率(LowResolution,LR)圖像,重建出具有更多細(xì)節(jié)信息的高分辨率(HighResolution,HR)圖像在圖像獲取的過程中,各種不確定因素的影響使得圖像的質(zhì)量降低,將圖像的退化過程用數(shù)學(xué)表達(dá)式表述為Y=DHX+n,其中D是下采樣(DownSampling)因子,H是模糊(Blur)因子,n是噪聲(Noise),X是高分辨率圖像,Y是低分辨率圖像。高分辨率圖像退化到低分辨率圖像時(shí),被濾掉了一些信息,再加上噪聲等不確定因素的影響,使得根據(jù)低分辨率圖像Y重建得到高分辨率圖像X是一病態(tài)逆問題,對(duì)于該問題,可通過附加先驗(yàn)信息、添加正則項(xiàng)進(jìn)行約束求解Tikhonov正則化重建方法基于正則化的圖像重建有兩個(gè)關(guān)鍵的問題,一是正則項(xiàng)的選擇,二是最小化求解算法的設(shè)計(jì)。為了使得重建得到的圖像邊緣清晰,結(jié)構(gòu)紋理細(xì)節(jié)豐富,結(jié)合TV和FOTV兩種正則項(xiàng)的優(yōu)點(diǎn),本文選擇TV和FOTV雙正則項(xiàng)約束解空間,使用交替方向乘子算法將優(yōu)化函數(shù)劃分為子問題進(jìn)行求解,利用全變分和分?jǐn)?shù)階全變分算子作為循環(huán)矩陣,通過傅里葉變換將其對(duì)角化,簡化求解過程,重建得到高分辨率圖像。2優(yōu)化函數(shù)結(jié)構(gòu)2.1梯度計(jì)算時(shí)圖像會(huì)通過外在成像技術(shù)來限制受噪聲的圖像全變分,并增加圖像內(nèi)壓分全變分正則項(xiàng)是超分辨率圖像重建常用的正則化算子,可表示為?X為對(duì)X求梯度運(yùn)算。全變分還可以表示為其中,D全變分算子使重建后的圖像有較高的精度,具有各項(xiàng)異性的平滑作用,通過梯度的計(jì)算不但能夠保護(hù)圖像的邊緣,而且可以較好地保持圖像邊界原有的對(duì)比度銳度;并且受噪聲污染的圖像的全變分要明顯比沒有經(jīng)過噪聲污染的圖像的全變分大,通過限制全變分的大小就可以限制圖像中的噪聲。但是,其在平滑區(qū)域的處理效果相對(duì)較差,尤其是對(duì)灰度值比較相近的區(qū)域的處理效果比較差,容易出現(xiàn)階梯效應(yīng),并且全變分在去除噪聲的過程中一些細(xì)節(jié)如紋理信息容易被濾掉,影響重建效果。2.2分?jǐn)?shù)階全變分算子為了更好地重建圖像的紋理細(xì)節(jié)信息,彌補(bǔ)全變分算子易產(chǎn)生階梯效應(yīng)的缺陷,本文添加了分?jǐn)?shù)階全變分正則項(xiàng)對(duì)解空間進(jìn)行約束。通過分?jǐn)?shù)階梯度構(gòu)造分?jǐn)?shù)階全變分算子,分?jǐn)?shù)階梯度可以看作是整數(shù)階梯度的推廣,但是目前并沒有對(duì)分?jǐn)?shù)階梯度的統(tǒng)一定義,本文主要根據(jù)Grümwald-Letnikov(G-L)分?jǐn)?shù)階微分的定義一般實(shí)數(shù)意義下的二項(xiàng)式系數(shù)定義為其中其中,v,k為實(shí)數(shù)。規(guī)定當(dāng)k<0時(shí),C根據(jù)Grümwald-Letnikov(G-L)的定義,分?jǐn)?shù)階梯度定義為其中v為分?jǐn)?shù)階梯度的階次。當(dāng)v=1時(shí),實(shí)際上就是整數(shù)階的一階梯度算子。當(dāng)v固定時(shí),隨著k的增加,二項(xiàng)式系數(shù)C二維數(shù)字圖像的分?jǐn)?shù)階全變分要進(jìn)行兩個(gè)方向的分離,分為圖像X在水平方向和垂直方向的分?jǐn)?shù)階梯度分量D因此分?jǐn)?shù)階全變分可以簡單表示為v的取值范圍為1<v<2。分?jǐn)?shù)階梯度D與整數(shù)階不同,分?jǐn)?shù)階在某個(gè)點(diǎn)附近的導(dǎo)數(shù)是不確定的,因此分?jǐn)?shù)階全變分的本質(zhì)特性是非局部的。正是由于這個(gè)特點(diǎn),分?jǐn)?shù)階全變分算子使得重建圖像的細(xì)節(jié)紋理信息相對(duì)較好。從圖1可以看出,不同階次的分?jǐn)?shù)階梯度算子對(duì)信號(hào)都有加強(qiáng)的作用,并且隨著頻率的增大,呈非線性增長。在信號(hào)的高頻部分,分?jǐn)?shù)階梯度和整數(shù)階梯度對(duì)信號(hào)都有增強(qiáng)作用,整數(shù)階的增強(qiáng)作用更大,但是在信號(hào)的低頻區(qū)域,分?jǐn)?shù)階梯度可以更好地保護(hù)信號(hào)信息2.3添加正則項(xiàng)來約束解空間超分辨率圖像的退化模型為基于該退化模型進(jìn)行圖像重建,當(dāng)DHX-Y最小時(shí),重建得到的高分辨率圖像最接近原圖。由于重建過程是一病態(tài)逆問題,導(dǎo)致解空間不存在或者不唯一。針對(duì)該問題,本文使用正則化方法進(jìn)行求解,添加上述TV和FOTV雙正則項(xiàng)來約束解空間,保證重建圖像的邊緣清晰,紋理細(xì)節(jié)豐富。添加正則項(xiàng)之后,優(yōu)化函數(shù)可以表示為其中,μ是θ正則化系數(shù),用來平衡各項(xiàng)所占的比重。式(12)中的第一項(xiàng)是保真項(xiàng),用于衡量重建的誤差,表示重建圖像的擬合程度。通過求解式(12)的優(yōu)化函數(shù),可以得到相應(yīng)的高分辨率圖像。3優(yōu)化算法3.1基于前向的分層算法對(duì)于式(12)的優(yōu)化函數(shù),首先利用近端映射的思想對(duì)其處理,將其轉(zhuǎn)換為兩步求解的方式,從而將超分辨率重建的問題轉(zhuǎn)換為去噪的問題進(jìn)行處理。用T代表保真項(xiàng)表示式(12),即變?yōu)閷?duì)式(13)進(jìn)行非約束最小化求解。Combettes等人在Moreau提出的近端算子的基礎(chǔ)上,描述了利用前向后向的方法對(duì)式(13)所述問題進(jìn)行處理。根據(jù)凸優(yōu)化分析的經(jīng)典論據(jù),式(13)滿足根據(jù)式(15),利用前向后向分裂算法可以得到含有帶上標(biāo)n、n+1的X(如X由于在點(diǎn)U處的近端算子Prox因此,將式(17)代入式(16),并轉(zhuǎn)換為如下的兩步求解方式進(jìn)行迭代,表示為式(18):對(duì)式(18)迭代中的Y用式(19)進(jìn)行更新:將問題轉(zhuǎn)換為式(18)、式(19)表示的求解方式,即將其轉(zhuǎn)換為去噪的問題進(jìn)行處理。對(duì)于該問題,利用TV和FOTV作為循環(huán)矩陣,并通過傅里葉變換將其對(duì)角化,從而進(jìn)行問題的求解。轉(zhuǎn)換過后的問題簡化了求解過程,降低了計(jì)算的復(fù)雜程度。3.2優(yōu)化求解為了求解上述式(18),引入另外兩個(gè)輔助變量Z和Q,將其分解成多個(gè)子問題進(jìn)行優(yōu)化求解。引入變量后,將式(18)的第二個(gè)公式用ADMM方法展開可得將式(20)轉(zhuǎn)化為如下3個(gè)子問題進(jìn)行求解其中可以用迭代收縮閾值(IST)式(23)可以轉(zhuǎn)化為在X根據(jù)式(27)可得:式中,?、?3.3算法流程對(duì)退化后的低分辨率圖像進(jìn)行插值,得到的結(jié)果作為初始值X本文的超分辨率圖像的重建算法如下。4仿真平臺(tái)和身份證實(shí)驗(yàn)環(huán)境:處理器為Intel(R)Pentium(R)P6200@2.13GHz,內(nèi)存為2GB。仿真平臺(tái):MATLABR2009a。在該實(shí)驗(yàn)環(huán)境中,本文采用TV和FOTV雙正則項(xiàng),并利用ADMM算法優(yōu)化求解。4.1psnr圖像重建從表1、表2的PSNR值和SSIM值可以看出,在進(jìn)行2倍放大圖像重建時(shí),本文的方法要優(yōu)于其他方法,兩個(gè)評(píng)估參數(shù)值都有提高。本文方法在保護(hù)圖像邊緣輪廓的同時(shí),增強(qiáng)了紋理細(xì)節(jié)的信息,并且可以很好地處理平滑區(qū)域灰度值相近的像素點(diǎn)的重建,避免階梯效應(yīng)的產(chǎn)生,因此重建的圖像在SSIM值略有提高的同時(shí),PSNR值也有一定程度的增加。整體來看,本文方法對(duì)圖像質(zhì)量有一定的改善。4.2psnr和ssim值的重建選擇512像素×512像素的lena圖像作為原始圖像,經(jīng)過低通濾波器以及不同倍數(shù)下采樣后得到的退化低分辨率圖像作為輸入。用不同的方法對(duì)該圖像進(jìn)行重建,并對(duì)結(jié)果進(jìn)行比較。PSNR值和SSIM值如表3和表4所列。從表3和表4的PSNR值和SSIM值可以看出,對(duì)lena圖像進(jìn)行不同放大倍數(shù)的圖像重建時(shí),本文方法仍然是有效的。隨著放大倍數(shù)的增加,退化的低分辨率圖像作為輸入的信息減少,重建得到的圖像質(zhì)量下降,但是在相同放大倍數(shù)的重建條件下,本文方法重建得到的圖像的PSNR和SSIM值都高于其他4種方法,說明本文方法重建圖像的整體性能優(yōu)于其他方法。4.3lena圖像重建選擇512像素×512像素的face、lena圖像為原始圖像,經(jīng)過低通濾波器以及2∶1等間距下采樣后得到的退化的低分辨率圖像作為輸入。用不同方法重建兩幅圖像。對(duì)于重建的結(jié)果,選擇face圖像的右眼眼部及l(fā)ena圖像帽穗部分進(jìn)行放大對(duì)比,并給出放大部分的誤差圖,進(jìn)行觀察和分析。face圖像的重建對(duì)比結(jié)果如圖2-圖4所示,lena圖像的重建對(duì)比結(jié)果如圖5-圖7所示。從圖2-圖7的對(duì)比結(jié)果可以看出,雙線性插值方法丟失過多圖像信息,face圖像眼部邊緣已模糊,lena圖像的帽穗輪廓也已不清晰,整個(gè)圖像與原圖相差較大。Tikhonov正則化方法相比雙線性插值效果有所改善,但是重建的結(jié)果依舊邊緣比較模糊?；贚1范數(shù)的BTV正則化方法重建的圖像的邊緣和輪廓基本重建出來,但圖像整體過于平滑,細(xì)節(jié)信息丟失嚴(yán)重,眼部輪廓和帽穗輪廓沒有完全重建出來?；赥V的TWIST方法重建效果相對(duì)較好,face的眼部輪廓已可以顯示出來,但眼睫毛的細(xì)節(jié)部分重建效果較差。lena圖像的帽沿邊緣及帽穗的紋理已基本顯示出來,但細(xì)節(jié)方面重建的效果依舊有待改善。從局部放大圖和誤差圖可以看出,本文方法在face圖像眼睛的輪廓、眼睫毛以及黑色眼珠邊緣的部分重建誤差小,更接近于原圖;在lena圖像的帽穗紋理細(xì)節(jié)部分重建得更加清晰,更真實(shí)。說明利用本文方法重建出的圖像結(jié)構(gòu)紋理信息保持較好,邊緣較為清晰,重建結(jié)果的整體性能優(yōu)于其他方法。4.4重建圖像的有效性對(duì)輸入的face圖像進(jìn)行6∶1等間距下采樣,并添加均值為0、方差從0.05~0.15變化的高斯白噪聲。采用不同方法對(duì)其進(jìn)行6倍超分辨率重建,對(duì)比所得圖像的PSNR值和SSIM值,結(jié)果如圖8和圖9所示?？梢钥闯?噪聲的方差從0.05變化到0.15時(shí),重建圖像的PSNR值和SSIM值都在下降,但是本文方法重建的效果始終優(yōu)于其他方法,說明本文方法在噪聲環(huán)境中重建圖像的有效性;尤其是分?jǐn)?shù)階全變分的使用,使得圖像的紋理細(xì)節(jié)得以保持,在SSIM值和PSNR值上優(yōu)于其他方法。本文針對(duì)單幅圖像進(jìn)行超分辨率重建,在使用全變分的基礎(chǔ)上,添加分?jǐn)?shù)階全變分作為另一正則項(xiàng)應(yīng)用到圖像重建中。通過近端映射的思想將優(yōu)化函數(shù)分解為兩步求解,轉(zhuǎn)化為去噪的問題,并用ADMM算法將第二步的優(yōu)化問題轉(zhuǎn)化為子問題進(jìn)行求解,利用TV和FOTV作為循環(huán)矩陣,通過傅里葉變換將其對(duì)角化,從而降低了計(jì)算的復(fù)雜度。實(shí)驗(yàn)結(jié)果表明,相對(duì)其他重建方法而言,本文方法能夠更