霧天降質圖像清晰度恢復技術研究4000

1、霧天降質圖像清晰度恢復技術研究摘 要 霧霾天氣的情況下，在戶外獲取的場景圖像受到該天氣情況的不利影響影響，導致所獲取的圖像的對比度信息丟失，色彩變淡場景中信息受損，嚴重影響了戶外計算機視覺系統(tǒng)的工作質量，使其無法可靠的工作。所以在霧天的天氣條件下，通過圖像去霧處理技術處理霧化的圖像，增加霧天情況下戶外場景的對比度非常重要，值得我們去開展圖像去霧的研究。本文圍繞先驗暗原色去霧方法開展研究，并在此方法的基礎上，改進該方法。針對圖像去霧的實時性要求，以及顏色失真問題作了以下處理：（1） 將圖像從RGB顏色空間轉換到YUV顏色空間進行處理；（2） 使用Guide Filter代替摳圖法處理透射率t值圖

2、。經過實驗對比，證明優(yōu)化后的去霧方法能有效獲得清晰地圖像，并且縮短了圖像處理的時間，提高去霧圖像的質量，滿足了圖像去霧的實時性要求。關鍵詞：暗原色去霧 大氣散射模型 guide濾波器 YUV Abstract Under haze weather conditions, the outdoor scene image acquired by the adverse effects of the influence of weather conditions, resulting in the contrast of the acquired image information is lost,

3、 damaged scene color fades information, a serious impact computer vision system for outdoor work quality, making it impossible to reliably work. So in foggy weather conditions, through image processing techniques to deal with atomized mist image, increase contrast outdoor scenes under foggy conditio

4、ns is very important, it is worth us to carry out research image to fog. This paper focuses on the dark color to fog a priori methods research, and based on this method, the improvement of the method. Real-time requirements for the image to go to the fog, and the color distortion problem made the fo

5、llowing treatment: (1) the image from the RGB color space to YUV color space to process; (2) using guide filter instead of cutout method and treatment of transmittance t value.Through experimental comparison, the optimized to fog that method can effectively obtain a clear image, and short the time o

6、f image processing, improve the quality of the image to fog can meet the real-time requirements of image to fog.Keywords: Dark grey to fog Atmospheric scattering model guide filter YUV目 錄摘 要IAbstractI一、緒論31.1研究背景31.2 研究的目的與意義31.3 國內外霧化圖像恢復技術研究概況4二、大氣散射理論及退化模型42.1大氣的散射42.3大氣散射模型5三 暗原色先驗63.1 暗原色去霧原理63

7、.2暗原色去霧的缺點7四、基于暗原色去霧方法的優(yōu)化74.1 YUV顏色空間RGB顏色空間74.2利用guide濾波代替摳圖法9五、結果分析10六、總結與展望11參考文獻1213一、緒論1.1研究背景隨著人類社會步入信息時代，人們對于對信息的采集以及信息的提取有了更大的需求，其中圖像作為信息的以一種載體有著更加直觀的作用。近些年來，極端天氣頻發(fā)。在雨、霧、雪等惡劣天氣下，戶外獲得的圖像會受到復雜天氣的影響。而其中霧，霾天氣是較常遇到的天氣，這種天氣時空中有大量的懸浮顆粒，由于這些微粒對光線的散射、吸收等作用，使得大氣的能見度降低，造成了霧天拍攝的圖像質量大大降低，圖像的清晰對和對比度受影響，最終

8、直接導致了圖像中細節(jié)被遮蓋，圖像信息無法正常提取。因此霧天條件下，圖像處理技術對霧化圖像的處理，還原原始的無霧圖像，方便與圖像信息的提取，使得計算機視覺系統(tǒng)能夠在惡劣天氣下也能正常提取圖像信息，降低天氣對計算機視覺系統(tǒng)的不利影響，這無疑具有十分重要的理論和實際應用價值。1.2 研究的目的與意義 在霧霾天氣的條件下，戶外拍攝時，圖像的清晰度下降，圖像細節(jié)模糊，導致從中提取的有用信息減少，影響對圖像清晰度要求較高的計算機視覺系統(tǒng)的工作可靠性。本文通過對霧化圖像去霧算法的研究，選擇先驗暗原色的去霧算法，在改善圖像清晰度和能見度的同時，縮短圖像去霧的時間，提高去霧圖像的質量，有利于戶外計算機視覺系統(tǒng)的

9、成像及圖像信息的提取。 本文的研究對于城市道路交通視頻監(jiān)控系統(tǒng)、銀行的監(jiān)控系統(tǒng)、視頻安防監(jiān)控領域有著重大的現實意義。此外，本文的研究也可為地形探測、遙感導航的系統(tǒng)提供有效的圖像預處理途徑。并且，本文的研究有助于加強遙感圖像的有效利用，在目標識別、遙感導航及軍事國防領域都具有重大的應用價值。1.3 國內外霧化圖像恢復技術研究概況圖像去霧技術是為了消除不利的天氣因素對圖像的清晰度和對比度方面的影響，從而增強圖像的質量，該問題吸引了國內外研究人員的興趣。大氣散射對人的視覺影響最大，根據是否依賴大氣散射模型，可以將現有的去霧技術分成兩類，即基于物理模型方法和基于非物理模型方法。在圖像去霧技術的基礎上，

10、視頻去霧也有所發(fā)展。目前主要是將圖像去霧技術擴展到視頻去霧領域。二、大氣散射理論及退化模型 有霧天氣條件下在戶外進行取景時，戶外場景會受到霧氣的影響，導致傳感器獲得的圖像清晰度不高，獲得的圖像不可靠，影響了計算機視覺系統(tǒng)在霧天情況下的可靠、穩(wěn)定工作。2.1大氣的散射圖片質量下降從本質上來說，是由于場景的反射光線在進入傳感器的傳播過程中，光線與大氣中的氣溶膠系統(tǒng)的微粒相遇，發(fā)生交互作用，使得光線的傳播方向及能量發(fā)生變化并在空間中以一定規(guī)律重新分布的結果。根據交互作用的原理分為三個類型：吸收、散射和放射。其中大氣散射作用從本質上講是大氣中的微?；蚴菤馊苣z系統(tǒng)的微粒與入射的電磁波發(fā)生交互作用，產生多

11、極子或電偶極子振蕩，并以此微粒為中心，向各個方向輻射與入射的電磁波頻率相同的散射波。2.2大氣散射模型 Mie散射理論對大氣的散射現象進行了詳細的闡述和論證。將大氣中復雜的散射作用分為兩大類：光線在傳播中通過大氣介質時引起的光強度衰減作用和大氣中的大量微粒散射的環(huán)境光隨場景光進入接收裝置所引起的大氣光作用。 圖2.1入射光衰減模型和大氣光成像模型由于大氣粒子的散射作用，入射光線有小部分被大氣介質散射和吸收，使得光的輻射能量衰減，并且在這個過程中，場景點輻射衰減度隨著場景與接收裝置距離的增加呈現指數性規(guī)律。主要有入射光衰減模型和大氣光成像模型，示意圖分別為下圖。圖2.2衰減模型圖2.3大氣成像模

12、型三、暗原色先驗基于暗原色先驗的霧天圖像復原是He等，統(tǒng)計了大量的無霧的圖像，得出了暗原色先驗理論，這是一種霧天圖像自適應處理的方法。這種方法創(chuàng)造性的提出了一種場景深度的估計方法，使得圖像去霧進入了嶄新的階段。3.1 暗原色去霧原理在利用暗原色去霧的算法中我們需要求取的未知量其中有一個是天空的亮度，對于一般的去霧圖像，會選取圖像中最亮的點作為天空亮度的取值估計。但這種取法有一個明顯的缺點，就是圖像中最亮的點并不一定都是天空區(qū)域，這就會導致天空亮度值得估計錯誤。如，在有霧的天氣中，最亮的點可能是近處的白色建筑或白色的衣裳，而非遠處霧蒙蒙的天空。為了防止這種錯誤的發(fā)生，在He的算法中，通過比較暗原

13、色矩陣中的像素，求出暗原色矩陣中一些數量為總數的0.1%最亮的點，并通過這些點找到原霧化圖像的所對應的點，這些點擁有圖像中最大的亮度值，然后將其作為天空的亮度值。在暗原色通道中尋找最亮的像素的對應點，可以最大可能的避免單個像素點或一小片區(qū)域的亮度值超過天空區(qū)域值的情況，防止發(fā)生錯誤的估計。暗原色通道里最亮的像素點，一般來說就霧化較為嚴重的區(qū)域（霧化區(qū)域的亮度較高），為霧化的天空區(qū)域。所以說這樣就可以找到圖像的天空區(qū)域，再在這些區(qū)域尋找最大值，作為天空亮度的估計值，減少估計值得偏差。3.2暗原色去霧的缺點暗原色去霧是通過統(tǒng)計的方法找出無霧圖像的共同點，并在此基礎上進行去霧。通過上述的說明，已驗證

14、這方法可以有效的提高圖像的清晰度和能見度。但上述方法中仍然存在著不足，需要進一步的去改進。首先，對于暗原色去霧，在處理彩色圖片時，必須要對RGB三個顏色通道進行處理，求出暗原色矩陣。若是將彩色圖像處理的三個通道轉化處理一個通道情況，那么將會減少圖像處理的時間。第二，在求傳輸透色率時，也會對三個RGB通道根據大氣散射模型進行處理，而這樣處理的結果將會對于部分圖像（包含天空區(qū)域）造成顏色失真。四、基于暗原色去霧方法的優(yōu)化 在上節(jié)中提到，暗原色去霧方法在實時方面的不足之處在于，在使透射率圖平滑時，稀疏矩陣的計算時間較長；在去霧效果方面的不足之處在于，通過RGB三顏色通道求暗原色矩陣復原后部分圖像會色

15、彩失真，并且通過三個通道求暗原色矩陣也會耗費不少的時間。以下針對上述的不足之處，提出優(yōu)化后的方法，并與元暗原色先驗方法對比并得出最終結論。4.1 YUV顏色空間RGB顏色空間 針對對于應用RGB通道求取透射率圖時出現的實時性問題和效果要求，本文將去霧時采用的RGB顏色空間表示方法轉化為YUV顏色空間模型進行處理。眾所周知，自然界中的任意的光線都可以都紅、綠、藍三種顏色的光經過不同比例相加而混合而成，這種顏色的表示方法稱為RGB彩色空間，該彩色空間基于三原色原理，任意的光F都用基色光R、G、B三色不同分量相加混合而成：F=rR+gG+bB。而YUV（亦稱YCrCb）彩色空間，是應用于歐洲電視系統(tǒng)

16、的顏色空間（顏色編碼）。RGB彩色空間的三個顏色通道（r、g、b）與YUV顏色空間亮度信號Y和兩個色差信號U、V可以相互轉化。YUV顏色空間的特點是它的亮度信號Y和色度信號U、V是分離的。YUV與RGB相互轉換的公式如下（RGB取值范圍均為0-255），RGB向YUV轉化： （4.1）YUV向RGB轉化： （4.2）因為YUV色彩空間它的亮度信號Y和色度信號U、V是分離的。則在利用YUV彩色空間表示圖像進行暗原色去霧時，相對于RGB彩色空間，我們只需針對Y通道進行處理即可。因為暗原色去霧的實質（或則目標）是求取圖像的場景深度。使用的方法是對圖像采用開窗的做法，在開窗的范圍內比較求取灰度的最小值

17、，組成暗原色矩陣（及暗原色圖）。因此，在Y通道得到的開窗范圍灰度的最小值與RGB三通道計算得出灰度最小值并沒有較大的差別，仍然可以估計透射率的取值。Y通道表示的圖像的場景結構信息，是通過RGB三個通道疊加建立的，而U、V通道表示的顏色信息。在去霧時這樣處理，有利于保留場景的顏色信息，盡量做到使場景的顏色不失真。 使用YUV顏色通道不僅由以上使場景顏色不失真的效果，而且在利用YUV顏色空間計算天空亮度值時，將會比RGB顏色空間所需時間減少2/3。因為在暗原色去霧方法中，天空亮度的取值是RGB三通道中通過先在暗原色通道里尋找0.01%個最大的值的位置所對應的最大值。因此，將其轉換到Y通道進行，依照

18、暗原色圖尋找Y通道的對應最大值作為天空亮度，其結果仍符合暗原色去霧的原理。但不同的是，由原來的需要處理三個通道變?yōu)橹恍杼幚硪粋€通道，大大較少了去霧的時間，更符合圖像去霧實時性的要求。4.2利用guide濾波代替摳圖法 在暗原色去霧方法中，在求取暗原色矩陣時，對圖像采用的開窗分別求取每一個窗內的暗原色值，從而組成暗原色矩陣。但這同時也導致了在后來所求出的透射率t傳輸圖中存在著塊狀效應。對于這個問題，He采用了摳圖法的思想利用Laplacian矩陣進行運算，從而保持t傳輸圖邊緣的平滑，并能正確反映場景的深度。但由于Laplacian矩陣計算需要耗費大量的時間，不利于滿足圖像去霧處理的實時性要求。為

19、了滿足先驗暗原色去霧的是實時性要求，且保持良好的去霧效果。本文采用指導性濾波器（guide filter）40對t圖進行邊緣的光滑處理，實現快速去霧。 所謂的指導性濾波器是指即需要引導圖的濾波器。濾波過程中包含引導圖I，輸入圖像p（即需要濾波的圖像）， 以及輸出圖像q。其中I與p可以是同一張圖像。本文的思想是將原始有霧圖作為引導圖，提取圖像場景結構信息，并對透射率t值傳輸圖進行邊緣光滑處理。guided filter的關鍵假設就是引導圖I與輸出圖q之間的局部線性模型： （4.3）a,b為線性系數，且在局部窗口k中為常數。為確定以上公式中的線性系數，并滿足使得q與p的差別最小，轉化為最優(yōu)化問題：

20、 （4.4）以上公式的求解可以利用線性回歸： （4.5）在這里, k 和k2表示I在局部窗口wk中的均值和方差。 | 是窗口內的像素數，pk表示p在窗口wk中的均值。當求的ak和bk后： （4.6）其中： （4.7）相對于上一章節(jié)摳圖法的思想，指導性濾波的方法更加有效率、所需的內存更少。加之軟摳圖的方法存在一個問題，及對于場景較小的區(qū)域，其場景深度估計可能不準確，容易被周圍深度較大值得區(qū)域所干擾或者取代。指導性濾波器修正透射率的方法則有效的防止這種情況的發(fā)生。五、結果分析 本文按照第三節(jié)的改進方法，首先，我將RGB顏色空間轉化為YUV顏色空間求取暗原色矩陣和天空亮度；第二，我將原來使

21、透射率t值圖邊緣平滑化的摳圖法用guide濾波的方法將其代替。結果如下圖所示： 圖a霧化原圖 圖b原方法去霧圖圖c優(yōu)化后的去霧圖該圖片大小為232*205。原去霧方法處理的時間為17.522060 seconds，優(yōu)化后的去霧方法的時間為2.372458 seconds。從上圖可以看出圖C相對于圖b，天空部分和道路部分都顯示正常，并沒有顏色失真，且在天空部分也沒有引入多余的噪聲。實驗結果表明，使用YUV顏色通道代替RGB顏色通道不僅可以縮短處理時間，更重要的是是圖像在去霧的時候顏色不是真，這因為YUV通道中亮度信息和顏色信息分離的結果。且去霧時間比原來明顯縮短，這表示guide濾波代替摳圖法不

22、僅可以使透射率t圖值邊緣光滑化，而且相對于摳圖法中使用稀疏矩陣的計算，使用指導性濾波的方法大大減少的該部分所需的時間。證明了優(yōu)化后的去霧方案是有效的。六、總結與展望本文首先驗證了暗原色去霧的可行性，但通過對圖像去霧的實時性的要求，發(fā)現該方法存在的缺陷與不足。本文針對于上述不足之處做出優(yōu)化。首先，將YUV顏色空間代替RGB顏色空間進行算計處理，以解決顏色失真問題；然后，用指導性濾波的方法代替摳圖法進行透射率t值圖邊緣光滑化處理。實驗結果表明，優(yōu)化后的算法不僅避免了原算法所帶來的在部分去霧圖像中的原色失真，而且大大減少了圖像去霧處理的時間，進一步向實時性圖像去霧要求靠攏。參考文獻1 P.Chave

23、z. An improved dark-object substraction technique for atmospheric scattering correction of multispectral dataJ. Remote Sensing of Environment, 24:450479,1988.42 禹晶,徐東彬，廖慶敏.圖像去霧研究進展J.中國圖像圖形學報，2011,16（9）:1561-15763 E.B.Goldstein. Sensation and perceptionM.1980.44 E.Hsu, T.Mertens, S.Paris, S.Avidan, a

24、nd F.Durand. Light mixture estimation for spatially varying white balanceJ. In SIGGRAPH, pages 17, 2008.55 芮義斌,李鵬,孫錦濤.一種圖像去薄霧方法.計算機應用. 2006, 26(l): 154-1566 Doo Hyun Choi,Ick Hoon Jang,Mi Hye Kim,Nam Chul Kim. Clolor Image Enhancement Based on Single-scale Retinex With a JND-Based Nonlinear Filter.

25、Circuits and Systems, 2007. ISCAS 2007. IEEE International Symposium on 27-30 May 2007 Page(s):3948 3951.7 S.G.Narasimhan and S.K.Nayar. Vision and the atmosphere.IJCVc, 48:233254, 2002.1,28 S.G.Narasimhan and S.K.Nayar. Contrast restoration of weather degraded images. PAMIc,25:713724,2003.19 S.G.Narasimhan and S.K.Nayar. Interactive deweathering of an image using physical modelsJ. In Workshop on Color and Photometric Methods in Computer Vision,2003.110 S.K.Nayar and S.G.Narasimhan. Vision in bad weather.ICCVc,page 820,1999.111 R.Tan. Visibility in bad weather from a single imag