改進的基于暗原色先驗的圖像去霧算法

1、第 16卷 第 2期 電路與系統(tǒng)學報 Vol.16 No.2 2011 年 4月 JOURNAL OF CIRCUITS AND SYSTEMS April , 2011 文章編號:1007-0249 (2011 02-0007-06改進的基于暗原色先驗的圖像去霧算法 *蔣建國 1,2, 侯天峰 1, 齊美彬 1,2(1. 合肥工業(yè)大學 計算機與信息學院,安徽 合肥 230009;安全關(guān)鍵工業(yè)測控技術(shù)教育部工程研究中心,安徽 合肥 230009摘要:分析討論了原暗原色先驗去霧算法原理,指出其不足之處并推導出改進方法。通過引入一種容差機制,算 法能更有效地處理不滿足暗原色先驗的明亮區(qū)域,糾正了這

2、類區(qū)域錯誤估計的透射率,從而克服原算法在處理這些區(qū) 域時產(chǎn)生的色彩失真。實驗結(jié)果表明,這樣的修改切實可行,恢復圖像消除了色彩失真,視覺效果得以顯著提高。 關(guān)鍵詞:去霧;暗原色先驗;色彩失真;容差中圖分類號:TN911.73 文獻標識碼:A1 引言在霧天環(huán)境下,由于大氣散射影響使得拍攝出來的景物能見度和對比度降低,直接影響航空、海 運和道路交通的安全,同時使各種戶外監(jiān)測系統(tǒng),如視頻監(jiān)控系統(tǒng),在惡劣的天氣下往往無法可靠工 作。因此,簡單有效的圖像去霧對提高視覺系統(tǒng)的可靠性和魯棒性具有重要意義。當前,對于圖像的去霧算法主要分為兩類:一類是基于圖像增強的方法,如文獻 1,2的基于移動 模板的直方圖均衡

3、化技術(shù)。由于圖像的質(zhì)量降低與場景點到成像傳感器的距離成指數(shù)關(guān)系,因此這種 假設(shè)場景景深不變的圖像增強技術(shù)不能很好地對霧化圖像去霧恢復。另一類是基于大氣散射物理模型 的方法。這類方法基于大氣散射規(guī)律建立了圖像退化模型,能夠利用先驗知識,具有內(nèi)在的優(yōu)越性。 不足的是這類方法一般需要求得場景深度或大氣條件信息。而現(xiàn)實條件下,獲取的降質(zhì)圖像并沒有附 加任何景深與大氣條件的信息。由于已知信息量不足,因此圖像去霧恢復是個不適定的反問題。為了 消除這種不確定性, 許多研究者利用在不同天氣條件下的拍攝的同一場景的圖像 3,4, 或通過用戶交互 提供的附加信息進行從一幅圖像的恢復工作 5,6。 然而, 這些算法

4、對圖像采集仍然具有較高的要求。 Tan 7觀察到無霧圖像比有霧圖像具有更高的對比度, 他通過擴大復原圖像的局部對比度來達到去霧的目的, 這樣得到的結(jié)果只是在光學原理上達到去霧,忽視了透射率,處理結(jié)果的一些色彩經(jīng)常會出現(xiàn)過度飽 和。文獻 8提出一種基于統(tǒng)計學的去霧方法,取得了很好的效果。但該方法需要足夠的顏色信息以及 差異性,當霧很濃時,顏色很微薄,差異也不夠明顯,該方法估計出的透射率就不可靠。近來, He 9等基于對戶外無霧圖像數(shù)據(jù)庫的統(tǒng)計規(guī)律,提出一種簡單有效的暗原色先驗單一圖像 去霧方法,對一般戶外圖像取得了很好的去霧效果,但該算法建立在暗原色假設(shè)之上,對不滿足這個 假設(shè)的明亮區(qū)域,算法估

5、計的透射率偏小,恢復結(jié)果出現(xiàn)色彩失真,影響了圖像的視覺效果。為此, 本文提出了改進方法。第 2部分簡單介紹基于暗原色先驗的去霧算法原理;第 3部分分析了產(chǎn)生失真 的原因,并導出改進算法;第 4部分的實驗結(jié)果表明這樣的改進是可行且很有效的。2 暗原色先驗去霧算法 92.1 大氣散射模型解決問題之前, 通常要對所研究的問題建立數(shù)學模型。 大氣散射模型描述了霧化圖像的退化過程: (xt1AxtxJxI +=(1 (1式中, I 是觀測圖像的強度, J 是景物光線的強度, A 是無窮遠處的大氣光, t 稱為透射率。* 收稿日期:2010-08-24 修訂日期 :2010-09-30基金項目:特種顯示技

6、術(shù)教育部重點實驗室開放課題基金項目 (2008HGXJ0350 ; 安徽省信息產(chǎn)業(yè)廳信息產(chǎn)業(yè)發(fā)展基金項目 (20080128 電路與系統(tǒng)學報 第 16卷去霧的目標就是從 I 中復原 J 。方程中的第一項 ( (x t x J 叫做直接衰減項, (1(x t A 是大氣光成分。 2.2 暗原色先驗暗原色先驗是通過對大量戶外無霧圖像的統(tǒng)計觀察得出的:在絕大多數(shù)圖像的局部區(qū)域里,某一 些像素總會有至少一個顏色通道具有很低的值。 換言之, 該區(qū)域光強度的最小值是很小的數(shù)。 對圖像 J , 定義:(min (min (, , y J x J x y c b g r c dark = (2c J 代表 J

7、 的某一個顏色通道, 而 (x 是以 x 為中心的一塊方形區(qū)域。經(jīng)統(tǒng)計觀察得出, dark J 的強度總是很低并且趨近于 0。如果 J 是戶外無霧圖像,把 dark J 稱為 J 的暗原色,并且把以上觀察得出的 經(jīng)驗性規(guī)律稱為暗原色先驗。 2.3 通過暗原色先驗去霧首先假設(shè)大氣光 A 是給定的,進一步假定在一個局部區(qū)域的透射率恒定不變。對方程(1使用取 最小運算符,并同除以 A ,得到: (1(min (min(x t x t A y J x y A y I x y +=cc cc (3三個顏色通道中使用最小運算,有:(1(min min (min min ( ( (x t x t A y J

8、 x y A y I x y +=c c c c (4 根據(jù)暗原色先驗的規(guī)律,無霧自然圖像的暗原色項 dark J 應(yīng)該接近于 0:0 (min min ( (=y J x J x y c c dark (5 由于 c A 總為正數(shù),導出:0min min (=c c A y J x y (6把上式帶入(4 ,可簡單地估算出透射率 t :=c c A y I x y x t (min min 1 ( (7如果徹底地移除霧的存在,圖像會看起來不真實,并且深度感會丟失。所以可以通過在方程(7 中引入一個常數(shù) (0< 1 ,保留一部分覆蓋遙遠景物的霧:=cc A y I x y x t ( (

9、min min 1 ( (8 由上式估計出透射率是粗略的,為了提高精度,應(yīng)用一種軟摳圖算法 10來完善透射率分布函數(shù)。 記經(jīng)完善后的透射率函數(shù)為 (x t ,通過求解下面的稀疏線性系統(tǒng)得到:(t t U L =+ (9是一個修正參數(shù), L 是 Levin 提出的摳圖拉普拉斯矩陣,詳細定義可參考文獻 10。根據(jù)完善后的透射函數(shù) (x t ,由下式計算去霧后的圖像 (x J : A x t Ax I x J +=, (max( ( (0t (10大氣光 A 的估計方法為:先取暗原色 dark J 中 0.1%亮度最大的像素,然后取這些像素對應(yīng)在原圖 I 中的最大值作為 A 的值。注意 A 不一定是

10、整幅圖像里最亮的點。對于多數(shù)戶外霧化圖像,上述算法能取得非常好的效果,如圖 1所示,恢復結(jié)果去霧效果明顯且 色彩自然真實,這是因為圖像中的大部分像素點都滿足暗原色先驗,即 0 (x J dark 。從圖 2的暗原色 直方圖中也可以看出,暗原色像素值分布總體偏低,趨近于 0,暗原色假設(shè)成立,因此恢復效果很好。3 改進算法第 2期 蔣建國等:改進的基于暗原色先驗的圖像去霧算法 9 通過 大量實驗 得知,對 另外一些 含 霧 圖 像,基于 暗原色先 驗的去霧 結(jié)果出現(xiàn) 色 彩 失 真,如圖 3(b所示,某些 區(qū)域的色彩嚴重背 離原圖像。根據(jù)觀 察統(tǒng)計,此類圖像中一般包含天空、偏白色物體、水面 等 大

11、 面 積 明 亮 區(qū) 域。實際上,這些 明亮區(qū)域即使在無 霧的條件下,它們 的像素值也很大,區(qū)域內(nèi)找不到像素值接近于 0的暗原色點,所以暗原色假設(shè)在這些區(qū)域是不成立的。圖 3(d的暗原色 直方圖進一步說明了這個問題。為了克服這個缺點,必須改進原有算法,擴展暗原色先驗,以應(yīng)對不 同場景的霧化圖像,提高算法魯棒性。從估計大氣光 A 的算法出發(fā),當圖像存在明亮區(qū)域時, A 基本落在這些明亮部分。利用(8式 求透射率 t 的分布:當 I 與 A 越接近其 t 值越小,由于明亮區(qū)域與 A 接近,所以其對應(yīng)的 t 會趨于很小 的值,圖 3(c所示的透射率分布圖可以直觀地看出這一點。需要注意的是,如此計算出

12、的 t 的正確性 是建立在暗原色假設(shè)成立的基礎(chǔ)之上,但通過前面的分析得知,這類區(qū)域顯然不滿足暗原色先驗,故(a 霧化圖像 (b 去霧圖像 (c 透射率 (d 暗原色圖 1 暗原色先驗去霧算法效果展示區(qū)域 1 10 電路與系統(tǒng)學報 第 16卷此計算出的透射率是不準確的。如果不考慮暗原色假設(shè),直接根據(jù)方程(4推導出的準確透射率函數(shù)應(yīng)該為:=c c cc c actual A y J x y A y I x y x t ( ( ( (min min 1min min 1 ( (11 在明亮區(qū)域, c cc A y J x y ( (min min 不能近似為 0,上式分母小于 1,因此實際的透射率

13、(x t actual 要大于 根據(jù)暗原色先驗估計的透射率 (x t 。再來看明亮區(qū)域的去霧修復過程。一般來說,明亮區(qū)域大體偏白色,三個顏色通道的差異不大, 所以:, , ( (b g r c c c c b g r =, , A x I x (12c 在 本 文 中 稱 為相對顏色值,因為考察 cI 和 cJ 通道間顏色值的差異,與考察 cc AI 和 ccA J 是等同的, 所 以 為 了 便 于 說 明 和 比 較,此處用相對顏色值 代替顏色值。經(jīng)前面的 分析知道,明亮區(qū)域?qū)?應(yīng)著錯誤估計的偏小的 透 射 率 t , 所 以 即 便r、 g、 b之間相差只有幾個像素,除以很 小的 t (

14、盡管原文中取 1. 0min =t 后,通道間顏色值的差異會被放大 幾倍乃至數(shù)十倍,最終 使(10式計算結(jié)果與 原圖的色彩有較大的落 差,特別當 3通道方向 不一致(有的通道大于 A ,有的通道小于 A 時,落差得到疊加,類似天空這般性質(zhì)的明亮區(qū)域自然會有偏色不和諧出現(xiàn),即所謂的色彩失真。圖 4展示了去霧處理前后圖 3(a的紅色矩形框區(qū)域各通道間相對顏色值差異的變化情況。上邊兩 幅圖對應(yīng)區(qū)域 1, 下面兩幅圖對應(yīng)區(qū)域 2。 從圖中可以看出原本通道間僅有幾個像素的差異, 經(jīng)去霧處 理后變得很大,故此才導致偏色的出現(xiàn)。另外需要指出的是,如果三個通道的像素值均大于 A ,一般不會出現(xiàn)嚴重的色彩失真,

15、因為 A 本 來就靠近 255, (10式的計算結(jié)果很可能會被截斷至最大值 255,從而減小通道差異,緩解了偏色的 出現(xiàn)。綜上所述,若想消除色彩失真,就必須調(diào)整明亮區(qū)域的透射率函數(shù),使估計的 (x t 更加符合 (x t actual ,同時最好能夠不破壞暗原色去霧統(tǒng)一框架?；诖?本文引進一個參數(shù) K ,定義為容差,對(a 原圖像相對顏色值曲線 (b 去霧圖像相對顏色值曲線圖 4 RGB通道相對顏色值曲線圖 含大面積明亮區(qū)域的霧化圖像, 但并沒有脫離暗原色先驗,而是在其基礎(chǔ)上對部分區(qū)域的透射率做了修正,仍舊統(tǒng)一于原框架之內(nèi)。它也可以理解成:對接近 A 的區(qū)域把去 霧 力 度 降低,因為從實際

16、情形考慮,霧化在接近偏白的場景里是不明顯的, 也就是說可以弱化處理這些明亮區(qū)域。 圖 6為算法改進前后去霧效果的對比。 4 實驗與分析本文所有實驗圖片均來自百度、谷歌、 Flickr 等網(wǎng)站,大小統(tǒng)一剪裁在 400×300左右,使用 11×11的卷積核, 設(shè)置為 0.95。 軟摳圖部分使用文獻 10的算法, 方程 (9 的線性系統(tǒng)求解直接使用 matlab 的矩陣相除運算符, matlab 版本為 7.0。在一臺處理器為 2.0G Intel Pentium 4 Processor、操作系統(tǒng)為 Windows XP SP3的 PC 機上處理一幅霧化圖像,用時在 100s 上

17、下。 因為去霧后圖像會整體變暗, 所以 對結(jié)果很暗的圖像,用 Photoshop 增加其曝光度。第三例實驗中,選取的霧化圖像包含天空、地面等明亮區(qū)域。原算法在處理這些部位時存在色彩失真,特別天空區(qū)域,出現(xiàn)不規(guī)則的彩色光暈,而改進算法則很 圖 5 容差機制對透射率的影響曲線(a 原算法 (b 改進算法 (c 原算法透射率 (d 改進算法透射率圖 6 去霧效果對比圖(上邊一組圖片稱為實例 1,下面一組圖片稱為實例 2 (a 霧化圖像 (b 原算法 (c 改進算法 (d 暗原色的直方圖 圖 7 去霧效果對比圖(上邊一組圖片稱為實例 3,下面一組稱為實例 412 電路與系統(tǒng)學報 表1 去霧處理相關(guān)參數(shù)

18、 第 16 卷 好地克服了這個問題，去霧圖像色彩自然真實，與原圖十分相 符。第四例實驗是針對道路上拍攝的含霧圖像的處理?；謴徒Y(jié) 果的天空方位，色彩噪聲嚴重，引入容差機制后，有效緩解了 這個問題，圖像的整體對比度得以提高。總之，從實驗結(jié)果可 以看出，相比原算法，改進算法可以有效改善明亮區(qū)域的色彩 失真，使恢復結(jié)果更加符合實際情況，視覺效果更佳。表 1 列 出了四組實例的相關(guān)參數(shù)。 第一例 第二例 第三例 第四例 Ar 203 197 201 230 Ag 209 197 211 224 Ab 219 199 212 224 K 70 50 85 75 運行時間 94s 109s 97s 113s

19、 5 結(jié)束語 本文對基于暗原色先驗的去霧算法進行了理論分析和實驗觀察，指出其不足之處并提出利用容差 對其進行改進的方法。容差機制糾正了暗原色先驗在明亮區(qū)域估計偏小的透射率，以使其更靠近實際 情況，避免在處理這些區(qū)域時產(chǎn)生色彩失真。多例實驗證明，改進算法可以更加有效地處理包含大面 積明亮區(qū)域的霧化圖像。暗原色去霧方法雖然簡單有效，但計算量很大，特別是摳圖部分占據(jù)了整個 算法大半的時間。下一步的工作是發(fā)展一種快速摳圖算法，或是找到一種同樣能夠細化透射率的其他 簡便算法，以期望實時處理霧化視頻圖像。 參考文獻： 1 2 3 4 5 6 7 8 9 Kim J Y, Kim L S, Hwang S

20、H. An advanced contrast enhancement using partially overlapped sub-block histogram equalization J. IEEE Transactions on Circuits and Systems for Video Technology, 2001, 11(4: 475-484. 祝培, 朱虹, 錢學明, 等. 一種有霧天氣圖像景物影像的清晰化方法J. 中國圖像圖形學報, 2004, 9(1: 124-128. Narasimhan S G, Nayar S K. Vision and the atmosph

21、ere J. IJCV(S0920-5691, 2002, 48(3: 233-254. Narasimhan S G, Nayar S K. Contrast restoration of weather degraded images J. PAMI(S0162-8828, 2003, 25(6:713-724. Narasimhan S G, Nayar S K. Interactive (DeWeathering of an Image using Physical Models A. IEEE Workshop on Color and Photometric Methods in

22、Computer Vision C. France, 2003. Kopf J, Neubert B, Chen B et al. Deep photo: Model-based photograph enhancement and viewing A. SIGGRAPH Asia C. 2008. Tan R T. Visibility in bad weather from a single image A. CVPR C. 2008. Fattal R. Single image dehazing A. In SIGGRAPH C. 2008. 1-9. He Kaiming, Sun

23、Jian, Tang Xiaoou. Single image haze removal using dark channel prior A. CVPR C. 2009. 1956-1963. 10 Levin A, Lischinski D, Weiss Y. A closed form solution to natural image matting A. CVPR C. 2006, 1: 61-68. 作者簡介：蔣建國（1955-） ，男，教授，博士生導師，主要研究方向為數(shù)字圖像處理、DSP技術(shù)應(yīng)用、智能信息處理 等；侯天峰（1985-） ，男，碩士研究生。研究方向為數(shù)字圖像超分辨率

24、重建、圖像去霧、圖像復原；齊美彬（1969-） ，教授，碩士生導師，主要研究領(lǐng)域為信號與信息處理、DSP技術(shù)及應(yīng)用、數(shù)字圖像分析與處理等。 Improved algorithm on image haze removal using dark channel prior JIANG Jian-guo1,2, HOU Tian-feng1, QI Mei-bin1,2 (1. Department of Computer and Information, Hefei University of Technology, Hefei 230009, China; 2. Engineering Research Center of Safety Critical Industrial Measurement and Control Technology, Ministry of Education, Hef