戶外圖像的去霧算法研究

戶外圖像的去霧算法研究

針對(duì)場(chǎng)景深散射的圖像去霧恢復(fù)在雨、霧、雪等氣候條件下，大氣擴(kuò)散非常嚴(yán)重。獲得的自然場(chǎng)景圖像的顏色和對(duì)比度較低，不利于提取圖像特征。而大多數(shù)視覺(jué)應(yīng)用包括監(jiān)控、跟蹤、智能導(dǎo)航、智能車輛等都需要充分提取圖像特征,從而給戶外機(jī)器視覺(jué)系統(tǒng)的正常工作帶來(lái)很大困難。因此有效的去除圖像中天氣效果對(duì)提高視覺(jué)系統(tǒng)的可靠性和魯棒性具有重要意義。近年來(lái),自然場(chǎng)景圖像去霧恢復(fù)逐漸成為圖像處理與計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)。當(dāng)前,對(duì)于圖像的去霧恢復(fù)算法主要分為兩類:一類是基于圖像增強(qiáng)的方法,如文獻(xiàn)的基于移動(dòng)模板的直方圖均衡化技術(shù)。由于圖像的質(zhì)量降低與場(chǎng)景點(diǎn)到成像傳感器的距離成指數(shù)關(guān)系,因此這種假設(shè)場(chǎng)景景深不變的圖像增強(qiáng)技術(shù)不能很好地對(duì)霧化圖像去霧恢復(fù)。另一類是基于大氣散射物理模型的方法。這類方法基于大氣散射規(guī)律,建立了圖像退化模型,充分利用了退化的先驗(yàn)知識(shí),具有內(nèi)在的優(yōu)越性。不足的是這類方法一般需要求得場(chǎng)景深度或大氣條件信息。如果知道精確的場(chǎng)景深度與大氣條件信息,可以較容易地恢復(fù)出理想圖像的色彩與對(duì)比度。而現(xiàn)實(shí)條件下,獲取的降質(zhì)圖像并沒(méi)有任何附加景深與大氣條件的標(biāo)定信息.由于已知信息量不足,給恢復(fù)工作帶來(lái)了很大的不確定性(under-constrained),圖像去霧恢復(fù)是個(gè)不適定的反問(wèn)題(ill-posedinverseproblem)。為了消除這種不確定性,許多研究者利用在不同天氣條件下的拍攝的同一場(chǎng)景的圖像,或多幅利用不同成像原理拍攝的圖像進(jìn)行恢復(fù)工作。然而,這些算法對(duì)圖像采集仍然具有較高的要求。文獻(xiàn)基于大氣散射物理模型,通過(guò)用戶交互提供的附加信息,在沒(méi)有精確的場(chǎng)景深度與大氣條件信息情況下,實(shí)現(xiàn)了僅從一幅圖像的恢復(fù)工作。但此算法只能全局的恢復(fù)圖像,不能夠局部修正恢復(fù)結(jié)果。對(duì)于場(chǎng)景深度變化較大的圖像,并不能保證每個(gè)區(qū)域都能很好去霧恢復(fù),部分區(qū)域?qū)Ρ榷热匀惠^低,不能很好滿足應(yīng)用要求。對(duì)恢復(fù)結(jié)果較差的區(qū)域進(jìn)行局部修正能夠克服此缺點(diǎn)。操縱圖像的梯度場(chǎng),求解關(guān)于圖像梯度場(chǎng)的偏微分方程可以修正圖像,這一方法已經(jīng)被廣泛地應(yīng)用到圖像編輯,自然場(chǎng)景圖像景物提取等領(lǐng)域中。本文提出一個(gè)新的算法,借助霧形成的物理模型,建立了戶外圖像全局去霧和局部去霧的能量最優(yōu)化模型,推導(dǎo)了相應(yīng)的包含圖像梯度和場(chǎng)景景深的偏微分方程。利用用戶提供的簡(jiǎn)單附加信息消除了恢復(fù)中的不確定性,實(shí)現(xiàn)了僅從一幅降質(zhì)圖像的去霧恢復(fù)。由于偏微分方程良好的邊界條件,應(yīng)用局部去霧模型可以局部修正改善恢復(fù)效果,并光滑地融合到全局去霧結(jié)果中。1大氣散射系數(shù)d的影響本節(jié)引用兩個(gè)大氣散射物理模型,分析了霧天圖像的色彩與對(duì)比度。這兩個(gè)散射模型將用于降質(zhì)圖像的去霧恢復(fù),是本文算法的基礎(chǔ)。文獻(xiàn)給出了彩色大氣散射模型,在有霧天氣條件下,彩色相機(jī)(三個(gè)頻帶:R,G,B)獲取的場(chǎng)景點(diǎn)色彩是天空色彩與場(chǎng)景點(diǎn)在良好天氣條件下的色彩的線形組合(見(jiàn)圖1),其數(shù)學(xué)表達(dá)式為:其中p=Ie-βd,q=E∞(1-e-βd)。式中E為霧天觀測(cè)到的場(chǎng)景點(diǎn)色彩向量(RGB)T,E∞是天空的色彩向量,I是場(chǎng)景點(diǎn)在良好天氣條件下的色彩向量;單位向量A?指示天空色彩在R-G-B顏色空間中的方向;單位向量D代表良好天氣條件下場(chǎng)景點(diǎn)的色彩在R-G-B顏色空間中的方向;β是大氣散射系數(shù),反映了單位體積大氣散射光的能力;d為從場(chǎng)景點(diǎn)到傳感器的距離(景深),βd稱為光學(xué)深度;此模型假設(shè)大氣散射系數(shù)β對(duì)光的波長(zhǎng)沒(méi)有選擇性,即對(duì)于任意波長(zhǎng)可見(jiàn)光散射度相同。同時(shí),在幾千米范圍內(nèi),認(rèn)為散射系數(shù)β是不變的,大氣是同性的。該模型可用于彩色向量圖像的恢復(fù)。文獻(xiàn)給出了單色大氣散射模型:其中,E為霧天黑白相機(jī)獲取的場(chǎng)景點(diǎn)的亮度,E∞是天空的亮度,I為場(chǎng)景點(diǎn)在良好天氣條件下的亮度,β,d的含義同彩色大氣散射模型。此模型可用于灰度圖像的恢復(fù)。為方便敘述,作如下定義:對(duì)像素點(diǎn)p(x,y),設(shè)其晴天與霧天的灰度值分別為I(x,y)、E(x,y)。p(x,y)點(diǎn)鄰域記為RN(p):NR(p)={(i,j)||x-i≤R,|y-j|≤R},R是一個(gè)參數(shù),決定其決定鄰域大小。下面依據(jù)大氣散射模型分析霧天場(chǎng)景點(diǎn)的色彩與對(duì)比度。1.由大氣散射物理模型可知:I=[E-E∞(1-e-βd)]eβd可見(jiàn)場(chǎng)景點(diǎn)的色彩降質(zhì)同該點(diǎn)的場(chǎng)景深度d成指數(shù)關(guān)系。2.以N1(p)為例,分析對(duì)比度的變化。假設(shè)該鄰域場(chǎng)景點(diǎn)的光學(xué)深度都相同,則區(qū)域N(1p)在晴天時(shí)的對(duì)比度cc定義為:其中|N1(p)|為集合N1(p)的勢(shì),即集合N1(p)包含的元素個(gè)數(shù)。記區(qū)域N1(p)在霧天時(shí)的對(duì)比度為fc,則可表示為:由方程(2),可以證明,兩者之間服從如下關(guān)系:由上述分析可知:在霧天,色彩與對(duì)比度降質(zhì)同場(chǎng)景點(diǎn)的景深成指數(shù)關(guān)系。因此,傳統(tǒng)假設(shè)場(chǎng)景點(diǎn)景深不變的色彩與對(duì)比度增強(qiáng)方法,沒(méi)有充分利用退化的先驗(yàn)知識(shí),不能很好地去除降質(zhì)圖像中壞天氣效果。同時(shí),僅從一幅降質(zhì)圖像的去霧恢復(fù),由于用于恢復(fù)的信息量不足,具有不確定性(under-constrained)。在下面部分,將分析本文提出的基于上述大氣散射物理模型的去霧恢復(fù)算法,利用簡(jiǎn)單的附加信息,算法中構(gòu)造一個(gè)關(guān)于場(chǎng)景景深和圖像梯度的偏微分方程來(lái)恢復(fù)理想圖像。2基于偏微分方程的全局與局部去霧模型本節(jié)基于霧形成的物理模型,構(gòu)建了一個(gè)包含場(chǎng)景景深與圖像梯度的能量泛函,將圖像去霧恢復(fù)形式化為最小化此能量泛函。應(yīng)用變分法將求解能量泛函的極值轉(zhuǎn)化為求解關(guān)于場(chǎng)景景深和圖像梯度的偏微分方程,提出了基于偏微分方程的全局與局部去霧模型。利用用戶簡(jiǎn)單的交互操作,估計(jì)出場(chǎng)景點(diǎn)的景深,獲取了天空色彩,消除了恢復(fù)中的不確定性,實(shí)現(xiàn)了僅從一幅降質(zhì)圖像的去霧恢復(fù)。算法中用戶通過(guò)可視化接口實(shí)現(xiàn)交互操作,簡(jiǎn)單且易于操作。同時(shí),可局部修正改善全局去霧模型的恢復(fù)效果,由于偏微分方程良好的邊界條件,可光滑地集成到現(xiàn)有結(jié)果中。2.1理想圖像的去霧恢復(fù)本節(jié)將去霧恢復(fù)問(wèn)題形式化求解關(guān)于場(chǎng)景景深和圖像梯度的偏微分方程,算法由兩部分組成:(1)依據(jù)大氣散射物理模型,近似計(jì)算出降質(zhì)圖像對(duì)應(yīng)的理想圖像梯度場(chǎng);(2)構(gòu)建能量泛函,求解偏微分方程,從該梯度場(chǎng)中恢復(fù)理想圖像。為了能夠獲取理想圖像的近似梯度場(chǎng),對(duì)單色大氣散射物理模型兩邊取梯度運(yùn)算:進(jìn)一步化簡(jiǎn),可得:對(duì)于彩色圖像,分別對(duì)R、G、B三個(gè)顏色通道求梯度I?=(?IR,?IG,?IB)T。對(duì)于場(chǎng)景景深變化平緩的圖像,β(I-E∞)?d相對(duì)于?Eeβd較小,因此,理想圖像的梯度場(chǎng)可近似表達(dá)為:由(4)式可知:由于大氣散射,理想圖像梯度的降質(zhì)同場(chǎng)景的光學(xué)深度也近似成指數(shù)關(guān)系。為方便敘述,作如下定義:圖像中一個(gè)像素點(diǎn)記為p(x,y),圖像中整個(gè)降質(zhì)區(qū)域記為?,區(qū)域邊界記為??。由上面分析,理想圖像的恢復(fù)可以轉(zhuǎn)化為最小化下面的能量泛函。相應(yīng)的邊界條件I??定義如下:采用變分法對(duì)上述能量泛函求極值,求解出相應(yīng)的偏微分方程為:其中拉普拉斯算子?=(?x?2,?y?2),div為散度算子。方程(6)即為全局去霧恢復(fù)模型。根據(jù)邊界條件,求解方程(6)即可全局恢復(fù)出原圖像I。采用有限差分法數(shù)值求解上述偏微分方程,本文給出Gauss-Seidel超松弛迭代格式如下:最佳松弛因子w=2,m,n分別為圖像I的寬度和高度。其中[div(?Eeβd)](i,j)的離散差分格式為:邊界條件離散為:2.2全局去霧恢復(fù)模型通過(guò)上面的分析,圖像去霧恢復(fù)問(wèn)題轉(zhuǎn)化為求解公式(6)所示的偏微分方程。但方程中場(chǎng)景點(diǎn)的景深d與天空色彩E∞仍然是未知的,給恢復(fù)工作帶來(lái)了不確定性。動(dòng)態(tài)范圍有限的傳感器(如8位每象素)對(duì)大氣同性條件下小的場(chǎng)景變化并不敏感。因此,有效地恢復(fù)降質(zhì)圖像并不需要十分精確的場(chǎng)景深度信息。通常情況下,利用場(chǎng)景深度的變化趨勢(shì)即可有效地恢復(fù)出理想圖像。文獻(xiàn)給出了一種通過(guò)用戶簡(jiǎn)單的交互操作方式獲取場(chǎng)景點(diǎn)深度與天空色彩的方法。用戶通過(guò)可視化接口實(shí)現(xiàn)交互操作,簡(jiǎn)單且易于操作。具體步驟如下:1.在降質(zhì)圖像中選擇一塊天空區(qū)域獲得天空的亮度。如果降質(zhì)圖像為彩色向量圖像,則獲取了天空色彩向量與色彩方向A?(見(jiàn)圖2(a),6(a),7(a)中方框區(qū)域)。2.為獲取圖像深度信息,首先選擇降質(zhì)圖像滅點(diǎn)沿景深增加方向的近似位置(如圖2(a),6(a),7(a)中圓點(diǎn)),場(chǎng)景點(diǎn)的景深與場(chǎng)景點(diǎn)到滅點(diǎn)的圖像象素距離成相反關(guān)系。其次,輸入場(chǎng)景點(diǎn)近似最大深度dmax與最小深度dmin,并且對(duì)其中場(chǎng)景點(diǎn)的景深進(jìn)行插值,可選用線性、非線性插值。本文采用線性插值方法,具體公式如下:其中,α∈,用于歸一化象素點(diǎn)到滅點(diǎn)的圖像象素距離。當(dāng)α=0時(shí)d=dmax;α=1時(shí),d=dmin。至此,每個(gè)象素點(diǎn)景深d與天空色彩E∞都已獲得。通常,在幾千米范圍內(nèi),認(rèn)為大氣條件是同性的,即圖像中的每一個(gè)象素點(diǎn)的β值保持不變。不同降質(zhì)圖像的場(chǎng)景光學(xué)深度如圖3所示,這些場(chǎng)景深度信息與大氣條件信息消除了恢復(fù)工作中的不確定性。圖3中色彩由藍(lán)色向深紅色漸變,代表場(chǎng)景點(diǎn)的光學(xué)深度逐漸變大,其中(a),(b),(c)分別對(duì)應(yīng)于降質(zhì)圖像2(a),6(a),7(a)的場(chǎng)景光學(xué)深度,可用于恢復(fù)理想圖像。根據(jù)邊界條件,求解方程(6)即可全局恢復(fù)出理想圖像I。不同大氣散射強(qiáng)度,即不同β值將產(chǎn)生不同的濃度的霧(如薄霧、濃霧等),對(duì)圖像產(chǎn)生不同程度的降質(zhì)。通過(guò)漸進(jìn)修改β值,也就是調(diào)整圖像中每個(gè)象素點(diǎn)的光學(xué)深度βd,重新求解方程(6),可對(duì)恢復(fù)結(jié)果進(jìn)行整體修正,改善去霧效果(見(jiàn)圖2)。全局去霧恢復(fù)模型對(duì)于場(chǎng)景深度變化小的圖像具有較好的恢復(fù)效果。當(dāng)場(chǎng)景深度變化較大時(shí),方程(4)對(duì)理想圖像的梯度不是一個(gè)很好的近似,場(chǎng)景景深梯度β(I-E∞)?d不能忽略。在下一節(jié),我們提出了局部去霧模型,可對(duì)全局去霧結(jié)果進(jìn)行局部修正,進(jìn)一步改善降質(zhì)圖像的色彩清晰度與對(duì)比度。2.3局部去霧仿真與分析在全局去霧模型中,假設(shè)方程(3)中項(xiàng)β(I-E∞)?d為零,當(dāng)場(chǎng)景點(diǎn)的深度變化較大時(shí),景深梯度β(I-E∞)?d不能被忽略,理想圖像的梯度應(yīng)取為?I=?Eeβd+β(I-E∞)?d。對(duì)于全局去霧模型,估計(jì)的場(chǎng)景光學(xué)深度∧βd不同,將產(chǎn)生不同的恢復(fù)效果,如圖4所示。當(dāng)估計(jì)的場(chǎng)景光學(xué)深度∧βd小于場(chǎng)景的真實(shí)光學(xué)深度(βd)*,不能夠完全去霧恢復(fù),圖像的對(duì)比度仍然較低,如圖4(c)。而過(guò)高估計(jì)將會(huì)使恢復(fù)圖像產(chǎn)生色彩失真,見(jiàn)圖4(d)。因此,∧βd應(yīng)當(dāng)盡可能的接近場(chǎng)景的真實(shí)光學(xué)深度(βd)*。為改善全局去霧效果,用戶可以選擇恢復(fù)效果較差的局部區(qū)域?L進(jìn)行局部去霧恢復(fù),記局部區(qū)域的邊界為??L。重新定義局部去霧模型的變分問(wèn)題如下:此時(shí)積分區(qū)域變?yōu)?L,相應(yīng)的邊界條件I??L的定義如下:I??L=Ig,Ig是當(dāng)前全局恢復(fù)在局部區(qū)域邊界??L的結(jié)果。通常,用戶選擇的局部區(qū)域比較小,求解方程能夠快速實(shí)現(xiàn)局部去霧恢復(fù)。同時(shí),利用偏微分方程良好的邊界條件,局部改善的去霧恢復(fù)結(jié)果可光滑地集成到全局去霧結(jié)果中,直至滿足用戶要求。局部去霧模型的另一重要特點(diǎn)是用戶可以根據(jù)全局恢復(fù)的結(jié)果,來(lái)決定如何對(duì)圖像的光學(xué)深度βd進(jìn)行局部修正。由第一節(jié)可知:霧天圖像對(duì)比度降質(zhì)同場(chǎng)景點(diǎn)的光學(xué)深度成指數(shù)關(guān)系,因此當(dāng)全局恢復(fù)圖像的對(duì)比度仍然較低時(shí),可增加局部區(qū)域的光學(xué)深度,反之,則降低該區(qū)域光學(xué)深度。本文對(duì)局部區(qū)域中每一場(chǎng)景點(diǎn)p的光學(xué)深度βd(簡(jiǎn)記為Op)進(jìn)行如下修正,其數(shù)學(xué)表達(dá)式為:其中p0為局部區(qū)域的中心象素坐標(biāo),由(8)式,可將區(qū)域中每一象素點(diǎn)p的光學(xué)深度由Op調(diào)整為O′p。σ與λ,k是用戶定義的參數(shù)去控制修正區(qū)域的大小與修正的強(qiáng)度。當(dāng)λ大于零時(shí),增加象素點(diǎn)p的光學(xué)深度,相反,則降低象素點(diǎn)p的光學(xué)深度。3仿真結(jié)果與分析上面章節(jié)分析了全局去霧模型與局部去霧模型。圖像去霧恢復(fù)算法的具體流程(見(jiàn)圖5)如下:1.獲取降質(zhì)圖像的場(chǎng)景景深與天空色彩。2.應(yīng)用全局模型去霧恢復(fù)。3.修正全局恢復(fù)效果不滿意區(qū)域的光學(xué)深度,求解局部去霧模型。下面應(yīng)用本文算法對(duì)降質(zhì)的霧天圖像進(jìn)行恢復(fù)。實(shí)驗(yàn)結(jié)果如圖2,6,7所示。通過(guò)漸進(jìn)修改β值,可對(duì)全局去霧恢復(fù)結(jié)果進(jìn)行整體修正,改善去霧效果(見(jiàn)圖2(b-c),圖6(b-c))。應(yīng)用局部去霧模型可對(duì)全局去霧恢復(fù)結(jié)果進(jìn)行局部修正。首先應(yīng)用全局模型對(duì)降質(zhì)圖像7(a)進(jìn)行全局去霧恢復(fù),圖7(b)給出了全局恢復(fù)后的圖像。全局去霧恢復(fù)后,高速路邊的指示牌對(duì)比度仍然較低。選擇指示牌為局部區(qū)域,應(yīng)用(8)式增加此局部區(qū)域的光學(xué)深度,降質(zhì)圖像修正后的光學(xué)深度如圖7(d)所示,并將其用于求解局部去霧模型。圖(e)給出了應(yīng)用局部去霧模型恢復(fù)后的圖像,對(duì)比圖b與圖e,可以發(fā)現(xiàn)圖e中指示牌對(duì)比度顯著提高。指示牌放大后的對(duì)比圖見(jiàn)7(f)同時(shí),表1列出了全局去霧恢復(fù)前后圖像的對(duì)比度(對(duì)比度定義同第一節(jié))。實(shí)驗(yàn)結(jié)果表明本文算法有效