[精品論文]室內(nèi)環(huán)境下手機相片去噪算法.doc

精品論文室內(nèi)環(huán)境下手機相片去噪算法劉敏1,2，顧錁1,2，翟廣濤1,2，楊小康1,2（1. 上海交通大學圖象通信與信息處理研究所；52. 上海市數(shù)字媒體處理與傳輸重點實驗室）摘要：隨著科技的發(fā)展，手機在我們的日常生活中得到了越來越廣泛的應用，并且從無線通信領域擴展到娛樂領域。由于數(shù)碼相機的不便攜帶性，手機相機往往成為我們唯一的拍攝工 具。然而，手機拍攝的相片往往夾雜有大量的噪聲，尤其是在室內(nèi)環(huán)境下。為了解決這個問 題，本文提出了一種手機相片去噪算法?？偨Y(jié)起來，我們的算法包括四個步驟：圖像分割、10噪聲估計、圖像去噪和子塊合成。對于手機在室內(nèi)拍攝的照片，我們通過有選擇性得合成這 四個部分，設計了一個交互式圖像去噪系統(tǒng)來讓用戶有效得去除噪聲。此外，我們用中低端 手機相機拍攝了一幅室內(nèi)環(huán)境下的圖像，并采用上述方法對其進行去噪，結(jié)果驗證了本文的 去噪系統(tǒng)是有效的。 關鍵詞：圖像處理；手機相片去噪；噪聲估計；自由能；超級像素 15中圖分類號：tn919.82 an interactive image denoising system for mobilephonecamera in the indoor environmentliu min1,2, gu ke1,2, zhai guangtao1,2, yang xiaokang1,220(1. institute of image communication and information processing, shanghai jiao tong university, shanghai, china;2. shanghai key laboratory of digital media processing and transmissions)abstract: with the development of the technology, mobile phone has been widely used in our daily life, ranging from wireless communication to entertainment. since it is impossible that the digital25camera is always taken along with us, the mobile phone camera usually becomes the unique choice to record the most splendid moment. however, images captured by the mobile phone camera are generally companied with a great deal of noise, especially in the indoor environment. aim to solve this problem, an image denoising methodology is proposed in this paper. summarily, our algorithm includes four steps: image segmentation, noise estimation, image denoising, and patch composition. by30a selective combination of these four parts, we also design an interactive image denoising system toallow users to efficiently remove the noise in the mobile phone images captured in the indoor condition. one representative image captured by a mid- and low-end mobile phone camera in the above-mentioned environment and their denoised results are finally presented and provided to confirm our effective system.35key words: image processing; mobile phone image denoising; noise estimation; free energy; superpixel0引言近些年來，圖像去噪成為圖像處理領域最重要的研究方向之一，并且獲得了很大的進展。40大多數(shù)圖像去噪算法的提出通常是基于對真實(或無噪)信號的一些明確或隱含的假設，從而基金項目：高等學校博士學科點專項科研基金 (20090073110022) 作者簡介：劉敏(1989-)，女，博士生在讀，主要研究方向：圖像與視頻質(zhì)量評估 通信聯(lián)系人：楊小康(1972-)，男，上海交通大學教授、博士生導師，國家杰出青年科學基金獲得者，上海 高校特聘教授（東方學者），現(xiàn)任電子信息與電氣工程學院副院長，圖像通信研究所副所長，主要研究方 向：智能視頻分析與檢索、圖像處理與通信. e-mail: - 5 -可以將它從隨機分布的噪聲中分離出來。21 世紀初期，基于圖像去噪算法的超分辨率分析席卷了整個學術界。實驗證明，超分 辨率變換可以獲得空間局部細節(jié)良好的稀疏性，這是一個很重要的信息。因此，根據(jù)系數(shù)之 間復雜的統(tǒng)計相關性，研究人員開發(fā)出了大量使用超分辨率變換的先進去噪算法。1-4詳45細說明了這類圖像去噪算法。最近，5 提出了一個使用變換域增強稀疏表示的圖像去噪算法，被稱作 block-matching and 3d filtering (bm3d)。該方法是通過將相似的 2d 塊堆疊成 3d 數(shù)列來使稀疏得到增強。 協(xié)同濾波是處理這些 3d 數(shù)列的一個特殊過程。它可以分成三個連續(xù)的部分：塊的 3d 變換， 變換譜的收縮，3d 逆變換。因此，通過組合過濾 2d 陣列可以獲得塊的 3d 估計。由于塊之50間的相似性，變換可以表示為高度的稀疏矩陣，從而通過收縮分離出噪聲。通過這個方法， 協(xié)同濾波表達了分組片段共有的細節(jié)，同時保留了每個獨立片段的基本特征。然后，基于 bm3d 提出了彩色圖像去噪算法 c-bm3d。最后，手機相片可以用如下四個步驟進行去噪：首先，將圖像分割成一些超級像素10； 然后，基于 nfeqm 和峰值估計每個超級像素的噪聲方差；其次，根據(jù)估計方差對超級像素55進行去噪；最后，將所有的超級像素組合起來。需要強調(diào)的是，本文中，噪聲估計不能立即 采用14或者別的特殊算法，但是可以采用一種圖像質(zhì)量算法(nfeqm)。我們提出的系統(tǒng)不僅可用于手機相片去噪，而且可應用到下載的和變換后的圖像中 第二章提出了室內(nèi)環(huán)境下拍攝的手機相片去噪算法(dmid)，并且明確表示了 dmid 算法的四個步驟：圖像分割，噪聲估計，圖像去噪和子塊合成。第三章中，我們提出了一個交60互式系統(tǒng)，讓用戶有更多的選擇來對他們的手機相片進行處理。最后，第五章對文章進行了 總結(jié)，并就將來的工作提出了方向。圖 1. dmid 算法的基本框圖1dmid 圖像去噪方法65得到由于數(shù)碼相機的不便攜帶性，我們的中低端手機往往成為獲取圖像的唯一工具。由 于手機拍攝的圖像噪聲很大，尤其是室內(nèi)或昏暗環(huán)境下(本文只討論室內(nèi)環(huán)境)，而這個問題 很難通過手機自身得到解決。因此，本文提出了一個 dmid 算法，基本框架如圖 1。1.1 基于超級像素分割的熵率最近，liu et al.10針對超級像素分割提出了一個新的目標函數(shù)，包括兩個部分：隨機70熵率和平衡術語。假設我們將一幅圖像分成 k 個超級像素，隨機熵率作為一個標準被用來 獲得結(jié)構(gòu)緊湊和同構(gòu)的集群。 wi , j wiif i j and ei , j api, j ( a) = 0 if i j and ei , j a(1)1- j : ei. jwi awi. jif i j因此，隨機熵率可以寫成集合的形式：h(a) = -m pi, j (a) log( pi, j (a)i j(2)75然后，考慮一個平衡函數(shù)。a 是選擇的邊集， n a 是圖中連通分支的個數(shù)， z a 是集成員的分布。例如，邊集 a 的圖分割是 s a = s1 , s2 ,., s n a 。 z a 的分布可通過式(3)計算得到apz (i )= | si | , i = 1,., n | v | a(3)b(a) h(za) - na = -pza (i) log( pza(i) - nai(4)目標函數(shù)結(jié)合了熵率和平衡函數(shù)，并且相應支持了緊湊、同態(tài)、平衡的族maxa80h( a) + lb ( a)(5)subject to a e and na k其中 l 0 是平衡函數(shù)的權重。非負系數(shù)的線性組合保持了子模性和單調(diào)性。因此，目標函 數(shù)也是子模塊和單調(diào)性增長的。1.2 使用 nfeqm 和峰值的噪聲方差估計本文中，噪聲方差估計定義為兩個函數(shù)的乘積。一個函數(shù)是最近提出的 nfeqm，這是85一個圖像質(zhì)量評估(iqa)方法。我們首先假設視覺感知的內(nèi)部生成模型 g 是參量的，通過調(diào)整向量q 解釋了感知場景- log p(i | g) = - log p(i ,q | g)dq(6)接著，我們進一步將一個輔助函數(shù)q(q | i ) 加入(6)中的分母和分子中，得到式(7)p( i ,q | g)- log p(i | g) = - log q(q | i ) q(q | i ) dq(7)90這里，q(q | i ) 是模型參數(shù)的后驗分布，可被認為是模型參數(shù) p(q | i , g) 的真實后驗的近似后驗。式(7)是不等式右邊定義成自由能p( i ,q )- log p( i ) - q(q | i ) log q(q | i ) dqp(i ,q )f ( i ,q ) = - q(q | i ) log q(q | i ) dq(8)(9)95將 p( i ,q ) = p(q | i )p( i ) 帶入式(9)，得到平衡函數(shù)公式f ( i ,q ) = q (q | i ) logq (q | i ) dqp (q | i ) p ( i )q (q | i )= - log p ( i ) + q (q | i ) log p (q | i ) dq= - log p ( i ) + k l(q (q | i ) | p (q | i )(10)根據(jù)吉布斯不等式，近似后驗參數(shù)分布和真實后驗參數(shù)分布(10)之間的 kullback-leibler 發(fā)散是非負的( kl(q(q | i ) | p(q | i ) 0) )，當且僅當q(q | i ) = p(q | i ) 。自由能 f (q ) 定義了一個嚴格的上限約束。總結(jié)起來，最終的公式是100v ( i ) = l f ( i ,q )a k (i )b(11)m (i )g其中， l ，a ， b 和g 是模型參數(shù)，可以根據(jù)手機相機的不同型號進行調(diào)整。1051101151.3 去噪后子塊的合成觀察得知，超級子像素不是有規(guī)則的圖像子塊，不可以直接用 c-bm3d 進行去噪。因 此，我們采用下面兩個步驟：首先，使用 c-bm3d 來處理每個超級像素的局部矩形塊；然 后，提取每個超級像素在去噪子塊中對應的區(qū)域。所有的超級像素經(jīng)過處理后，我們把它們 放在合適的位置，并獲得最終結(jié)果。2dmim 交互系統(tǒng)通過對 dmim 算法四個步驟的不同組合，我們提出了一個交互式系統(tǒng)來讓用戶有更多 靈活的選擇來對他們手機圖像進行去噪。這個系統(tǒng)主要包括四個部分，圖 2 是每一步的操作 和簡單說明。紅色虛線框內(nèi)是基本的操作。一幅圖打開后，有兩個選擇“manual ”和 “automatic”。接著，下面的步驟是：1當點擊“manual”時，你會進入最右邊的橘色虛線框；(a) 改變或者不改變初始方差估計 15；(b) 點擊底部的“execution”按鈕，開始去噪；(c) 圖像去噪后，點擊“switch”按鈕來比較原始圖和去噪圖。如果對結(jié)果感覺滿意， 進行下一步。否則回到(a)重設初始方差值；(d)最后，點擊“save file”按鈕來保存最喜歡的去噪圖像。2你也可以點擊“automatic”按鈕。根據(jù)兩種選擇：對圖像進行去噪或者分別對分割子塊進行處理，分別進入左側(cè)的綠色或藍色虛線框：120125(a)綠色虛線框，或者打開“number of segments”菜單，在 9、16、25、36 中選擇需要的分割數(shù)；(b) 點擊“execution”按鈕開始圖像去噪；(c) 去噪過程結(jié)束后，點擊“switch”按鈕核對初始圖、分段標簽和去噪圖。然后判斷 結(jié)果是否符合你的要求。如果滿意，直接到(d)。否則回到(a)重新選擇分割數(shù)目。此時，原 始圖被分成幾個不同的部分，接著進行去噪過程 c-bm3d，如圖 4 最左邊的藍色虛線框；圖 2. 本文提出的 dmid 系統(tǒng)操作流程，以及每一步驟的簡要說明130(d) 最后，點擊“save file”保存結(jié)果。3實驗結(jié)果在室內(nèi)環(huán)境下，我們精心挑選了一個場景，并用一個 320 萬像素的手機拍攝了一張 20481536 大小的相片。為了便于顯示，我們?nèi)コ瞬恢匾男畔?，并截取?768512 大小的- 7 -135140145150圖作為原始圖，見圖 3 的最左邊。剩下的四幅圖，從左到右，分別是噪聲方差值為 15、25的去噪結(jié)果，整幅圖是唯一噪聲的去噪結(jié)果，分成 25 個子塊的去噪結(jié)果。圖 4 是圖 3 的局 部代表性區(qū)域。紅色和藍色方塊分別是邊緣、紋理區(qū)域和平滑區(qū)域。觀察拍攝的圖像，我們發(fā)現(xiàn)，在不佳的環(huán)境下，用中低端手機拍攝的大多數(shù)照片都有大 量的噪聲。如圖 3 最左邊的圖，是在室內(nèi)環(huán)境下拍攝的半身像。從第二和第三幅圖中，可見 c-bm3d 算法取得了良好的去噪結(jié)果。然而，平滑區(qū)域的去噪結(jié)果不是很理想，邊緣和紋理 區(qū)域過于模糊。第四幅圖沒有圖像分割這個步驟，是第五幅圖的簡化結(jié)果。由于沒有清晰的原始圖像計算 mse 和 psnr，dmid 算法的精確度只可以通過比較驗 證。圖 3 中右邊四幅圖的結(jié)果和圖 4 中的代表性區(qū)域說明我們提出的算法取得了良好的結(jié)果。 在平滑區(qū)域(藍色方塊)，噪聲得到了很好的消除，同時保護了邊緣和紋理區(qū)域(紅色方塊)更 多的細節(jié)。另外，我們設計了一個交互式系統(tǒng)，讓用戶可以選擇他們想要的 dmid 方法四 個部分的組合和相應的變量來修復手機相片。圖 3. 原始圖，去噪結(jié)果(從第二幅圖到第五幅圖)：噪聲方差值為 15，噪聲方差值為 25，整幅圖像有一個確 定的方差值，圖像分割成 25 個子塊(a) 圖 3 中紅色方塊紋理區(qū)域的放大(b) 圖 3 中藍色方塊平滑區(qū)域的放大圖 4. 圖 3 中局部代表性區(qū)域的放大1554總結(jié)和工作展望本文中，我們就手機相片提出了一個交互式去噪系統(tǒng)，包括四個部分：圖像分割、噪 聲估計、圖像去噪和子塊合成。該方法主要用來解決手機相機拍攝的相片夾雜有大量噪聲的 問題。實驗結(jié)果證明我們提出的 dmid 算法是可靠的，并且結(jié)果是合理的。正如引言中所 說，我們的去噪系統(tǒng)不僅可以用于手機相機拍攝的相片，也可以應用到下載和變換后的圖像 中。后者是我們的下一個研究目標。另外，由于噪聲大小和分布是隨機的，我們相信同一場160景的多幅圖像可共同用來消除噪聲。所以，我們會考慮基于同一場景的多幅圖像去噪算法來提高去噪性能。參考文獻 (references)1651701751 sendur l. and selesnick i.w., bivariate shrinkage functions for wavelet-based denoising exploiting interscale dependency, ieee trans. signal process. 50 (2002). 2744-2756.2 a.pizurica, w. philips, i.l. and acheroy m., a joint interand intrascale statistical model for bayesian wavelet based image denoising, ieee trans. image process. 11. (2002) 545-557.3 j. portilla, v. strela, m.w. and simoncelli e.p, image denoising using a scale mixtureof gaussians inthe wavelet domain, ieee trans. image process.12.(2003).1338-1351.4 guerrero-colon j. and portilla j., two-level adaptive denoising using gaussian scale mixtures in overcomplete oriented pyr