基于Multi-ScaleRetinex模型的肝臟超聲圖像增強算法

1、基于Multi-Scale Retinex模型的肝臟超聲圖像增強算法黃亞麗1，2,劉志文2，趙真3（1. 河北大學電子信息工程學院，河北 保定 071002；2. 北京理工大學信息與電子學院，北京 100081；3. 河北大學附屬醫(yī)院功能科，河北 保定 071002）摘 要: 肝臟B超圖像動態(tài)范圍寬、細節(jié)豐富、對比度差，影響圖像的特征提取和識別?；诙喑叨萊etinex (Multi-Scale Retinex, MSR)模型的圖像增強方法是一種基于人眼視覺原理的圖像增強方法，能同時有效實現(xiàn)圖像的動態(tài)范圍壓縮和顏色保真。本文融合Retinex理論，采用三個尺度的Retinex算法對肝臟超聲圖像

2、進行增強處理，提取經(jīng)MSR算法增強處理后的正常肝和脂肪肝圖像的灰度均值、對比度和信息熵參數(shù)，并與直方圖均衡化算法、同態(tài)濾波算法進行對比。實驗結果表明，肝臟超聲圖像經(jīng)MSR算法增強處理后，提高了圖像特征參數(shù)(對比度、信息熵)的區(qū)分度，增強了圖像暗區(qū)的對比度和清晰度，改善了圖像視覺質量，能有效輔助臨床診斷。關鍵詞: 圖像增強；Multi-Scale Retinex模型；肝臟超聲圖像；特征提取中圖分類號: TP391 (或TN911.73或R445.1) 文獻標識碼: AEnhancement of Ultrasonic Liver Images Based on Multi-Scale Retin

3、ex ModelHuang Yali1,2, Liu Zhiwen2, Zhao Zhen3(1. College of Electronics and Information Engineering, Hebei University, Baoding, 071002, China;2. School of Information and Electronics, Beijing Institute of Technology, Beijing, 100081, China;3. Department of Function, Affiliated Hospital of Hebei Uni

4、versity, Baoding, 071002, China)Abstract： Ultrasound liver images have characteristics such as wide dynamic range, abundant details and low contrast, which are not propitious for features extraction and pattern classification. Images enhancement algorithms based on Multi-Scale Retinex (MSR) combines

5、 the dynamic range compression with the tonal rendition at the same time. We apply three-scale Retinex model to enhance ultrasonic liver images, then extract the lightness, contrast, and entropy of the enhanced images, comparing the results with that of the usual image enhancement methods, such as h

6、istogram equalization algorithm and homomorphic filtering algorithm. Experiment results show that image enhancement algorithms based on MSR model can improve the distinguish degree of ultrasonic liver images features (contrast, entropy), and increase contrast and entropy, which is helpful to the ass

7、isted diagnosis of liver diseases.Key words： Image enhancement; Multi-Scale Retinex model; ultrasonic liver images; features extraction引言B型超聲檢測用于腹部臟器的診斷，以其無創(chuàng)傷性在臨床廣泛使用。由于成像機制的限制，超聲圖像具有動態(tài)范圍寬、細節(jié)豐富、對比度差等特點。醫(yī)生憑借肉眼觀察圖像診斷病情，結果帶有主觀性。為了使診斷結果更加客觀，需要對超聲圖像進行增強處理，突出病理特征，進一步提取量化特征參數(shù)可輔助臨床診斷。常用的圖像增強方法，如直方圖均衡化方法利用圖像

8、直方圖信息拉伸輸入圖像灰度級的動態(tài)范圍，提高整幅圖像的對比度，達到增強目的，但該類方法在處理肝臟超聲圖像時，密度較小的灰度級常常被歸并到旁邊密度較高的灰度級，導致灰度級丟失，損失圖像細節(jié)，降低圖像的信息熵。傳統(tǒng)的圖像增強方法在增強圖像特征和濾除噪聲之間常會存在沖突，如何在二者之間找到平衡點，需針對具體圖像提出相應方案。以Retinex理論為基礎的圖像增強方法對圖像增強技術的改進起到了積極作用。Retinex理論模型自19世紀70年代提出以來，先后出現(xiàn)了多種基于Retinex理論的圖像增強方法，其中單尺度Retinex (Single-Scale Retinex, SSR) 和多尺度Retine

9、x (Multi-Scale Retinex, MSR) 增強算法，不僅運算速度快，而且物理意義明確，被廣泛應用于各種降質圖像的增強、恢復處理1-4，及圖像自動白平衡處理5, 6。Rahman 等人將Retinex理論應用于背景昏暗圖像處理，增強了圖像細節(jié)、提高了圖像的視覺質量7, 8。本文針對肝臟B型超聲圖像的特點，將MSR算法應用于正常肝臟和脂肪肝的超聲圖像增強研究，并與直方圖均衡化和同態(tài)濾波方法的增強效果進行了比較。實驗結果表明，基于MSR理論的圖像增強算法能提高肝臟超聲圖像的對比度和清晰度，以滿足醫(yī)生臨床診斷的要求。1 Retinex理論簡介Retinex理論是一種基于人類視覺系統(tǒng)的感

10、知模型，該模型論述了人眼視覺系統(tǒng)在感知景物圖像時具有色感一致性，即人眼具有能夠在不同亮度情況下，仍可辨認物體原來顏色的能力9。Retinex理論認為，圖像是由照射光和物體的反射光共同作用的結果，照射光是圖像中變化緩慢的低頻信息，決定一幅圖像中像素所能達到的動態(tài)范圍；而反射光則包含圖像中大部分的高頻細節(jié)信息，決定圖像的一些內(nèi)在性質10, 11。因此，根據(jù)Retinex理論，理想的圖像可表示為環(huán)境照度函數(shù)和物體反射性質函數(shù)的乘積： (1)環(huán)境照度函數(shù)描述周圍環(huán)境的亮度，物體反射性質函數(shù)描述物體的反射能力。如何從圖像中去掉環(huán)境照度函數(shù)的影響，抽取出反射性質函數(shù)，來獲取物體的本來面貌，得到動態(tài)范圍壓縮

11、良好、細節(jié)豐富的圖像是Retinex理論的實質，由此衍生了各種Retinex算法12。1.1 SSR算法Jobson等人在Land的研究成果的基礎上，提出了SSR算法13，由式(1)得： (2)對式(2)兩邊同時取對數(shù)得： (3)令 (4)表示對的估計，是輸入圖像，代表卷積操作。是環(huán)繞函數(shù)，通常采用低通濾波函數(shù)，用來估算圖像的低頻成分。為去除超聲成像過程中的高斯斑點噪聲，本文采用高斯低通濾波函數(shù)估算圖像的低頻成分，其表達式如下： (5) (6)式中K為歸一化因子，使；為高斯函數(shù)的標準差，為高斯函數(shù)模板的半徑。將的估計代式（3）得 (7)表示對的估計，對式(7)兩端取反對數(shù)，即得到物體反射性質函

12、數(shù)的估計。當高斯模板半徑較小，較小時，動態(tài)范圍壓縮效果顯著，圖像中陰暗部分的細節(jié)增強效果好，但是輸出圖像的顏色失真比較嚴重；反之，輸出圖像的顏色保真度高，但是動態(tài)壓縮能力減弱，局部細節(jié)模糊。通常在動態(tài)范圍壓縮和色感一致性之間找到平衡點2, 13。1.2 MSR算法MSR是一種既可以完成圖像的動態(tài)范圍壓縮，又可以保證圖像的色感一致性的增強方法。MSR算法描述如下14： (8)其中表示與相關的權重系數(shù)，N表示環(huán)繞函數(shù)的個數(shù)。一般選取大、中、小三個尺度的環(huán)繞函數(shù)作為卷積核。其中，小尺度的卷積核可實現(xiàn)動態(tài)范圍壓縮，大尺度的卷積核能保證圖像的色感一致性，每個尺度的權重系數(shù)根據(jù)是側重動態(tài)范圍壓縮還是色感一

13、致性的需要來選取。因為MSR算法同時包括了多個尺度的特征，所以在壓縮圖像動態(tài)范圍的同時，可以保證圖像的色感一致性14。2 圖像修正利用MSR算法處理后的圖像像素值會出現(xiàn)負值，超出顯示器的顯示范圍，需要對其修正，將其平移和壓縮到顯示器顯示范圍內(nèi)。本文采用線性拉伸方式對增強后的圖像進行修正，表達式如(9)所示。 (9)式中G表示經(jīng)過修正以后的輸出圖像，表示經(jīng)Retinex算法處理后的圖像，和分別表示中的最小值和最大值。、，其中m和s分別表示的均值和方差。3 MSR算法在肝臟超聲圖像增強中的實現(xiàn)本文應用MSR算法模型對肝臟超聲圖像進行增強處理，算法的核心是如何估算圖像的低頻分量，然后從原圖像中去除低

14、頻分量，保留反射分量，即高頻信息。我們選擇高斯低通函數(shù)作為環(huán)繞函數(shù)，當高斯函數(shù)的半徑較小時，圖像細節(jié)可以很好地展示，圖像的動態(tài)范圍壓縮能力也較強；反之，輸出圖像的顏色保真度高，但是動態(tài)壓縮能力減弱，局部細節(jié)模糊。因此我們采用三種不同尺度的高斯函數(shù)對肝臟超聲圖像進行濾波，然后將三種尺度下得到的低頻分量進行加權求和作為對原始圖像的低頻分量的估計。算法實現(xiàn)步驟如下：Step 1: 選取原圖像中的感興趣區(qū)域(Region of Interest, ROI)。Step 2: 估計ROI的低頻分量。分別采用三種尺度的高斯低通函數(shù)對ROI進行濾波估算低頻分量。高斯函數(shù)半徑分別為：,，相應的高斯函數(shù)標準差分別

15、為：,。根據(jù)式(4)(5)(6)分別計算每一種尺度下的低頻分量。Step 3: 計算ROI的反射分量。對上一步驟中三種尺度下得到的低頻分量進行加權求和，加權系數(shù)均為1/3，代入式(8)，再經(jīng)反對數(shù)變換可得到ROI的反射分量。Step 4: 圖像修正及顯示。根據(jù)式(9)對上一步驟中得到的圖像反射分量進行修正、顯示。4 實驗與分析臨床上，B超是脂肪肝檢查的常用方法。人體肝實質的超聲圖像由細小的回聲光點組成，正常肝臟圖像中的回聲光點分布均勻，各光點之間結構相似；當脂肪分布到肝小葉內(nèi)和肝小葉間形成脂肪肝時，超聲圖像上可見更加微細致密的強反射光點。即正常肝和脂肪肝的超聲圖像上可見光點粗細與分布的差異，這

16、是醫(yī)生診斷脂肪肝的重要依據(jù)。正常肝和脂肪肝圖像如圖1(a)和(b)所示。 (a) 正常肝臟超聲圖像 (b) 脂肪肝超聲圖像圖1 正常肝和脂肪肝超聲圖像首先通過人工交互方式在肝臟超聲圖像扇形區(qū)域的中軸偏上部分選擇ROI，如圖1中矩形框標注。然后對ROI分別采用直方圖均衡化方法、同態(tài)濾波、及MSR算法進行增強處理，處理后的圖像如圖2、圖3所示。圖2和圖3分別顯示了正常肝和脂肪肝圖像增強處理后的結果。 (a) 原圖像 (b) 直方圖均衡化增強 (c) 同態(tài)濾波增強 (d) MSR增強 圖2 正常肝ROI原圖像及增強處理后的圖像 (a) 原圖像 (b) 直方圖均衡化增強 (c) 同態(tài)濾波增強 (d)

17、MSR增強圖3脂肪肝ROI原圖像及增強處理后的圖像在圖像處理領域，圖像質量的評價沒有統(tǒng)一的標準。實際應用中，經(jīng)常采用圖像的一些數(shù)字特征作為圖像質量評估的主要客觀標準15。為了客觀、定量地比較幾種圖像增強算法的效果，本文采用圖像灰度均值、對比度、圖像信息熵作為衡量圖像質量的客觀標準，其中對比度越大，圖像越清晰；信息熵越大，信息量越多，圖像細節(jié)越豐富。分別提取正常肝和脂肪肝增強處理后圖像的灰度均值、對比度、信息熵等特征參數(shù)，并將其與原圖像的相應參數(shù)比較，如表1、表2所示。表1：正常肝圖像各種增強算法效果評價表均值對比度信息熵原圖像81.492719.73816.2996直方圖均衡化127.6140

18、74.87415.8032同態(tài)濾波122.066032.31427.0358MSR增強121.278762.09347.4878表2：脂肪肝圖像各種增強算法效果評價表均值對比度信息熵原圖像98.717918.64026.1965直方圖均衡化127.441774.65295.7468同態(tài)濾波120.976334.91107.1367MSR增強120.310259.16637.3947由表1和表2可知，直方圖均衡化方法雖然對比度較高，但是信息熵降低了，說明有信息丟失。采用基于同態(tài)濾波的增強方法后，對比度和信息熵均有改善，但基于MSR算法增強后對比度和信息熵有進一步的提高。為驗證算法的有效性，我們進

19、一步隨機選取10幅正常肝和10幅脂肪肝圖像，對每一幅圖像選取ROI進行處理，分別提取原圖像及直方圖均衡化、同態(tài)濾波增強處理后圖像的特征參數(shù)，包括灰度均值、對比度及信息熵等特征參數(shù)，特征參數(shù)對比如圖4所示。均值對比度信息熵直方圖均衡化:同態(tài)濾波:MSR增強:原圖像:(a)(b)(c)(d)(e)(f)(g)(j)(i)(h)(k)(l)圖4 三種方法增強處理后圖像特征參數(shù)對比圖(注：橫坐標表示圖像編號，縱坐標表示圖像特征參數(shù)值)圖4(a)(b)(c)分別顯示了原始圖像中ROI的灰度均值、對比度和信息熵參數(shù)，其中實線表示正常肝、虛線表示脂肪肝，虛、實線含義下同。圖4(d)(e)(f)顯示了原圖像經(jīng)

20、直方圖均衡化增強后的特征參數(shù)；圖4(g)(h)(i)顯示同態(tài)濾波增強后的特征參數(shù)；圖4(j)(k)(l)顯示MSR算法增強后的特征參數(shù)。由圖4可知，在原圖像中正常肝和脂肪肝的灰度有差異，如圖4(a)所示。圖4(d)(i)中兩類圖像的三個特征參數(shù)差異削弱。經(jīng)MSR增強后，提高了正常肝和脂肪肝圖像對比度和信息熵的區(qū)分度，如圖4(k)(l)所示。由于從原圖像中提取的灰度均值參數(shù)對兩類圖像的區(qū)分度更大，所以選取原圖像均值、經(jīng)MSR算法增強處理后的對比度和信息熵參數(shù)作為區(qū)分兩類圖像的特征參數(shù)，采用神經(jīng)網(wǎng)絡等模式識別工具可對兩類圖像進行分類。5 結束語本文應用Retinex理論對數(shù)字B型超聲正常肝圖像和脂

21、肪肝圖像進行增強處理，并與其它常規(guī)的圖像增強方法對比。實驗結果表明，采用MSR增強算法對脂肪肝超聲圖像進行增強處理，能增加圖像的對比度，提高圖像的信息熵，有效地提高了圖像暗區(qū)內(nèi)細節(jié)的可視度。經(jīng)MSR算法增強處理后肝臟超聲圖像，提取其對比度和信息熵參數(shù)，再結合原圖像的灰度均值參數(shù)，可輔助臨床脂肪肝的診斷，提高診斷率。參考文獻：1Guarnieri G, Marsi S, Ramponi G. High dynamic range image display with halo and clipping prevention J. IEEE Transactions on Image Proces

22、sing, 2011, 20(5): 1351-1362.2Vonikakis V, Andreadis I, Gasteratos A. Fast centre-surround contrast modification J. IET Image Processing, 2008, 2(1): 19-34.3汪榮貴, 朱靜, 楊萬挺, 等. 基于照度分割的局部多尺度 Retinex 算法 J. 電子學報, 2010, 38(5): 1181-1186.Wang Ronggui, Zhu Jing, Yang Wanting, et al. An improved local multi-s

23、cale retinex algorithm based on illuminance image segmentation J. Chinese Journal of Electronics, 2010, 38(5): 1181-1186.4李權合, 畢篤彥, 馬時平, 等. 基于 Retinex 和視覺適應性的圖像增強 J. 中國圖象圖形學報, 2010, 15(12): 1728-1732.Li Quanhe, Bi Duyan, Ma Shiping, et al. Image enhancement based on Retinex and vision adaptability J

24、. Journal of Image and Graphics, 2010, 15(12): 1728-1732.5張鈺, 姚素英, 張娜, 等. 改進的Gray World-Retinex圖像自動白平衡方法 J. 數(shù)據(jù)采集與處理, 2008, 23(6): 673-677.Zhang Yu, Yao Suying, Zhang Na, et al. Modified Automatic White Balance Method for Gray World-Retinex Image J. Journal of Data Acquisition & Processing, 2008,

25、 23(6): 673-677.6錢勇, 白瑞林, 姚林昌, 等. 基于Bayer CFA自動白平衡算法的實現(xiàn) J. 數(shù)據(jù)采集與處理, 2012, 27(3): 358-362.Qian Yong, Bai Ruilin, Yao Linchang, et.al. Auto white Balance Algorithm Base on Bayer CFA J. Journal of Data Acquisition & Processing, 2012, 27(3): 358-362.7Rahman Z, Jobson D J, Woodell G A. Retinex proces

26、sing for automatic image enhancement J. Journal of Electronic Imaging, 2004, 13(1): 100-110.8Rahman Z, Jobson D J, Woodell G A. Investigating the relationship between image enhancement and image compression in the context of the multi-scale retinex J. Journal of Visual Communication and Image Repres

27、entation, 2011, 22(3): 237-250.9Land E H. The retinex theory of color vision J. Scientific American, 1977, 237(6): 108-128.10Brainard D H, Wandell B A. Analysis of the retinex theory of color vision J. Journal of the Optical Society of America, 1986, 3(10): 1651-1661.11Land E H. Recent advances in retinex theory and some implications for cortical computations: color vision and the natural image J. Proceeding of the National Academy of Sciences of the United States of America, 1983, 80(16): 5163-5169.12Ramponi G, Ten