圖像處理新技術

摘要：圖像分割就是把圖像分成假設干個特定的、具有獨特性質(zhì)的區(qū)域并提出感興趣目標的技術和過程。它是由圖像處理到圖像分析的關鍵步驟，也是一種根本的計算機視覺技術。對圖像分割的研究一直是圖像工程中的重點和熱點。本文對近年來圖像分割方法的研究現(xiàn)狀與新進展進行了歸納總結(jié)。首先，簡單介紹了圖像分割的傳統(tǒng)方法，包括基于區(qū)域的、基于邊緣的和兩者結(jié)合的圖像分割方法。然后，對現(xiàn)在較新的三種圖像分割方法進行了詳細的論述。最后，對圖像分割方法的開展趨勢進行了展望。關鍵詞：圖像分割模糊聚類Gabor小波圖割方法引言在計算機視覺理論中，圖像分割、特征提取與目標識別構(gòu)成了由低層到高層的三大任務。目標識別與特征提取都以圖像分割作為根底，圖像分割結(jié)果的好壞將直接影響到后續(xù)的特征提取與目標識別[1]。圖像分割是將圖像中有意義的特征或區(qū)域提取出來的過程。這些特征可以是圖像的原始特征，如像素的灰度值、物體輪廓、顏色、反射特征和紋理等，也可以是空間頻譜等，如直方圖特征。圖像分割的目的是把圖像劃分成假設干互不相交的區(qū)域，使各區(qū)域具有一致性，而相鄰區(qū)域間的屬性特征有明顯的差異。圖像分割的應用非常廣泛，幾乎出現(xiàn)在有關圖像處理的所有領域并涉及各種類型。圖像分割作為前沿學科充滿了挑戰(zhàn)，吸引了眾多學者從事這一領域研究。2.傳統(tǒng)的圖像分割方法傳統(tǒng)的圖像分割方法包括基于區(qū)域的，基于邊緣的和兩者結(jié)合的圖像分割方法?；趨^(qū)域的分割方法是以直接尋找區(qū)域為根底的分割技術，具體算法有區(qū)域生長和區(qū)域別離與合并算法。基于區(qū)域提取方法有兩種根本形式：一種是區(qū)域生長，從單個像素出發(fā)，逐步合并以形成所需要的分割區(qū)域；另一種是從全局出發(fā)，逐步切割至所需的分割區(qū)域。在實際中使用的通常是這兩種根本形式的結(jié)合。該類算法對某些復雜物體定義的復雜場景的分割或者對某些自然景物的分割等類似先驗知識缺乏的圖像分割，效果較理想。基于邊緣檢測的分割方法試圖通過檢測不同區(qū)域的邊緣來解決問題，通常不同的區(qū)域之間的邊緣上灰度值的變化往往比擬大，這是邊緣檢測方法得以實現(xiàn)的主要假設之一。它的根本思想是先檢測圖像中的邊緣點，再按一定策略連接成輪廓，從而構(gòu)成分割區(qū)域。其難點在于邊緣檢測時抗噪性和檢測精度的矛盾，假設提高檢測精度那么噪聲產(chǎn)生的偽邊緣會導致不合理的輪廓；假設提高抗噪性那么會產(chǎn)生輪廓漏檢和位置偏差。邊緣檢測能夠獲得灰度值的局部變化強度，而區(qū)域分割能夠檢測特征的相似性與均勻性。邊緣與區(qū)域相結(jié)合分割的主要思想是結(jié)合二者的優(yōu)點，通過邊緣點的限制，防止區(qū)域的過分割；同時，通過區(qū)域分割補充漏檢的邊緣，使輪廓更加完整[2]。3.基于粗糙集與差分免疫模糊聚類的圖像分割算法馬文萍等提出基于粗糙集與差分免疫模糊聚類算法的圖像分割算法[3]。該算法在差分免疫克隆聚類算法的根底上，通過引入粗糙集模糊聚類，將差分免疫克隆聚類算法中的硬聚類變成模糊聚類，從而獲得更豐富的聚類信息。具體來說，由于粗糙集的優(yōu)勢是處理不確定的數(shù)據(jù)，因此，參加粗糙集模糊聚類后更有利于算法解決不確定性問題。通過比照實驗，驗證了該算法在聚類性能穩(wěn)定性方面的優(yōu)越性，結(jié)果還同時證明了該算法具有更高的分割正確率和更好的分割結(jié)果。3.1粗糙集模糊聚類算法思想粗糙集理論能夠處理不精確數(shù)據(jù)，因此，將模糊聚類方法與粗糙集理論相結(jié)合的聚類分析方法逐漸成為一個重要的研究方向，并且獲得了廣泛的應用。1982年，Lingras等人提出了一個粗糙C均值(roughC-means,簡稱RCM)聚類算法[4]，通過一個類中心、一個上近似(upperapproximation)和下近似(lowerapproximation)對來描述一個類。其中，上近似和下近似用兩個不同加權參數(shù)來計算新的聚類中心。在文獻[4]中，模糊集和粗糙集理論的結(jié)合，為處理不確定性問題提供了一個重要的方向。模糊集和粗糙集在某些方面的互補性為解決與數(shù)據(jù)相關的不確定性問題提供了數(shù)學框架。近年來，Mitra等人[5]將粗糙集和模糊集結(jié)合，并提出了一種新的C均值聚類算法，其中，一個類由一個模糊的下近似區(qū)域和邊緣區(qū)域構(gòu)成。下近似區(qū)域中的每一個對象都有一個與之對應的模糊隸屬值，即權重。對于相應的聚類中心和類，其下近似區(qū)域內(nèi)的每一個對象應該具有相似的影響作用，并且其權重應該與其他聚類中心和類無關。這樣，根據(jù)下近似區(qū)域的模糊概念得出，該區(qū)域內(nèi)對象的權重會減小。事實上，這會使得聚類中心與期望的位置有一定偏差。此外，該算法對噪聲和異常值敏感。之后，Maji等人[6]提出了一個一般化的模糊C均值算法(rough-fuzzyPCM,簡稱RFPCM),在C均值算法中增加了模糊集中的模糊隸屬度和粗糙集中的上下近似兩個概念。其中，模糊隸屬度包括概率性隸屬度和可能性隸屬度，其應用能夠有效地處理相互重合的類；粗糙集能夠處理類中知識的不確定性和不完整性。因此，RFPCM可以有效地防止FCM對噪聲敏感的弊端，同時彌補PCM對重合類無法確定的缺乏。這里，我們詳細闡述RFPCM的算法框架。首先，令表示n個目標的集，表示c個聚類中心的集合，表示第i個聚類區(qū)域；其次，令和表示的上下近似，表示的邊界區(qū)域。通過優(yōu)化下面的函數(shù)，該算法將X分為c類：，，。這里，和是模糊度，通常取2。為下近似的相對重要性，常量和分別定義了概率性隸屬度和可能性隸屬度的相對重要性。對于比列參數(shù)，可通過以下公式來計算：采用梯度流方法求解上述方程，從而得到概率性隸屬度、可能性隸屬度以及聚類中心的更新公式。通過不斷地迭代，最終得到目標函數(shù)的最優(yōu)解。需要指出的是：對于一個像素，其總的隸屬度函數(shù)。我們在其隸屬度中選取最大的值和第二大的值，取二者之差，如果該差值大于預設的閾值，那么該素既屬于也屬于。然而，梯度流方法在迭代尋找最優(yōu)解的同時，極容易陷入局部最優(yōu)，使得聚類結(jié)果不穩(wěn)定。故采用了一種典型的進化算法——差分免疫克隆算法,通過全局搜索來優(yōu)化上述問題。3.2差分免疫克隆算法與粗糙集模糊聚類現(xiàn)實世界中的諸多問題都可以歸結(jié)為一個優(yōu)化問題。要解決一個優(yōu)化問題，首先要明確其目標函數(shù)，然后對問題進行建模，再采用某種優(yōu)化算法來優(yōu)化該目標函數(shù)。例如，聚類問題就可以歸結(jié)為一個優(yōu)化問題，設計一個聚類評價準那么作為目標函數(shù)，采用優(yōu)化算法的目的就是通過不斷優(yōu)化該目標函數(shù)，使聚類結(jié)果到達最優(yōu)。為了有效地解決這些優(yōu)化問題，人們已經(jīng)提出了各種有效的優(yōu)化算法，免疫克隆選擇算法及差分進化算法就是其中兩種比擬優(yōu)秀的算法。圖像分割是計算機視覺和模式識別中關鍵技術之一。圖像分割的結(jié)果就是將圖像分成假設干個局部，每局部代表圖像中不一樣的特征，并把同一局部像素標記為同一個值。因為圖像中的每一個點都對應著一個像素點，一個像素點就是一個數(shù)據(jù)，數(shù)據(jù)的劃分即圖像的分割，因此，圖像分割在本質(zhì)上就是一個對數(shù)據(jù)的聚類問題。免疫克隆選擇算法與差分進化算法在解決優(yōu)化問題時具有不同的特性：免疫克隆選擇算法本質(zhì)上固有并行性和搜索變化的隨機性，不易陷入局部極值；差分進化算法那么具有較好的全局收斂性和魯棒性，非常適合求解各種數(shù)值最優(yōu)化問題。基于這兩種不同的算法，馬文萍等人提出了一種差分免疫克隆選擇算法(differentialimmunecloneclusteringalgorithm，簡稱DICCA)[7]。差分免疫克隆算法主要是基于差分進化及免疫克隆，通過克隆繁殖、差分變異、交叉及克隆選擇操作來進化種群，在進化過程中參加局部搜索機制來提高算法的收斂性。具體過程是：首先，通過基于類中心的編碼方式隨機生成初始種群1，評價種群(即計算每個抗體的適應度)，選擇最優(yōu)的5個抗體作為種群2；其次，對種群1執(zhí)行差分變異、差分交叉操作生成變異交叉后的抗體，對種群2執(zhí)行克隆繁殖、均勻變異、克隆選擇操作后形成抗體子種群；最后，用子種群取代種群1中最差的5個個體，作為下一代進化的新抗體種群。模糊聚類和硬聚類相比擬，能夠獲得更豐富的聚類信息，而粗糙集聚類算法善于處理不精確的數(shù)據(jù)，因此，我們將前面已討論過的進化算法與粗糙集模糊聚類理論相結(jié)合，在DICCA聚類算法中引入粗糙集模糊聚類的思想，并將其應用于圖形分割領域中，以到達目標識別和分析的目的。3.3粗糙集與差分免疫模糊聚類算法描述將粗糙集與差分免疫模糊聚類算法(RDIFC)運用到圖像分割時，首先讀入圖像，再對圖像進行特征提取和分水嶺初分割操作，接下來對數(shù)據(jù)歸一化，判斷是否滿足終止條件，如果不滿足那么更新隸屬度函數(shù)，進而更新聚類中心，獲得新的種群，新的種群通過差分免疫克隆算法進化。該算法的流程如圖1(a)所示，差分免疫克隆算法的流程如圖1(b)所示。首先，對初始種群1評價，在種群1的個體中選出最優(yōu)的5個個體作為種群2，對種群1進行差分變異操作、交叉操作與差分選擇操作更新種群1，對種群2進行克隆繁殖操作、均勻變異操作和克隆選擇操作更新種群2，用種群2中的個體取代種群1中的最差的d個個體，最終用替代后的種群作為下一代進化的種群。如此迭代，直到滿足終止條件時，輸出最終的聚類結(jié)果。下面將詳述具體步驟。圖1差分免疫克隆進化算法流程圖4.基于Gabor變換的GrabCut紋理圖像分割楊章靜等提出基于Gabor變換的GrabCut紋理圖像分割[8]。多數(shù)自然圖像都包含紋理信息，它相對顏色特征而言具有描述方向性與尺度差異的特性。因此，可以利用半交互式的GrabCut的圖像分割方式對圖像前景區(qū)域與背景區(qū)域進行有效的分割，通過建立前景和背景所對應的高斯混合模型(GMM)，結(jié)合最大流最小割的圖像分割方式實現(xiàn)全局優(yōu)化，并利用前景和背景的KL測度，自適應地終止分割過程。實驗比照分析說明，所提出的方法對于合成紋理圖像與自然紋理圖像具有較好的整體分割效果及較高的分割準確率。4.1Gabor小波理論為了計算得到一幅離散二維圖像的多尺度多方向的紋理特征，需要將圖像I變換到頻域空間表示。假設是一個二維可微的平滑函數(shù)，對于Gabor函數(shù)，其定義如下式所示：，其中：、分別是沿x方向和y方向?qū)狦abor函數(shù)的縮放系數(shù)，它們用來控制濾波器脈沖響應的寬度。將作為Gabor小波變換的母波函數(shù)，通過適當旋轉(zhuǎn)與縮放，得到一組自相似、方向與尺度差異的濾波器組，并通過對圖像空間進行縮放與旋轉(zhuǎn)變化得到多尺度多方向的Gabor濾波器組。為了獲得一個包含多方向多尺度的濾波器組，可以對Gabor函數(shù)進行變換，將其轉(zhuǎn)換到頻譜空間。由于各個尺度各個方向的濾波器組之間并非正交關系，造成濾波后的圖像存在大量的冗余信息，為了克服該缺陷，在頻率空間對相關參數(shù)進行轉(zhuǎn)化計算。對上式中的二維Gabor小波進行如下變換：其中：，。通過多尺度多方向的頻率濾波器對二維離散圖像進行處理后，可以得到多尺度多方向的紋理特征。假設用表示點的Gabor紋理特征，。其中：M是方向數(shù)，S是尺度數(shù)。對于二維離散圖像的每個像素點，進行上述的多尺度多方向特征提取，可以對紋理圖像進行多尺度描述。由于交互式的最優(yōu)紋理圖像分割問題一直是個科研難題，需要將其轉(zhuǎn)化為帶先驗信息的能量泛函最小化問題，通過對初始的前景和背景紋理圖像進行矩形框標注，分別進行前景和背景的GMM概率分布建模，并進一步利用最大流最小割GraphCut實現(xiàn)前景和背景的紋理圖像分割。4.2GrabCut的紋理圖像分割對于以上能量泛函的最小化問題，可將能量函數(shù)轉(zhuǎn)化為最大流最小割的圖割模型實現(xiàn)，即將紋理圖像的最優(yōu)分割問題轉(zhuǎn)化為圖的最大流最小割問題，并通過GrabCut的迭代過程更新GMM模型的參數(shù)，同時利用前景和背景的概率分布的KL度量決定迭代的終止。對于能量泛函，如下式：的最小化問題，可以映射為對應的加權圖，如圖2所示。這里首先給定一幅3×3的圖像，用于圖切分優(yōu)化模型的簡單說明。對于原始的紋理圖像可以轉(zhuǎn)化為一個具有兩個端點的加權圖。其中V是圖像像素點與端點的集合；E是邊的集合，它包括像素點屬于前景和背景的加權相似邊，以及與鄰域邊之間的懲罰權重。對于圖2(a)中的原始紋理圖像，其為前景的標記點，為背景的標記點，通過K-means聚類得到紋理特征各自的類別，經(jīng)計算得到前景和背景的GMM的統(tǒng)計參數(shù)，并通過GMM建立如圖2(b)所示的加權圖模型。其中紋理圖像中的點與端點之間的邊說明與前景或背景的相似度大小，上半局部的邊代表紋理圖像中的像素點與前景的相似度，下半局部的邊代表與背景的相似度，邊越粗說明相似度越大。在建立加權圖后，通過Boykov提出的經(jīng)典最大流最小割進行全局最優(yōu)的圖割得到圖2(c)；再經(jīng)過全局S-T最小割運算實現(xiàn)能量泛函的最小化，最終得到圖2(d)所示的紋理分割結(jié)果。圖2最大流最小割的實現(xiàn)過程基于上述最大流最小割的思想，為了得到最優(yōu)的紋理圖像分割結(jié)果，可以通過GrabCut迭代分割逐步求解實現(xiàn)，其算法描述如下。1)初始化。假設前景矩形框為，背景為，且滿足。利用K-means對前景和背景分別進行特征聚類，并建立初始的圖割模型，得到前景和背景各自對應的標簽集和，其中和是初次分割后的標簽區(qū)域。同時，建立前景和背景所對應的GMM概率密度分布和。再次建立上述圖割模型，并進行GrphCut最大流最小割切分，得到新的標簽集和。2)計算標簽集和所對應的GMM相關統(tǒng)計參數(shù)：方差、均值以及高斯分量的權重(其中混合權重系數(shù)為當前屬于該高斯分量的像素總數(shù)占圖像總像素數(shù)的百分比)。3)更新計算每個像素到前景和背景所對應的概率和。將下式：中的區(qū)域項和下式：中的懲罰項映射到加權圖中，通過Boykov的最大流最小割算法，得到新的分割標簽集。4)計算前景與背景的概率密度分布KL[9]距離并度量KL，如果即前相鄰兩次分割的前景與背景的概率密度KL距離比值小于0.01，那么終止GrabCut紋理圖像分割，轉(zhuǎn)步驟5)，否那么轉(zhuǎn)步驟2)。得到穩(wěn)定的紋理圖像分割結(jié)果，退出。經(jīng)過上面GrabCut的迭代更新過程，保證前景和背景的紋理圖像分割到達一個穩(wěn)定的狀態(tài)，這個狀態(tài)是GrabCut迭代分割的結(jié)果，它等價于前面描述的最小能量值。5.基于圖割的圖像分割在圖像分割的眾多方法中，能量最小化方法在過去30年引起學者們的廣泛關注，形成一大流派。能量最小化方法的根本步驟為[10]：1)設計一個目標函數(shù)(能量函數(shù))，其最小值對應最優(yōu)解。常用的兩個約束是數(shù)據(jù)和先驗知識。數(shù)據(jù)約束限制了理想解應該和真實數(shù)據(jù)盡量接近；先驗約束要求理想解的形式應該和先驗知識保持一致；2)最小化目標函數(shù)。大多數(shù)感興趣的能量函數(shù)是非凸的，有多個極小值,導致多數(shù)方法只能找到逼近解，因此，最小化過程通常比擬困難。在用于圖像分割的能量最小化方法中，模擬退火方法的優(yōu)點是適用能量函數(shù)類型廣，缺乏是計算效率偏低。動態(tài)規(guī)劃方法僅適用于一維能量函數(shù)，不能有效地求解二維能量函數(shù)，而且耗時較長。圖割只能應用到某類能量函數(shù)，需要擴展應用到更多的能量函數(shù)，但可以得到全局最優(yōu)解或逼近最優(yōu)解，計算效率高。對任意能量函數(shù)，可使用基于消息傳遞的方法，但是這些方法計算速度很慢、不一定收斂、在圖割能應用時比圖割找到的能量高。不管是變分方法，還是ICM方法，都對初始化敏感、易得到局部最小解。顯然，基于圖割的圖像分割方法優(yōu)勢更加明顯，從而使其成為近年來的研究熱點。5.1基于圖割的圖像分割步驟從圖割可以精確求解的能量函數(shù)入手，可概括出基于圖割的圖像分割步驟，主要包括三步：1)能量函數(shù)的設計；2)圖的構(gòu)造；3)最小割/最大流方法。能量函數(shù)的設計。在滿足一定前提條件下，能量函數(shù)最小化可用最小割來精確求解。這個前提條件是：1)二值標記；2)所有權重是非負的。這反映到能量函數(shù)中，對數(shù)據(jù)項函數(shù)，可以是任意的，因為如果權重是負的，加一個常數(shù)即可。對平滑項函數(shù)要滿足子模函數(shù)的條件，比方：二值Potts能。如果是其他能量函數(shù)，通常只能得到逼近最優(yōu)解，比方：多標記Potts能，可用擴展算法或交換算法來逼近求解。圖的構(gòu)造。1)構(gòu)建圖。圖的頂點和圖像的像素或區(qū)域?qū)?。每個頂點有兩個邊，連接源(s)和匯(t)，稱為t-links，反映了每個標記的偏好程度。鄰域連接n-links反映了平滑項，指示頂點之間的不連續(xù)性。圖定義后，由所有頂點和所有邊組成，即：其中，，。2)對圖的各個邊緣權重進行賦值。最小割/最大流方法。最小割/最大流方法主要包括兩大類：推進重標記(Pushrelabel)方法和增廣路徑(Augmentingpaths)方法。推進重標記方法沿著非飽和邊緣給一個到匯的距離的低界估計，然后，面向具有到匯最小估計距離的頂點來推進剩余的流。隨著推進操作，邊緣逐漸飽和，距離逐漸增加。該方法易于并行實現(xiàn)，通常采用GPU加速實現(xiàn)來提高效率。Ford和Fulkerson的標號方法(簡稱FF方法)是基于增廣路徑的方法，通過標號不斷生長一棵樹，直到找不到關于可行流的增廣路徑為止。FF方法的計算復雜性和網(wǎng)絡的節(jié)點數(shù)或者邊數(shù)無關，而與邊上的權值有關。為了防止求最大流時計算復雜度依賴于邊的權值大小的缺點，Dinic設計了一種分層算法。為了進一步提高最小割/最大流方法的效率，Boykov等提出了基于增廣路徑的新方法，該方法在當前計算機視覺領域的應用最為廣泛。其核心是建立兩棵搜索樹S和T，S以源點s為根，T以匯點t為根。樹S中所有父結(jié)點到孩子結(jié)點的邊都是不飽和的。樹S中的結(jié)點分為“主動(Active)結(jié)點〞和“被動(Passive)結(jié)點〞，主動結(jié)點可以通過從樹T獲得新的后代來使得搜索樹“生長(Grow)〞，被動結(jié)點不能生長。算法重復以下三個階段：1)生長階段(Growthstage)：搜索樹S、T生長，直到找到匯點；2)擴展階段(Augmentationstage)：擴展路徑，搜索樹變成森林；3)收養(yǎng)階段(Adoptionstage)：收養(yǎng)孤立結(jié)點，恢復搜索樹。6.總結(jié)當前，圖像分割已成為圖像理解領域關注的一個熱點。未來的開展需要研究者借鑒數(shù)學、統(tǒng)計學、神經(jīng)學、認知心理學、計算機科學等領域的成果及其綜合運用，不斷引入新的理論和方法。過去幾年，研究人員不斷將相關領域出現(xiàn)的新理論和新方法應用到圖像分割中，雖然取得了一定的效果，但仍未出現(xiàn)一種令人滿意的高效的通用的方法。其主要原因是人類對視覺系統(tǒng)還沒有充分的認識，已有的模型只是從功能上來模擬，而不是從結(jié)構(gòu)上來實現(xiàn)。圖像分割的下一步研究方向是進一步研究視覺認知的原理，結(jié)合智能科學的最新理論，對圖像分割作更深一步的研究。參考文獻許新征，丁世飛，史忠植等.圖像分割的新理論和新方法[J].電子學報，2023，38〔2A〕：76-82王愛民，沈蘭蓀.圖像分割研究綜述[J].測控技術，2000，19〔5〕：1-5馬文萍，黃媛媛，李豪等.基于粗糙集與差分免疫模糊聚類算法的圖像分割[J].軟件學報，2023，25〔11〕：2675-2689LingrasP，WestC.Interval