數(shù)字圖像處理與Python實現(xiàn)-課件第七章-圖像分割

數(shù)字圖像處理2022-2023-2課程內(nèi)容入門認(rèn)識第8章圖像壓縮第7章圖像分割基本操作應(yīng)用第9章圖像水印第10章指紋識別第11章深度學(xué)習(xí)綜合案例第七章圖像分割7.1圖像分割基本概念7.2基于邊緣的圖像分割7.3基于區(qū)域的圖像分割7.1.1圖像分割定義

數(shù)字圖像信號??(??,??)，將其分割為滿足以下5個約束條件的若干相連的、非空子集（即圖像子區(qū)域）??_1,??_2,??_3,?,??_??的過程，稱為圖像分割。每個像素都可以被分割到確定的子區(qū)域中；各個子區(qū)域內(nèi)圖像像素是連通的；確保一個圖像元素不會同時被分割到多個子區(qū)域；屬于同一個子區(qū)域的像素應(yīng)該具有某些相似性；屬于不同子區(qū)域的屬性應(yīng)該不同。7.1.2圖像分割分類按照是否考慮語義：分為非語義分割和語義分割。根據(jù)被分割圖像的種類不同：灰度圖像分割，彩色圖像分割；根據(jù)被分割圖像的狀態(tài)不同：靜態(tài)圖像分割，動態(tài)圖像分割；根據(jù)分割的粒度不同：

以識別物體輪廓為準(zhǔn)則的粗分割，

以顏色、紋理等的高度相似性為準(zhǔn)則、適宜壓縮編碼的細(xì)分割；按照被分割圖像的應(yīng)用領(lǐng)域不同：

遙感圖像分割、醫(yī)學(xué)圖像分割、交通圖像分割、工業(yè)圖像分割、安防圖像分割等；根據(jù)分割目標(biāo)不同：語義分割、實例分割、全景分割；按照分割方法不同：

基于邊緣的圖像分割、基于區(qū)域的圖像分割、基于顯著性分析的圖像分割、基于深度學(xué)習(xí)的圖像分割等。7.1.2圖像分割分類（1）非語義分割：

在圖像分割中所占比重更高，目前算法也非常多，研究時間較長，而且算法也比較成熟。代表算法：閾值分割：簡單，給定輸入圖像一個特定閾值，如果大于這個閾值，則設(shè)定為前景像素值，否則為背景像素值。區(qū)域分割有代表性的算法有兩種：區(qū)域生長和區(qū)域分裂合并。區(qū)域生長算法的核心思想是給定子區(qū)域一個種子像素，作為生長的起點，然后將種子像素周圍鄰域中與種子像素有相同或相似性質(zhì)的像素(可以根據(jù)預(yù)先設(shè)定的規(guī)則，比如基于灰度差)合并到種子所在的區(qū)域中。區(qū)域分裂合并基本上就是區(qū)域生長的逆過程，從整個圖像出發(fā)，不斷分裂得到各個子區(qū)域，然后再把前景區(qū)域合并，實現(xiàn)目標(biāo)提取。聚類：聚類是一個應(yīng)用非常廣泛的無監(jiān)督學(xué)習(xí)算法，該算法在圖像分割領(lǐng)域也有較多的應(yīng)用。聚類的核心思想就是利用樣本的相似性，把相似的像素點聚合成同一個子區(qū)域。7.1.2圖像分割分類（1）非語義分割：

在圖像分割中所占比重更高，目前算法也非常多，研究時間較長，而且算法也比較成熟。邊緣分割這是圖像分割中較為成熟，而且較為常用的一類算法。邊緣分割主要利用圖像在邊緣處灰度級會發(fā)生突變來對圖像進(jìn)行分割。常用的方法是利用差分求圖像梯度，而在物體邊緣處，梯度幅值會較大，所以可以利用梯度閾值進(jìn)行分割，得到物體的邊緣。對于階躍狀邊緣，其位置對應(yīng)一階導(dǎo)數(shù)的極值點，對應(yīng)二階導(dǎo)數(shù)的過零點(零交叉點)。因此常用微分算子進(jìn)行邊緣檢測。常用的一階微分算子有Roberts算子、Prewitt算子和Sobel算子，二階微分算子有Laplace算子和Kirsh算子等。由于邊緣和噪聲都是灰度不連續(xù)點，在頻域均為高頻分量，直接采用微分運算難以克服噪聲的影響。因此用微分算子檢測邊緣前要對圖像進(jìn)行平滑濾波。LoG算子和Canny算子是具有平滑功能的二階和一階微分算子，邊緣檢測效果較好，因此Canny算子也是應(yīng)用較多的一種邊緣分割算法。參考網(wǎng)址：/article/8750657.1.2圖像分割分類（2）語義分割：

在圖像分割中所占比重更高，目前算法也非常多，研究時間較長，而且算法也比較成熟。語義分割和非語義分割的共同之處都是要分割出圖像中物體的邊緣，但是二者也有本質(zhì)的區(qū)別，用通俗的話介紹就是非語義分割只想提取物體的邊緣，但是不關(guān)注目標(biāo)的類別。而語義分割不僅要提取到邊緣像素級別，還要知道這個目標(biāo)是什么。因此，非語義分割是一種圖像基礎(chǔ)處理技術(shù)，而語義分割是一種機器視覺技術(shù)，難度也更大一些，目前比較成熟且應(yīng)用廣泛的語義分割算法有以下幾種：Grabcut

MaskR-CNN

U-Net

FCN

SegNet參考網(wǎng)址：/article/875065第七章圖像分割7.1圖像分割基本概念7.2基于邊緣的圖像分割7.3基于區(qū)域的圖像分割7.2.1邊緣分割基本原理邊緣有方向和幅度兩個特性：沿著邊緣走向的灰度值不變或者緩慢變化，垂直于邊緣走向的灰度值存在突變。按突變形式不同，邊緣可表現(xiàn)為階躍式、漸變式（斜升和斜降式）、脈沖式、屋頂式等類型，邊緣包括：

數(shù)字圖像中目標(biāo)物體或某區(qū)域的角點、輪廓、交界等處，代表了圖像局部不連續(xù)性特征。邊緣分割方法：

假設(shè)各子區(qū)域一定會有明顯的邊緣存在，

通過采用數(shù)學(xué)求導(dǎo)的方法提取圖像中灰度或結(jié)構(gòu)等信息突變（即不連續(xù)）的部分像素來實現(xiàn)。邊緣與導(dǎo)數(shù)關(guān)系一階微分算子有Roberts算子、Prewitt算子、Sobel算子、Kirsch算子等；二階微分算子有Laplace算子、LoG算子等7.2.1邊緣分割基本原理7.2.2Canny算子邊緣與導(dǎo)數(shù)關(guān)系一階微分算子有Roberts算子、Prewitt算子、Sobel算子、Kirsch算子等；二階微分算子有Laplace算子、LoG算子等Canny算子，非微分邊緣檢測算子，圖像邊緣檢測算法最經(jīng)典、先進(jìn)的算法之一。

是在滿足一定約束條件下推導(dǎo)出來的邊緣檢測最優(yōu)化算子7.2.2Canny算子3個最優(yōu)準(zhǔn)則（1）最優(yōu)檢測：

應(yīng)盡可能檢測出圖像的真實邊緣，漏檢真實邊緣和誤檢非邊緣的概率都要盡可能小。（2）最優(yōu)定位準(zhǔn)則：

檢測出的邊緣要盡可能接近真實邊緣，由于噪聲影響形成的檢測誤差最小。（3）檢測點與邊緣點一一對應(yīng)：

檢測出的邊緣點與實際邊緣點要盡可能一一對應(yīng)。7.2.2Canny算子步驟：（1）圖像去噪對圖像進(jìn)行平滑濾波（2）計算梯度幅值和方向?qū)ふ覉D像中灰度強度變化最強的位置，即梯度方向，（Sobel算子計算）（3）非極大值抑制為了使模糊的邊界變得清晰，需要保留局部最大梯度，在每個像素點上抑制除極大值外的其他梯度值。非極大值抑制圖7.2.2Canny算子步驟：（4）雙閾值（更加精確地檢測邊緣）設(shè)置兩個閾值，一個是閾值上界，一個是閾值下界。像素點大于閾值上界，稱為強邊界，則認(rèn)為必然是邊界；小于閾值下界，則必然不是邊界；

兩者之間的稱為弱邊界，則認(rèn)為是候選項，需要進(jìn)一步處理。（5）邊界跟蹤（進(jìn)一步處理弱邊界點）弱邊界可能是真邊緣，也可能是噪聲或者顏色變化引起。通常：真實邊緣的弱邊界與強邊界是連通的，其他則不連通。一個弱邊界點的8連通像素，只要有強邊界點存在，則弱邊界點是真實邊緣并保留。其余的弱邊界則被抑制。最終得到Canny算子邊緣檢測結(jié)果。7.2.2Canny算子步驟：使用格式：cv2.Canny(輸入圖像,最小閾值,最大閾值,[sobel算子（卷積核）大小])參數(shù)說明：輸入圖像：輸入圖像數(shù)據(jù)，imread()函數(shù)返回值；最小閾值、最大閾值：雙閾值設(shè)置；Sobel算子卷積核大?。嚎蛇x項，用于查找圖像梯度的Sobel核的大小，默認(rèn)為3，該值越大，保留信息越多優(yōu)點是可以檢測出真正的弱邊緣，而且是細(xì)化后的單邊緣，減少了邊緣中斷現(xiàn)象。對于對比度較低的圖像，通過合理選擇參數(shù)，也能有很好的邊緣檢測效果。第七章圖像分割7.1圖像分割基本概念7.2基于邊緣的圖像分割7.3基于區(qū)域的圖像分割不同區(qū)域內(nèi)像素的屬性不同，同一個區(qū)域內(nèi)像素都應(yīng)該具有相似或相同的屬性。7.3基于區(qū)域的圖像分割根據(jù)分割特征不同，分為閾值法、聚類法、生長合并法等。1.生長合并法概念生長合并法主要考慮圖像區(qū)域的連通性進(jìn)行分割，常見的方法有區(qū)域生長法、分裂合并法、分水嶺法等。區(qū)域生長法：

根據(jù)圖像像素之間的連通性，按照事先定義的準(zhǔn)則，將部分像素或者子區(qū)域聚合成更大區(qū)域以達(dá)到圖像分割的目的。分裂合并法：適合事先完全不了解區(qū)域形狀和數(shù)目的情況，首先將圖像分解成互不重疊的區(qū)域，然后對各個區(qū)域進(jìn)行合并或分裂，得到最終的分割結(jié)果。7.3.1生長合并法2.分水嶺法將圖像看成一張地形圖,灰度值對應(yīng)地形圖中的海拔高度值高灰度值對應(yīng)著山峰，低灰度值對應(yīng)著山谷，水總是從地勢高朝著地勢低的地方流動，直到某個局部低洼處，形成盆地；最終所有水都會處于不同的盆地中，各盆地之間的山脊稱為分水嶺。自適應(yīng)的多閾值圖像分割算法，有很多實現(xiàn)算法，大多是模擬水從下而上的浸入過程。假設(shè)在每個盆地表面，刺穿一個小孔，然后把整個模型慢慢浸人水中，最后在兩個盆地匯合處構(gòu)筑大壩，即形成分水嶺。3.Python下實現(xiàn)分水嶺法（c）對圖像進(jìn)行“開運算”后再膨脹，得到確定的背景區(qū)域（d）通過與背景像素的距離矩陣閾值化尋找確定的前景區(qū)域（e）bg與fg相減,得到前景和背景的邊緣區(qū)域，

定為未確定區(qū)域（f）用分水嶺算法提取輪廓像素，并顯示為特定顏色標(biāo)識圖像分割問題比較復(fù)雜，存在兩個主要問題：（1）缺乏效果好、通用性強的圖像分割算法；（2）因應(yīng)用場景的不同，評價