《HALCON數(shù)字圖像處理》課件-第9章 數(shù)學(xué)形態(tài)學(xué)

9.19.29.39.49.59.6HALCON數(shù)字圖像處理數(shù)學(xué)形態(tài)學(xué)的發(fā)展歷史及基本概念數(shù)學(xué)基礎(chǔ)形態(tài)學(xué)基本運算

二值圖像數(shù)學(xué)形態(tài)學(xué)分析Blob分析數(shù)學(xué)形態(tài)學(xué)工程應(yīng)用第9章 HALCON數(shù)學(xué)形態(tài)學(xué)9.1

數(shù)學(xué)形態(tài)學(xué)的發(fā)展及基本概念HALCON數(shù)字圖像處理形態(tài)學(xué)：通常指生物學(xué)中對動植物的形狀和結(jié)果進(jìn)行處理的一個分支。數(shù)學(xué)形態(tài)學(xué)(mathematicalmorphology)：是根據(jù)形態(tài)學(xué)概念發(fā)展而來具有嚴(yán)格數(shù)學(xué)理論基礎(chǔ)的科學(xué)，并在圖像處理和模式識別領(lǐng)域得到了成功應(yīng)用。除了通常作為一種抽取圖像中區(qū)域形狀特征，如邊界、骨骼和凸殼等，也經(jīng)常用于圖像的預(yù)處理和后處理，如：形態(tài)學(xué)濾波、細(xì)化和修剪等。數(shù)學(xué)形態(tài)學(xué)是分析幾何形狀和結(jié)構(gòu)的數(shù)學(xué)方法，它是建立在集合代數(shù)的基礎(chǔ)上用集合論方法定量描述目標(biāo)幾何結(jié)構(gòu)的學(xué)科。9.2

數(shù)學(xué)基礎(chǔ)HALCON數(shù)字圖像處理

集合論的一些基本概念：－屬于、不屬于、空集令A(yù)是Z2中的一個集合，如果a是其中的一個元素，稱a屬于A，并記作：aA,否則，稱a不屬于A，記為：aA，如A中沒有任何元素，稱A為空集：

－子集、并集、交集AB,C=AB,C=AB－不相連（互斥）、補集、差集AB=,Ac={

a|aA},A–B={

c|cA,c

B}=ABc－反射（相對某個中心點）、移位（相對原點）HALCON數(shù)字圖像處理并、交、補、減集合關(guān)系的圖形表示9.3

形態(tài)學(xué)基本運算HALCON數(shù)字圖像處理腐蝕(erosion)膨脹(dilation)開、閉運算(opening、closing)擊中擊不中變換(hit-or-miss)HALCON數(shù)字圖像處理1、腐蝕(erosion)定義：集合A被集合B腐蝕，表示為，數(shù)學(xué)形式為A稱為輸入圖像，B稱為結(jié)構(gòu)元素。邊界向內(nèi)部收縮的過程，如下圖所示：腐蝕相關(guān)算子：erosion_circle；erosion_rectangle；erosion1；erosion2等HALCON數(shù)字圖像處理2、膨脹(dilation)定義：集合A被集合B膨脹，表示為，數(shù)學(xué)形式為A稱為輸入圖像，B稱為結(jié)構(gòu)元素。

膨脹可以填充圖像內(nèi)部的小孔及在圖像邊緣處的小凹陷部分，并能夠磨平圖像向外的尖角，如下圖所示：膨脹相關(guān)算子：dilation_circle；dilation_rectangle；dilation1；dilation2等HALCON數(shù)字圖像處理腐蝕、膨脹操作應(yīng)用舉例任務(wù)：消除二值圖像中的不相關(guān)細(xì)節(jié)（a）原圖（b）腐蝕后圖像（c）膨脹后圖像HALCON數(shù)字圖像處理3、開運算(opening)

開運算是利用結(jié)構(gòu)元素B對輸入圖像A進(jìn)行開運算，用符號表示，其定義：開運算是A先被B腐蝕，然后再被B膨脹。

開運算能夠使圖像的輪廓變得光滑，還能使狹窄的連接斷開及消除細(xì)毛刺，如下圖所示：開運算相關(guān)算子：opening；opening_circle；opening_rectangle1等HALCON數(shù)字圖像處理4、閉運算(closing)

閉運算是開運算的對偶運算，定義為先作膨脹然后再作腐蝕。利用B對A作閉運算表示為，定義為:閉運算是用-B對A進(jìn)行膨脹，將其結(jié)果用-B進(jìn)行腐蝕。

閉運算通常會彌合較窄的間斷和細(xì)長的溝壑，還能消除小的孔洞及填充輪廓線的斷裂，如下圖所示：閉運算相關(guān)算子：closing；closing_circle；closing_rectangle1等HALCON數(shù)字圖像處理開、閉運算進(jìn)行形態(tài)學(xué)濾波舉例過程：先開后閉，開消除噪聲，閉修復(fù)開運算造成的指紋斷裂。例：指紋圖像濾波HALCON數(shù)字圖像處理5、擊中擊不中變換(hit-or-miss)擊中擊不中變換需要兩個結(jié)構(gòu)基元E和F，一個探測圖像內(nèi)部，一個探測圖像外部，其定義為：擊中與擊不中變換是用我們感興趣的E去腐蝕圖像A，得到的結(jié)果是使E完全包含于A的圖像內(nèi)部時其中心點位置的集合U1，可以將U1看作是E在A中所有匹配的中心點的集合。擊中擊不中示意圖如下圖所示：（a）擊中元素結(jié)構(gòu)（b）擊不中元素結(jié)構(gòu)（c）輸入圖像（d）擊中擊不中輸出擊中擊不中算相關(guān)算子：hit_or_miss等9.4

二值圖像數(shù)學(xué)形態(tài)學(xué)分析HALCON數(shù)字圖像處理邊界提取(Boundary)孔洞填充(Holefilling)骨架(skeletons)HALCON數(shù)字圖像處理1、邊界提取(Boundary)腐蝕膨脹最常用的應(yīng)用是計算區(qū)域的邊界：相當(dāng)于采用一個3*3的結(jié)構(gòu)元素對原圖像進(jìn)行腐蝕，只有那些8鄰域都是黑點的內(nèi)部點被保存，再用原圖像減去腐蝕后的圖像。

（a）原圖（b）腐蝕的結(jié)構(gòu)元素B（c）A被B腐蝕（d）用A減去（c）中腐蝕圖像boundary算子boundary(Region:RegionBorder:BoundaryType:)Region：想要進(jìn)行邊界提取的區(qū)域；RegionBorder：邊界提取后獲得的邊界區(qū)域；BoundaryType：邊界提取的類型；HALCON數(shù)字圖像處理2、孔洞填充(Holefilling)

A表示一個集合，其元素是8連通的邊界，每個邊界包圍一個背景區(qū)域（即一個孔洞），給定每一個孔洞中一個點，然后從該點開始填充整個邊界包圍的區(qū)域，公式如下：其中B是結(jié)構(gòu)元素，如果Xk=Xk-1，則算法在第k步迭代結(jié)束，集合Xk包含了所有被填充的孔洞。Xk和A的并集包含了所有的填充的孔洞及這些孔洞的邊界。如果不加限制，上式中的膨脹可以填充整個區(qū)域，然而每一步中與A的交集操作都把結(jié)果限制在感興趣區(qū)域內(nèi)，過程如右圖所示?？斩刺畛湎嚓P(guān)算子：fill_up；fill_up_shape等HALCON數(shù)字圖像處理3、骨架(skeletons)

“骨架”是指一幅圖像的骨骼部分。二值圖像A的形態(tài)學(xué)骨架可以通過選定合適的結(jié)構(gòu)元素B，對A進(jìn)行連續(xù)腐蝕和開運算求得。設(shè)S(A)表示A的骨架，則求圖像A的骨架的表達(dá)式：HALCON骨架算子：skeleton(Region:Skeleton::)junctions_skeleton(Region:EndPoints,JuncPoints::)9.5

Blob分析HALCON數(shù)字圖像處理

在HALCON中，Blob是指一個提取所得的Region，是指對該二值區(qū)域進(jìn)行面積、周長、重心等特征的分析過程。Blob分析包含的圖像處理技術(shù)：

（1）圖像分割；（2）形態(tài)學(xué)操作；（3）連通性分析；（4）特征值計算；（5）場景描述；Blob分析流程圖Blob分析主要適用于以下圖像：（1）二維目標(biāo)圖像；（2）高對比度圖像；（3）場景簡單圖像；Blob分析并不適用于以下情況：（1）低對比度圖像；（2）必要的圖像特征不能用2個灰度級描述；（3）按照模版檢測(圖形檢測需求)；Blob分析相關(guān)算子HALCON數(shù)字圖像處理1.圖像獲取相關(guān)算子read_image；read_sequence；read_region；read_region；read_region。2.圖像分割相關(guān)算子partition_dynamic；auto_threshold；bin_threshold；char_threshold；dyn_threshold；fast_threshold；threshold；var_threshold；binary_threshold等。3.形態(tài)學(xué)處理相關(guān)算子Connection；select_shape；erosion；dilation；opening；closing；opening_circle；closing_circle；opening_rectangle1；closing_rectangle1；difference；intersection；union1；shaps_trans；fill_up；boundary；skeleton；top-hat；bottom-hat；hit-or-miss。4.提取特征相關(guān)算子area_center；smallest_rectangle1；smallest_rectangle2；compactness；eccentricity；elliptic_axis；area_center_gray；intensity；min_max_gray。Blob例程HALCON數(shù)字圖像處理例：提取圓形焊點的定位與測量

圖像分析：可以看出，目標(biāo)區(qū)域相比背景區(qū)域灰度值較小，底部低灰度值橫線容易對檢測造成干擾，中間存在矩形區(qū)域與焊點區(qū)域灰度值相近。編程思路：首先應(yīng)將圖像四周邊緣剪切掉，以免造成各焊點粘連，采用的方法是區(qū)域形狀轉(zhuǎn)換與reduce_domain結(jié)合的方式；然后用閾值分割提取焊點區(qū)域，開運算排除其他干擾，select_shape_std根據(jù)形狀選擇方形區(qū)域，用區(qū)域相減的方式得到最終焊點區(qū)域。最后求取各焊點的最小外接圓半徑與中心坐標(biāo)，HALCON代碼參考本書對應(yīng)章節(jié)。

（a）原圖

（b）閾值分割（c）開運算（d）區(qū)域相減（e）最小外接圓9.6

數(shù)學(xué)形態(tài)學(xué)工程應(yīng)用HALCON數(shù)字圖像處理

數(shù)學(xué)形態(tài)學(xué)在圖像處理過程中能夠完成圖像濾波、圖像分割、圖像測量等任務(wù)，是圖像處理過程中較為關(guān)鍵的一環(huán)。1.工業(yè)圖像處理在在線自動視覺檢測系統(tǒng)中，形態(tài)學(xué)主要用于消除不均勻背景照明并檢測缺陷，比如在鋼帶生產(chǎn)線中檢測鋼帶的擦傷、裂紋等。也被用于自動提取噴涂在板材上網(wǎng)格模式點的節(jié)點以估計其沖壓后的變形情況。2.材料科學(xué)圖像處理形態(tài)學(xué)在材料科學(xué)領(lǐng)域常用于纖維長度和直徑的估計，具體的為用形態(tài)學(xué)方法分離掃描電子顯微鏡圖像上橫斷面或交叉纖維中發(fā)亮的相連纖維，對于低對比度的圖像采用分水嶺分割方法和區(qū)域鄰接圖算法。3.醫(yī)學(xué)圖像處理醫(yī)學(xué)圖像應(yīng)用形態(tài)學(xué)的例子更為廣泛，比如利用形態(tài)學(xué)和統(tǒng)計學(xué)工具分析共焦細(xì)胞圖像；利用形態(tài)學(xué)多分辨率圖像表示和分解技術(shù)對核磁共振斷層掃描圖像的融合。數(shù)學(xué)形態(tài)學(xué)工程實例HALCON數(shù)字圖像處理例：小球計數(shù)圖像分析：如圖所示，小球所在區(qū)域的灰度值較高，但是相鄰小球之間存在不同程度的粘連問題，需要考慮如何將他們分開。編程思路：首先用自動閾值分割將背景去除，提取出小球所在區(qū)域，用開運算去除干擾區(qū)域，計算連通性后發(fā)現(xiàn)存在粘連發(fā)生，然后對目標(biāo)區(qū)域用圓結(jié)構(gòu)腐蝕，再次計算連通性，最后膨脹到原始小球大小并計數(shù)即可，HALCON代碼參考本書對應(yīng)章節(jié)。（b）閾值分割（c）開運算（d）腐蝕（e）膨脹（a）原圖數(shù)學(xué)形態(tài)學(xué)工程實例HALCON數(shù)字圖像處理例：大國工匠胡勝:在金屬上進(jìn)行雕刻藝術(shù)圖像分析：如何解決檢測問題？介紹大國工匠精神數(shù)學(xué)形態(tài)學(xué)工程實例HALCON數(shù)字圖像處理例：大國工匠胡勝:在金屬上進(jìn)行雕刻藝術(shù)數(shù)學(xué)形態(tài)學(xué)工程實例HALCON數(shù)字圖像處理背景：王陽，中國航天科工集團(tuán)公司三院111廠數(shù)控加工車間車工班班長。履歷：

在加工“神七”項目關(guān)鍵件任務(wù)中，因加工難度大，零件易變形，尺寸和形位公差難以保證。為確保每一次加工合格，他積極想辦法，在加工工藝上進(jìn)行改進(jìn)，