《智能視覺技術(shù)及應(yīng)用》課件第6章

第6章圖像定位技術(shù)6.1角點(diǎn)檢測6.2邊緣提取6.3特征定位6.4直線定位6.5圓定位6.6

組合定位本章小結(jié)

6.1角點(diǎn)檢測

圖像定位技術(shù)是機(jī)器視覺系統(tǒng)中不可或缺的關(guān)鍵技術(shù),角點(diǎn)檢測和邊緣提取是特征定位的基礎(chǔ)。角點(diǎn)檢測是機(jī)器視覺系統(tǒng)中用來獲得圖像特征的一種方法,廣泛應(yīng)用于運(yùn)動檢測、圖像匹配、目標(biāo)識別等多個視覺應(yīng)用領(lǐng)域。

角點(diǎn)在不同的應(yīng)用領(lǐng)域有很多不同的表述方式,比如圖像中梯度變化明顯的點(diǎn)、圖像邊界上曲率很高或變化明顯的點(diǎn)、圖像邊界方向上變化不連續(xù)的點(diǎn)等。通常來說,角點(diǎn)的

局部鄰域是指具有兩個不同區(qū)域的不同方向的邊界。

6.1.1興趣點(diǎn)與角點(diǎn)

在機(jī)器視覺中,興趣點(diǎn)是指能夠很快吸引人的主觀注意力的地方,也叫作特征點(diǎn)和關(guān)鍵點(diǎn)。在整幅圖像里面,興趣點(diǎn)傳遞了大量的信息,甚至是人用來判斷和評價整幅圖像的

基礎(chǔ)。興趣點(diǎn)是圖像在二維空間上發(fā)生變化的區(qū)域,通常情況下包括拐點(diǎn)、交點(diǎn)和紋理顯著變化的區(qū)域,如圖6-1所示。圖6-1興趣點(diǎn)示意圖

角點(diǎn)是一個很特別的興趣點(diǎn),該點(diǎn)在任意方向上的一個微小變動都會引起很大的灰度變化,如圖6-2所示。圖6-2角點(diǎn)示意圖

關(guān)于角點(diǎn)的具體描述可以有以下幾種:

(1)一階導(dǎo)數(shù)(即灰度的梯度)的局部最大值所對應(yīng)的像素點(diǎn);

(2)兩條及兩條以上邊緣的交點(diǎn);

(3)圖像中梯度值和梯度方向變化速率都很高的點(diǎn);

(4)一階導(dǎo)數(shù)最大、二階導(dǎo)數(shù)為零的像素點(diǎn)。

6.1.2角點(diǎn)檢測算法

1.基于灰度圖像的角點(diǎn)檢測

基于灰度圖的角點(diǎn)檢測又分以下三種:

(1)基于模板。

(2)基于梯度。

(3)基于模板梯度組合。

2.基于二值圖像的角點(diǎn)檢測

基于二值圖像的檢測方法是將原始圖像看作一個多邊形,則多邊形的角點(diǎn)一定在骨架的延長線上,且角點(diǎn)所對應(yīng)的骨架點(diǎn)的最大圓盤半徑應(yīng)該趨于0,檢測骨架中的最大圓盤為0的點(diǎn),即為角點(diǎn)。因?yàn)樵诙祱D像處理階段,計(jì)算量并不是很大,所以保證了計(jì)算的實(shí)時性。盡管將二值圖像作為一個單獨(dú)的檢測目標(biāo)列出來,但是基于灰度圖像的各種處理方法對此仍然有效。二值圖像處于灰度和邊緣輪廓圖像的中間步驟,所以專門針對此類圖像的角點(diǎn)檢測方法并不多見,如圖6-3所示為一組角點(diǎn)檢測模板。圖6-3一組角點(diǎn)檢測模板

3.基于輪廓曲線的角點(diǎn)檢測

基于輪廓曲線的角點(diǎn)檢測是根據(jù)圖像的幾何特征檢測提取目標(biāo)輪廓點(diǎn)的檢測方法。一般有以下幾種方法:

(1)計(jì)算角點(diǎn)強(qiáng)度。

(2)計(jì)算曲線曲率的極值。

(3)多尺度角點(diǎn)檢測。

6.1.3Harris角點(diǎn)檢測

Harris特征角最早在論文ACombinedCornerandEdgeDetector中被ChrisHarris和

MikeStephens提出。Harris角點(diǎn)檢測的基本算法思想是:使用一個固定窗口在圖像上進(jìn)行任意方向上的滑動,比較滑動前與滑動后窗口中像素灰度的變化程度;如果任意方向上的滑動都有著較大的灰度變化,那么我們可以認(rèn)為該窗口中存在角點(diǎn),如圖6-4所示。圖6-4由灰度變化確定區(qū)域特征

Harris角點(diǎn)檢測是通過對窗口內(nèi)的每個像素的x方向上的梯度與y方向上的梯度進(jìn)行統(tǒng)計(jì)分析。這里以Ix和Iy為坐標(biāo)軸,因此每個像素的梯度坐標(biāo)可以表示成(Ix,Iy)。針對平坦區(qū)域,邊緣區(qū)域以及角點(diǎn)區(qū)域三種情形進(jìn)行分析,x、y方向上的梯度分布如圖6-5所示。

(1)平坦區(qū)域上的每個像素點(diǎn)所對應(yīng)的(Ix,Iy)坐標(biāo)分布在原點(diǎn)附近,針對平坦區(qū)域的像素點(diǎn),它們的梯度方向雖然各異,但是其幅值都不是很大,所以均聚集在原點(diǎn)附近。

(2)邊緣區(qū)域有一坐標(biāo)軸分布較散,至于是哪一個坐標(biāo)上的數(shù)據(jù)分布較散不能一概而論,這要視邊緣在圖像上的具體位置而定。如果邊緣是水平或者垂直方向,那么Iy軸方向

或者Ix

方向上的數(shù)據(jù)分布就比較散。

(3)角點(diǎn)區(qū)域的x、y方向上的梯度分布都比較散。圖6-5x、y方向上的梯度分布

Harris角點(diǎn)檢測通過M矩陣來判斷哪些區(qū)域存在角點(diǎn)。M矩陣的公式如下:

其中,Ix、Iy分別為窗口內(nèi)像素點(diǎn)(x,y)在x方向上和y方向上的梯度值。

在計(jì)算出M矩陣后,存在以下幾種情況,可判斷區(qū)域是否存在角點(diǎn):

(1)如果兩個字段(Ix,Iy)所對應(yīng)的特征值都比較大,說明像素點(diǎn)的梯度分布比較散,梯度變化程度比較大,符合角點(diǎn)在窗口區(qū)域的特點(diǎn)。

(2)如果是平坦區(qū)域,那么像素點(diǎn)的梯度所構(gòu)成的點(diǎn)集會集中在原點(diǎn)附近,因?yàn)榇翱趨^(qū)域內(nèi)的像素點(diǎn)的梯度幅值非常小,此時矩陣M的對角化的兩個特征值比較小。

(3)如果是邊緣區(qū)域,則在計(jì)算像素點(diǎn)的x、y方向上的梯度時,邊緣上的像素點(diǎn)的某個方向的梯度幅值變化比較明顯,另一個方向上的梯度幅值變化較小,其余部分的點(diǎn)都集

中在原點(diǎn)附近。這樣

M對角化后的兩個特征值理論上應(yīng)該是一個比較大,一個比較小。當(dāng)然對于邊緣這種情況,可能是呈45°的邊緣,致使計(jì)算出的特征值并不是都特別大?？傊@種情況與含有角點(diǎn)的窗口的分布情況還是不同的。

在計(jì)算出M矩陣后,需要計(jì)算角點(diǎn)響應(yīng)函數(shù)R,從而進(jìn)行角點(diǎn)判斷。R取決于M的特征值。對于角點(diǎn),|R|很大;對于平坦的區(qū)域,|R|很小;對于邊緣,R為負(fù)值。R可根據(jù)下

面的公式計(jì)算得到:

6.2邊緣提取

邊緣檢測的實(shí)質(zhì)是采用某種算法來提取出圖像中對象與背景間的交界線。邊緣可定義為圖像中灰度發(fā)生急劇變化的區(qū)域邊界。圖像灰度的變化情況可以用圖像灰度分布的梯度來反映,因此可以用局部圖像微分技術(shù)來獲得邊緣檢測算子。經(jīng)典的邊緣提取算法是對原始圖像中像素的某小鄰域來構(gòu)造邊緣檢測算子,其流程如圖6-6所示。圖6-6-邊緣提取算法流程圖

6.2.1一階邊緣檢測算子

1.Robert算子

Robert算子是一種利用局部差分尋找邊緣的算子。Robert算子采用的是對角方向相鄰兩像素之差。Robert算子的模板如下:

2.Sobel算子

Robert算子的一個主要不足是計(jì)算方向差時對噪聲敏感。Sobel提出了一種將方向差運(yùn)算與局部平均相結(jié)合的方法,即Sobel算子。該算子在以(x,y)為中心的3×3鄰域上計(jì)算x和y方向的偏導(dǎo)數(shù):

3.Prewitt算子

Prewitt算子的思路與Sobel算子的思路類似,是在一個奇數(shù)大小的模板中定義其微分運(yùn)算的:

Prewitt算子的梯度的計(jì)算方法與Sobel算子的相同。Prewitt算子對噪聲有一定的抑制作用,抑制噪聲的原理是通過像素平均。圖6-7所示分別給出了利用這三個算子進(jìn)行邊

緣檢測的不同效果。從圖6-7中可以看出,在這三種模板中,Sobel算子的檢測效果最好。圖6-7不同微分算子的邊緣檢測效果

6.2.2二階邊緣檢測算子

拉普拉斯(Laplace)算子是一種二階微分算子。一階微分算子的計(jì)算結(jié)果是一個向量,不但有大小,還有方向。Laplace算子是一種不依賴于邊緣方向的二階微分算子,它的計(jì)算結(jié)果是標(biāo)量,而不是向量,而且具有旋轉(zhuǎn)不變性,即各向同性的性質(zhì),在圖像處理中經(jīng)常被用來提取圖像的邊緣。對一個連續(xù)函數(shù)f(x,y),其在(x,y)處的拉普拉斯算子定義如下:

在圖像處理過程中,函數(shù)的拉普拉斯算子也是借助模板來實(shí)現(xiàn)的。這里對模板有基本要求:模板中心的系數(shù)為正,其余相鄰系數(shù)為負(fù),所有系數(shù)的和應(yīng)該為零。常用的兩種模板

如下:

圖6-8所示給出了對圖6-7(a)利用3×3的拉普拉斯算子進(jìn)行邊緣檢測的效果。從圖6-8中可以看出,拉普拉斯算子邊緣檢測方法常常產(chǎn)生雙像素邊界。圖6-8Laplace算子的邊緣檢測效果

6.2.3Canny算子

Canny算子是JohnF.Canny于1986年提出的邊緣檢測算法,之后便成為邊緣檢測中較為常用的算法。該算法的主要目標(biāo)有以下三點(diǎn):

(1)低錯誤率。

(2)最優(yōu)定位。

(3)點(diǎn)點(diǎn)對應(yīng)。

Canny算子的基本實(shí)現(xiàn)步驟如下:

(1)用高斯濾波器平滑處理待檢測圖像,消除噪聲。

(2)用Sobel算子計(jì)算圖像x和y方向的一階導(dǎo)數(shù)。

(3)對梯度圖像利用非極大值抑制的方法,排除非邊緣像素點(diǎn)。

(4)對經(jīng)上一步處理后的梯度圖像采取高低閾值處理,去除細(xì)小、瑣碎邊緣。

圖6-9給出了對圖6-7(a)利用3×3大小的Canny算子進(jìn)行邊緣檢測的效果。從圖6-9中可以看出,Canny算子的檢測效果比Laplace算子的更好,邊緣輪廓更加清晰。Canny算子也是圖像處理領(lǐng)域中最為常用的算法之一。圖6-9Canny算子的邊緣檢測效果

6.2.4邊緣連接方法

1.鄰域端點(diǎn)搜索

鄰域端點(diǎn)搜索主要是針對間隙較小的邊界裂縫,通過搜索以斷裂邊界點(diǎn)為中心的5×5鄰域找到其他邊界端點(diǎn),并填充必要的邊界像素,從而將邊界連接起來。這種方法對于圖

像邊緣點(diǎn)較多的復(fù)雜圖像會產(chǎn)生過度分割現(xiàn)象,因而使用該連接時還需額外規(guī)定兩個端點(diǎn)只有在邊緣強(qiáng)度和方向都相近的情況下才能進(jìn)行連接。

2.啟發(fā)式搜索

啟發(fā)式搜索是指:首先建立一個可以在任意兩端點(diǎn)A和B的連接路徑上進(jìn)行計(jì)算的函數(shù),該函數(shù)是該邊界上各邊緣點(diǎn)減去方向偏差分量后的強(qiáng)度平均值;然后利用該計(jì)算函數(shù)

對A的各個鄰域點(diǎn)進(jìn)行評價,確定哪一個像素可以作為走向B點(diǎn)的候選連接點(diǎn),通常僅僅考慮那些位于朝向B方向上的像素點(diǎn);最后在候選點(diǎn)中選擇一個能夠使A點(diǎn)到該點(diǎn)的邊緣計(jì)算函數(shù)取值最大的點(diǎn)作為連接點(diǎn),并作為下一次迭代過程的起點(diǎn);如此迭代下去,直到最后連接到B點(diǎn)為止。當(dāng)最終連接到B點(diǎn)時,還要將邊界計(jì)算函數(shù)的取值與閾值比較,滿足閾值條件的迭代結(jié)果才能夠真正作為邊界,否則將被拋棄。

3.曲線擬合

如果圖像的邊界點(diǎn)分布非常稀疏,那么可以使用分段線性或高階樣條曲線來擬合這些邊緣點(diǎn),從而形成一條適用邊界。

4.Hough變換

Hough變換是利用圖像的全局特征將邊緣像素連接起來形成封閉邊界的一種連接方法。

6.3特征定位

特征定位就是對經(jīng)過預(yù)處理的圖像進(jìn)行特征提取,之后對提取的特征進(jìn)行特征匹配,在一幅或多幅圖像之間找到目標(biāo)圖像在待測圖像中的位置,從而實(shí)現(xiàn)對檢測目標(biāo)的定位。特征定位的一般流程為采集圖像、圖像預(yù)處理、特征提取、特征匹配及定位,如圖6-10所示。圖6-10特征定位的流程圖

6.3.1圖像特征

圖像特征是指圖像的原始特性或?qū)傩浴Ｔ谀繕?biāo)分類和識別過程中,首先根據(jù)被研究對象產(chǎn)生出一組基本特征,這是可以計(jì)算出來的,也是可以用儀表或傳感器測量出來的,這樣產(chǎn)生的特征叫作原始特征。原始特征的數(shù)量可能很大,或者說樣本處于一個高維空間中,這會給分類器帶來沉重的計(jì)算負(fù)擔(dān)。

人們時常會陷入一個誤區(qū)———獲取的特征越多分類效

果就會越好。而SatosiWatanabe的丑小鴨定理(UglyDuckLingTheorem)說明特征形成的過程需慎重,因?yàn)榧尤肓顺浞侄嗳哂嗵卣?可以使得任意兩個模式相似。因此,我們希望選擇或提取的特征應(yīng)具有以下特點(diǎn):

(1)簡約性。

(2)可分性。

(3)可靠性。

具有以上特點(diǎn)的特征使分類器的設(shè)計(jì)變得簡單,從而使分類器運(yùn)行得更快和更加可靠。獲取特征的方法有兩種:特征選擇和特征提取。它們的根本任務(wù)就是從許多特征中找

出最有效的特征。這里的有效指的是能夠區(qū)分不同的類別。從一組特征中挑選出一些最有效的特征,以達(dá)到降低特征空間維數(shù)的目的,這個過程叫作特征選擇。通過映射(或變換)

的方法可以用低維空間來表示圖像,映射后的特征稱為二次特征,它們是原始特征的某種變換(通常是線性變換或是非線性變換),可得出數(shù)目比原來少的綜合性特征。

對原始特征進(jìn)行變換得到這些有利于分類、更本質(zhì)、數(shù)量更少的新特征的過程稱為特征提取。經(jīng)特征選擇后的特征保持了它們原始的物理意義,而經(jīng)特征提取產(chǎn)生的新特征(如原始特征的線性或非線性映射)則缺乏認(rèn)知學(xué)上的意義。目前,用這些經(jīng)過特征選擇或特征提取獲得的特征代替原始輸入特征進(jìn)行目標(biāo)分類和識別。

通常將用于目標(biāo)圖像識別的特征歸納為如下四種:

(1)圖像的視覺特征。

(2)圖像的統(tǒng)計(jì)特征。

(3)變換系數(shù)特征。

(4)代數(shù)特征。

6.3.2輪廓特征定位

輪廓特征匹配就是根據(jù)所提取的輪廓特征信息,通過一定的相似性度量來衡量模板圖像與待測圖像的搜索區(qū)域之間的匹配相似度,設(shè)定一定的閾值來篩選可能存在的目標(biāo)區(qū)域,再根據(jù)一些搜索策略定位到目標(biāo)位置。輪廓特征相比于角點(diǎn)、線條、統(tǒng)計(jì)量等特征,對檢測目標(biāo)平移、旋轉(zhuǎn)、縮放等變換具有良好的魯棒性。

輪廓特征提取采用的是邊緣檢測方法,但是由于定位任務(wù)中的目標(biāo)可能存在旋轉(zhuǎn)問題,因此在提取目標(biāo)的模板圖像的輪廓特征之前,需要對模板圖像進(jìn)行0~360°的旋轉(zhuǎn)處理,之后對多角度的模板圖像進(jìn)行輪廓特征提取。一般用來度量特征向量間相似度的方法有絕對差、平方絕對差、平方差、平均平方差、積相關(guān)、歸一化積相關(guān)等。常用的是歸一化

積相關(guān),計(jì)算式為

圖像金字塔一般分為高斯金字塔和拉普拉斯金字塔,兩者互為逆操作。高斯金字塔用于向下采集尺寸更小、分辨率更低的圖像。拉普拉斯金字塔則用于向上采樣并重建一個圖

像,對圖像進(jìn)行最大程度上的還原。輪廓特征定位使用的是高斯金字塔向下采樣圖像,由最高層輪廓點(diǎn)個數(shù)是否小于某一特定值來決定是否停止采樣,從而確定金字塔的層數(shù)。高

斯金字塔模型如圖6-11所示。圖6-11高斯金字塔原理

高斯金字塔的分層搜索策略分為以下幾個步驟:

(1)通過高斯卷積核進(jìn)行圖像采樣,用來構(gòu)建每一層的金字塔圖像。

(2)在圖像金字塔的最高層對目標(biāo)進(jìn)行識別,并記錄下其高層匹配位置。

(3)將高層的匹配位置和旋轉(zhuǎn)角度映射到比其低一層的圖像,并在一定的鄰域范圍內(nèi)繼續(xù)進(jìn)行匹配,依次迭代。

(4)直到映射到最底層的圖像(一般為原始圖像),記錄匹配位置及旋轉(zhuǎn)角度,該位置即為圖像的最佳匹配位置和最佳旋轉(zhuǎn)角度。

6.4直線定位

直線定位就是通過在局部搜索區(qū)域內(nèi)進(jìn)行邊緣檢測,來提取邊緣點(diǎn)并擬合成直線段。6.4.1直線提取直線提取在工業(yè)測控系統(tǒng)中應(yīng)用很廣泛。例如,對于一些線狀的劃痕,往往可以近似看成直線,在這種情況下,可以采用檢測直線的方法來檢測劃痕;又如,工業(yè)儀表的指針類似線狀,也可以通過直線提取的方法進(jìn)行檢測。常用的直線提取方法主要有Hough變換等方法。

1.Hough變換原理圖6-12圖像空間到參數(shù)空間之間的轉(zhuǎn)換圖6-13直線的Hough變換

2.直線提取

在計(jì)算過程中需要在參數(shù)空間(ρ,θ)里建立二維累積數(shù)組,設(shè)該數(shù)組為A(ρ,θ),如圖6-14所示。其中[ρmin,ρmax]和[θmin,θmax]分別為ρ、θ的范圍,即預(yù)期的斜率和截距的取值范圍。開始時,置數(shù)組A為零,然后對每一個圖像空間中的給定點(diǎn)遍歷[θmin,θmax]區(qū)間上所有可能的值,依據(jù)直線公式計(jì)算ρ,再根據(jù)ρ和θ的值(設(shè)都已經(jīng)取整)對A進(jìn)行累加,計(jì)算公式如下:圖6-14圖像空間中的給定點(diǎn)A

6.4.2直線的位置關(guān)系

想要通過直線定位在圖像中檢測出若干直線段,僅憑獲取的上述信息是遠(yuǎn)遠(yuǎn)不夠的,因此需要在這些直線段的位置信息上獲取更多有價值的信息。常用的關(guān)鍵信息就是直線段

之間的位置關(guān)系和距離,有關(guān)距離測量的內(nèi)容將在第7章進(jìn)行統(tǒng)一說明。兩直線的位置關(guān)系一般有共線、平行、垂直以及相交。判斷直線之間的位置關(guān)系一般使用的方法是計(jì)算兩

直線之間的夾角,夾角范圍為0°~180°,如圖6-15所示。圖6-15兩直線夾角

假設(shè)圖中a、b向量分別為兩直線的方向向量,夾角為α,根據(jù)向量積公式可得,兩直線的位置關(guān)系如下:

(1)平行:兩直線夾角為0°或180°,且無交點(diǎn)。

(2)共線:兩直線夾角為0°或180°,且有無數(shù)個交點(diǎn)。

(3)相交:兩直線夾角不等于0°、90°、180°,僅有一個交點(diǎn)。

(4)垂直:兩直線夾角等于90°,僅有一個交點(diǎn)。

6.5圓定位

圓定位就是在局部搜索區(qū)域內(nèi)進(jìn)行邊緣檢測,提取邊緣點(diǎn),進(jìn)行圓弧提取,獲取圓弧的關(guān)鍵信息,實(shí)現(xiàn)圓定位。其中,圓弧提取是圓定位技術(shù)中的關(guān)鍵步驟。除此之外,在獲得圓的信息后,有時還需要通過模板圖像中圓的位置關(guān)系來提取其他相關(guān)信息,此時可以在待測圖像中進(jìn)行有關(guān)圓的位置關(guān)系信息匹配來進(jìn)行目標(biāo)定位。因此,在圓定位技術(shù)中,圓弧的提取和圓之間的位置判斷尤為關(guān)鍵。

6.5.1圓弧提取

本節(jié)主要介紹沿邊緣搜索的方法,該方法具有運(yùn)算量小、檢測速度快、可以同時檢測出起始角度和終止角度等優(yōu)點(diǎn)。沿邊緣搜索方法首先將邊緣圖像存儲成鏈表格式,也就是

邊緣像素鏈;然后沿邊緣搜索,將邊緣分為若干小的直線段;最后采用圓最小二乘擬合來判斷其中的若干個小直線段是否共圓。圓弧檢測的原理示意圖如圖6-16所示。圖6-16-圓弧檢測原理

1.曲線分段

2.最小二乘圓弧擬合

其中,ω(xi)稱為權(quán),它反映數(shù)據(jù)(xi,yi

)在實(shí)驗(yàn)中所占數(shù)據(jù)的比重。應(yīng)用此法擬合的曲線稱為最小二乘擬合曲線。用最小二乘法求擬合曲線首先要確定擬合模型f(x)。一般來說,

根據(jù)各學(xué)科的知識可以大致確定函數(shù)的所屬類。若不具備這些知識