第三章目標(biāo)檢測(cè)方法_1_-6

1、1 圖像探測(cè)、跟蹤與識(shí)別技術(shù) 主講人：趙丹培主講人：趙丹培 宇航學(xué)院圖像處理中心 2012年9月27日 2 第三章 目標(biāo)檢測(cè)方法 n學(xué)習(xí)目的 利用圖像捕捉并跟蹤感興趣的目標(biāo)在日常生活、 工業(yè)和軍事領(lǐng)域中都有廣泛的應(yīng)用，本章通過對(duì)目標(biāo) 檢測(cè)方法基本原理的學(xué)習(xí)和掌握，將目標(biāo)的灰度、形 狀、紋理、頻譜、運(yùn)動(dòng)等作為主要特征依據(jù)，從不同 角度全面了解復(fù)雜背景中目標(biāo)探測(cè)的方法與過程，并 能夠在實(shí)際中熟練應(yīng)用。 n學(xué)習(xí)的重點(diǎn) 基于圖像分割技術(shù)的目標(biāo)檢測(cè)方法 基于圖像特征匹配的目標(biāo)檢測(cè)方法 運(yùn)動(dòng)目標(biāo)檢測(cè)方法 3 本章的主要內(nèi)容 3.1 圖像的特征形態(tài)與描述 3.2 目標(biāo)檢測(cè)的基本概念與原理 3.3 利用圖像分

2、割技術(shù)的目標(biāo)檢測(cè)方法 3.4 利用特征匹配技術(shù)的目標(biāo)檢測(cè)方法 3.5 運(yùn)動(dòng)目標(biāo)的檢測(cè) 3.6 小目標(biāo)檢測(cè) 3.7 目標(biāo)檢測(cè)性能的評(píng)價(jià)標(biāo)準(zhǔn) 4 3.1圖像的特征形態(tài)與描述 n數(shù)字圖像并不是雜亂的像素?cái)?shù)據(jù)的組合。它通常包含我們所 希望得到的確定性成分和采集過程中所得到的隨機(jī)成分。每 個(gè)像素的灰度不僅隨坐標(biāo)的不同而不同，也隨時(shí)間的變化而 變化，是空間坐標(biāo)和時(shí)間的隨機(jī)場(chǎng)。 n數(shù)字圖像度量單位可以有多種，例如整幅畫面（幀，場(chǎng)）， 局部畫面（窗口，塊），行，列，像素，頻率等。 n圖像作為信息的載體，對(duì)不同的用途，所關(guān)心的圖像信息的 含義或感興趣的圖像基元不同。比如，遠(yuǎn)距離紅外小目標(biāo)檢 測(cè)研究時(shí)，我們關(guān)心的

3、只是目標(biāo)周圍小區(qū)域內(nèi)的信噪比，或 圖像的信息量等；人臉識(shí)別時(shí)，可能關(guān)心的就是五官的形狀 和位置關(guān)系，至于臉色就不是很重要。 5 3.1.1 圖像的特征類型 1.像素灰度分布 圖像信號(hào)數(shù)字化得到一個(gè)數(shù)值矩陣，其中每一個(gè)元素稱 之為像素，像素的灰（亮）度值（也包括色彩）是最基本、 最原始的測(cè)量值和特征，由它可以組成更大基元的特征。單 幅圖像的所有像素或不同區(qū)域像素的灰度分布，代表了圖像 總體或局部的能量強(qiáng)度分布。表征灰度分布的特征描述有總 體或局部的均值、方差等。 2.圖像灰度變化的梯度特征 圖像灰度的梯度反映圖像內(nèi)物體邊緣處灰度變化的情況， 它描述了圖像灰度分布的總體特征。例如，用圖像像素灰度

4、的一階差分（梯度）的總和表示圖像的對(duì)比度等。 6 灰度特征-矩陣形式 梯度特征-灰度的突變位置 7 3.圖像的頻譜特性 與一維時(shí)間函數(shù)波形類似，圖像也有空間頻率的概念， 如果圖像的灰度按一定周期變化(相當(dāng)于周期函數(shù))，那么它 的頻率就是在某一坐標(biāo)軸方向上一個(gè)單位長(zhǎng)度的距離內(nèi)，周 期函數(shù)重復(fù)出現(xiàn)的次數(shù)。周期表示在同一方向上圖像波形重 復(fù)出現(xiàn)的最小距離。而且，圖像的傅立葉變換也有明確的物 理意義。 4.紋理特征 圖像紋理是像素灰度分布宏觀上呈現(xiàn)周期性的結(jié)構(gòu)特征， 它是圖像中某些結(jié)構(gòu)單元按某種規(guī)則排列而成的規(guī)則圖案， 反映圖像紋理基元灰度周期性重復(fù)變化的規(guī)律。因此，紋理 基元的大小（或重復(fù)變化的周期

5、長(zhǎng)短）和重復(fù)構(gòu)成的方向是 基本特征。常用的紋理特征描述方法有共生矩陣、等灰度行 程長(zhǎng)度、區(qū)域紋理基元參數(shù)、傅立葉頻譜、隨機(jī)場(chǎng)模型、相 關(guān)長(zhǎng)度等。 8 圖像的頻譜特征 圖像的紋理特征 9 5.圖像中物體形狀特征 物體的形狀特征是人或機(jī)器識(shí)別的重要特征之一，在圖像 中可以采取圖像分割的方法，將感興趣的物體、區(qū)域或基元 與背景區(qū)分開來，然后對(duì)它們的外形進(jìn)行描述，常用的形狀 特征有面積、周長(zhǎng)、圓度、長(zhǎng)寬比、矩、邊心距、傅立葉描 繪子、偏心率和凹度等。 6.圖像中三維特征 圖像是三維空間場(chǎng)景能量在二維平面的投影，二維圖像中 蘊(yùn)含著場(chǎng)景中物體的三維信息。比如，多面體的各個(gè)面光強(qiáng) 的差異表現(xiàn)出的立體感，一個(gè)

6、球體不會(huì)看成平面的圓。圖像 的三維通常用物體表面的法線方向描述。 10 圖像的形狀特征 圖像的三維特征 11 7.圖像的運(yùn)動(dòng)特征 動(dòng)態(tài)圖像或序列圖像是我們最常見的、需要快速處理并 作出反應(yīng)的場(chǎng)景圖像，“時(shí)間”將作為它的另外一個(gè)變量。 序列視頻圖像中包含著物體或目標(biāo)的運(yùn)動(dòng)參數(shù)，如速度、加 速度、方向、姿態(tài)、到傳感器的距離等變化信息。常用的方 法用局部瞬時(shí)速度場(chǎng)（光流場(chǎng)）、特征點(diǎn)匹配、運(yùn)動(dòng)估計(jì)、 小平面分析和運(yùn)動(dòng)分割等。 8.圖像距離特征 距離圖像是一種通過主動(dòng)成像方式獲取的場(chǎng)景三維立體 信息，與場(chǎng)景亮度無關(guān)。目標(biāo)圖像距離特征對(duì)于目標(biāo)圖像識(shí) 別有著特殊的意義，可以不受天氣、偽裝、復(fù)雜背景等條件 的

7、影響，全天候工作，抗干擾能力強(qiáng)。（雷達(dá)） 12 9. 圖像信息描述 圖像中包含的信息量最關(guān)心的是圖像度量參數(shù)，可以想 像所有像素灰度都為同一個(gè)數(shù)值，我們看到的是一張白紙， 獲取不了更多的信息，而一幅場(chǎng)景圖像卻有著豐富的內(nèi)容， 只要你認(rèn)真去看，將會(huì)有無限的信息。信息論中的“熵”可 以作為圖像信息含量的一種描述，盡管它并不完美。圖像的 信息度量是復(fù)雜的，它與圖像的應(yīng)用目的、觀察圖像的人或 系統(tǒng)的知識(shí)、性能有關(guān)。 10. 圖像有用和無用成分之比 圖像中并不是只包含有用的信息，我們總是在圖像中提取 感興趣的所謂目標(biāo)信息，而濾除所有不關(guān)心的信息，例如噪 聲。感興趣的目標(biāo)信息與所有不關(guān)心的信息成分的比率或

8、差 別越大，提取就越容易。典型的度量指標(biāo)是信噪比，即目標(biāo) 信號(hào)幅度除以背景信號(hào)的標(biāo)準(zhǔn)差。 13 n 圖像的運(yùn)動(dòng)特征什么是運(yùn)動(dòng)圖像？ 與靜態(tài)圖像相比，動(dòng)態(tài)圖像的基本特征就是灰度的變化。 在對(duì)某一場(chǎng)景拍攝到的圖像序列中，相鄰兩幀圖像間至少有一部 分像元的灰度發(fā)生了變化，這個(gè)圖像序列就稱為動(dòng)態(tài)圖像序列。 與單幅圖像不同，連續(xù)采集的圖像序列能反映場(chǎng)景中目標(biāo)的運(yùn)動(dòng) 和場(chǎng)景的變化。場(chǎng)景的變化和景物的運(yùn)動(dòng)在序列圖像中表現(xiàn)得比 較明顯和清楚。 序列圖像是由一系列時(shí)間上連續(xù)的二維圖像組成的，或者說是一 類三維圖像。與靜止圖像相比，序列圖像增加了時(shí)間變量，當(dāng)時(shí) 間變量取某個(gè)特定值時(shí)，就得到視頻圖像中的一幀圖像。

9、圖像序列和運(yùn)動(dòng)信息有密切的聯(lián)系，將從運(yùn)動(dòng)場(chǎng)景獲得的序列圖 像或者在序列中目標(biāo)位置發(fā)生變化的圖像稱為運(yùn)動(dòng)圖像。 14 舉例：運(yùn)動(dòng)與視覺實(shí)驗(yàn) n1959年著名心理學(xué)家Gibson在美國(guó)康乃爾大學(xué)對(duì)自然人進(jìn)行 了運(yùn)動(dòng)知覺實(shí)驗(yàn)：在兩張透明的膠片上繪出相似的隨機(jī)點(diǎn)圖 圖案。一張靜止地垂直放置，人們什么也區(qū)分不出來；而另 一張也是垂直放置，但是讓其沿水平方向進(jìn)行平移運(yùn)動(dòng)。這 時(shí)奇跡出現(xiàn)了，人們?cè)谝苿?dòng)著的膠片上區(qū)分出了有兩塊遠(yuǎn)近 不同的平面，隨機(jī)點(diǎn)圖表示的場(chǎng)景被輕易地分割開來了。這 證實(shí)了一些在靜止時(shí)不易被察覺的形狀當(dāng)移動(dòng)時(shí)就可以被知 覺，這與人們通過自身包括研究的運(yùn)動(dòng)實(shí)現(xiàn)形狀知覺是異曲 同工的。 n靜止圖

10、像只是空間位置的函數(shù)，它與時(shí)間變化無關(guān)。在現(xiàn)有 條件下，用單幅靜止圖像無法表達(dá)物體和自身的運(yùn)動(dòng)。運(yùn)動(dòng) 圖像通常是一種按時(shí)間順序排列的瞬間采樣圖像序列。 n圖像中的變化可能是由于目標(biāo)物體的運(yùn)動(dòng)，也可能是相機(jī)的 運(yùn)動(dòng)、光源的變化、物體結(jié)構(gòu)的變化等等。 15 全局運(yùn)動(dòng)和局部運(yùn)動(dòng)各有其自身特點(diǎn)。 全局運(yùn)動(dòng)具有整體性強(qiáng)、比較規(guī)律的特點(diǎn)，可能僅用一些特 征或一組含若干個(gè)參數(shù)的模型就可表達(dá)。 局部運(yùn)動(dòng)比較復(fù)雜，特別是在多目標(biāo)的情況下，各目標(biāo)可能 做不同運(yùn)動(dòng)，目標(biāo)的運(yùn)動(dòng)僅在空間小范圍表現(xiàn)出一定的一致 性，因此比較精細(xì)的方法才能夠準(zhǔn)確地表達(dá)目標(biāo)的運(yùn)動(dòng)。 下面就具體介紹一下各種運(yùn)動(dòng)的表達(dá)形式和方法，常用的有以 下

11、幾種： 1運(yùn)動(dòng)矢量場(chǎng)表達(dá) 2運(yùn)動(dòng)直方圖表達(dá) 3運(yùn)動(dòng)軌跡表達(dá) 運(yùn)動(dòng)的表達(dá) 16 1運(yùn)動(dòng)矢量場(chǎng)表達(dá) 運(yùn)動(dòng)既有大小，也有方向，所以需要用矢量來表示，為表示 瞬時(shí)運(yùn)動(dòng)矢量場(chǎng)，將每個(gè)運(yùn)動(dòng)矢量用無箭頭的線段來表示， 線段長(zhǎng)度與矢量大小及運(yùn)動(dòng)速度成正比，并疊加在原始圖像 上。 2運(yùn)動(dòng)直方圖表達(dá) 這種方法的基本思路是僅保留運(yùn)動(dòng)方向信息以減少數(shù)據(jù)量，將 0360度的運(yùn)動(dòng)方向劃分為若干間隔，把用矢量場(chǎng)上每一點(diǎn) 的數(shù)據(jù)歸到與它的運(yùn)動(dòng)方向最為接近的間隔。 3運(yùn)動(dòng)軌跡表達(dá) 目標(biāo)的運(yùn)動(dòng)軌跡表達(dá)了目標(biāo)在運(yùn)動(dòng)過程中的位置信息，由一 系列關(guān)鍵點(diǎn)和一組在這些關(guān)鍵點(diǎn)間進(jìn)行插值的函數(shù)構(gòu)成。關(guān) 鍵點(diǎn)用2D或3D坐標(biāo)值來表達(dá)，插值函數(shù)分

12、別對(duì)應(yīng)各坐標(biāo)軸 （水平、垂直和深度方向）。 17 x(t) A B C O t0t1 t2t3t4t 運(yùn)動(dòng)直方圖的表達(dá) 運(yùn)動(dòng)軌跡的表達(dá) 運(yùn)動(dòng)矢量場(chǎng)的表達(dá) 18 3.2 目標(biāo)檢測(cè)的基本概念與原理 目標(biāo)檢測(cè)的分類： 目標(biāo)檢測(cè)從目標(biāo)特性角度分為單幅靜止圖像檢測(cè)和運(yùn) 動(dòng)目標(biāo)檢測(cè)；運(yùn)動(dòng)目標(biāo)檢測(cè)又分為靜止背景下的運(yùn)動(dòng) 目標(biāo)檢測(cè)和運(yùn)動(dòng)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)。 靜止目標(biāo)檢測(cè)通常是利用單幀圖像信息，對(duì)于大目標(biāo)， 可以利用圖像分割或特征匹配等方法提取出目標(biāo)，但 對(duì)于低對(duì)比度、低信噪比的小目標(biāo)，利用單幀信息很 難檢測(cè)出有效目標(biāo)。 運(yùn)動(dòng)目標(biāo)可以利用圖像的運(yùn)動(dòng)序列信息，與單幅圖像 不同，連續(xù)采集的圖像序列能反映場(chǎng)景中目標(biāo)

13、的運(yùn)動(dòng) 和場(chǎng)景的變化情況，更有利于小目標(biāo)的探測(cè)。 19 第一類是基于像素分析的方法，主要有基于圖像分割的方法、 幀間差分方法、相關(guān)算法、光流法、濾波法等； 第二類是基于特征匹配的方法，主要利用的特征有：角點(diǎn)、直 邊緣、曲邊緣等局部特征和形心、表面積、周長(zhǎng)、投影特征 等全局特征，還有SIFT、SURF等； 第三類是基于頻域的方法，較典型的是基于傅立葉變換和基于 小波變換的方法。 第四類是基于識(shí)別的檢測(cè)方法，較典型的是基于邊緣碎片模型 的目標(biāo)檢測(cè)識(shí)別方法，基于Adaboost的目標(biāo)檢測(cè)識(shí)別方法等； n常用的目標(biāo)檢測(cè)方法分為四類： 20 3.3 利用圖像分割技術(shù)的目標(biāo)檢測(cè)方法 圖像分割的目的： n把

14、圖像分解成構(gòu)成它的部件和對(duì)象； n有選擇性地定位感興趣對(duì)象在圖像中的位置和范圍。 圖像分割的基本思路： 從簡(jiǎn)到難，逐級(jí)分割 n控制背景環(huán)境，降低分割難度 n注意力集中在感興趣的對(duì)象，縮小不相干圖像成分的干擾。 圖像分割的基本方法： n基于閾值的圖像分割 基于形態(tài)學(xué)的圖像分割 n基于邊緣的圖像分割 基于區(qū)域的圖像分割 21 提取輪廓 車牌定位 車牌識(shí)別 圖像分割的基本策略： n把像素按灰度劃分到各個(gè)物體對(duì)應(yīng)的區(qū)域中去； n先確定邊緣像素點(diǎn)，然后將它們連接起來構(gòu)成所需的邊界； n確定存在于區(qū)域間的邊界； 22 圖像分割定義： 將數(shù)字圖像劃分成與實(shí)際目標(biāo)或區(qū)域緊密相關(guān)的 若干區(qū)域的過程。 圖像分割與

15、整個(gè)圖像分析系統(tǒng)的關(guān)系 預(yù)處理預(yù)處理圖像分割圖像分割特征提取特征提取目標(biāo)識(shí)別目標(biāo)識(shí)別 目標(biāo)跟蹤目標(biāo)跟蹤 目標(biāo)測(cè)量目標(biāo)測(cè)量 23 3.3.1基于閾值的圖像分割方法 閾值分割是一種廣泛使用的圖像分割技術(shù)，它對(duì)目標(biāo)與背 景有較強(qiáng)對(duì)比的景物的分割特別有用。它計(jì)算簡(jiǎn)單，而且總能 用封閉而且連通的邊界定義不交疊的區(qū)域。它利用了圖像中要 提取的目標(biāo)與其背景在灰度特性上的差異，把圖像視為具有不 同灰度級(jí)的兩類區(qū)域（目標(biāo)和背景）的組合。 0 255 255 0 255 0 255 255 255 首先要確定一個(gè)合適的閾值T（閾值選定的好 壞是成敗的關(guān)鍵） 將灰度大于等于閾值的像素作為物體或背景， 生成一個(gè)二值圖

16、像 If f(x,y) T set 255 Else set 0 在四鄰域中有背景的像素，即是邊界像素。 24 、幾種常用的基于閾值分割的檢測(cè)方法 n直方圖分割法 n基于灰度期望值的閾值分割 n最大類間方差閾值分割 n循環(huán)分割方法 n最大熵閾值分割 n基于模糊隸屬度的閾值分割 25 當(dāng)圖像的灰度直方圖為雙峰分布時(shí)，分割比 較容易，只須取其谷點(diǎn)作為門限值，就能將目標(biāo) 與背景分割開來。 u基于直方圖谷點(diǎn)門限的分割方法 1, , 0, fx yTH g x y fx yTH 26 應(yīng)用直方圖雙峰法來分割圖像,需要有一定的 圖像先驗(yàn)知識(shí),因?yàn)橥粋€(gè)直方圖可以對(duì)應(yīng)不同的 圖像,直方圖只表明圖像中各個(gè)灰度

17、級(jí)上有多少個(gè) 像素,并不能描述這些像素的位置信息。 因此只根據(jù)直方圖選擇閾值并不一定合適，還 要結(jié)合圖像的內(nèi)容來確定。此外，該方法不適用于 單峰或多峰直方圖的情況。 27 u 最大類間方差閾值分割 最大類間方差法由Ostu提出，是在最小二乘法原理的基礎(chǔ)上推 導(dǎo)得出，又叫大津閾值法。 設(shè)原始灰度圖像的灰度級(jí)為L(zhǎng)，灰度級(jí)為i的像素點(diǎn)數(shù)為 ， 圖像的全部像素為N,歸一化直方圖，則 1 0 1 L i i p i i n p N 0 0 t i i pt 1 1 1 1 L i i t pt 00 0 t i i iptt 1 1 1 1 1 L i i t t ip t i n 用閾值t將灰度級(jí)劃分

18、為兩類： 和 和 類的出現(xiàn)概率及均值分別為： 0 0,1,Ct 1 1,2,1CttL 1 C 0 C 28 和 的方差為： 類間方差為： 引入關(guān)于 的等價(jià)的判決準(zhǔn)則： 最佳閾值： t 1 C 0 C 0 2 0 0 2 0 /)( i t i pi 1 2 1 1 1 2 1 /)( i L ti pi 2222 00110110 2 ()()() ( )( ) ( )1( ) BTT w tt w tw t 2 ( ) B t )( max 10 * tArgt Lt 1 0 L i i ip 0 t i i tip ：是整體圖像的灰度平均值 ：是閾值為 時(shí)灰度平均值 * t 29 u 循

19、環(huán)分割方法 循環(huán)分割是由Ohlander等人提出的一種復(fù)雜圖像 的分割方法，這種方法首先根據(jù)圖像的全局直方圖， 將取了閾值后得到的區(qū)域看成是它的子圖像，再次對(duì) 各子圖像作直方圖選峰點(diǎn)及區(qū)域值，不斷重復(fù)上述過 程，直到找不到新的峰點(diǎn)或區(qū)域變得太小為止。在這 種循環(huán)中，每次選擇最“顯著”的峰，這種算法循環(huán) 利用不斷更新的子圖像直方圖，隨著循環(huán)次數(shù)的增加， 越來越細(xì)的考慮了圖像的局部特性，可以獲得精細(xì)的 分割。這種方法在分割紋理區(qū)域時(shí)也十分有效。 30 算法的實(shí)現(xiàn)步驟如下： a.求圖像的最大和最小灰度值 和 ，令閾值初值為： b.根據(jù)閾值將圖像分割成目標(biāo)和背景兩部分，求出兩部分的平均 灰度值 和 ：

20、 是圖像上 點(diǎn)的灰度值， 是點(diǎn) 的加權(quán)系數(shù)，一 般取 。 c.求出新的閾值： d.如果 ，則計(jì)算結(jié)束，否則轉(zhuǎn)到步驟b，繼續(xù)迭代。 l Z k Z 2 0 kl ZZ T A Z B Z k k TjiZ TjiZ A jiN jiNjiZ Z ),( ),( ),( ),(),( k k TjiZ TjiZ B jiN jiNjiZ Z ),( ),( ),( ),(),( ),(jiZ),(ji ),(jiN 1),(jiN ),(ji 1 kk TT 2 1 BA k ZZ T 31 u最大熵閾值分割 熵是平均信息量的表征，在數(shù)字圖像處理和模式識(shí)別上有很多 應(yīng)用。 對(duì)于數(shù)字圖像來說，隨機(jī)變

21、量可以是灰度級(jí)值、區(qū)域灰度、梯 度等特征?；叶鹊淖畲箪兀褪沁x擇一個(gè)閾值，使圖像用這個(gè) 閾值分割出的兩部分的一階統(tǒng)計(jì)的信息量最大。 設(shè) 為圖像中灰度級(jí) 的像素點(diǎn)數(shù)， 為灰度級(jí) 出現(xiàn)的概 率，則： 假設(shè)圖像中灰度級(jí)小于 的像素點(diǎn)構(gòu)成目標(biāo)區(qū)域A，灰度級(jí)大于 的像素點(diǎn)構(gòu)成目標(biāo)區(qū)域B，那么各概率在基本區(qū)域的分布分別 為： dxxpxpH)(lg)( i n ii i p Li NN n p i i , 2 , 1 1,2, it ppit (1)1,2, it ppittL A區(qū)：B區(qū)： t i it pp 1 t t 32 目標(biāo)區(qū)域和背景區(qū)域的熵分別定義為： 則熵函數(shù)定義為： 當(dāng)熵函數(shù)取得最大值時(shí)對(duì)

22、應(yīng)的灰度值就是所求的最佳閾值： tipppptH ti i tiA , 2 , 1)lg()()( LttipppptH ti i tiB , 2, 1)1 (lg)1 ()( t tL t t iiBA p HH p H ppHHt 1 )1 (lg)( tippH i iit , 2 , 1lg LippH i iiL , 2 , 1lg )(maxargt 33 、基于閾值分割的目標(biāo)位置計(jì)算 利用合適的閾值選取方法計(jì)算出整場(chǎng)圖像的分 割閾值，通過對(duì)圖像二值化實(shí)現(xiàn)目標(biāo)與背景分離， 分割出的全體目標(biāo)像元位置數(shù)據(jù)和目標(biāo)像元的總點(diǎn) 數(shù)，計(jì)算出目標(biāo)的重心位置或形心位置，也就是目 標(biāo)在攝像機(jī)靶面的位

23、置。重心或形心數(shù)據(jù)則作為下 一場(chǎng)的跟蹤數(shù)據(jù)；目標(biāo)的重心或形心相對(duì)于視場(chǎng)中 心的位置數(shù)據(jù)，則作為目標(biāo)的偏差數(shù)據(jù)，也就是脫 靶量。 34 基于圖像邊緣信息的分割方法是最容易,也是最 常用的一類圖像分割方法，邊緣標(biāo)示出圖像的灰度、 紋理、顏色等不連續(xù)的地方。下圖是基于邊緣的圖像 分割方法的檢測(cè)結(jié)果： 邊緣檢測(cè)的結(jié)果常常不能當(dāng)作圖像分割的結(jié)果，必須 進(jìn)一步處理，將邊緣點(diǎn)沿著邊界(輪廓)連起來。 噪聲 斷線 3.3.2 基于邊緣的圖像分割 35 、幾種常用的邊緣檢測(cè)方法 vRobert邊緣檢測(cè)算子 vPrewitt邊緣檢測(cè)算子 vSobel邊緣檢測(cè)算子 vLaplacian邊緣檢測(cè)算子 vLoG邊緣檢測(cè)

24、算子（ 也叫做Gauss-Laplacian算子 ） vCanny邊緣檢測(cè)算子 v改進(jìn)Sobel邊緣檢測(cè)算子 2 101 202 101 121 000 121 改進(jìn)后的改進(jìn)后的SobelSobel算子算子 36 3.3.3 基于區(qū)域的圖像分割 n前面的方法是尋找區(qū)域的邊界；本節(jié)的方法是直接構(gòu) 成區(qū)域。 n同質(zhì)性(灰度、顏色、紋理、形狀、模式)是區(qū)域的重 要特性。 n區(qū)域增長(zhǎng)的基本思想是：把圖像分成若干具有同質(zhì)性 的最大的區(qū)域。 n選擇什么特性來描述區(qū)域，對(duì)圖像分割的結(jié)果、復(fù)雜 程度、所用的先驗(yàn)知識(shí)的數(shù)量都有影響。 n區(qū)域增長(zhǎng)的方法：合并；分裂 ；分裂加合并 37 具體的算法實(shí)現(xiàn)： 確定一個(gè)初

25、始的分割區(qū)域，定義 同質(zhì)性準(zhǔn)則和分層的數(shù)據(jù)結(jié)構(gòu)； 如果任何區(qū)域R不均勻，就分裂成 四個(gè)子區(qū)域； 如果任何四個(gè)區(qū)域具有同質(zhì)的父 節(jié)點(diǎn)，就合并成一個(gè)區(qū)域； 任何兩個(gè)相鄰的區(qū)域灰度相似， 合并它們； 00 01 02 03 30 32 33 1 2 38 n區(qū)域合并是一個(gè)迭代過程，每一步都重新計(jì)算被擴(kuò)大 區(qū)域的物體成員隸屬關(guān)系并消除弱邊界。當(dāng)沒有可以 消除的弱邊界時(shí)，區(qū)域合并過程結(jié)束。這時(shí)圖像分割 也就完成了。檢查這個(gè)過程會(huì)使人感覺是一個(gè)物體內(nèi) 部不斷增長(zhǎng)，直到其邊界對(duì)應(yīng)于物體的真正邊界的過 程。 n區(qū)域增長(zhǎng)算法比一些簡(jiǎn)單算法的開銷大，但區(qū)域增長(zhǎng) 能夠直接利用圖像的若干性質(zhì)來決定最終邊界的位置。 一

26、般來說在得不到足夠的先驗(yàn)知識(shí)情況下，它在自然 景物的分割方面能夠顯示出最佳性能。 39 3.4 基于圖像匹配技術(shù)的目標(biāo)檢測(cè)算法 n基于圖像灰度的匹配算法 v絕對(duì)平衡搜索法 v歸一化互相關(guān)匹配 v圖像匹配的加速算法 n基于圖像特征的匹配算法 v目標(biāo)像素?cái)?shù)：符合目標(biāo)灰度分布的像素點(diǎn)總數(shù); v目標(biāo)均值：目標(biāo)像素點(diǎn)的灰度均值; v復(fù)雜度：邊界像素點(diǎn)數(shù)與總目標(biāo)像素點(diǎn)數(shù)的比值; 40 v長(zhǎng)寬比:目標(biāo)像素?cái)?shù)最多一行與最多一列的比值; v緊湊度:目標(biāo)像素?cái)?shù)與目標(biāo)長(zhǎng)、寬之比值。 v點(diǎn)、線等幾何形狀特征 v不變矩特征 v邊緣特征 v幅度、直方圖、頻率系數(shù) v基于相似性判據(jù)最優(yōu)化的方法 n基于核密度估計(jì)的mean

27、shift方法 n基于不變特征的匹配方法（SIFT、SURF等） n基于神經(jīng)網(wǎng)絡(luò)的方法 41 配準(zhǔn)過程中要注意的關(guān)鍵點(diǎn)： n特征空間的選擇 對(duì)于配準(zhǔn)圖像有許多特征可供選擇，例如：圖像本身的灰 度、邊緣、曲線、角點(diǎn)、直線交點(diǎn)、高曲率點(diǎn)，也可以是不 變矩、重心等。 n相似性測(cè)度的選擇 相似性測(cè)度的選擇是圖像配準(zhǔn)中最重要的步驟之一，它 決定如何確定匹配位置，其配準(zhǔn)的程度最后轉(zhuǎn)化為匹配或不 匹配。 n搜索空間與策略的選擇 搜索空間通常是要找到配準(zhǔn)的最佳位置的位置集，很多 情況下，減少測(cè)量的數(shù)量很重要，誤匹配位置越多，計(jì)算量 就越大，問題越嚴(yán)重。可以利用一些可得到的信息去掉不可 能匹配的搜索子空間，從而

28、減少計(jì)算量。 42 配準(zhǔn)的方法： n圖像配準(zhǔn)的一般做法是，首先在參考圖上選取以某一 目標(biāo)點(diǎn)為中心的圖像子塊，并稱它為圖像配準(zhǔn)的目標(biāo) 窗口，然后讓目標(biāo)窗口在待配準(zhǔn)圖上有秩序地移動(dòng)， 每移到一個(gè)位置，就把目標(biāo)窗口與待配準(zhǔn)圖的對(duì)應(yīng)部 分進(jìn)行相關(guān)比較，直到找到配準(zhǔn)位置為止。 N M M X N X 43 3.4.1 絕對(duì)平衡搜索法(ABS) ABS算法是利用模板圖像和待匹配圖像上的搜索 窗口之間的像素灰度值的差別，來表示二者的相關(guān) 性。如果差別小于預(yù)定的閾值認(rèn)為相關(guān)成功，否則 就認(rèn)為匹配失敗。這種方法的思路簡(jiǎn)單，實(shí)現(xiàn)方便， 但有明顯的局限性。由于不同的模板和圖像有不同 的背景灰度值和不同大小的搜索窗口

29、，所需的合適 的閾值也各不相同，很難事先選定一個(gè)合適的閾值； 另外模板圖像和待匹配圖像上由于光照等因素造成 的灰度差異也可能導(dǎo)致匹配失敗。 44 歸一化互相關(guān)匹配算法是一種經(jīng)典的匹配算法，經(jīng)常 寫為NC(Normalized Correlation)算法。通過計(jì)算模板 圖像和待匹配圖像的互相關(guān)值來確定匹配的程度?；?相關(guān)定義一般有如下兩種形式： M m N n M m N n M m N n jnimFnmT jnimFnmT jiNC 1111 22 11 ),(),( ),(),( ),( 11 22 1111 ( ( , )( , )( (,)(,) (, ) ( ( , )( , )(

30、 (,)(,) MN mn MNMN mnmn T mnT mn F m i n jF m i n j NCi j T mnT mnF m i n jF m i n j 3.4.2 歸一化互相關(guān)匹配 45 M m N n nmT NM nmT 11 ),( 1 ),( M m N n jnimF NM jnimF 11 ),( 1 ),( 其中： 上式 的值越大說明搜索圖上 位置與模板越相 似，當(dāng) 值為1時(shí)說明該位置即為匹配位置。 實(shí)際應(yīng)用中，常常因?yàn)榛鶞?zhǔn)圖和參考圖是不同時(shí)間或不 同相機(jī)拍攝的，因此兩者對(duì)應(yīng)像素的灰度值并不是絕對(duì)相等 的，因而找不到 值為1的位置，此時(shí)，只需要在搜索圖 中找到具

31、有最大 值的位置，則認(rèn)為該位置為最佳匹配位 置。 ),(jiNC ),(jiNC ),(ji NC NC 46 優(yōu)缺點(diǎn)： NC算法具有很高的準(zhǔn)確性和適應(yīng)性，不受灰度值的線性變換的 影響。但是它的相似度形成以模板存在的真實(shí)位置為中心的 平緩的峰，往往無法檢測(cè)到準(zhǔn)確的尖峰位置，很難確定模板 的準(zhǔn)確位置。 解決方案： 先對(duì)待匹配的圖像和模板作邊緣處理，當(dāng)圖像中像點(diǎn)高度相關(guān) 時(shí)，兩幅圖像的相關(guān)性實(shí)際是集中在它們輪廓信息的相關(guān)性, 從而提高了目標(biāo)位置定位的精度，這種方法適用于目標(biāo)輪廓 特征較明顯的情況。下面是對(duì)圖像直接進(jìn)行相關(guān)匹配和先對(duì) 待匹配圖像和模板用拉普拉斯微分算子 作卷積運(yùn)算 再進(jìn)行相關(guān)匹配的實(shí)驗(yàn)結(jié)果： 121 242 121 47 3.4.4 直方圖統(tǒng)計(jì)匹配 直方圖是一種統(tǒng)計(jì)后得出的數(shù)據(jù)，直方圖反映了 圖像中像素的分布特性，因而能夠描述出圖像的一些 統(tǒng)計(jì)特征（均值、方差、互相關(guān)值等），根據(jù)這些統(tǒng) 計(jì)特征可以判斷兩幅圖像是否匹配。由于直方圖只反 映了圖像的一種統(tǒng)計(jì)特征，沒有精確的反映出圖像中 某一特征像素所特有的位置信息，如兩幅完全不同的 圖像卻可能擁有完全相同的直方圖統(tǒng)計(jì)特征。因此， 直方圖匹