《數(shù)字圖像處理教程（OPENCV版）》 課件 Ch12 目標(biāo)識(shí)別

數(shù)字圖像處理教程第12章目標(biāo)識(shí)別目標(biāo)識(shí)別對(duì)特定目標(biāo)進(jìn)行有效描述，該描述能將目標(biāo)與圖像中其它區(qū)域通過某種方式區(qū)分目標(biāo)可以用模式來表示。模式指對(duì)事物特征或?qū)傩缘亩炕蚨ㄐ悦枋瞿Ｊ筋愔妇哂心承┕残缘囊唤M模式常用的模式表示方法有用于定量描述的向量、用于定性描述的串和樹12.1基于決策理論的模式識(shí)別12.1基于決策理論的模式識(shí)別

12.1.1基于匹配的決策

12.1.1基于匹配的決策

12.1.1基于匹配的決策模板匹配模板匹配，用于在圖像中發(fā)現(xiàn)與給定模板相似的區(qū)域、確定圖像中目標(biāo)位置以及與模板相似度等，進(jìn)而在圖像中識(shí)別出目標(biāo)計(jì)算量小處理速度快，適合對(duì)大小固定、方向固定目標(biāo)進(jìn)行識(shí)別12.1.1基于匹配的決策

12.1.1基于匹配的決策相關(guān)匹配最匹配區(qū)域的左上角12.1.1基于匹配的決策模板匹配不能檢測(cè)到目標(biāo)的大小變化和角度旋轉(zhuǎn)。對(duì)于大小和方向存在變化的目標(biāo)，模板匹配不是一個(gè)高效的識(shí)別方法。12.1.2統(tǒng)計(jì)分類器

12.1.2統(tǒng)計(jì)分類器

12.1.2統(tǒng)計(jì)分類器

12.1.2統(tǒng)計(jì)分類器

12.1.2統(tǒng)計(jì)分類器

12.1.2統(tǒng)計(jì)分類器

12.1.2統(tǒng)計(jì)分類器

12.1.3神經(jīng)網(wǎng)絡(luò)采用非線性計(jì)算，通過對(duì)訓(xùn)練集中已知所屬模式類的各模式進(jìn)行學(xué)習(xí)計(jì)算，得到誤差較小的輸入與輸出之間復(fù)雜關(guān)系并根據(jù)訓(xùn)練得到的決策對(duì)未知模式判決其所屬類別12.1.3神經(jīng)網(wǎng)絡(luò)

12.1.3神經(jīng)網(wǎng)絡(luò)神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本單元，接收來自外部的不同刺激，在神經(jīng)元細(xì)胞內(nèi)對(duì)不同刺激產(chǎn)生不同強(qiáng)度反應(yīng)，綜合為一個(gè)輸出權(quán)重影響神經(jīng)元對(duì)輸入信息敏感程度，通過控制權(quán)重形成識(shí)別偏好偏置某種程度上代表對(duì)信息敏感度激活函數(shù)一般采用非線性，目的是在決策中加入非線性因素以應(yīng)對(duì)線性計(jì)算無法解決的問題12.1.3神經(jīng)網(wǎng)絡(luò)隱藏層用于提取特征，將輸入信息映射到特征空間不同網(wǎng)絡(luò)隱藏層結(jié)構(gòu)不同隱藏層基本組成包含卷積層和池化層12.1.3神經(jīng)網(wǎng)絡(luò)

12.1.3神經(jīng)網(wǎng)絡(luò)池化層不改變輸入矩陣的深度，僅用于縮小矩陣，達(dá)到提取大尺度特征的目的池化層減少后續(xù)網(wǎng)絡(luò)節(jié)點(diǎn)個(gè)數(shù)，加快處理速度用得最多的池化處理是最大值池化，此外還有平均池化12.1.3神經(jīng)網(wǎng)絡(luò)輸出層將前面學(xué)到各種特征映射到樣本標(biāo)記空間，輸出分類信息輸出層的第一個(gè)卷積層也稱為平坦(flatten)層，把隱藏層輸出的多維信息通過卷積一維化數(shù)據(jù)一維化后各層神經(jīng)元全連接(fullyconnected)，對(duì)特征進(jìn)行重新擬合，減少特征信息的丟失12.2特征點(diǎn)匹配所有特征點(diǎn)用相同類型的描述子描述特征匹配包括二個(gè)方面不同圖像中特征點(diǎn)相互匹配組成匹配對(duì)從上述點(diǎn)對(duì)中選出真實(shí)的匹配對(duì)，剔除虛假匹配對(duì)12.2.1特征點(diǎn)匹配基礎(chǔ)

12.2.1特征點(diǎn)匹配基礎(chǔ)

12.2.1特征點(diǎn)匹配基礎(chǔ)

12.2.2匹配一致性RANSAC算法最小二乘法容易受到錯(cuò)誤匹配的干擾隨機(jī)抽樣一致性（randomsampleconsensus,RANSAC）算法對(duì)匹配對(duì)進(jìn)行篩選，通過迭代運(yùn)算剔除不符合最優(yōu)模型的匹配對(duì)（外點(diǎn)，outliners）12.2.2匹配一致性

12.2.2匹配一致性

12.2.2匹配一致性

12.2.2匹配一致性RANSAC算法RANSAC方法簡單通用，對(duì)噪聲干擾魯棒性好能夠廣泛應(yīng)用于多種模型，相比同樣采用投票機(jī)制的Hough變換，RANSAC能夠同時(shí)求解更多參數(shù)當(dāng)外點(diǎn)占比較小時(shí)只需幾次迭代就可以找出真正的模型參數(shù)，當(dāng)外點(diǎn)占比較高時(shí)需要的迭代次數(shù)急劇增加12.2.2匹配一致性

錯(cuò)誤的匹配周邊沒有支撐正確的匹配周邊有很多類似的匹配（支撐）12.2.2匹配一致性GMS算法基本步驟將二幅圖像分別分為互不重疊的網(wǎng)格區(qū)域?qū)D1中每個(gè)網(wǎng)格，在圖2中找到與其匹配最多的網(wǎng)格在這二個(gè)網(wǎng)格周圍，檢查支撐匹配對(duì)數(shù)量，大于閾值說明上步的匹配是真實(shí)的網(wǎng)格網(wǎng)格及其鄰域匹配網(wǎng)格12.2.2匹配一致性

12.3運(yùn)動(dòng)目標(biāo)跟蹤12.3.1光流法通過光流估計(jì)檢測(cè)和跟蹤運(yùn)動(dòng)目標(biāo)光流是目標(biāo)在連續(xù)二幀間的顯著運(yùn)動(dòng)模式，是關(guān)于像素點(diǎn)的瞬時(shí)運(yùn)動(dòng)速度的二維向量光流中的每一維表示連續(xù)二幀間圖像亮度在一個(gè)方向上的變化，可以看成具有某亮度值的像素由于運(yùn)動(dòng)而產(chǎn)生的瞬時(shí)速度場12.3.1光流法光流估計(jì)利用時(shí)間上相鄰的兩幀圖像得到點(diǎn)的運(yùn)動(dòng)，估計(jì)可基于梯度、基于匹配、基于能量、基于相位等進(jìn)行依據(jù)估計(jì)中所用點(diǎn)的疏密程度，光流估計(jì)分為稀疏估計(jì)和稠密估計(jì)稀疏估計(jì)需要指定一組特征點(diǎn)進(jìn)行跟蹤稠密估計(jì)對(duì)整幅圖像或圖像某一區(qū)域進(jìn)行逐點(diǎn)匹配的圖像配準(zhǔn)方法，計(jì)算所有點(diǎn)的偏移量，從而形成一個(gè)稠密的光流場12.3.1光流法

12.3.1光流法

光流方程12.3.1光流法

光流方程12.3.1光流法

12.3.1光流法

12.3.1光流法

12.3.1光流法

12.3.1光流法

12.3.1光流法

12.3.1光流法

12.3.1光流法12.3.2meanshift跟蹤

12.3.2meanshift跟蹤

12.3.2meanshift跟蹤

12.3.2meanshift跟蹤

12.3.2meanshift跟蹤

12.3.2meanshift跟蹤

只有這項(xiàng)與中心位置y有關(guān)，12.3.2meanshift跟蹤12.3.2meanshift跟蹤

12.3.2meanshift跟蹤

12.3.3Camshift跟蹤對(duì)meanshift的改進(jìn)Meanshift跟蹤中候選區(qū)大小固定，Camshift跟蹤算法能夠自適應(yīng)調(diào)整候選區(qū)大小在HSV空間進(jìn)行，根據(jù)確定目標(biāo)直方圖構(gòu)建候選區(qū)的色彩概率圖，采用修改的meanshift算法計(jì)算跟蹤窗口中心、并根據(jù)統(tǒng)計(jì)矩修改跟蹤窗口尺寸至合理大小12.3.3Camshift跟蹤

12.3.3Camshift跟蹤

12.3.3Camshift跟蹤

12.3.3Camshift跟蹤C(jī)amshift跟蹤步驟（續(xù)3）設(shè)置在下一幀跟蹤目標(biāo)的初始化參數(shù)返回步驟3，直到所有幀跟蹤完畢12.3.3Camshift跟蹤C(jī)amShift算法在計(jì)算直方圖時(shí)沒有采用meanshift的核函數(shù)加權(quán)方式，區(qū)域內(nèi)的各像素點(diǎn)權(quán)重相同遠(yuǎn)離中心的非目標(biāo)像素的影響力沒