計(jì)算機(jī)視覺(jué)三維測(cè)量與建模 課件 【ch03】影像特征提取表達(dá)

第三章計(jì)算機(jī)視覺(jué)三維測(cè)量與建模影像特征提取表達(dá)南京航空航天大學(xué)研究生教育教學(xué)改革專項(xiàng)（優(yōu)質(zhì)教學(xué)資源建設(shè)）項(xiàng)目資助01影像特征的基本概念】9影像的特征通常有多種表達(dá)方式，這些方式從各自不同的角度刻畫了該特征的某些性質(zhì)。影像問(wèn)的像素點(diǎn)級(jí)別的匹配任務(wù)可以大致分為以特征點(diǎn)為對(duì)象的稀疏匹配和逐像素關(guān)聯(lián)的密集匹配兩類。在像素點(diǎn)級(jí)別之上，還有高級(jí)特征匹配，比如線特征匹配和面特征匹配。最后，語(yǔ)義型的對(duì)象級(jí)別匹配則是在關(guān)聯(lián)上下文情境的基礎(chǔ)上實(shí)現(xiàn)的一種高級(jí)匹配。影像特征的基本概念】9通常一個(gè)典型的特征匹配過(guò)程可以概括為三步：特征提取、特征描述和特征匹配。特征提取的目的是找到每一幅影像中具有特殊性質(zhì)可以獨(dú)立辨識(shí)的點(diǎn)、線或面等元素。針對(duì)點(diǎn)和線的提取算子有很多，而對(duì)于面特征的提取和表達(dá)研究則相對(duì)較少。影像特征的基本概念01特征提取的基本要求特異性，即特征點(diǎn)所在的位置應(yīng)該呈現(xiàn)出區(qū)別于非特征點(diǎn)的明顯特性，比如影像中的目標(biāo)物邊緣像素具有較大的亮度梯度變化的位置?？申P(guān)聯(lián)性，即在不同視角的影像中，對(duì)應(yīng)同一個(gè)場(chǎng)景點(diǎn)的特征點(diǎn)應(yīng)該能被重復(fù)檢測(cè)到，并具備在影像之間相互匹配關(guān)聯(lián)的能力。穩(wěn)定性，這主要是指特征點(diǎn)的提取位置精度以及其在影像中的分散程度在數(shù)學(xué)上具有穩(wěn)定的可表達(dá)能力。123影像特征的基本概念02特征描述的基本要求特征描述子應(yīng)滿足的基本要求包括：唯一性，即不同位置的特征點(diǎn)的描達(dá)結(jié)果應(yīng)顯著不同，否則在進(jìn)行特征匹配時(shí)，很容易形成匹配歧義。獨(dú)立性，即當(dāng)使用高維向量作為描述子的數(shù)學(xué)表達(dá)時(shí)，其特征向量的各個(gè)維度間應(yīng)該保持非相關(guān)的獨(dú)立性，否則可以用降維算法對(duì)特征向量進(jìn)行降維。影像特征的基本概念02特征描述的基本要求穩(wěn)定性，即在不滿足光照恒?；騽傂越Y(jié)構(gòu)等預(yù)設(shè)的假設(shè)條件時(shí)，特征描述子仍能夠保證獲得相似的結(jié)果。不變性，即在不同影像中，同名點(diǎn)對(duì)應(yīng)的特征描述子能夠適應(yīng)尺度、平移、旋轉(zhuǎn)等變換，反映出相同或相似的數(shù)值。影像特征的基本概念】9影像的局部特征的內(nèi)涵是影像局部統(tǒng)計(jì)，即使是一些全局特征表達(dá)的算法，也需要使用局部統(tǒng)計(jì)信息作為算法的基礎(chǔ)組成。局部統(tǒng)計(jì)的前提是需要定義一個(gè)局部的信息分析區(qū)域，即像素鄰域范圍。像素的鄰域是一個(gè)緊湊的、簡(jiǎn)單連通的影像平面空間域子集，如圖3.1所示。影像特征的基本概念02邊緣和線特征提取01Roberts交叉算子邊緣和線特征提取Prewitt算子02邊緣和線特征提取Sobel算子03邊緣和線特征提取Laplacian算子04邊緣和線特征提取（1）Roberts交叉算子由于是交叉梯度算子，它對(duì)邊緣正、負(fù)45°較多的影像提取邊緣較為明顯，但像素的定位準(zhǔn)確率較差。（2）Prewitt算子對(duì)灰度漸變的影像邊緣的提取效果較好，然而缺乏對(duì)距離權(quán)重的考感。（3）Sobel算子考慮了距離權(quán)重的影響，對(duì)噪聲較多的圖像的處理效果更好。Sobel算子的計(jì)算速度比Roberts交叉算子慢，但其較大的卷積核使翰入影像更平滑，從而降低了算子對(duì)噪聲的敏感度。與Roberts交叉算子相比，Sobel算子通常也會(huì)為類似的邊緣生成更高的輸出值。（4）Laplacian算子對(duì)噪聲比較敏感，由于其算法可能會(huì)出現(xiàn)雙像素邊界，因此常用來(lái)判斷邊緣像素位于圖像的明區(qū)還是暗區(qū)。梯度算子應(yīng)用的對(duì)比舉例05邊緣和線特征提取首先對(duì)待處理的影像進(jìn)行高斯濾波平滑處理，去除影像中的高斯噪聲，有效抑制高斯噪聲這樣的高頻分量。高斯°波就是對(duì)整幅影像進(jìn)行加權(quán)平均的過(guò)程，每個(gè)像素點(diǎn)的值都由其本身和鄰域內(nèi)的其他像素灰度值經(jīng)過(guò)加權(quán)平均后得到。例如，使用3x3的高斯模板加權(quán)平均公式如下：01Canny算法的具體實(shí)現(xiàn)過(guò)程如下。02在高斯濾波后，計(jì)算像素的梯度幅值和具體方向。該步驟可選用的算子包括Sobel算子、Prewitt算子、Roberts交叉算子等。通常使用較多的是Sobel算子。邊緣和線特征提取進(jìn)行非極大值抑制。沿著梯度方向?qū)Ψ颠M(jìn)行非極大值抑制，對(duì)提取出的梯度幅值進(jìn)行網(wǎng)值過(guò)濾。具體采用雙閾值技術(shù)進(jìn)行邊緣遲滯，設(shè)立高、低雙閱值，對(duì)應(yīng)進(jìn)行強(qiáng)邊緣和弱邊緣像索的初步劃分。Canny算法的具體實(shí)現(xiàn)過(guò)程如下。用雙網(wǎng)值算法檢測(cè)。選取系數(shù)高網(wǎng)值在和低值左，比率為2:1或3:1。對(duì)邊緣點(diǎn)像素使用8連通區(qū)域進(jìn)行進(jìn)一步確認(rèn)。如果存在連續(xù)臨接的強(qiáng)邊緣像素，則將其確定為輸出邊緣；如果弱邊緣與強(qiáng)邊緣臨接，則弱邊緣同樣被輸出為邊緣；如果弱邊緣像素或強(qiáng)邊緣像素是孤立存在的，則拋棄這些邊緣像素。030405邊緣和線特征提取Snake（ActiveContourModels）邊緣提取模型是KassM于1987年提出的。它可以從比較復(fù)雜的影像中提出感興趣的目標(biāo)輪廓，并且能高效地跟蹤目標(biāo)區(qū)域或者物體的運(yùn)動(dòng)，因此在醫(yī)學(xué)領(lǐng)域中得到廣泛應(yīng)用。如式（3.16）所示，在處理局部間斷的邊緣時(shí)，提取效果比傳統(tǒng)輪廓提取方法的效果好。邊緣和線特征提取邊緣和線特征提取邊緣和線特征提取霍夫變換直線檢測(cè)的完整步驟如下。影像預(yù)處理，包括將彩色影像轉(zhuǎn)換為灰度圖，使用一定的平滑濾波器對(duì)高頻噪聲進(jìn)行濾波去噪。進(jìn)行邊緣像素提取，可以使用Laplacian算子、Canny算子或者Sobel算子等方法，然后對(duì)邊緣提取的像素影像進(jìn)行二值化。二值化的影像的非零點(diǎn)映射到霍夫變換參數(shù)空間，在參數(shù)空間中記錄并存儲(chǔ)落在參數(shù)位置的點(diǎn)的個(gè)數(shù)。根據(jù)統(tǒng)計(jì)網(wǎng)值進(jìn)行判斷，當(dāng)某一參數(shù)位登的落入點(diǎn)個(gè)數(shù)大于某個(gè)國(guó)值時(shí)，這里即為潛在的直線參數(shù)。使用非極大值抑制方法在局部范圍內(nèi)取極大值，過(guò)濾干擾直線。邊緣和線特征提取03點(diǎn)特征提取】9Harris角點(diǎn)是一種基于灰度影像的角點(diǎn)檢測(cè)算法，因此在檢測(cè)之前要將彩色影像轉(zhuǎn)換為灰度影像。Harris算法對(duì)角點(diǎn)做了一個(gè)合理的定義，即在一個(gè)固定大小的窗口內(nèi)對(duì)窗口內(nèi)的像素求和，如果在向任何方向移動(dòng)后像素值都發(fā)生較大變化，則該位置即為角點(diǎn)。如果只在一個(gè)方向上發(fā)生巨大變化，那么它很可能是一個(gè)直線的邊緣，只有當(dāng)它在所有方向變化巨大時(shí)才能被認(rèn)為是角點(diǎn)，那么變化多大才能算是巨大變化，這決定了檢測(cè)出的角點(diǎn)質(zhì)量。點(diǎn)特征提取】9Harris角點(diǎn)提取的流程為：（1）將原始圖像轉(zhuǎn)換為灰度影像。（2）應(yīng)用高斯濾波器來(lái)乎滑噪聲。（3）應(yīng)用Sobel算子尋找灰度圖像中每個(gè)像素的×方向和，方向的梯度值。（4）對(duì)于灰度圖像中的每個(gè)像素力，考慮其周圍有一個(gè)3x3的窗口，并計(jì)算角點(diǎn)強(qiáng)度函數(shù)，稱之為Harris分?jǐn)?shù)。（5）查找超過(guò)某個(gè)國(guó)值并且是某個(gè)窗口中的局部最大值的像素（以防止重復(fù)特征）。（6）對(duì)于滿足第（5）條標(biāo)準(zhǔn)的每個(gè)像素，計(jì)算一個(gè)特征描述符。點(diǎn)特征提取FAST角點(diǎn)提取算法具有速度快、點(diǎn)數(shù)目豐富、精度高的優(yōu)點(diǎn)，成為近年來(lái)備受關(guān)注的基于模板和機(jī)器學(xué)習(xí)的角點(diǎn)檢測(cè)方法。FAST角點(diǎn)提取的主要算法步驟如下：

以目標(biāo)像素力為中心，在半徑為了的圓上提取出16個(gè)像素點(diǎn)的亮度值

(p1,p2,-,pl6)

定義一個(gè)國(guó)值。計(jì)算小p9、p5、p13與中心的亮度值的差，若它們的絕對(duì)值有至少了個(gè)超過(guò)亮度國(guó)值，則將p當(dāng)作候選角點(diǎn)，再進(jìn)行下一步考察；否則，排除其是角點(diǎn)的可能性。點(diǎn)特征提取點(diǎn)特征提取01SIFT特征提取算法首先在像素尺度空間計(jì)算像素點(diǎn)上的交度值的梯度影像；然后，提取出具有獨(dú)立性和穩(wěn)定性的特征點(diǎn)，并以SIFT描還符進(jìn)行特征編碼，來(lái)適應(yīng)影像的空間尺度變化和旋轉(zhuǎn)變化等影響。下面闡達(dá)SIFT特征提取算法的實(shí)現(xiàn)步驟。首先構(gòu)建尺度空間。點(diǎn)特征提取02為了檢測(cè)D(X,Y,Z)的局部最大值和最小值，將每個(gè)采樣點(diǎn)與當(dāng)前影像中的8個(gè)鄰居以及上下比例中的9個(gè)鄰居（共26個(gè)鄰居）進(jìn)行比較。特征點(diǎn)定位03特征點(diǎn)過(guò)游特征點(diǎn)過(guò)濾就是將第2步檢測(cè)到的特征點(diǎn)中曲率不對(duì)稱的點(diǎn)和對(duì)比度低、不穩(wěn)定的點(diǎn)過(guò)潔掉，這樣做的目的是提高特征點(diǎn)的抗噪性能和匹配的穩(wěn)定性。04確定特征點(diǎn)的方向點(diǎn)特征提取特征描述符的生成大致有三個(gè)步驟：①校正旋轉(zhuǎn)主方向，確保旋轉(zhuǎn)不變性。②生成特征描述子，最終形成一個(gè)128維的特征向量。③歸一化處理，將特征向量長(zhǎng)度進(jìn)行歸一化處理，進(jìn)一步去除光照的影響。特征描述。02點(diǎn)特征提取SURF特征提取算法是在SIFT特征提取算法的基礎(chǔ)上加以改進(jìn)的一種特征提取算法，SURF特征提取的步驟如下。點(diǎn)特征提取SURF特征提取算法是在SIFT特征提取算法的基礎(chǔ)上加以改進(jìn)的一種特征提取算法，SURF特征提取的步驟如下。將經(jīng)過(guò)Hessian矩陣處理的每個(gè)像素點(diǎn)與二維影像空間和尺度空間鄰域內(nèi)的26個(gè)點(diǎn)進(jìn)行比較，初步定位出關(guān)鍵點(diǎn)，再經(jīng)過(guò)濾除能量比較弱的關(guān)鍵點(diǎn)以及錯(cuò)誤定位的關(guān)鍵點(diǎn)，篩選出最終的穩(wěn)定特征點(diǎn)。點(diǎn)特征提取在SURF特征提取算法中，也需要給每個(gè)特征點(diǎn)分配一個(gè)主方向，這樣才能確保特征點(diǎn)具有旋轉(zhuǎn)不變性。采用的是統(tǒng)計(jì)特征點(diǎn)園形鄰域內(nèi)的Haar小波特征。以特征點(diǎn)為中心，計(jì)算半徑為6s（s為特征點(diǎn)所在的尺度值）的圓形鄰域內(nèi)的點(diǎn)在x、y方向的Haar小波（Haar小波的邊長(zhǎng)取4s）響應(yīng)。特征點(diǎn)主方向分配點(diǎn)特征提取SURF特征描述子。在SIFT算法中，提取特征點(diǎn)周圍4×4個(gè)區(qū)域塊，統(tǒng)計(jì)每小塊內(nèi)的8個(gè)梯度方向，用這4×4×8=128維向量作為SIFT特征的描述子。BRIEF特征描述子。由于通過(guò)二進(jìn)制位的異或操作（XOR運(yùn)算）和位計(jì)數(shù)，可以非常有效地計(jì)算漢明距離，因此在計(jì)算速度方面，BRIEF特征描達(dá)方法很容易勝過(guò)其他描述符。點(diǎn)特征提取12oFAST特征提取ORB的特征提取算法稱為OFAST，顧名思義，就是在FAST算法的基礎(chǔ)上加入方向信息，簡(jiǎn)單來(lái)說(shuō)就是先用FAST算法檢測(cè)出特征點(diǎn)，再給該特征點(diǎn)定義一個(gè)方向，從而實(shí)現(xiàn)特征點(diǎn)的旋轉(zhuǎn)不變性。rBRIEF特征描述在找到關(guān)鍵點(diǎn)并為其分配方向后，使用修改后的BRIEF版本創(chuàng)建特征向量，無(wú)論對(duì)象的方向如何，它都可以為關(guān)鍵點(diǎn)創(chuàng)建相同的向量，使得ORB算法具有旋轉(zhuǎn)不變性，意味著它可以在朝著任何角度旋轉(zhuǎn)的影像中檢測(cè)到相同的關(guān)鍵點(diǎn)。點(diǎn)特征提取非線性尺度空間的構(gòu)建主要基于非線性擴(kuò)散濾波原理，非線性擴(kuò)散濾波的基本公式是:特征點(diǎn)定位與SIFT算法也非常相似，先計(jì)算各點(diǎn)在本層、上層和下層3×3×3的立方體空間鄰域內(nèi)響應(yīng)值是否為極值，之后去掉重復(fù)點(diǎn)，最后得到亞像素級(jí)別的精確位置。所用的特征點(diǎn)主方向計(jì)算方法與SURF算法相似，在此不再贅述。01非線性尺度空間構(gòu)建02特征點(diǎn)定位03計(jì)算特征點(diǎn)的主方向點(diǎn)特征提取光流問(wèn)題是指嘗試找出一幅影像中的點(diǎn)在第二幅影像中移動(dòng)的位置，通常針對(duì)視頻序列數(shù)據(jù)處理。點(diǎn)特征提取近些年隨著卷積神經(jīng)網(wǎng)絡(luò)的推廣，使用CNN進(jìn)行特征提取和表達(dá)的技術(shù)也得到了發(fā)展（如圖3.23所示)。CNN網(wǎng)絡(luò)的卷積層和池化層可以提取圖像特征，經(jīng)過(guò)反向傳播最終確定卷積核參數(shù)，得到最終的特征。點(diǎn)特征提取04紋理特征表達(dá)】9紋理是一種反映影像中同質(zhì)現(xiàn)象的視覺(jué)特征，是影像的重要性質(zhì)，它體現(xiàn)了物體表面的具有緩慢變化或者周期性變化的表面結(jié)構(gòu)組織排列屬性，如圖3.24中的舉例所示。紋理特征具有三個(gè)特點(diǎn)：某種局部序列性不斷重復(fù)；排列具有一定的隨機(jī)性；紋理區(qū)域內(nèi)大致具有一定的統(tǒng)計(jì)特性。紋理特征表達(dá)01統(tǒng)計(jì)型紋理特征基于GICM的紋理特征提取方法主要包括影像預(yù)處理、灰度級(jí)量化和計(jì)算特征值3個(gè)步驟。（1）影像預(yù)處理。（2）交度級(jí)量化。（3）計(jì)算特征值。紋理特征表達(dá)02模型型紋理特征（1）隨機(jī)場(chǎng)模型方法：試圖以概率模型來(lái)描述紋理的隨機(jī)過(guò)程，它們對(duì)隨機(jī)數(shù)據(jù)或隨機(jī)特征進(jìn)行統(tǒng)計(jì)運(yùn)算，進(jìn)而估計(jì)紋理模型的參數(shù)，然后對(duì)一系列模型參數(shù)進(jìn)行聚類，形成和紋理類型數(shù)一致的模型參數(shù)。（2）分形模型方法：分形維作為分形的重要特征和度量，把影像的空間信息和灰度信息簡(jiǎn)單而有機(jī)地結(jié)合起來(lái)，因而在影像處理中備受人們的關(guān)注。分形維在影像處理中的應(yīng)用以兩點(diǎn)為基礎(chǔ)：①自然界中不同種類的形態(tài)物質(zhì)一般具有不同的分形維②自然界中的分形與影像的灰度表示之間存在著一定的對(duì)應(yīng)關(guān)系。紋理特征表達(dá)信號(hào)處理型紋理特征：建立在時(shí)域、頻域分析與多尺度分析基礎(chǔ)之上，對(duì)紋理影像中某個(gè)區(qū)域內(nèi)實(shí)行某種變換之后，再提取保持相對(duì)平穩(wěn)的特征值，以此特征值作為特征表示區(qū)域內(nèi)的一致性以及區(qū)域間的相異性。結(jié)構(gòu)型紋理特征：提取LBP特征向量的步驟如下，（1）將檢測(cè)窗口劃分為16×16的小區(qū)域（Cell），對(duì)于每個(gè)Cell中的一個(gè)像素，將其環(huán)形鄰域內(nèi)的8個(gè)點(diǎn)進(jìn)行順時(shí)針或逆時(shí)針比較，如果中心像素值比該鄰點(diǎn)大，則將鄰點(diǎn)賦值為1，否則賦值為0，這樣每個(gè)點(diǎn)都會(huì)獲得一個(gè)8位二進(jìn)制數(shù)（通常轉(zhuǎn)換為十進(jìn)制數(shù)）。紋理特征表達(dá)（2）計(jì)算每個(gè)Cell的直方圖，即每個(gè)數(shù)宇（假定是十進(jìn)制數(shù)）出現(xiàn)的頻率，然后對(duì)該直方圖進(jìn)行歸一化處理。（3）將得到的每個(gè)Cell的統(tǒng)計(jì)直方圖進(jìn)行連接，就得到了整幅圖的LBP紋理特征，然后便可利用支持向量機(jī)或者其他機(jī)器學(xué)習(xí)算法進(jìn)行分類了。紋理特征表達(dá)】9下面介紹一種方向性紋理紡織物疵點(diǎn)的檢測(cè)方法。紡織物疵點(diǎn)檢測(cè)的方法有很多，其中與人視覺(jué)功能相似的小波和Gabor濾波器是近年來(lái)提出的兩種重要的方法，兩者都有多尺度、多分辦率的特性，適用于針對(duì)不同特征的疵點(diǎn)檢測(cè)。Gabor濾波器作為一種方向性濾波器，在時(shí)域和頻域都有著很好的局部性，適合用于具有方向的紋理檢測(cè)。紋理特征表達(dá)05應(yīng)用舉例粒子濾波（ParticleFilter）跟蹤算法是一種基于粒子分布統(tǒng)計(jì)的算法。在跟蹤問(wèn)題中，首先