智能交通信息感知理論與技術(shù) 課件 第4次課-車輛信息感知理論與技術(shù)

第二章

車輛信息感知理論與技術(shù)

本章主要研究內(nèi)容：

首先提出一種新的車輛區(qū)域檢測方法，確定車型識別感興趣區(qū)域（ROI），之后提取感興趣區(qū)域（ROI）圖像特征，最后引入一種帶有“拒識”功能的級聯(lián)集成分類器對車輛圖像特征進(jìn)行識別。首先，分析車輛圖像數(shù)據(jù)來源、篩選及預(yù)處理方法。其次，研究圖像特征描述方法。最后，研究具有“拒識”功能的級聯(lián)集成分類器。2.1車輛圖像采集及車輛目標(biāo)區(qū)域檢測

圖2.1部分圖像數(shù)據(jù)圖2.2不同位置、角度、光照條件的車輛圖像

選取包含15種品牌的18種車型共4500張圖片，這些車型包括奧迪（Audi），別克（Buick）（2種），長安（Changan），奇瑞（Chery）（2種），雪佛蘭（Chevrolet），雪鐵龍（Citroen），福特（Ford），本田（Honda），現(xiàn)代（Hyundai）（2種），馬自達(dá)（Mazda），日產(chǎn)（Nissan），標(biāo)志（Peugeot），大眾（Volkswagen），豐田（Toyota）和五菱（Wulin）。2.1.1基于對稱特征的車輛檢測方法第一步：首先生成輸入灰度圖像的邊緣圖像，采用拉普拉斯算子進(jìn)行車輛邊緣檢測，之后對邊緣圖像進(jìn)行中值濾波。輸入圖像

(b)邊緣檢測圖2.3輸入圖像及車輛邊緣檢測結(jié)果檢測車輛輪廓豎直對稱軸檢測車牌水平和豎直對稱軸感興趣區(qū)域（ROI）定位第二步：設(shè)置車輛對稱軸搜索區(qū)域如圖2.4(a)所示，計算水平掃描線上每個像素點的對稱值圖2.4（a）車輛對稱軸搜索區(qū)域圖2.4（b）掃描線對稱值計算其中，V(x,y)為(x,y)處對稱值，W為計算每個像素點對稱值的幅寬，本文根據(jù)車輛圖像的像素寬度假設(shè)為300，每條掃描線上像素對稱值計算結(jié)果如圖2.4(b)所示。第三步：根據(jù)車輛輪廓幾何特征，車輛輪廓對稱值在其豎直對稱軸處最大而在車輛邊緣處對稱值最小，根據(jù)公式（2.4）計算每列對稱值之和：其中，val為行距，Vcol(x)為第x列對稱值之和。對Vcol(x)進(jìn)行排序，得到最大對稱值Vcol(xm)對應(yīng)列xm作為車輛輪廓的對稱軸。第四步：使用以下公式檢索對稱值最大區(qū)段：

得到Vcol(xm,n)最大時對應(yīng)的掃描行nm,對應(yīng)圖像縱坐標(biāo)為ym=nm*val。圖2.5（a）所示豎直線為實驗車輛圖像的對稱軸，白色圓點(xm,ym)為對稱值最大區(qū)段起始行。第五步：以參考點(xm,ym)作基準(zhǔn)，在其下方搜索車牌水平和豎直對稱軸。計算車牌水平對稱軸搜索區(qū)域每條豎直掃描線上像素點對稱值，將每行對稱值之和最大行作為車牌水平對稱軸，圖2.5（b）中水平線所示位置即車牌水平對稱軸。圖2.5（a）輪廓對稱軸圖2.5（b）車牌對稱軸確定第六步：根據(jù)車輛對稱軸和基準(zhǔn)點假設(shè)車輛區(qū)域，假設(shè)車輛區(qū)域在由和確定的矩形包圍框內(nèi)。使用基于灰度積分投影的方法搜索車輛區(qū)域，邊緣圖像豎直及水平積分投影計算公式為：其中，f(x,y)是點(x,y)處的像素值，如圖2.6(a)所示為假設(shè)區(qū)域內(nèi)車輛灰度水平和豎直投影直方圖。第七步：分別計算豎直和水平積分投影的最大值mv及mh，從上向到下搜索水平投影目標(biāo)像素個數(shù)超過閾值0.5mh的第一行作為上邊界，從左到右搜索豎直投影目標(biāo)像素個數(shù)超過閾值0.5mv的第一列作為左邊界，使用同樣的方法搜索得到右邊界和下邊界。圖2.6（b）為車輛區(qū)域檢測的最終結(jié)果。圖2.6（a）車輛區(qū)域假設(shè)圖2.6（b）

車輛區(qū)域驗證2.1.2感興趣區(qū)域（ROI）定位由于監(jiān)控相機(jī)角度及位置固定，所拍攝圖像中車牌尺寸固定，假設(shè)車牌大小為，在車牌搜索區(qū)域內(nèi)進(jìn)行遍歷匹配，考慮到車輛前臉圖像尺寸與車牌圖像尺寸之間的固定關(guān)系，假設(shè)車牌的寬度為，使用圖2.8（a）所示的方法確定車輛前臉感興趣區(qū)域，圖2.8（b）是最終獲取的車臉ROI區(qū)域。圖2.8（a）車輛圖像ROI區(qū)域檢測圖2.8（b）車臉ROI區(qū)域方法結(jié)果融合特征輪廓特征車牌GLCMGaborTeoh[18]檢測率90.7%82.8%80.9%86.4%

80.8%87.6%檢測時間(ms)125140125651317609109表2.1六種車輛檢測方法的檢測率及檢測時間圖2.9偏差較大ROI及正確獲取ROI，第一行為偏差加大ROI，第二行為正確獲取ROI2.2特征描述器

2.2.1梯度方向直方圖（HOG）2.2.2Contourlet變換Contourlet變換是結(jié)合拉普拉斯塔形分解（LP）和方向濾波器組（DFB）實現(xiàn)的一種多分辨率、多方向的、局域的圖像表示方法。每一層LP分解將產(chǎn)生一個下采樣的低通部分和一個該圖像與預(yù)測圖像的差圖像。對低通圖像繼續(xù)分解得到下一層的低通圖像和差值圖像。（a）（b）（c）（d）圖2.13輸入車輛圖像的三層Contourlet分解2.2.3特征降維

在訓(xùn)練樣本固定的情況下，一些分類器（如貝葉斯網(wǎng)絡(luò)、k近鄰）的預(yù)測能力通常隨著特征向量維度的增加而減小，所以在將樣本輸入分類器之前通常采取一些降低維數(shù)的措施。

主成分分析（PCA）是一個高普適用方法，通過PCA方法求出數(shù)據(jù)集的主元，將其余的維數(shù)省去，從而達(dá)到維數(shù)降低和簡化模型的目的。具體實現(xiàn)過程如下所述：1）計算所有樣本的均值向量2）計算協(xié)方差矩陣3）計算矩陣S的特征值和對應(yīng)的特征向量；4）對特征值進(jìn)行遞減排序，并將特征向量重排為和排序后的特征值一致；5）定義貢獻(xiàn)率為主要特征值（主成分）在所有特征值之和中占的比重，取前r個主要特征值（主成分）代替原來所有的特征值時，累計貢獻(xiàn)率的大小反映了這種取代的可靠性。6）用輸入特征向量乘以r個主成分所對應(yīng)的特征向量構(gòu)建的投影矩陣，即可達(dá)到數(shù)據(jù)維數(shù)降低的目的，將輸入樣本特征維數(shù)從D維降低到r維。2.2.4組合特征及降維

直接將兩種特征如HOG和Contourlet特征簡單串聯(lián)是一種有效的提升識別率的方法。2.3基于級聯(lián)集成分類器的可靠分類帶有“拒識”功能的級聯(lián)集成分類器方案如下圖所示：圖2.15級聯(lián)集成分類器方案2.3基于級聯(lián)集成分類器的可靠分類

引入“拒識”功能后，我們采用[54]中的方法如下定義識別率（RecognitionRate,RR），“拒識”率（RejectionRate,ReR），錯誤率（ErrorRate,ER）以及系統(tǒng)可靠性：多層識別系統(tǒng)可以由若干個兩級級聯(lián)識別系統(tǒng)組成，如圖2.15所示，第二級的集成分類器的輸入測試樣本是在第一級級聯(lián)分類器中被拒絕識別的樣本。對于兩層集成分類器，相應(yīng)的識別率，“拒識”率和誤識率滿足以下關(guān)系：樸素貝葉斯分類器

使用這個分類器的時候，需要學(xué)習(xí)車輛類型對應(yīng)的類型值，計算每個類別在訓(xùn)練樣本中的出現(xiàn)頻率以及每個特征屬性劃分對每個類別的條件概率估計，并將結(jié)果記錄。識別過程中，對于輸入向量X尋找聯(lián)合概率最大時對應(yīng)的類型值，即可實現(xiàn)樣本自動分類。k-近鄰分類器k-近鄰分類算法是所有的機(jī)器學(xué)習(xí)算法中最簡單的算法之一：給定一個常數(shù)K，若某個樣本在特征空間中的K個最相似樣本中大多數(shù)屬于某一類，則將輸入樣本分配給該類。多層神經(jīng)網(wǎng)絡(luò)（MLP）

在模式識別中使用最多的為多層前饋網(wǎng)絡(luò)，其中又以BP網(wǎng)絡(luò)為代表。BP（Back-Propagation）網(wǎng)絡(luò)即反向傳播算法，其實質(zhì)是使用非線性優(yōu)化問題解決樣本輸入輸出之間關(guān)系映射問題，并通過梯度下降算法結(jié)合迭代運(yùn)算來求解網(wǎng)絡(luò)傳播權(quán)值的一種學(xué)習(xí)方法。支持向量機(jī)（SVM）

支持向量機(jī)（SVM）是Cortes和Vapnik[54]首次提出的，它在解決小樣本、非線性及高維數(shù)等方面表現(xiàn)出較大的優(yōu)勢。圖2.18集成分類器表決機(jī)制圖2.19基于MLP的旋轉(zhuǎn)森林集成分類器

本部分實驗所使用的車輛前臉圖像所使用的樣本集為18種類型車輛共4140張圖像，隨機(jī)選擇其中的85%作為訓(xùn)練樣本，其余15%作為測試樣本，為達(dá)到比較好的識別結(jié)果，訓(xùn)練樣本盡可能包含了各種光照、顏色及不同角度的車輛前臉圖像，部分車輛前臉樣本如圖2.20所示。圖2.20部分車輛前臉圖像2.4實驗分析2.4.1單個分類器實驗

分類器特征

樸素貝葉斯k-近鄰MLPSVMHOG92.4%90.6%89.6%94.6%Contourlet77.0%80.4%76.3%78.5%HOG+Contourlet86.3%81.7%90.6%94.6%表2.2樸素貝葉斯、kNN、MLP和SVM結(jié)合HOG、Contourlet特征分類圖2.22使用SVM分類器結(jié)合HOG特征車型識別結(jié)果混淆矩陣混淆矩陣對每一類的識別效果及每一類與其他類別的相似性進(jìn)行分析，混淆矩陣的行和列分別為樣本實際和預(yù)測的類型，對角線上的元素為每一類樣本正確識別的概率，非對角線上的元素為該類識別成其他類型的概率。結(jié)論：圖2.22可得，18種類型車輛有8種車型的識別率為100%，包括Audi，CheryII型及Citroen等。圖2.23CheryI型車識別成其他類型車輛例圖，第一列為原車型，第二列為識別目標(biāo)類型

結(jié)論：從2.23可得，被錯誤識別的車輛存在幾個問題：（1）與其他類型車輛相似度比較高，如圖2.23

（a）兩種車型具有相同的散熱器；（2）光照條件的影響，如2.23（b）中車輛圖像

是晚間拍攝，邊緣細(xì)節(jié)信息已經(jīng)模糊，對

識別顯然有影響；（3）截取感興趣區(qū)域的位置，如果所截取的車

輛前臉區(qū)域包含較多的非車輛區(qū)域，則會

對車型的識別產(chǎn)生影響。(a)CheryI識別為Hyundai（b）CheryI識別為CheryII（c）CheryI識別為Wulin2.4.2級聯(lián)集成分類器實驗

識別率（RR）拒識樣本數(shù)誤識樣本數(shù)拒識率（ReR）可靠性第一級76.30%127123.52%99.80%第二級62.99%38929.92%92.91%識別系統(tǒng)91.11%38107.04%98.15%表2.3兩層級聯(lián)分類器對樣本識別指標(biāo)圖2.24級聯(lián)分類器的識別性能指標(biāo)根據(jù)兩級集成分類器級聯(lián)方案，首先將輸入樣本送入級聯(lián)分類器的第一級即具有不同基分類器的集成分類器中識別，之后將