目標(biāo)檢測(cè)與跟蹤

物流人工智能技術(shù)技能培訓(xùn)項(xiàng)目二人工智能算法在運(yùn)輸環(huán)節(jié)應(yīng)用任務(wù)一目標(biāo)檢測(cè)與跟蹤目錄CONTENTS目標(biāo)檢測(cè)與跟蹤算法PART1支持向量機(jī)在路段行程時(shí)間預(yù)測(cè)中的應(yīng)用PART2人車碰撞風(fēng)險(xiǎn)識(shí)別PART3過程與方法：知識(shí)與技能：1.了解目標(biāo)檢測(cè)和跟蹤算法；2理解依據(jù)HOG的對(duì)象檢測(cè)方法在行人識(shí)別中的應(yīng)用；3.掌握SVM在路段行程時(shí)間預(yù)測(cè)中的應(yīng)用。在學(xué)習(xí)動(dòng)畫視頻的過程中，理解其基本工作原理，了解其實(shí)際應(yīng)用價(jià)值。情感、態(tài)度與價(jià)值觀：1.提升對(duì)人工智能的認(rèn)識(shí)，發(fā)展辯證思維，客觀認(rèn)識(shí)人工智能技術(shù)對(duì)社會(huì)的影響，培養(yǎng)正確的科學(xué)技術(shù)應(yīng)用觀。2.堅(jiān)定擁護(hù)中國(guó)共產(chǎn)黨領(lǐng)導(dǎo)和我國(guó)社會(huì)主義制度?！窘虒W(xué)目標(biāo)】1.目標(biāo)檢測(cè)與跟蹤目標(biāo)檢測(cè)和跟蹤算法是通過對(duì)序列圖像（視頻）的計(jì)算分析，檢測(cè)到目標(biāo)感興趣區(qū)域，并在延后的序列中對(duì)感興趣目標(biāo)進(jìn)行定位跟蹤。針對(duì)基于機(jī)器視覺檢測(cè)與跟蹤到的目標(biāo)進(jìn)行相關(guān)運(yùn)動(dòng)分析，可以有效的預(yù)估目標(biāo)運(yùn)動(dòng)特征，判斷其風(fēng)險(xiǎn)程度，對(duì)于預(yù)防交通事故起到了重要作用。目標(biāo)檢測(cè)與跟蹤一、目標(biāo)檢測(cè)與跟蹤算法2.目標(biāo)檢測(cè)算法主要是運(yùn)用相鄰圖像幀相互比較的思路，構(gòu)造運(yùn)動(dòng)前景圖像，使其與背景圖像進(jìn)行相應(yīng)的區(qū)分，以此達(dá)到檢測(cè)運(yùn)動(dòng)目標(biāo)的作用。但是對(duì)于動(dòng)態(tài)背景的運(yùn)動(dòng)目標(biāo)檢測(cè)、目標(biāo)互相遮擋、目標(biāo)不明顯等情況下，這類算法的檢測(cè)精度將會(huì)大幅度的降低，錯(cuò)檢和漏檢現(xiàn)象及其嚴(yán)重，不能作為穩(wěn)定的檢測(cè)算法。主要是對(duì)目標(biāo)的表觀輪廓特征、顏色特征、運(yùn)動(dòng)特征等進(jìn)行訓(xùn)練統(tǒng)計(jì)得到該類日標(biāo)的模板特征，通過滑動(dòng)窗口等技術(shù)，把訓(xùn)練好的特征與窗口模塊進(jìn)行比對(duì)，得到圖像幀中用戶可能感興趣的目標(biāo)。這類算法檢測(cè)精度較高，既可以檢測(cè)單幀圖像，也可以檢測(cè)視頻序列圖像，但檢測(cè)速度難以達(dá)到實(shí)時(shí)性。A基于序列圖像的目標(biāo)檢測(cè)方法B基于目標(biāo)固有特征的檢測(cè)方法一、目標(biāo)檢測(cè)與跟蹤算法3.目標(biāo)跟蹤算法基于目標(biāo)表觀特征的跟蹤（1）基于顏色的跟蹤；（2）基于目標(biāo)局部特征的跟蹤；（3）基于模板的跟蹤；（4）基于目標(biāo)輪廓的跟蹤基于均值漂移或貝葉斯濾波的跟蹤（1）基于均值漂移的跟蹤；（2）基于貝葉斯濾波的跟蹤一、目標(biāo)檢測(cè)與跟蹤算法1.支持向量機(jī)支持向量機(jī)是為了解決分類問題，由線性可分情況下的最優(yōu)分類超平面發(fā)展而來的，其目標(biāo)是結(jié)構(gòu)風(fēng)險(xiǎn)最小化。支持向量回歸機(jī)是支持向量機(jī)在回歸估計(jì)問題中的應(yīng)用，支持向量回歸機(jī)有ε-支持向量回歸機(jī)、ν-支持向量回歸機(jī)和最小二乘支持向量回歸機(jī)等。支持向量機(jī)二、支持向量機(jī)在路段行程時(shí)間預(yù)測(cè)中的應(yīng)用2.行程時(shí)間預(yù)測(cè)的支持向量回歸機(jī)模型2.1模型的建立根據(jù)支持向量回歸機(jī)的算法以及影響行程時(shí)間的因素，在預(yù)測(cè)時(shí)把路段根據(jù)車輛檢測(cè)器的分布分成幾段（如圖1所示），取過去幾個(gè)時(shí)段其中各小段的交通流量參數(shù)加上整個(gè)路段的行程時(shí)間參數(shù)作為多維輸入，下時(shí)段的路段行程時(shí)間作為輸出，建立預(yù)測(cè)模型。二、支持向量機(jī)在路段行程時(shí)間預(yù)測(cè)中的應(yīng)用首先，假設(shè)將要對(duì)某路段的行程時(shí)間進(jìn)行預(yù)測(cè)。根據(jù)路段交通狀態(tài)和車輛檢測(cè)器設(shè)置情況將路段分為i小段，i=1,2,3，…，m。.i小路段在t時(shí)段由車輛檢測(cè)器統(tǒng)計(jì)的交通流量、平均速度和車道占有率分別記為、、，又設(shè)t時(shí)段內(nèi)通過整個(gè)路段的所有車輛的行程時(shí)間平均值為T（t），將要根據(jù)過去時(shí)段i小路段的交通參數(shù)（這里只選用交通流量）和整個(gè)路段行程時(shí)間來預(yù)測(cè)下一個(gè)或幾個(gè)時(shí)段的平均行程時(shí)間T（t+1）、T（t+2）等。其次，選定核函數(shù)和支持向量機(jī)的結(jié)構(gòu)和參數(shù)，構(gòu)造訓(xùn)練集：{（x1，y1），…，（xl，yl）}，其中：y1，y2，…，yl為整個(gè)路段過去幾個(gè)時(shí)段已知平均行程時(shí)間T（t-l+1），T（t-l+2），...，T（t）；x1，x2，…，xl為過去幾個(gè)時(shí)段i小路段的交通狀態(tài)參數(shù)和整個(gè)路段行程時(shí)間的向量組合。最后，根據(jù)訓(xùn)練結(jié)果所構(gòu)造的決策函數(shù)，輸入當(dāng)前時(shí)段及過去幾個(gè)時(shí)段小路段的交通狀態(tài)參數(shù)和整個(gè)路段行程時(shí)間的數(shù)據(jù)，利用決策函數(shù)預(yù)測(cè)下時(shí)段的平均行程時(shí)間T（t+1）。二、支持向量機(jī)在路段行程時(shí)間預(yù)測(cè)中的應(yīng)用2.2核函數(shù)的選擇、模型結(jié)構(gòu)和參數(shù)優(yōu)化支持向量機(jī)中，常用的核函數(shù)有：多項(xiàng)式核函數(shù)Gauss徑向基（RBF）核函數(shù)Sigmoid核函數(shù)傅立葉核1.2.3.4.B-樣條核5.二、支持向量機(jī)在路段行程時(shí)間預(yù)測(cè)中的應(yīng)用3.實(shí)例分析為了驗(yàn)證上述預(yù)測(cè)方法，利用ⅤISSIM微觀交通模擬軟件來對(duì)某路網(wǎng)進(jìn)行模擬，模擬時(shí)間為0~90000s，并統(tǒng)計(jì)其中一個(gè)路段行程時(shí)間和該路段中5個(gè)小路段的交通流量，數(shù)據(jù)的統(tǒng)計(jì)間隔為5min，共有300組數(shù)據(jù)。構(gòu)造訓(xùn)練集時(shí)以t時(shí)段中5個(gè)小路段的流量q1（t）、q2（t）、q3（t）、q4（t）、q5（t）以及t-1時(shí)段的整個(gè)路段的行程時(shí)間T（t-1）、t時(shí)段的整個(gè)路段的行程時(shí)間T（t）為輸入屬性值，以t+1時(shí)段的整個(gè)路段的行程時(shí)間T（t+1）為輸出屬性值。由此獲得298組包括輸入和輸出的數(shù)據(jù)組，選擇前268組數(shù)據(jù)作為訓(xùn)練集用于學(xué)習(xí)機(jī)器的訓(xùn)練，而最后30組數(shù)據(jù)作為驗(yàn)證數(shù)據(jù)。分別利用BP神經(jīng)網(wǎng)絡(luò)和υ-支持向量機(jī)和數(shù)據(jù)對(duì)行程時(shí)間進(jìn)行預(yù)測(cè)。利用BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)時(shí)，利用MATLAB7.0神經(jīng)網(wǎng)絡(luò)工具箱。采用3層結(jié)構(gòu)，輸入層有7個(gè)輸入，輸出層有1個(gè)輸出，中間層有13個(gè)神經(jīng)元，性能函數(shù)為均方差誤差性能函數(shù)，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇和參數(shù)的優(yōu)化過程是通過已知的訓(xùn)練集數(shù)據(jù)，把訓(xùn)練集隨機(jī)分組，取出其中一組來測(cè)試效果，反復(fù)試算得到的相對(duì)最優(yōu)值。預(yù)測(cè)結(jié)果如圖2所示，絕對(duì)誤差（觀測(cè)值與預(yù)測(cè)值之差的絕對(duì)值）、相對(duì)誤差（絕對(duì)誤差與觀測(cè)值的比）分別如圖3和圖4所示。二、支持向量機(jī)在路段行程時(shí)間預(yù)測(cè)中的應(yīng)用二、支持向量機(jī)在路段行程時(shí)間預(yù)測(cè)中的應(yīng)用利用υ-支持向量機(jī)預(yù)測(cè)時(shí)，參數(shù)υ=04，C=10選用的核函數(shù)為Gauss徑向基（RBF）核函數(shù)（其參數(shù)取2000)，參數(shù)的優(yōu)化過程是將已知的訓(xùn)練集數(shù)據(jù)分組，比如分成10組，任取其中9組預(yù)測(cè)剩下1組，反復(fù)試算，取最優(yōu)值而得到的。計(jì)算時(shí)利用Chih-JenLin開發(fā)的LIWM26軟件包。預(yù)測(cè)結(jié)果如圖5所示，絕對(duì)誤差、相對(duì)誤差分別如圖6和圖7所示.在預(yù)測(cè)結(jié)果中，對(duì)于預(yù)測(cè)值與觀測(cè)值的最大絕對(duì)誤差，BP神經(jīng)網(wǎng)絡(luò)為33s，支持向量機(jī)為23s；對(duì)于平均絕對(duì)誤差，BP神經(jīng)網(wǎng)絡(luò)為7.53s，支持向量機(jī)為6.87s；對(duì)于最大相對(duì)誤差，BP神經(jīng)網(wǎng)絡(luò)為15.58%，支持向量機(jī)為14.08%；對(duì)于平均相對(duì)誤差，BP神經(jīng)網(wǎng)絡(luò)為415%，支持向量機(jī)為3.88%因此，對(duì)于上述模擬數(shù)據(jù)，支持向量機(jī)預(yù)測(cè)方法相對(duì)BP神經(jīng)網(wǎng)絡(luò)方法在行程時(shí)間預(yù)測(cè)的效果有所改善。二、支持向量機(jī)在路段行程時(shí)間預(yù)測(cè)中的應(yīng)用1.車載行人檢測(cè)方法例如，背景幀差、背景差分，混合高斯模型（GMM）建立背景模型等的背景差分等；例如利用紋理Har特征、局部二值化模式（LBP）特征進(jìn)行檢測(cè)，利用邊緣特征梯度方向直方圖（OG）等特征進(jìn)行檢測(cè)。A基于視頻運(yùn)動(dòng)信息的目標(biāo)檢測(cè)算法B基于檢測(cè)目標(biāo)的特征信息，設(shè)計(jì)、訓(xùn)練相應(yīng)的分類器進(jìn)行檢測(cè)三、人車碰撞風(fēng)險(xiǎn)識(shí)別1.1行人目標(biāo)特征提取HOG特征描述局部區(qū)域特征，它通過計(jì)算局部區(qū)域上的梯度方向直方圖來顯示并描述人體特征，能夠很好地描述人體的邊緣信息，且光照變化和小量的偏移變化對(duì)HOG描述文件影響不顯著。輸入圖像中像素點(diǎn)（x,y）的梯度為（1）（2）式中：、、Ｈ（ｘ，ｙ）分別為輸入圖像中像素點(diǎn)（ｘ，ｙ）處的水平方向梯度大小、垂直方向梯度大小和像素值。圖像中像素點(diǎn)（ｘ，ｙ）處的梯度大小為像素點(diǎn)（ｘ，ｙ）處的梯度方向?yàn)椋?）（4）三、人車碰撞風(fēng)險(xiǎn)識(shí)別2.2核函數(shù)的選擇、模型結(jié)構(gòu)和參數(shù)優(yōu)化把樣本圖像分割為若干個(gè)8×8像素的單元，把【一π/2，π/2】的梯度方向平均劃分為9個(gè)區(qū)間，在每個(gè)單元內(nèi)對(duì)所有像素的梯度幅值在各個(gè)方向區(qū)間進(jìn)行直方圖統(tǒng)計(jì)，得到一個(gè)9維的特征向量；每相鄰4個(gè)單元為一個(gè)塊，把4個(gè)單元的特征向量聯(lián)起來得到塊的36維特征向量；128×64像素的窗口設(shè)為個(gè)基本窗口，一共組成3780維的特征向量；采用窗口對(duì)樣本圖像進(jìn)行掃描，掃描步長(zhǎng)為一個(gè)單元，每次掃描可以得到窗口內(nèi)圖像的HOG特征，以進(jìn)行行人檢測(cè)。步驟1步驟2步驟3步驟4三、人車碰撞風(fēng)險(xiǎn)識(shí)別1.2行人目標(biāo)特征識(shí)別鑒于支持向量機(jī)（SVM）在解決小樣本、非線性及高維模式識(shí)別問題中的優(yōu)越性能，筆者選用基于徑向基核函數(shù)SVM對(duì)圖像中的特征進(jìn)行分類，判斷其是否為人體目標(biāo)，最終實(shí)現(xiàn)紅外圖像中的人形檢測(cè)?？梢远x如下的最優(yōu)分類函數(shù)來進(jìn)行行人檢測(cè)。對(duì)于樣本集中的多數(shù)樣本（非支持向量），式（5）中的結(jié)果都等于0。因此式（5）中只是針對(duì)于小部分支持向量計(jì)算求和。而b*是分類的閾值，可以取一個(gè)支持向量即可計(jì)算得出，或者在兩類樣本集中任取一組支持向量，計(jì)算中間值即可。（5）三、人車碰撞風(fēng)險(xiǎn)識(shí)別2.碰撞風(fēng)險(xiǎn)識(shí)別與處理基于車載攝像頭行人車輛檢測(cè)的風(fēng)險(xiǎn)識(shí)別方法，主要基于目標(biāo)與車輛的縱向與橫向位置，步驟如下：①工控機(jī)上的程序進(jìn)行圖像處理，識(shí)別出行人，并根據(jù)距離算法，得到行人此時(shí)與本車的縱向距離和橫向距離；②將距離數(shù)值代入風(fēng)險(xiǎn)識(shí)別算法中，進(jìn)行風(fēng)險(xiǎn)判斷；③通過得到的風(fēng)險(xiǎn)判斷結(jié)果，程序進(jìn)行相應(yīng)的策略控制，實(shí)現(xiàn)車輛的智能避碰；④實(shí)車實(shí)驗(yàn)表明檢測(cè)前方障礙物碰撞本車時(shí)間節(jié)點(diǎn)可分為2種：第一碰撞時(shí)間間隔2.7s與第二碰撞時(shí)間間隔0.6s分別代表一級(jí)制動(dòng)與二級(jí)制動(dòng)的時(shí)間節(jié)點(diǎn)。具體流程如圖2所示。得到距離最近的一組X1和Y1，Y1/車速得到Tv是是開始系統(tǒng)檢測(cè)行人，計(jì)算橫向距離X和豎向距離Y橫向距離X逐一與碰撞范圍D進(jìn)行比較X≤D進(jìn)行智能制動(dòng)車停止否否Tv＜2.7s時(shí)，X1＜D圖2人車碰撞風(fēng)險(xiǎn)識(shí)別流程三、人車碰撞風(fēng)險(xiǎn)識(shí)別2.1碰撞風(fēng)險(xiǎn)識(shí)別預(yù)警（1）系統(tǒng)檢測(cè)行人，計(jì)算得到目標(biāo)距離車輛的垂直距離Y，和水平距離X，以本車中心為坐標(biāo)原點(diǎn)，車輛的寬度D為碰撞范圍。（2）將每個(gè)目標(biāo)的X逐一與D進(jìn)行比較，得到X在D內(nèi)且Y最小的一組人車距離和，此時(shí)行人處于危險(xiǎn)狀態(tài)。（3）車速得到每個(gè)時(shí)刻車輛碰撞到行人的時(shí)間為，將作為危險(xiǎn)判斷級(jí)別，越小則危險(xiǎn)級(jí)別越高，當(dāng)小于2.7s時(shí)進(jìn)行警報(bào)。（4）若在大于2.7s的情況下不在D的范圍內(nèi)時(shí)，則取消警報(bào)，將此行人坐標(biāo)忽略，跳轉(zhuǎn)到1重新進(jìn)行檢測(cè)。若小于0.6s仍在D范圍內(nèi)，則開始進(jìn)行智能剎車。三、人車碰撞風(fēng)險(xiǎn)識(shí)別具體地，如圖3所示：圖3（a）中，行人1的預(yù)測(cè)行走軌跡與車輛行駛軌跡有沖突，用矩形框標(biāo)記，而行人2與行人3的預(yù)測(cè)行走軌跡與車輛不產(chǎn)生沖突，無碰撞危險(xiǎn)，未標(biāo)記矩形框。圖3（b）中，當(dāng)行人處于風(fēng)險(xiǎn)區(qū)域內(nèi)且行人與車輛縱向距離小于緊急制動(dòng)距離，則判定當(dāng)前行人處于緊急制動(dòng)危險(xiǎn)等級(jí)范圍內(nèi)，行人1用粗矩形框標(biāo)記，系統(tǒng)實(shí)施避碰制動(dòng)，目的在于通過系統(tǒng)強(qiáng)行緊急制動(dòng)避免碰撞事故的發(fā)生或減輕對(duì)行人的傷害。三、人車碰撞風(fēng)險(xiǎn)識(shí)別根據(jù)城市交通中機(jī)動(dòng)車在沒有限速標(biāo)志標(biāo)線的情況下，沒有道路中心線的城市道路規(guī)定最高時(shí)速為30km；機(jī)動(dòng)車在沒有限速標(biāo)志標(biāo)線的道路情況下，如果同方向只有1條機(jī)動(dòng)車道的城市道路規(guī)定最高時(shí)速不超過50km。即將碰撞時(shí)間（TTC）能夠反映換道車輛與目標(biāo)車輛間的相對(duì)速度和相對(duì)距離，在車輛縱向碰撞安全性相關(guān)分析中得到廣泛應(yīng)用。引用TTC′描述人車即將碰撞時(shí)間。系統(tǒng)根據(jù)車速30km/h以下及TTC′大于2.7s和30km/h以上50km/h以下及TTC′小于2.7s大于0.6s分為一級(jí)緩沖減速和二級(jí)緩沖減速2種智能減速方法。圖4（a）所示為一級(jí)緩沖減速過程，圖4（b）所示為二級(jí)緩沖減速過程。采用以上2種方式可以使車輛能夠在不同車速標(biāo)準(zhǔn)情況下實(shí)現(xiàn)平穩(wěn)制動(dòng)，在整個(gè)制動(dòng)過程中，