復(fù)雜環(huán)境下基于相關(guān)濾波的行人跟蹤方法研究

1、復(fù)雜環(huán)境下基于相關(guān)濾波的行人跟蹤方法研究摘要：近幾年，基于相關(guān)濾波的跟蹤方法得到很大的改善，Staple跟蹤算法在KCF跟蹤方法的根底上引入顏色特征和多尺度檢測(cè)，使得算法的跟蹤準(zhǔn)確度得到大的提升，但是因?yàn)镾taple算法中模型一直更新，目的被遮擋一段時(shí)間后，模型不能很好地表達(dá)目的行人，導(dǎo)致跟蹤效果下降。為此，在該文中，當(dāng)方向梯度直方圖特征模型大于給定的閾值時(shí)，僅僅使用梯度方向直方圖特征進(jìn)展跟蹤，否那么使用顏色特征對(duì)此進(jìn)展補(bǔ)充，同時(shí)，顏色特征模型只有在大于給定的顏色特征模型響應(yīng)閾值時(shí)才更新，仿真實(shí)驗(yàn)結(jié)果說明，此方法在一定程度上可以進(jìn)步行人跟蹤的準(zhǔn)確度。關(guān)鍵詞：相關(guān)濾波；跟蹤；遮擋；多尺度；閾值中

2、圖分類號(hào)：TP3 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044202109-0200-031 引言目的跟蹤是計(jì)算機(jī)視覺中的一個(gè)重要方向，不僅有著重要的研究?jī)r(jià)值，而且有著廣泛的市場(chǎng)價(jià)值。最近十幾年，行人跟蹤得到快速開展，很多優(yōu)秀的跟蹤方法被提出，但是由于受到行人姿勢(shì)改變、運(yùn)動(dòng)軌跡改變、環(huán)境等的影響，跟蹤效果不理想。行人跟蹤常使用顏色特征、文理特征和HOG特征等。傳統(tǒng)的均值漂移Mean-shift1算法就是使用的顏色特征，但是當(dāng)背景與目的相似時(shí)傳統(tǒng)的均值漂移算法會(huì)跟蹤錯(cuò)誤。文獻(xiàn)2中把顏色特征和文理特征結(jié)合起來，在跟蹤背景與目的顏色相似時(shí)，明顯進(jìn)步了跟蹤的準(zhǔn)確度。為理解決環(huán)境干擾和遮擋問題，文獻(xiàn)3中

3、結(jié)合居于顏色和文理特征的均值漂移跟蹤方法和擴(kuò)展的卡爾曼濾波方法。近幾年，研究者把信號(hào)處理中的相關(guān)濾波應(yīng)用到目的跟蹤中，文獻(xiàn)4中結(jié)合灰度空間特征和相關(guān)濾波來實(shí)現(xiàn)目的跟蹤，跟蹤速率到達(dá)300幀每秒，文獻(xiàn)5中使用顏色特征，檢測(cè)效果有所改進(jìn)，但是檢測(cè)速度下降到100幀每秒。文獻(xiàn)6中引入核函數(shù)，被稱為KCF跟蹤方法，通過計(jì)算目的行人的HOG特征的模型的相關(guān)性大小得到目的行人的位置，文獻(xiàn)7中提出Staple跟蹤算法，結(jié)合顏色特征和HOG特征進(jìn)展行人跟蹤，同時(shí)對(duì)目的行人進(jìn)展多尺度檢測(cè)。Staple跟蹤算法雖然跟蹤速度和準(zhǔn)確度都不錯(cuò)，但是當(dāng)目的行人被嚴(yán)重遮擋時(shí)，目的行人喪失，當(dāng)目的行人再次出如今跟蹤窗口時(shí)，不

4、能正確持續(xù)地對(duì)目的進(jìn)展跟蹤。為理解決此問題，引入判別閾值，當(dāng)目的行人的hog特征模型的響應(yīng)值小于閾值時(shí)，認(rèn)為目的行人被障礙行人遮擋，此時(shí)引用顏色特征對(duì)行人進(jìn)展區(qū)分，當(dāng)顏色特征模型的響應(yīng)值小于閾值時(shí)，停頓對(duì)顏色特征模型更新。2 相關(guān)內(nèi)容2.1 相關(guān)濾波原始相關(guān)濾波是用于信號(hào)處理方面，用來描繪兩個(gè)信號(hào)的相似性。2.2 HOG特征KCF行人跟蹤方法以目的行人的HOG特征作為模型，用來計(jì)算搜索區(qū)域各個(gè)窗口的響應(yīng)值。HOG特征描繪子8通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖得到圖像特征，在圖像處理、檢測(cè)中得到廣泛應(yīng)用，HOG特征提取如下：1計(jì)算圖像各點(diǎn)的梯度方向值計(jì)算每個(gè)像素程度方向和垂直方向上的梯度

5、值，最終得到該點(diǎn)的梯度值，計(jì)算公式如下：2計(jì)算梯度方向直方圖根據(jù)公式5，把梯度方向劃分到0，上，假設(shè)x1，y1-x2，y2=，那么x1，y1和x2，y2落在同一個(gè)bin區(qū)間。把x，y離散到到p個(gè)值上，那么每一點(diǎn)離散值的計(jì)算如下：將圖像劃分為小區(qū)間cell，統(tǒng)計(jì)每個(gè)梯度方向區(qū)間點(diǎn)的個(gè)數(shù)，那么每個(gè)區(qū)間p維。這樣每個(gè)小區(qū)間相當(dāng)于p個(gè)通道，在KCF中，為了減少離散傅里葉時(shí)的計(jì)算量，加快速度，把各個(gè)通道的值直接相加。2.3 顏色特征顏色特征作為一種最直觀的特征，很早以前就受到研究者的關(guān)注。 一般使用顏色特征時(shí)，是使用顏色直方圖特征。首先將圖像的各個(gè)通道的色彩值劃分為多個(gè)區(qū)間，計(jì)算每個(gè)像素點(diǎn)對(duì)應(yīng)的像素值屬

6、于哪個(gè)區(qū)間。2.4 多尺度檢測(cè)KCF方法跟蹤目的行人的過程中行人窗口固定不變，當(dāng)行人遠(yuǎn)離攝像頭時(shí)，行人逐漸變小，行人在目的框中所占區(qū)域越來越小，目的行人特征在模型中的影響越來越弱。因此，為了使模型可以很好地表示目的行人，需要對(duì)目的行人窗口進(jìn)展多尺度檢測(cè)，得到最正確的目的行人窗口。在多尺度檢測(cè)時(shí)，以檢測(cè)到的目的行人窗口的中心點(diǎn)pos取多個(gè)尺度的窗口，行人多尺度窗口大小計(jì)算如下：其中wind檣弦恢勘晷腥說氖導(dǎo)蝕翱詿笮。scale為對(duì)應(yīng)的尺度變化參數(shù)。根據(jù)pos和swind，提取目的行人各個(gè)尺度下的hog特征，然后計(jì)算hog特征模型在各個(gè)尺度下的響應(yīng)值，根據(jù)最大響應(yīng)值對(duì)應(yīng)的尺度，計(jì)算目的行人在當(dāng)前幀

7、的最正確窗口。2.5 計(jì)算跟蹤精度在計(jì)算目的跟蹤準(zhǔn)確度時(shí)，使用檢測(cè)目的的中心點(diǎn)與對(duì)應(yīng)幀圖片中目的行人的標(biāo)注中心點(diǎn)的間隔 ，令間隔 為d，當(dāng)間隔 d小于閾值T時(shí)認(rèn)為目的行人跟蹤準(zhǔn)確。3 本文改進(jìn)方法3.1 模型更新在現(xiàn)實(shí)中，行人跟蹤環(huán)境復(fù)雜多變，常常被別的行人遮擋，此時(shí)不能正確地跟蹤到目的行人，為此引入顏色特征進(jìn)展區(qū)分。顏色特征是一種最直觀的特征，具有旋轉(zhuǎn)、縮放等不變性，當(dāng)行人被嚴(yán)重遮擋時(shí)，顏色特征變化極大，因此，為了更好地對(duì)顏色特征模型進(jìn)展更新，當(dāng)顏色特征模型的響應(yīng)值小于顏色特征模型閾值時(shí)，停頓顏色特征模型更新。其更新公式如下：3.2 模型響應(yīng)值計(jì)算在跟蹤過程中，根據(jù)模型響應(yīng)最大值在搜索窗口尋

8、找目的行人窗口，當(dāng)hog特征模型的響應(yīng)值大于閾值T_h時(shí)，認(rèn)為目的行人沒有被遮擋，根據(jù)hog特征模型的最大響應(yīng)值計(jì)算目的行人位置；否那么認(rèn)為目的行人被遮擋，引入顏色特征模型，加權(quán)求兩種模型響應(yīng)值的和，根據(jù)加權(quán)后的響應(yīng)值計(jì)算目的行人的窗口位置。其模型響應(yīng)值計(jì)算如下： 4 仿真實(shí)驗(yàn)與結(jié)果分析本文選擇行人跟蹤視頻集Benchmark中的27個(gè)行人視頻作為研究，以下圖為KCF、Staple和本文方法在27個(gè)視頻中進(jìn)展行人跟蹤，目的行人中心偏移閾值與準(zhǔn)確度平均值圖。由圖1可知，KCF跟蹤方法的準(zhǔn)確度最低，本文方法準(zhǔn)確度最高，Staple方法比本文方法略微差些。在KCF跟蹤方法中僅僅使用hog特征，當(dāng)遇到

9、相似目的遮擋時(shí)，容易喪失目的；在Staple跟蹤方法中，引入了顏色特征，可以區(qū)分不同顏色的行人，同時(shí)引入多尺度處理使窗口自適應(yīng)行人大??；本文方法與Staple方法相似，但是本文中，當(dāng)hog的響應(yīng)值較大時(shí)，認(rèn)為很好的跟蹤到目的行人，不使用顏色特征，當(dāng)hog響應(yīng)值較小時(shí)，參加顏色特征用于區(qū)分目的行人窗口和非目的行人窗口，同時(shí)只有當(dāng)顏色特征模型的響應(yīng)值大于閾值時(shí)，才對(duì)顏色特征模型更新，得到的顏色特征模型可以更好的表達(dá)行人。下面為三種跟蹤方法在girl2中的跟蹤效果圖，其中黃色窗口為KCF跟蹤方法結(jié)果，綠色窗口為Staple方法的跟蹤結(jié)果，黑色窗口為本文方法跟蹤結(jié)果。由圖2可知，在第108幀時(shí)，障礙行

10、人完全遮擋了目的行人，導(dǎo)致目的行人喪失，在第304幀時(shí)，目的行人再次進(jìn)入跟蹤窗口中，在第325幀時(shí)，僅有本文方法準(zhǔn)確的跟蹤到目的行人。因?yàn)楸疚姆椒ㄔ谛腥隧憫?yīng)值太小時(shí)，認(rèn)為目的行人被遮擋，停頓對(duì)顏色特征模型更新，當(dāng)目的行人再次進(jìn)入跟蹤窗口時(shí)，行人模型可以很好地表示目的行人。而KCF和Staple方法因?yàn)槟康拈L(zhǎng)時(shí)間喪失，模型根據(jù)錯(cuò)誤目的持續(xù)更新，導(dǎo)致模型不能很好地表達(dá)目的行人，所以在目的再次出如今窗口中時(shí)，不能再對(duì)目的行人持續(xù)正確地進(jìn)展跟蹤。5 結(jié)論本文引入閾值與顏色特征模型，當(dāng)hog特征模型響應(yīng)值小于閾值，引入顏色特征用于區(qū)分目的行人和障礙行人，同時(shí)為了使顏色特征模型更好的表示目的行人，當(dāng)顏色特

11、征模型響應(yīng)值小于閾值時(shí)停頓更新。實(shí)驗(yàn)結(jié)果說明，此方法在馱踴肪持芯哂薪蝦玫母蹤效果。參考文獻(xiàn)：1 Comaniciu D， Ramesh V， Meer P. Kernel based object traingJ. IEEE Trans on Pattern Analysis and Machine Intelligence， 2003， 255： 564-577.2 戴淵明， 韋巍， 林亦寧. 基于顏色紋理特征的均值漂移目的跟蹤算法J. 浙江大學(xué)學(xué)報(bào)工學(xué)版， 2021， 462： 212-217.3 賈松敏， 王爽， 王麗佳. 多特征自適應(yīng)均值漂移算法的目的跟蹤J. 光電子?激光， 2021

12、， 2510： 2021-2024.4 Henriques J.F， Rui C， Martins P. Exploiting the Circulant Structure of Tracking-by-Detection with KernelsJ. European Conference on Computer Vision， 2021， 7575 1： 702-715.5 Danelljan M， Khan F.S， Felsberg M. Adaptive Color Attributes for Real-Time Visual TrackingJ. Computer Vision

13、 Pattern Recognition， 2021： 1090-1097.6 Henriques J.F， Rui C， Martins P. High-Speed Tracking with Kernelized Correlation FiltersJ. IEEE Transactions on Pattern Analysis Machine Intelligence， 2021， 37 3： 583-596.7 Bertinetto L， Valmadre J， Golodetz S， et al. Staple： Complementary Learners for Real-Time TrackingC.IEEE Conference on Computer Vision and Pattern Recognition，2021，7：1401-1409.8 Dalal N，