基于邊緣檢測和改進(jìn)Mean-Shift算法的紅外目標(biāo)自動(dòng)跟蹤方法

基于邊緣檢測和改良MeanShift算法的紅外目標(biāo)自動(dòng)跟蹤方法摘要：提出了一種邊緣檢測與改良的MeanShift算法相結(jié)合的紅外目標(biāo)跟蹤方法。利用結(jié)合小波消噪的Canny邊緣檢測方法對初始幀進(jìn)行目標(biāo)檢測;在目標(biāo)被遮擋或喪失時(shí)，利用Kalman預(yù)測與形心定位方法修正MeanShift的迭代跟蹤過程。

關(guān)鍵詞:紅外目標(biāo)

形心定位

自動(dòng)跟蹤

Kalman預(yù)測

MeanShift

紅外目標(biāo)跟蹤是紅外警戒系統(tǒng)、空載下視系統(tǒng)和紅外尋的制導(dǎo)等軍事領(lǐng)域中的關(guān)鍵技術(shù)之一。在紅外目標(biāo)跟蹤中，感應(yīng)器與目標(biāo)運(yùn)動(dòng)的不穩(wěn)定、目標(biāo)狀態(tài)的多變且缺乏先驗(yàn)信息、背景雜波和非目標(biāo)運(yùn)動(dòng)的干擾等均給紅外目標(biāo)跟蹤帶來困難。

MeanShift算法是由Fukunaga和Hostetler于1975年首先提出的[1]，它作為一種高效的模式匹配算法，已被成功地應(yīng)用于實(shí)時(shí)性要求較高的目標(biāo)跟蹤系統(tǒng)中。引入計(jì)算機(jī)視覺領(lǐng)域后[2]，MeanShift算法在圖像分割和跟蹤中亦得到廣泛應(yīng)用[3]。

本文提出了一種結(jié)合目標(biāo)邊緣檢測和改良MeanShift算法的自動(dòng)跟蹤方案。一方面，根據(jù)目標(biāo)檢測結(jié)果提取目標(biāo)形心坐標(biāo)作為MeanShift的起始位置，進(jìn)行迭代匹配跟蹤；另一方面，在目標(biāo)被遮擋或喪失時(shí)，通過Kalman預(yù)測和目標(biāo)形心定位修正當(dāng)前幀目標(biāo)初始位置。這種方法可成功地實(shí)現(xiàn)目標(biāo)的實(shí)時(shí)跟蹤，并對跟蹤偏移有一定的穩(wěn)健性。

1

MeanShift跟蹤算法

MeanShift目標(biāo)跟蹤算法主要利用目標(biāo)的灰度和紋理特征的統(tǒng)計(jì)分布描述目標(biāo)，并通過均值移位向量的梯度下降搜索到達(dá)目標(biāo)跟蹤。其跟蹤過程是首先對目標(biāo)模型的描述，以一定間隔的灰度值為單位，將取值為像素灰度值的特征空間分為m個(gè)特征值。在紅外視頻序列圖像中跟蹤目標(biāo)，由于圖像像素的值域是灰度空間，RGB分量相同。將其分成k個(gè)相等的區(qū)間，每個(gè)區(qū)間稱為一個(gè)bin，構(gòu)成特征空間，特征空間中特征值的個(gè)數(shù)(也就是bin的個(gè)數(shù))m=256/k。在初始幀，包含目標(biāo)的搜索窗口中，通過目標(biāo)模型描述計(jì)算公式得出第u個(gè)特征值的概率。然后建立候選模型，運(yùn)動(dòng)目標(biāo)在第二幀及以后的每幀中可能包含目標(biāo)的區(qū)域稱為候選區(qū)域，對候選區(qū)域的描述稱為目標(biāo)候選模型，求出候選模型的特征值u=1，…，m的概率密度。計(jì)算出相似性函數(shù)。為了使相似性函數(shù)最大，在當(dāng)前幀中，以前一幀搜索窗口的位置作為當(dāng)前幀搜索窗口的位置，設(shè)窗口中心為y0，在y0鄰域內(nèi)尋找局部最優(yōu)目標(biāo)位置y1。通過對相似性函數(shù)求最大值，可以推導(dǎo)出Meanshift向量。

MeanShift方法是以y0為起點(diǎn)，向兩個(gè)模型相比灰度變化最大的方向移動(dòng)，這優(yōu)于一般算法中的盲目搜索。經(jīng)反復(fù)迭代，最后得到在當(dāng)前幀目標(biāo)的最優(yōu)位置y。詳細(xì)算法介紹在此不予贅述，請參看文獻(xiàn)[4]、[6]。

2改良MeanShift算法

MeanShift算法在目標(biāo)模型描述上，特征值嚴(yán)格匹配，使得與目標(biāo)中心位置灰度相近的在窗口邊緣的灰度特征值喪失。其次，MeanShift跟蹤迭代過程沒有一個(gè)匹配判斷標(biāo)準(zhǔn)，容易錯(cuò)誤迭代跟蹤位置而沒有糾正過程。針對MeanShift在紅外目標(biāo)跟蹤應(yīng)用中的缺乏，本文做以下改良。

2.1目標(biāo)模型

由于背景噪聲影響和非剛性目標(biāo)灰度形狀不斷變化甚至被遮擋，目標(biāo)上可能局部灰度級缺失或者僅分布在離窗口中心較遠(yuǎn)的邊緣位置。而窗口中心附近有大量與其相近灰度級的像素。這時(shí)可以認(rèn)為該灰度級為目標(biāo)特征的一局部，其概率密度〔權(quán)重〕應(yīng)該較大。然而用原MeanShift目標(biāo)模型計(jì)算得到的該灰度級像素的概率密度為零或幾近為零，因此喪失了局部目標(biāo)特征。

對此，本文在考慮像素位置加權(quán)的同時(shí)，利用核函數(shù)將像素灰度值匹配也賦予權(quán)值。改良后的目標(biāo)模型的概率密度函數(shù)可用式(2)描述：其中，核函數(shù)k1(x)選用二維Epanechikov核函數(shù)；k2(x)選用一維Gaussian核函數(shù)。k1(x)、k2(x)定義分別如下：

式(2)中的參數(shù)σ表示允許灰度值匹配的最大差值，保證所取相似像素值在特征值u臨近范圍內(nèi)，即差值大于σ時(shí)，權(quán)值為0，σ值滿足σ≤m。式〔2〕中h仍舊表示核函數(shù)帶寬。C2為歸一化系數(shù)，保證2.2相似性度量函數(shù)

由于目標(biāo)模型與候選模型相似，二者的特征概率密度估計(jì)均可用式(2)分別定義。設(shè)目標(biāo)模型描述為，候選目標(biāo)模型描述為。

為了度量目標(biāo)模型和候選目標(biāo)的特征概率密度分布的相似性，需要一種距離測度來定義兩個(gè)離散分布之間的距離?；贐hattacharyya系數(shù)，相似性度量函數(shù)定義如式(3)所示：其中，是Bhattacharyya系數(shù)的樣本估計(jì)值。相似性度量函數(shù)運(yùn)用離散密度，不受目標(biāo)尺寸變化影響。d值越大說明目標(biāo)與候選目標(biāo)直方圖模式差異越大。設(shè)度量值為θ，當(dāng)d<θ時(shí)，認(rèn)為目標(biāo)模型沒有發(fā)生變化，可以跟蹤；反之，當(dāng)d>θ時(shí)，判斷為失去跟蹤。

條件d<θ使得初始預(yù)測位置與目標(biāo)實(shí)際位置距離較小，從而保證了MeanShift算法每次迭代跟蹤收斂到局部最優(yōu)解。

3Kalman預(yù)測起始點(diǎn)

在相似性函數(shù)值較大的情況下，跟蹤嚴(yán)重偏離目標(biāo)，為了不影響下一幀初始目標(biāo)模型的計(jì)算，必須對目標(biāo)位置進(jìn)行修正。在估計(jì)下一幀的跟蹤起始點(diǎn)的步驟中，采用了Kalman濾波器進(jìn)行運(yùn)動(dòng)預(yù)測。

第1幀到第k-1幀中，MeanShift計(jì)算的目標(biāo)中心可以形成一個(gè)運(yùn)動(dòng)軌跡，將這些中心位置值作為Kalman濾波器的觀測值。假設(shè)運(yùn)動(dòng)目標(biāo)中心在X、Y軸上的運(yùn)動(dòng)是一個(gè)受隨機(jī)加速度擾動(dòng)的運(yùn)動(dòng)。令信號向量S(k)=[x(k)y(k)x′(k)y′(k)]T,其中x(k)、y(k)分別為目標(biāo)中心在x、y軸上的位置分量，x′(k)、y′(k)分別為x、y軸上的速度。觀測向量X(k)=[xc(k)yc(k)]T，其中xc(k)、yc(k)分別是目標(biāo)中心x、y軸上的位置觀測值。

這樣，Kalman濾波器算法包含的兩個(gè)模型

信號模型：S(k)=A(k-1)S(k-1)+B(k)W(k)

觀測模型：X(k)=C(k)S(k)+V(k)

分別可以表示為式(5)和式(6)：其中，w(k)為加速度擾動(dòng)項(xiàng)，v(k)為位移擾動(dòng)項(xiàng)。設(shè)定初始值：t=1，X(-1)=[xsys00]T。

設(shè)定某個(gè)較大的相似度d以檢測目標(biāo)被遮擋的情況發(fā)生。當(dāng)d>θ時(shí)，認(rèn)定目標(biāo)被遮擋，保存目標(biāo)的特征分布，僅利用卡爾曼預(yù)測來完成跟蹤，同時(shí)不斷進(jìn)行相似度比擬，直到目標(biāo)重新出現(xiàn)，d<θ。如果相似度持續(xù)較大的幀數(shù)過多，那么認(rèn)定目標(biāo)跟蹤喪失，轉(zhuǎn)入目標(biāo)檢測過程?？柭A(yù)測在開始幾幀的值不太準(zhǔn)確，經(jīng)過假設(shè)干幀左右才會收斂，此時(shí)的預(yù)測值才具有指導(dǎo)意義，因此設(shè)定一個(gè)較大的閾值去比擬預(yù)測值與實(shí)際跟蹤點(diǎn)的距離，判定是否收斂。4邊緣檢測定位4.1基于小波的Canny邊緣檢測算法[7]

為了確定搜索窗口的初始位置，首先需要檢測出初始幀所包含的目標(biāo)。設(shè)紅外序列圖像的初始幀為第0幀。利用小波的Canny邊緣檢測方法，從復(fù)雜背景中提取出小目標(biāo)的邊緣。邊緣提取結(jié)果連續(xù)閉合，符合Canny準(zhǔn)那么，為下一步目標(biāo)形心計(jì)算做準(zhǔn)備。算法流程及結(jié)果分別如圖1、圖2所示。圖1結(jié)合小波的Canny算法流程圖4.2形心計(jì)算

由目標(biāo)邊緣計(jì)算形心，公式如下：

其中，xi、yi分別為目標(biāo)邊緣點(diǎn)第i個(gè)像素的橫、縱坐標(biāo)值，N為目標(biāo)邊緣點(diǎn)的像素個(gè)數(shù)。由式(7)即可得出目標(biāo)形心坐標(biāo)。5MeanShift自動(dòng)跟蹤算法流程設(shè)計(jì)

本文自動(dòng)跟蹤方法主要分以下幾個(gè)局部。其設(shè)計(jì)流程如圖3所示。

(1)自動(dòng)初始化：首先從視頻流中讀取圖像數(shù)據(jù)。對讀取的第一幀，通過基于小波消噪的Canny邊緣檢測方法進(jìn)行目標(biāo)檢測，得到形心坐標(biāo)，初始化MeanShift算法的目標(biāo)跟蹤中心。設(shè)喪失幀計(jì)數(shù)變量為n，且n＝0。

(2)MeanShift迭代跟蹤：用式(2)計(jì)算窗口內(nèi)目標(biāo)初始位置的目標(biāo)概率分布。同樣，計(jì)算下一幀候選目標(biāo)在相同位置的概率分布。其中在特征描述方式上使用了核函數(shù)級聯(lián)形式。然后用式(1)計(jì)算MeanShift矢量迭代至收斂點(diǎn)。

(3)相似度判斷：在每次的MeanShift矢量迭代過程中，利用式(3)計(jì)算相似性度量函數(shù)d。當(dāng)d到達(dá)一個(gè)穩(wěn)定值后進(jìn)行判斷。設(shè)相似性度量為一個(gè)較大的值θ。假設(shè)d<θ，說明目標(biāo)與候選模型匹配，跟蹤有效。得到的收斂點(diǎn)置為初始位置，喪失幀計(jì)數(shù)清零，繼續(xù)計(jì)算目標(biāo)初始分布，更新了目標(biāo)模型，進(jìn)行下一次MeanShift迭代。假設(shè)d>θ，說明目標(biāo)跟蹤框偏移目標(biāo)較大，失去跟蹤。為了糾正目標(biāo)概率分布的描述，使核函數(shù)作用在目標(biāo)中心上，保存此時(shí)的目標(biāo)特征分布〔即不更新目標(biāo)模型〕，對喪失幀計(jì)數(shù)變量n進(jìn)行累加計(jì)數(shù)。轉(zhuǎn)用Kalman進(jìn)行跟蹤預(yù)測。

(4)Kalman預(yù)測起始點(diǎn)：記當(dāng)前幀為k。使用Kalman濾波對k+1的目標(biāo)位置進(jìn)行預(yù)測，然后輸出跟蹤點(diǎn)位置。計(jì)算k+1幀在此點(diǎn)的特征分布，之后與保存的目標(biāo)特征分布進(jìn)行MeanShift迭代匹配。

(5)目標(biāo)重新檢測：當(dāng)Kalman預(yù)測跟蹤的位置一直不能夠與原目標(biāo)特征分布匹配，所喪失的幀計(jì)數(shù)n超過設(shè)定值N時(shí)，那么判斷目標(biāo)喪失，需要重新定位目標(biāo)。此時(shí)返回自動(dòng)初始化步驟，對目標(biāo)進(jìn)行定位，重新初始化MeanShift跟蹤。

6實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)視頻序列長度為420幀,每幀圖像的大小為128×128像素，視頻速率為10幀/秒。實(shí)驗(yàn)均在Celeron(R)2.26GHz，256MB內(nèi)存的PC機(jī)上采用VisualC＋＋6.0軟件平臺進(jìn)行?；叶攘炕燃墳?2×32。

原MeanShift方法對視頻跟蹤結(jié)果如圖4所示。設(shè)定目標(biāo)模型的大小(核函數(shù)的半徑h)為(h,h)=(5,5)。其中為便于觀看，用白色十字叉絲標(biāo)注目標(biāo)跟蹤的位置。實(shí)驗(yàn)在前30幀對目標(biāo)跟蹤效果較好。30～100幀，背景干擾較大，目標(biāo)有時(shí)被遮擋，跟蹤框在目標(biāo)附近徘徊漸漸偏離目標(biāo)；190幀以后，感應(yīng)器突然抖動(dòng)，跟蹤偏離加大；300幀后，背景灰度突變時(shí)，跟蹤框偏移更大，并停止跟蹤。實(shí)驗(yàn)說明在目標(biāo)遮擋、背景灰度驟變和感應(yīng)器相對于背景和目標(biāo)的不穩(wěn)定快速運(yùn)動(dòng)下，MeanShift方法容易喪失目標(biāo)且不能恢復(fù)跟蹤。

采用本文所述MeanShift紅外目標(biāo)自動(dòng)檢測跟蹤方法對視頻序列重新進(jìn)行目標(biāo)跟蹤實(shí)驗(yàn)。本文MeanShift處理的跟蹤結(jié)果如圖5所示。其中十字叉絲的交點(diǎn)為目標(biāo)跟蹤的位置。

實(shí)驗(yàn)在前30幀對目標(biāo)跟蹤效果如原MeanShift算法一樣，跟蹤定位準(zhǔn)確。30～100幀，背景干擾較大、目標(biāo)有時(shí)被遮擋的情況下，跟蹤框在目標(biāo)附近有小幅度的波動(dòng)，但沒有遠(yuǎn)離目標(biāo)位置，仍可以實(shí)現(xiàn)對目標(biāo)的跟蹤；190幀以后，感應(yīng)器突然抖動(dòng)，跟蹤框遠(yuǎn)離了目標(biāo)。開始目標(biāo)大局部還在核函數(shù)作用范圍內(nèi)，而到201幀時(shí)目標(biāo)偏離較大，此時(shí)兩幀目標(biāo)模型的相似程度很小，轉(zhuǎn)為Kalman預(yù)測目標(biāo)位置。到205幀時(shí)，跟蹤框內(nèi)的特征分布依然與喪失前差異較大，目標(biāo)沒有跟蹤上?？梢钥吹剑?06幀時(shí)，通過對目標(biāo)邊緣檢測，重新定位，恢復(fù)了對目標(biāo)的有效跟蹤。在300幀以后，序列圖像灰度突變，目標(biāo)的灰度也有所變化，但改良的目標(biāo)描述，使其仍能穩(wěn)定準(zhǔn)確地跟蹤目標(biāo)。實(shí)驗(yàn)對一幀平均處理速率約為72.7ms，實(shí)現(xiàn)了紅外小目標(biāo)的實(shí)時(shí)跟蹤。本文方法有效地修正了跟蹤偏移的情況，能夠?qū)t外目標(biāo)實(shí)現(xiàn)實(shí)時(shí)穩(wěn)健的跟蹤。

本文提出了一種基于改良的MeanShift算法的紅外目標(biāo)自動(dòng)跟蹤方案。通過結(jié)合小波的Canny邊緣檢測算法對初始幀進(jìn)行目標(biāo)檢測并計(jì)算目標(biāo)的形心坐標(biāo)，對MeanShift算法進(jìn)行自動(dòng)初始化。使用了級聯(lián)核函數(shù)的方法改良目標(biāo)的描述方式，通過相似性度量函數(shù)，判斷目標(biāo)是否失去跟蹤。在失去跟蹤時(shí)，通過Kalman預(yù)測跟蹤位置。在目標(biāo)喪失的情況下，重新進(jìn)行目標(biāo)定位來獲得穩(wěn)定的跟蹤。這種方法在跟蹤偏移的情況下，能夠調(diào)整算法的初始目標(biāo)模型分布，從而修正MeanShift的跟蹤過程。實(shí)驗(yàn)結(jié)果說明，本文所提出的方案實(shí)現(xiàn)了對紅外目標(biāo)的實(shí)時(shí)自動(dòng)檢測跟蹤，同時(shí)對于目標(biāo)遮擋、喪失的情況是穩(wěn)健的。

參考文獻(xiàn)

[1]

FUKUNAGEK,HOSTETLERLD.Theestimationofthegradientofadensityfunctionwithapplicationinpatternrecognition[J].IEEETrans.onInformationTheory,1975,

21(1):32-40.

[2]

CHENGY.MenaShift,modeseekingandclustering[J].IEEETransonPatternAnalysisandMachineIntelligence,1995,17(8):790-799.

[3]

COMANICIUD,MEERP.Meanshiftanalysisandapplication[J].ProceedingsoftheSeventhIEEEInternationalConferenceComputerVision,1999,2:1197-1203.

[4]

COMANICIUD,RAMESHV,MEERP.Kern