目標跟蹤綜述

1、東北大學-模式識別與智能系統(tǒng)-田維目錄目錄 1.課題背景與研究意義 2.國內外研究現狀 3.存在的問題 4.總結，發(fā)展與展望 5.參考文獻1課題背景與研究意義課題背景與研究意義 運動目標的跟蹤就是在視頻圖像的每一幅圖像中確定出我們感興趣的運動目標的位置，并把不同幀中同一目標對應起來。 智能視頻監(jiān)控(IVS: Intelligent Video Surveillance)是計算機視覺領域近幾年來發(fā)展較快，研究較多的一個應用方向。它能夠利用計算機視覺技術對采集到的視頻信號進行處理、分析和理解，并以此為基礎對視頻監(jiān)控系統(tǒng)進行控制，從而使視頻監(jiān)控系統(tǒng)具備更好的智能性和魯棒性。智能視頻監(jiān)控系統(tǒng)主要涉及到

2、圖像處理、計算機視覺、模式識別、人工智能等方面的科學知識，它的用途非常廣泛，在民用和軍事領域中都有著極大的應用前景。2.國內外研究現狀國內外研究現狀視頻目標跟蹤算法基于對比度分析基于匹配核方法運動檢測其它方法特征匹配貝葉斯跟蹤Mean shift方法光流法基于對比度分析的方法基于對比度分析的方法 算法思想：基于對比度分析的目標跟蹤算法利用目標與背景在對比度上的差異來提取、識別和跟蹤目標。 分類：邊緣跟蹤，型心跟蹤，質心跟蹤。 優(yōu)缺點：不適合復雜背景中的目標跟蹤，但在空中背景下的目標跟蹤中非常有效?；谔卣髌ヅ涞哪繕烁櫵惴ɑ谔卣髌ヅ涞哪繕烁櫵惴?算法思想：基于匹配的目標跟蹤算法需要提取目標

3、的特征，并在每一幀中尋找該特征。 尋找的過程就是特征匹配過程。 目標跟蹤中用到的特征主要有幾何形狀、子空間特征、外形輪廓和特征點等。其中，特征點是匹配算法中常用的特征。特征點的提取算法很多， 如Kanade Lucas Tomasi（KLT）算法、Harris 算法、SIFT 算法以及SURF 算法等。 優(yōu)缺點：特征點一般是稀疏的，攜帶的信息較少，可以通過集成前幾幀的信息進行補償。目標在運動過程中，其特征（如姿態(tài)、幾何形狀、灰度或顏色分布等）也隨之變化。目標特征的變化具有隨機性，這種隨機變化可以采用統(tǒng)計數學的方法來描述。直方圖是圖像處理中天然的統(tǒng)計量，因此彩色和邊緣方向直方圖在跟蹤算法中被廣泛

4、采用。貝葉斯跟蹤貝葉斯跟蹤 卡爾曼濾波 粒子濾波 隱馬爾科夫模型 動態(tài)貝葉斯模型卡爾曼濾波卡爾曼濾波 基本思想：從本質上講，卡爾曼濾波器就是一個有噪聲線性動態(tài)系統(tǒng)狀態(tài)預估的遞歸算法，它是一個不斷地預測與校正的過程。當假設系統(tǒng)狀態(tài)模型和觀測模型都是線性且符合高斯分布，同時假設噪聲也是高斯分布時，線性卡爾曼濾波器是最優(yōu)的濾波器。 局限性：但是，常規(guī)的卡爾曼濾波算法要求系統(tǒng)是線性高斯型的，對于非線性、非高斯環(huán)境而言，不能直接用來解決目標的估計問題。為此，人們開發(fā)出各種非線性濾波算法，一種是擴展卡爾曼算法(EKF)，它對非線性系統(tǒng)進行局部線性化，從而間接利用卡爾曼算法進行濾波與估算。但是只適用于濾波誤

5、差和預測誤差很小的情況，否則，濾波初期估計協(xié)方差下降太快會導致濾波不穩(wěn)定甚至發(fā)散。修正增益的推廣卡爾曼濾波算法(UKF)雖然通過改善增益矩陣，相應改善了狀態(tài)協(xié)方差的估計性能，但該方法對測量誤差有一定限制。若測量誤差較大，則算法在收斂精度、收斂時間及穩(wěn)定性等方面表現得很不理想。粒子濾波粒子濾波 兩種變形擴展了KF 的應用范圍，但是不能處理非高斯非線性模型，這個時候就需要用粒子濾波（PF）。由于運動變化，目標的形變、非剛體、縮放等問題，定義一個可靠的分布函數是非常困難的，所以在PF 中存在例子退化問題，于是引進了重采樣技術。 除了KF 和PF 之外，隱馬爾科夫模型（HMMs）和動態(tài)貝葉斯模型（DB

6、Ns）也是貝葉斯框架下重要的視覺跟蹤方法。HMMs 和DBNs 將運動目標的內部狀態(tài)和觀測量用狀態(tài)變量（向量）表示，DBNs 使用狀態(tài)隨機變量（向量）集，并在它們之間建立概率關聯。HMMs 將系統(tǒng)建模為馬爾科夫過程。基于運動檢測的目標跟蹤算法基于運動檢測的目標跟蹤算法 基本思想：通過檢測序列圖像中目標和背景的不同運動來發(fā)現目標存在的區(qū)域， 實現跟蹤。 光流法：光流算法是基于運動檢測的目標跟蹤的代表性算法。光流是空間運動物體在成像面上的像素運動的瞬時速度，光流矢量是圖像平面坐標點上的灰度瞬時變化率。光流的計算利用圖像序列中的像素灰度分布的時域變化和相關性來確定各自像素位置的運動， 研究圖像灰度在

7、時間上的變化與景象中物體結構及其運動的關系。將二維速度場與灰度相聯系，引入光流約束方程，得到光流計算的基本算法。 優(yōu)缺點：光流場的方法能夠很好的用于二維運動估計，它也可以同時給出全局點的運動估計，但其本身還存在著一些問題：需要多次迭代，運算速度慢，不利于實時應用。核方法核方法算法思想：對相似度概率密度函數或者后驗概率密度函數采用直接的連續(xù)估計。Mean shift ：均值偏移方法。采用彩色直方圖作為匹配特征。Mean Shift 跟蹤算法反復不斷地把數據點朝向MeanShift 矢量方向進行移動，最終收斂到某個概率密度函數的極值點。在Mean Shift 跟蹤算法中，相似度函數用于刻畫目標模板

8、和候選區(qū)域所對應的兩個核函數直方圖的相似性，采用的是Bhattacharyya 系數。因此，這種方法將跟蹤問題轉化為Mean Shift 模式匹配問題。核函數是Mean Shift 算法的核心， 可以通過尺度空間差的局部最大化來選擇核尺度，若采用高斯差分計算尺度空間差，則得到高斯差分Mean Shift 算法。優(yōu)缺點：Mean Shift 算法假設特征直方圖足夠確定目標的位置，并且足夠穩(wěn)健，對其他運動不敏感。該方法可以避免目標形狀、外觀或運動的復雜建模，建立相似度的統(tǒng)計測量和連續(xù)優(yōu)化之間的聯系。但是，Mean Shift 算法不能用于旋轉和尺度運動的估計。為克服以上問題，人們提出了許多改進算法

9、，如多核跟蹤算法、多核協(xié)作跟蹤算法和有效的最優(yōu)核平移算法等。多特征融合跟蹤多特征融合跟蹤 基本思想：利用多特征刻畫目標是一種非常有效的實現穩(wěn)健跟蹤的方法。不同的特征可以從相同的或者不同的傳感器獲得，如彩色和輪廓，彩色和梯度，Haar-Like 特征和邊緣，角點、彩色和輪廓，彩色和邊緣，彩色和Wi-Fi三角化等。 在貝葉斯框架下，有兩種方法可以集成多個特征：1） 假設特征之間是統(tǒng)計獨立的，可以將多個特征以加權和的形式組合起來；2） 假設多個特征之間的條件關聯服從線性約束， 可以將相似度概率密度分布表示為各個特征相似度概率密度分布的線性組合；Towards robust multi-cue int

10、egration for visual tracking 基于強大的多線索融合技術的目標跟蹤 Perceptual Computing and Computer Vision Group, ETH Zurich, Switzerland Machine Vision and Applications (2003) 14一般的系統(tǒng)框架一般的系統(tǒng)框架 目標：用多維的時間序列表示，本文中，用90*72的M維時間序列表示目標。 單一線索觀察模型：在時間上排序，估計目標在單一線索下n維狀態(tài)向量產生的視覺線索的概率圖序列，每個空間矢量是到n維概率分布P(j)的預測。 例如：如果要估計目標在二維空間的運動。

11、 M(j)表示映射，r(j)表示映射參數多線索融合模型多線索融合模型 模型建立 模型估計 引入反饋 調整參數rc(t)和rj(t) Democratic integration 算法思想：對五個線索建立一個共同估計，這個估計用來評定每個線索，并確定下一時刻該線索的權值。同時每個線索都有自適應性，提高其性能，從而提高整個系統(tǒng)的性能。但是必須滿足兩個假設：首先，各個線索的共同估計必須占主導地位。其次，環(huán)境的變化對視覺線索的影響很小。 將輸入量S(t)分成五個線索：強度特征，顏色特征，運動特征，形變特征，對比度特征，每個特征都有其自適應性。 根據前面各特征的影響度，調整各自的權值Wi，使他們能夠對不

12、斷變化的環(huán)境產生反應，集成為一個多狀態(tài)顯示的預估方案估計目標位置定義為合并后的概率分布的最大響應feed back 自適應的權值調整在兩個層面上 1.自組織的多線索融合其中qi(t)指觀測量與平均響應的概率密度差，用來調節(jié)權值，權值Wi為自適應。 2.自適應單線索觀察 f函數：抽取一個合適的特征向量Democratic integration 方法局限性的分析方法局限性的分析 顏色突變的情況Soccer sequenceTwo person sequenceIntegration with CONDENSATION 單純利用感興趣特征進行目標跟蹤，當所選特征突變時，權值的調整會產生誤操作，因此

13、有著很大的局限性 可以利用當前幀以及當前幀前一幀做觀測模型，充分利用視頻信息，并結合多線索特征融合兩個方法，建立新的算法?；谏舷挛母櫟姆椒ɑ谏舷挛母櫟姆椒?除了聯合使用目標的多特征之外， 還可以充分采用上下文、背景和輔助目標等信息來實現穩(wěn)健的目標跟蹤 如文獻12設計了一種考慮上下文的跟蹤算法。該算法采用數據挖掘技術在視頻中獲取輔助目標， 并將輔助目標用在跟蹤中。對目標和這些輔助目標的協(xié)作跟蹤可以獲得有效的跟蹤性能。這里的輔助目標是至少在一小段時間內和目標同時出現， 和目標具有相同的相關性運動并且比目標更容易跟蹤的視頻內容。文獻13在跟蹤算法中，同時采用目標和目標周圍背景的特征點，將目標

14、特征點用于跟蹤，將背景特征點用于鑒別目標是否被遮擋。3.存在的問題存在的問題 1.運動目標的準確分割動態(tài)環(huán)境下，光照，陰影等因素對幀圖像影響 2.運動目標的相互遮擋目標丟失后如何重新獲取目標的引導方法。 3.運動目標的穩(wěn)定特征提取提取目標的哪些特征，能夠取得更好的跟蹤效果 4.三維坐標下運動模型的建立鑒于2維模型對角度和遮擋處理的薄弱性。 5.實時性問題提高目標的準確性和實時性4 總結，發(fā)展與展望總結，發(fā)展與展望由于目標跟蹤任務的復雜性，應該根據不同的應用場合選用不同的跟蹤方法。在系統(tǒng)設計中，應該跟據具體的精度要求、穩(wěn)健性要求、計算復雜度要求和實性要求等采用不同的算法。多種技術的聯合應用可以有

15、效克服單一技術的局限性。因此，目標跟蹤算法的方向發(fā)展為多模跟蹤、多特征融合跟蹤、基于目標所在的上下文跟蹤。參考文獻參考文獻 1.邵文坤,黃愛民,韋慶，動態(tài)場景下的運動目標跟蹤方法研究，2006 2.楊靜宇，一種基于直方圖模式的運動目標實時跟蹤算法,胡明昊，任明武，2004.3 3.蔡榮太. 非線性自適應濾波器在電視跟蹤中的應用D.北京：中國科學院，2008. 4.SOTO D A，REGAZZONI M C S. Bayesian tracking for video analyticsJ.IEEE Signal Processing Magazine，2010，27（5） 5.王宇. 基于M

16、ean Shift 的序列圖像手勢跟蹤算法J.電視技術，2010，34（6） 6.WU Ying，FAN Jialue. Contextual flow C/Proc. 2009 IEEE International Conference on Computer Vision，Miami，FL，USA：IEEE Press，2009參考文獻參考文獻 7.蔡榮太，吳元昊，王明佳，吳慶祥,視頻目標跟蹤算法綜述,2010年第34 卷第12 期 8.周娜，基于視覺的運動目標跟蹤算法的研究與實現，東北大學碩士論文，2008 9.薛建儒, 鄭南寧, 鐘小品, 平林江，視感知激勵多視覺線索集成的貝葉斯方法與

17、應用,2008 10.M. Spengler and B. Schiele, “Towards Robust Multi-Cue Integration for Visual Tracking,” Machine Vision and Applications,2003 11.NOGUER M F，SANFELIU A，SAMARAS D. Dependent multiple cue integration for robust tracking J.IEEE Transactions on Pattern Analysis and Machine Intelligence，2008參考文獻參考文獻 12.YANG M，HUA G，WU Y. Con