基于交叉耦合控制的復雜場景下

1、論文題目 基于交叉耦合控制的復雜場景下 運動目標跟蹤算法研究 學 科 專 業(yè) 檢測技術與自動化裝置學 號 201021070416作 者 姓 名 張榮華指 導 教 師 陳 勇 副教授分類號 密級 UDC注 1 學 位 論 文基于交叉耦合控制的復雜場景下運動目標基于交叉耦合控制的復雜場景下運動目標跟蹤算法研究跟蹤算法研究（題名和副題名）張榮華張榮華（作者姓名）指導教師 陳陳 勇勇 副教授副教授 電子科技大學電子科技大學 成成 都都 （姓名、職稱、單位名稱） 申請學位級別 碩士碩士 學科專業(yè) 檢測技術與自動化裝置檢測技術與自動化裝置 提交論文日期 論文答辯日期 學位授予單位和日期 電電子科技大學子

2、科技大學 年年 月月 日日 答辯委員會主席 評閱人 注 1：注明國際十進分類法 UDC的類號。RESEARCH ON MOVING TARGET TRACKING ALGORITHM BASED ON THE CROSS-COUPLED CONTROL OF COMPLEX SCENESA Master Thesis Submitted toUniversity of Electronic Science and Technology of ChinaMajor: Detection Technology and Automatic EngineeringAuthor: Zhang Rongh

3、uaAdvisor: Associate Professor Chen YongSchool : School of Energy Science and Engineering獨 創(chuàng) 性 聲 明本人聲明所呈交的學位論文是本人在導師指導下進行的研究工作及取得的研究成果。據(jù)我所知，除了文中特別加以標注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得電子科技大學或其它教育機構的學位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示謝意。作者簽名： 日期： 年 月 日論 文 使 用 授 權本學位論文作者完全了解電子科技大學有關保

4、留、使用學位論文的規(guī)定，有權保留并向國家有關部門或機構送交論文的復印件和磁盤，允許論文被查閱和借閱。本人授權電子科技大學可以將學位論文的全部或部分內容編入有關數(shù)據(jù)庫進行檢索，可以采用影印、縮印或掃描等復制手段保存、匯編學位論文。（保密的學位論文在解密后應遵守此規(guī)定）作者簽名： 導師簽名： 日期： 年 月 日摘 要I摘 要運動目標檢測與跟蹤作為人工智能領域一個重要的研究方向，在過去十年得到了足夠的關注以及非常廣泛的應用，比如智能視頻監(jiān)控技術、武器的精確制導技術等。上述研究和應用是基于靜止攝像機的情況，對于移動攝像機下的目標檢測，由于攝像機的運動引起背景變化增加了檢測與跟蹤的復雜度，使其成為一個難

5、點。在眾多實際應用中，攝像機都是處于運動狀態(tài)，因此移動背景下的目標檢測與跟蹤就顯得非常重要。本文對移動背景下的目標檢測算法進行了研究，重點研究了基于特征點的檢測算法和基于圖像匹配和耦合的檢測算法，并將檢測算法與跟蹤濾波器結合進行了性能的對比，將最優(yōu)算法進行進一步的驗證。本論文主要包括了以下幾部分的工作：(1)本文從特征點出發(fā)進行移動背景下的目標檢測，首先比較幾種常見的特征點提取算法，隨后確定最優(yōu)算法提取移動背景下的視頻序列的特征點。在此基礎上利用 K-Means 聚類實現(xiàn)特征點的分類，完成了移動背景下的目標檢測工作。(2) 將視頻序列兩幀之間的特征點進行精確匹配，隨后計算特征點之間的運動向量，

6、并對于運動向量進行統(tǒng)計建立運動向量直方圖，在此基礎上實現(xiàn)了移動背景下的目標檢測。(3) 根據(jù)視頻序列精確匹配的特征點對并結合反射參數(shù)模型求取攝像機的運動參數(shù)，利用運動參數(shù)截取子區(qū)域圖像完成幀間匹配工作；同時為了充分利用幀間的相關性和提高檢測算法的性能，將耦合思想融入其中實現(xiàn)了基于圖像匹配和耦合的移動背景下目標檢測。(4) 為了驗證本文所研究的檢測算法，將粒子濾波器與其相結合，實現(xiàn)了移動背景下的目標跟蹤；為了增強跟蹤的魯棒性，將運動區(qū)域直方圖與區(qū)域特征點結合生成多特征狀態(tài)向量。為了驗證本文所研究的檢測算法的有效性，將算法在網(wǎng)絡下載的戰(zhàn)斗機數(shù)據(jù)集以及 UCSD 的 landing 數(shù)據(jù)集上進行了測

7、試，其中基于圖像匹配和耦合的運動目標檢測算法能夠更完整提取運動目標區(qū)域，實驗結果很好的論證了本文所研究的檢測算法的可行性和魯棒性。 摘 要II關鍵詞關鍵詞：移動背景、SURF、運動向量直方圖、耦合、K-Means 聚類 ABSTRACTIIIABSTRACTTarget detection and tracking is an important part of artificial intelligence. It has been broadly researched and has made a wide range of applications in all aspects of l

8、ife, such as intelligent video surveillance technology and precision guided weapon. All of them are based on static camera, motion detection in dynamic video scenes is inherently difficult, as the moving camera induces 2D motion for each pixel, but the cameras are in the state of moving in many appl

9、ications, so the research of motion detection in dynamic video scenes is of great importance.This paper focus on the technology of target detection and tracking, especially for the target in moving background and the target detection algorithms which are base on feature points and image matching and

10、 coupling are in-depth studied. And then the target detection algorithms combine with tracking filter, the optimal will be further verified. This paper focus on the following works:(1)Target detection is based on feature points. First, the common feature point is studied, then the optimal feature po

11、int is used to extract the feature of the video in dynamic background. And the features are classified by K-Means clustering, from that we can obtain the target detection.(2)Through matching the feature points between two frames we can get several pairs of corresponding points, the motion vectors ca

12、n be obtained through subbing the location of the corresponding points, at last by counting up the motion vectors we can get the motion vector histogram, in turn we can get the result of the target detection.(3)The matching point between two frames are used to solve the parameters of camera, then th

13、e parameters are used to crop the sub-region image which is used to matching search in follow-up frames. At the same time, in order to improve the performance of detection algorithm, we integrate the thinking of coupling with object detection, at last we can achieve object detection by image matchin

14、g and coupling.(4)In order to verify several studied detection algorithms, we combine particle filter with them to achieve the tracking result. At the same time, we can improve the ABSTRACTIVperformance of the tracking algorithm by integrate the feature points with state vector. In order to evaluate

15、 the validity of our algorithms, them are tested in datasets which are downloaded from internet and the landing dataset of the UCSD laboratory. Among the algorithms, the algorithm of image matching and coupling can get accurate regions of target. And also the promising results on datasets demonstrat

16、e the effectiveness and robustness of our methods.Keywords: moving background, SURF, motion vector histogram, coupling, K-Means clustering 目 錄V目 錄第一章 緒 論 .11.1 課題背景及研究意義 .11.2 國內外目標檢測研究現(xiàn)狀 .21.2.1 靜態(tài)背景下的目標檢測 .31.2.2 移動背景下目標檢測方法 .41.3 目標跟蹤技術研究現(xiàn)狀 .71.4 本文研究難點 .81.5 本文主要內容以及結構安排 .81.5.1 本文主要內容 .81.5.2 本

17、論文的結構安排 .10第二章第二章 移動背景下運動目標跟蹤方法移動背景下運動目標跟蹤方法 .122.1 引言 .122.2 基于角點的檢測與跟蹤 .132.2.1 幾種角點介紹.132.2.2 基于角點的跟蹤 .152.3 基于尺度不變換特征的跟蹤 .172.3.1 SIFT 特征點的提取.172.3.2 基于 SIFT 的檢測與跟蹤 .222.4 基于 SURF 特征的目標檢測與跟蹤 .242.4.1. 尺度空間建立以及特征點判斷 .242.4.2 描述子生成 .252.4.3 基于 SURF 的目標檢測與跟蹤 .262.5 基于運動補償?shù)哪繕藱z測與跟蹤 .26目 錄VI2.6 本章小結 .

18、27第三章第三章 基于基于 SURFSURF 特征點運動目標檢測特征點運動目標檢測 .283.1 引言 .283.2 基于 SURF 與聚類的目標檢測 .283.2.1 聚類方法介紹 .283.2.2 K-Means 聚類介紹.303.2.3 SURF 特征點的聚類檢測.323.3 基于特征點運動向量直方圖的目標檢測 .383.3.1 基于特征點運動向量直方圖 .393.3.2 基于運動向量直方圖的檢測算法 .42第四章第四章 基于圖像匹配和幀間耦合的運動目標檢測基于圖像匹配和幀間耦合的運動目標檢測 .444.1 攝像機運動參數(shù)模型 .444.1.1 參數(shù)模型建立 .444.1.2 求取攝像機

19、運動參數(shù) .484.2 子區(qū)域圖像截取 .484.3 子區(qū)域圖像匹配 .514.3.1 圖像匹配準則 .514.3.2 匹配搜索法 .524.4 幀間耦合與目標檢測 .55第五章第五章 移動背景下跟蹤算法的實現(xiàn)移動背景下跟蹤算法的實現(xiàn) .595.1 跟蹤算法流程圖 .595.1.1 狀態(tài)向量以及模型建立 .615.2 系統(tǒng)開發(fā)環(huán)境 .625.3 幾種算法檢測以及跟蹤結果 .635.4 目標跟蹤軟件的實現(xiàn) .67第六章第六章 總結與展望總結與展望 .686.1 工作總結 .686.2 展望 .69目 錄VII致致 謝謝 .70參考文獻參考文獻 .71攻碩期間取得的研究成果攻碩期間取得的研究成果

20、.76第一章 緒 論1第一章 緒 論1.1 課題背景及研究意義人類主要通過視覺獲取表面信息,因此圖像在人類感知中扮演了很重要的角色,圖像給人類提供了超過 80%的信息1。但是人類獲取圖像只有經(jīng)過視覺波段，而成像機器幾乎覆蓋全部電磁波譜，能夠提供更加全面的視覺信息，因此圖像處理涉及眾多的應用領域。無論是圖像處理，還是較之高級的圖像分析，或者是計算機視覺，都是基于圖像進行分析。視頻由多幀圖像組成，因此其包含豐富的信息，如何利用視頻中豐富的信息就成為現(xiàn)今研究的一個關鍵問題。計算機視覺顧名思義，就是一門研究如何使用豐富的視頻信息代替人眼對目標進行識別、跟蹤和測量。作為一個新鮮的研究領域，其取得了較高的

21、關注度，而計算機視覺最重要的一個分支目標檢測與目標跟蹤，它的主要目的是對視頻中的運動目標如飛機和行人進行檢測，得到目標的基本信息，并對其進行分類識別。運動目標的檢測與跟蹤具有廣泛的應用背景，無論是對于民用還是軍事都有其應用空間：在民用上其主要應用到視頻監(jiān)控系統(tǒng)，在交通、銀行、辦公室等多個場合都已經(jīng)取得了成功；在軍事上其主要應用到武器的精確制導和無人機導航，對于當代的軍事武器的發(fā)展起到了舉足輕重的作用。目標檢測和跟蹤系統(tǒng)框架如下圖所示：特征點檢測前景區(qū)域檢測目標提取目標模型目標跟蹤視頻輸入跟蹤輸出圖 1-1 運動目標檢測與跟蹤流程無論是智能監(jiān)控系統(tǒng)還是視覺導航系統(tǒng),從攝像點是否變化這個角度出發(fā),

22、可將系統(tǒng)其分為二類:一類為固定攝像點下(靜態(tài)背景)的系統(tǒng);一類為移動攝像點下(移動背景)的系統(tǒng)。靜態(tài)背景下的目標檢測與跟蹤已經(jīng)得到了較深入的研究，并且得到了較好的研究成果；但是對于復雜環(huán)境比如雨天、霧天、戰(zhàn)場等，存在較多的干擾，眾多學者已經(jīng)進行了大量的研究，但是實際應用還是存在較多問題；移動背景下的目標檢測由于背景存在較大變化，與此同時運動目標也存在運動向量，傳統(tǒng)的目標檢測與跟蹤算法并不能使其取得較好的效果，但由于其較好的應電子科技大學碩士學位論文2用前景，使其成為計算機視覺領域一個研究熱點。靜態(tài)背景下的目標檢測已經(jīng)成為一個較成熟的領域，但是移動背景下的視頻序列包含復雜的背景以及背景運動向量，

23、傳統(tǒng)的檢測方法并不能取得較好的結果；一種思路為將移動背景視頻序列映射到靜態(tài)背景，至此可以利用靜態(tài)背景下的目標檢測與跟蹤算法，這就是基于全局運動補償?shù)幕驹?；同時可以利用背景運動向量與目標運動向量之間的差異，進行前景區(qū)域的提取，這就是光流法的基本原理；本文利用視頻序列前后幾幀之間的聯(lián)系，進行子區(qū)域圖像的匹配，最后利用幀間法得到一個較好的區(qū)域分割，之后進行前景區(qū)域提取得到較完整的目標輪廓，這就是基于交叉耦合檢測的基本原理。移動背景下的目標檢測與跟蹤框圖如圖 1-2 所示：運動補償前景區(qū)域檢測目標提取目標模型目標跟蹤視頻輸入跟蹤輸出子區(qū)域圖像配準運動向量比較圖 1-2 移動背景下幾種檢測與跟蹤方法

24、綜合以上幾種方法，對移動背景下的目標檢測已經(jīng)取得了一定的研究成果，但對于高速運動的攝像機，由于技術條件的限制，對于它的研究顯得較為困難。綜合考慮計算機視覺仍是一個較熱的領域，并且依然存在很多問題，下面將對國內外在運動檢測與跟蹤方面的研究動態(tài)進行一個簡要的介紹，在此基礎上提出本文解決移動背景下的目標檢測與跟蹤的思路，并對本論文的結構進行一個詳細的介紹。1.2 國內外目標檢測研究現(xiàn)狀視頻序列通過攝像頭獲取，對于不同的應用場合和應用要求，攝像頭的擺放位置以及姿勢都會不同。對于視頻監(jiān)控系統(tǒng)，比如辦公室、走廊、機場等每一個攝像頭都是監(jiān)控一定區(qū)域，不同的攝像頭協(xié)同完成監(jiān)控工作，因此其不需要攝像頭旋轉；而對

25、于機器視覺的導航系統(tǒng)，攝像頭處于不斷運動的狀態(tài)。在前面的研究意義中已經(jīng)介紹了，可以將系統(tǒng)分為兩類，一類為固定攝像點下的目標檢測與跟蹤；一類為移動攝像點下的目標檢測與跟蹤2。下面就從這二個方面介紹目標第一章 緒 論3檢測的研究現(xiàn)狀。1.2.1 靜態(tài)背景下的目標檢測靜態(tài)背景下的目標檢測基本原理為利用視頻序列前后幀之間的時間信息和空間信息的差異，得到一個較好的差分結果，從差分結果中提取運動區(qū)域輪廓完成目標檢測。主要有以下幾種方法：通過各種建模方法建立視頻序列的背景實現(xiàn)背景差分3-4；利用序列幀間關系進行幀間差分法5；利用圖像序列中背景與目標二維速度場的不一致性進行目標檢測的光流法6。(1) 背景差分

26、法背景差分法是運動檢測一個較成熟的算法，靜態(tài)背景下的目標檢測大部分是基于此方法。該方法最核心的步驟就是背景模型的建立，現(xiàn)今最主要的背景模型算法為高斯模型7、貝葉斯分類模型8、卡爾曼濾波模型9等。高斯模型能夠得到較好的背景圖像，但是對于動態(tài)背景即背景中存在較大的干擾時，并不能取得較好的背景圖像；貝葉斯分類建模對于背景干擾具有一定的適應能力，但是對于復雜的背景并不能確定較好的效果；基于卡爾曼濾波的背景模型對于動態(tài)背景不能取得較好的效果，并且對于運動速度較慢的物體會出現(xiàn)漏檢。(2) 幀間差分法幀間差分法利用視頻序列幀間的時間信息，將前后幾幀圖像進行比較，得到不同幀之間相同位置的像素差值，并設定一個閾

27、值(全局閾值，OTSU)10,將差值圖像二值化,得到一個較完整的輪廓圖。幀間差分法能夠完整的提取出前后幀之間的變化，但是檢測圖像中會存在較多的空洞，檢測結果并不十分準確，因此其應用范圍有限。(3) 光流法光流法不僅適用于靜態(tài)背景的目標檢測，對于移動背景下的目標檢測也有一定的適用性。當攝像機與觀察的環(huán)境存在相對運動時，所獲取的圖像在相鄰幀之間存在一個位移矢量，圖像坐標系與世界坐標系之間存在一個對應關系，因此可以將位移矢量投影到圖像平面形成一個圖像運動場，可以將其理解為像素點的位移在圖像平面的表現(xiàn)。當圖像中沒有運動時，圖像的運動場比較平整，當引入運動物體時運動場的平穩(wěn)被破壞，背景圖像的運動場和目標

28、的運動場不同，可以將圖像的全局運動場進行分類，得到前景和背景二類達到運動目標檢測的目的，這就是光流法進行目標檢測的基本原理。光流法計算全局圖像的光流，并不需要提電子科技大學碩士學位論文4取圖像的特征點，但是其計算開銷大，并不能對視頻進行實時的檢測,最重要的是對于動態(tài)背景或者是背景中存在復雜運動并不能取得好的結果。1.2.2 移動背景下目標檢測方法相對于固定攝像點下的目標檢測，移動攝像點下的目標檢測由于檢測目標與攝像機之間的運動由目標的自主運動與攝像機的運動疊加而成，其檢測過程更加復雜。首先必須剔除變化的背景，然后利用靜態(tài)背景下的目標檢測方法。下面將回顧移動攝像點下的目標檢測的主要方法。(1)

29、基于全局運動補償?shù)哪繕藱z測如前所述移動背景下目標檢測一種思路為對移動背景進行補償，將其歸結為靜態(tài)背景下的檢測。其基本思路為首先計算攝像機的運動參數(shù)，求取運動參數(shù)的方法較多，特征點求取法、塊匹配法等，塊匹配法求取的運動參數(shù)較粗糙，因此以特征點求取法為例闡述原理。采用特征點提取算法提取視頻幀特征點，并對前后二幀的特征點進行匹配，得到二幀圖像的對應關系，將其匹配點代入方程求解得到運動參數(shù)；隨后利用運動參數(shù)對視頻圖像進行計算，得到每一個像素點的相應位置，至此完成補償圖像的計算。 補償圖像的求取之后，利用常見的幀間差分法獲得運動目標的完整輪廓。但是攝像機移動情況下，會存在較多的旋轉以及尺度變化，該方法并

30、不能適應這種變化，使得檢測精度下降。(2) 結合 SIFT 與 MeanShift 的目標跟蹤攝像機的移動造成視頻序列背景的變化,同時也造成了目標尺度變化,傳統(tǒng)的檢測與跟蹤方法不能解決尺度變化下的目標檢測與跟蹤。Lowe 于 2004 年提出一種尺度不變換特征 SIFT11，對于移動背景下攝像機的旋轉具有較強的適應性，眾多學者將其應用到移動背景的特征點匹配，如前所述可以利用特征點進行移動背景下的目標檢測，因此可以幾個 SIFT 實現(xiàn)移動背景下的目標檢測。以下為幾種常見的 SIFT 目標檢測方法。Du 和 Ju12提出結合 SIFT 與 MeanShift 實現(xiàn)目標跟蹤，傳統(tǒng)的 MeanShif

31、t 算法利用顏色信息進行跟蹤，并沒有包含圖像的空間信息，當目標與背景的顏色特征相似時，就會出現(xiàn)跟蹤丟失的問題，對于移動背景下的目標檢測與跟蹤而言，也存在這類的問題。該文獻提出首先提取跟蹤的初始位置（方法一般為手第一章 緒 論5動選定做到半自動跟蹤） ，計算該區(qū)域的顏色特征，進行初始匹配得到較正確的位置，以該位置為中心確定一個矩形區(qū)域，提取該區(qū)域的 SIFT 特征，結合MeanShift 實現(xiàn)跟蹤。該算法解決了目標與背景特征相似時的跟蹤問題，但是它只做到了半自動跟蹤，手動選定目標，對于目標檢測并沒有提出實質性的解決方法。(3) 結合 SIFT 與分類器Gu 等人13結合 SIFT 與最近鄰分類器

32、實現(xiàn)目標檢測，在跟蹤目標狀態(tài)發(fā)生變化時獲得了很好的穩(wěn)定性和適用性。應用了當前比較流行的 tracking-by-detection 方法，采用最近鄰分類器作為基礎，并采用非參數(shù)分類器，同時采用ESS（Efficient Sub-Window Search）預測目標的位置，最重要的是采用新穎的特征更新方法去平衡算法的復雜性和穩(wěn)定性，它的使用改善了當今最先進的跟蹤算法不能解決變化窗口的跟蹤問題。算法的基本原理為在第一幀建立目標的模型，并確定初始的窗口，利用最近領域搜索法快速搜索，并計算 SIFT 特征描述子（為了保證計算的效率和實時性，只計算最近 T 幀的描述子） ；然后進行搜索匹配，得到當前幀最

33、佳的初始目標位置，并將其 SIFT 特征對目標模型進行更新，重復以上工作直至完成所有幀的跟蹤工作。該算法利用跟蹤窗口的特征對目標模型更新所用的特征進行濾波操作，因此可以解決背景雜亂的問題；同時選擇 SIFT 建立目標的模型，因此對于部分尺度變化具有免疫性；利用圖庫算法解決遮擋問題。總之該算法解決了目標跟蹤中尺度變化、遮擋、以及背景干擾問題。(4) 結合 SIFT 與聚類算法的檢測 李廣和馮燕14提出結合 SIFT 與 K-Means 實現(xiàn)目標檢測，并對單運動目標和多運動目標視頻進行測試，得到一個比較好的結果。算法基本原理為提取SIFT 特征，并在相鄰幀之間進行匹配，計算匹配點之間的運動向量，由

34、于背景運動向量與目標運動向量之間存在差異，利用 K-Means 對其進行分類，得到運動背景特征點和目標特征點二類，至此完成了運動目標檢測。 SIFT 特征的誕生給移動背景下的目標檢測提供了一個很好的工具，但是由于其計算復雜，雖然出現(xiàn)了很多 SIFT 特征的改進算法，但是其匹配效果又不能得到保證，很難做到準確性和效率的一個平衡，這也成為了利用 SIFT 進行檢測的一個弊病。電子科技大學碩士學位論文6(5) 基于空時顯著性的目標檢測當人處于一個場景中時，最讓人敏感和感興趣的為運動物體，這個結論也得到了心理學的研究證明，因此從人類的視覺特點出發(fā)，文獻15,16提出采用空時顯著行進行動態(tài)背景下的目標檢

35、測。主要過程和原理為首先提取圖像的空間特征，建立空間顯著性圖；同時利用多分辨率策略確定圖像的運動，形成運動顯著性圖；最后對空間顯著性圖和運動顯著性圖進行競爭得到空時顯著性圖，完成運動目標檢測。文獻17提出結合動態(tài)紋理與空時顯著性進行目標檢測，對于復雜背景和攝像機移動能夠得到較滿意的結果。以上二種算法都是基于空時顯著性，由于顯著性并沒有準確的定義，其檢測結果不是傳統(tǒng)的前景和背景檢測結果，而且檢測速度較慢，因此其廣泛的使用還需進一步的完善。(6) 基于馬爾科夫模型的目標檢測Kuo 等人18將 MRF 模型引入到目標檢測中，Lee 和 Babacan 19-20并對其進行了改進，MRF 模型目標檢測

36、能夠對其進行目標檢測，能夠保證空間的連續(xù)性，但是會生成眾多碎片（將檢測目標分成很多部分） 。針對這種情況 Berrabah等人21提出結合馬爾科夫模型與模糊邊緣實現(xiàn)目標檢測，模糊邊緣摒棄了傳統(tǒng)的邊緣檢測算法對于閾值的依賴22，并且能夠檢測梯度值較小處的邊緣，保證了提取邊緣的完整度。但是該方法的執(zhí)行時間較長，已經(jīng)超過了傳統(tǒng)的光流法，并且對于陰影、遮擋等并不能取得較好的效果。運動目標的檢測已經(jīng)得到了國內外眾多機構的研究，并且已經(jīng)具有較多的成熟產品問世，但是由于研究水平和硬件條件的限制，仍然存在一些問題。因此從成熟的應用角度去評判，形成一種通用的算法，還有一段較長的要走。本文從最前沿的研究動態(tài)出發(fā)，

37、提出幾種移動背景下的目標檢測算法，并對其進行了比較，并在此基礎上提出了最佳算法，并進行測試。1.3 目標跟蹤技術研究現(xiàn)狀目標檢測可以通過二種方式得到：運動檢測和變化檢測，在視頻序列中尋找變化的區(qū)域和不變化的區(qū)域，在將二者進行分離；另外一種為運動估計，計第一章 緒 論7算運動向量估計運動目標在相鄰幀間的位置。目標檢測只是視覺分析行為的第一步，完成目標檢測之后進行視覺跟蹤，才能夠完全的理解目標運動軌跡。視頻跟蹤是找到目標在圖像序列每一幀中的位置，并用一定的形式將其進行標記，表達形式有基于邊界的表達、基于區(qū)域的表達等21。目標跟蹤方法一般分為以下幾類23-24：(1) 基于模型的跟蹤方法該方法將目標

38、和對象根據(jù)一定的先驗知識建立目標模型，隨后在相鄰幀之前通過一定相似性判別準則進行相似性的判斷，匹配跟蹤目標。常見的模型有三維立體模型、線圖模型、等級模型等。Nickels 等人25對于人體采用模型進行跟蹤；Lin 和 Liu26對于復雜的有關節(jié)的對象采用模型跟蹤算法；Jang 和 Choi 27在三維時空空間中，引入馬爾科夫模型。由于檢測的結果是目標的一個大致表示，因此并不能建立完整的模型，在完成上一幀目標跟蹤之后，提取目標的特征信息對目標模型進行更新。因此它具有一定的魯棒性，無論是對于遮擋或者是干擾都有抗干擾能力。(2) 基于區(qū)域的跟蹤方法基于區(qū)域的跟蹤方法運動分割出目標，并在圖像幀之間建立

39、目標區(qū)域之間的聯(lián)系，以完成目標的跟蹤。此種方法對于沒有遮擋的情況精度較高，但是對于遮擋情況的跟蹤并不能取得理想的效果。(3) 基于特征的跟蹤根據(jù)目標檢測結果，提取目標可能性區(qū)域的特征，然后對相鄰幀的可能性區(qū)域內的同種特征進行比較，當相似程度大于一定的閾值時，就可以完成跟蹤，Saeedi 等人28采用基于特征的跟蹤，實現(xiàn)移動機器人的 3D 定位系統(tǒng)。由于該方法提取的特征具有局部性，并不是提取對目標整體進行匹配，因此其具有一定的遮擋處理能力。1.4 本文研究難點移動背景下的目標檢測由于其自身的復雜性，使得它成為一個研究難點。由于攝像機運動的隨機性，造成幀序列間目標狀態(tài)變化的不可預測性，基于此電子科

40、技大學碩士學位論文8本文具有如下的研究難點。(1) SURF 特征點的跟蹤中，SURF 特征點的提取以及背景特征點的剔除都是本文的難點。如果背景特征點與目標特征點之間具有很強的相似性，對目標檢測造成很大的困難，一旦提取的可能性區(qū)域存在較多的背景特征點，則會造成后續(xù)的跟蹤失敗。(2) 基于圖像匹配和幀間耦合的目標跟蹤依靠子圖像的裁取以及初始位置的設定，若選擇的子區(qū)域圖像過小以及初始位置不適當則會丟失新引入的運動目標，若過大則會造成算法效率低下；同時前后幀圖像之間的耦合也是一大難點；(3) 由于本文所選取實驗對象為飛機，視頻序列為戰(zhàn)斗機表演視頻，它存在快速運動，因此其姿勢、形狀等時刻都在發(fā)生變化，

41、因此穩(wěn)定、持續(xù)的跟蹤目標也是本文的另一大難點。1.5 本文主要內容以及結構安排1.5.1 本文主要內容針對現(xiàn)今移動背景下目標檢測提出了幾種檢測算法,并將其利用到飛機目標的檢測中,在一定程度上解決了移動背景下的高速運動物體的檢測,最后利用粒子濾波算法實現(xiàn)了目標跟蹤。本文檢測系統(tǒng)框圖如 1-3 所示。對于移動背景下的目標檢測，首先采用基于特征點的運動目標檢測。由于攝像機運動的隨機性以及目標尺度的變化，采用基于 SURF 特征點的目標檢測。第一種算法從聚類的角度出發(fā)，將提取的特征點分為幾類（特征點包括背景特征點和目標特征點） ，根據(jù)視頻背景的復雜性，分類的類數(shù)也不同。移動攝像機下的背景一直在變化，但

42、是在有限的幀數(shù)中，目標是一致存在于視頻序列中，因此利用幀間關系，將相鄰的 N 幀特征點進行聚類，在相鄰的 2N 幀利用每類區(qū)域直方圖進行匹配，得到檢測目標。第二種算法提出采用基于特征點的運動向量直方圖進行目標檢測，統(tǒng)計相鄰幀中特征點的運動向量，形成向量直方圖，則直方圖最大值所在區(qū)域就為目標區(qū)域，這種算法引入了傳統(tǒng)的直方圖統(tǒng)計方法，很好的利用了特征點的全局信息；并在隨后的跟蹤中，將特征點描述子引入到狀態(tài)向量中，保證了跟蹤了魯棒性。隨后從幀間關系出發(fā)進行檢測，首先利用傳統(tǒng)的全局運動補償進行檢測，采第一章 緒 論9用 SURF 特征點進行運動參數(shù)的估計，并在特征點的匹配中引入了對積幾何約束，剔除錯誤

43、的匹配點；運動補償之后進行差分操作得到運動目標區(qū)域，完成目標檢測。最后一種算法充分利用幀之間的空間信息，實現(xiàn)幀間的耦合，幀間差分和背景差分完美的結合。首先截取圖像的一部分作為目標圖像，并在隔幀圖像中進行匹配搜索，考慮到攝像機運動的隨機性，本文為了模擬攝像機的運動，提出米字型搜索法，它從物理上完全模擬了攝像機運動組合，給算法的實時性實施提供了保障。隨后將搜索的匹配圖像進行背景差分和幀間差分操作，最后將其結果進行與運算就可以得到檢測結果。最后根據(jù)幾種算法的檢測結果，利用粒子濾波實現(xiàn)了目標跟蹤。在狀態(tài)向量的計算中，提取目標的顏色直方圖，為了增強跟蹤的魯棒性，將目標區(qū)域內的特征點引入到運動向量中，并給

44、每個狀態(tài)設定權值實現(xiàn)多特征融合。同時為了保證適應目標尺度變化，必須對狀態(tài)向量實時更新?；诒疚奶岢龅乃姆N算法，將其在幾類視頻中進行了測試，并比較了每一種算法的優(yōu)點和缺點，給移動背景下目標檢測提供了一個很好的參考。視頻輸入KMeans聚類攝像機模型參數(shù)計算SURF特征點提取特征點匹配計算區(qū)域直方圖計算運動向量子區(qū)域圖像截取區(qū)域直方圖匹配建立運動向量直方圖區(qū)域圖像搜索匹配獲取目標區(qū)域中心點獲取中心點耦合檢測建立狀態(tài)向量粒子濾波跟蹤輸出圖 1-3 本文系統(tǒng)框架圖1.5.2 本論文的結構安排第一章：緒論。主要介紹目標檢測的研究現(xiàn)狀、研究意義以及研究難點。第二章：移動背景下目標跟蹤方法。從宏觀上介紹了目

45、標跟蹤的幾種方法，隨后詳細介紹了基于特征點的跟蹤方法?；谶@一點詳細介紹了圖像處理中的幾種特征點，并且比較了這幾種特征點在特征點提取數(shù)以及計算速度兩方面的優(yōu)劣勢，確定了本文的特征點提取算法。第三章：基于 SURF 的目標檢測。詳細介紹了本課題提出的兩種基于 SURF特征點的目標檢測算法，并給出了檢測結果。第四章：基于圖像匹配和耦合的目標檢測。詳細介紹本課題提出的基于圖像匹配和耦合的目標檢測算法，介紹了算法原理，并在此基礎上給出了算法的實驗結果。第五章：算法的實現(xiàn)以及結果分析。將本課題提出的幾種算法進行了實驗，第一章 緒 論10并結合跟蹤算法實現(xiàn)了目標跟蹤，將幾種算法的實驗結果進行了詳細的比較，

46、隨后確定了一種最后算法，將其在另外兩段視頻上進行了驗證。第六章：總結與展望。將本論文所涉及的知識進行了詳細的總結，并提出了本文算法繼續(xù)研究價值。電子科技大學碩士學位論文11第二章 移動背景下運動目標跟蹤方法2.1 引言基于特征點的運動目標跟蹤與檢測從不考慮物體整體，也不關心物體是什么，只是關心物體的局部特征。對于目標檢測考慮圖像特征點運動矢量，以及統(tǒng)計圖像特征點的整體信息。圖像的特征根據(jù)統(tǒng)計角度不同將其分為以下幾類29。視覺特性：從形狀特性描述物體，可以分為區(qū)域輪廓、物體邊緣、目標形狀、圖像紋理等。統(tǒng)計特性：統(tǒng)計法根據(jù)圖像的某種視覺特征，進行統(tǒng)計。如顏色直方圖、矩特征。顏色直方圖針對圖像的顏色

47、信息，對其進行統(tǒng)計；矩特征通過統(tǒng)計圖像的灰度分布和關系描述紋理。數(shù)學特性：通過某種數(shù)學計算，得到圖像的某種數(shù)學表現(xiàn)，主要有傅立葉描述子、圖像矩陣的奇異值分解，小波變化等。圖像特征從一個較好角度描述了圖像，但是對于移動攝像機下的視頻序列，圖像局部特征和全局特征都在變化，因此其并不是一個很好描述圖像的工具。特征點屬于圖像的局部特征，其具有不變性，本文采用特征點進行目標檢測也是出于這方面的考慮。常用的特征點具有如下幾種：角點、SIFT、SURF 等。角點的特性比較明顯，并且應用范圍較廣，但是其并不具有尺度不變換性，雖然現(xiàn)今許多學者提出將其應用到尺度空間，但都是作為尺度不變換特征的輔助?；谔卣鼽c目標

48、檢測，傳統(tǒng)算法采用模版匹配，提取出運動目標并提取其特征點，隨后在圖像幀中進行匹配，獲得運動目標精確位置。以下為基于幾種特征點檢測與跟蹤的綜述。第二章 移動背景下運動目標跟蹤方法122.2 基于角點的檢測與跟蹤2.2.1 幾種角點介紹作為圖像處理領域一種最原始的特征點，角點包含了圖像很重要的信息，快速并且準確地提取圖像角點對于圖像處理至關重要30。雖然角點在圖像處理扮演著重要的角色，比如圖像匹配、圖像匹配、運動估計、場景重建等，雖然角點經(jīng)歷了多年的發(fā)展，但是它并沒有一個準確的規(guī)范去定義它的提取，在學術界公認的定義為曲率較大的點，其對光線的變化并不敏感具有旋轉不變性。角點特征提取根據(jù)提取原理可以分

49、為二類：一類為基于圖像邊緣的提取，另外一類為基于圖像灰度提取，下面將介紹基于灰度提取的幾種比較有代表性的提取算法。(1) Moravec 角點它是圖像處理領域最早的角點提取算法，通過圖像灰度方差進行特征點的判斷31，將角點定義為低“自相關性”的點。檢測原理為利用圖像像素灰度差，它會考慮圖像每一個像素，并將像素周圍一定區(qū)域稱為一個 patch,同時檢測當前 patch與相鄰 patch 的相關性，衡量 patch 相關性的原則為通過比較兩個 patch 的平方差之和，該值越小則兩者相似性越高。設定區(qū)域中心點像素為，像素偏移量為( , )u v，角點的響應函數(shù)為，可以得到如下的角點響應函數(shù)，如公式

50、(1)所示：( , )x y( , )E x y (2-1)2,( , )=( ( + ,)( , )x y WE x yI x u yvI u v取以像素點為中心的一個區(qū)域，計算(0o,45o,90o,135o)四個方向的灰度響應( , )u vW值，因為兩者相似性越高，則差值越?。灰虼诉x定其中最小值作為該像素點的響應值；隨后通過閾值進行判斷，若該點的響應值大于設定的閾值，則可(u,v)以確定該點為特征點。 Moravec 考慮每一個像素點和周圍 patch，因此運算量較大。上面已經(jīng)提出只考慮 (0o,45o,90o,135o)四個方向，因此對于圖像噪聲點比較敏感，會檢測出很多錯誤點。雖然其

51、存在較多的問題，但是它為圖像特征點檢測提供了一個方向。(2) Harris 角點由于 Moravec 角點存在檢測率較低的問題，針對這種情況 Harris 于 1988 年提出 Harris 角點檢測算法32。Moravec 角點響應是各向異性，因為其只考慮 8 個 45電子科技大學碩士學位論文13度離散方向，因此 Harris 角點將窗口內不同點賦予不同的權值。響應函數(shù)如公式(2)所示，其中高斯平滑函數(shù)，并將其進行泰勒展開，得到公式(4)，其中為,u vWM像素點的梯度矩陣，表示圖像強度。( , )I x y (2-2)2,v( , )=( ( + ,)( , )x yuWE x yWI x

52、 u yvI u v (2-3)222,exp ()/ 2u vWuv (2-4)2,222,( , )()( , )( , )x yx y y vu vu vu vxyu vTE x yWIIWxIyIO xyx y M x y( 1,0,1)/xIIIx (2-5) (2-6)( 1,0,1)/TyIIIy 經(jīng)過上述計算，將公式(2-4)展開,此可以公式(2-4)可以表示為 (2-7)22( , )2E x yAxCxyBy其中2,xx yAIW2,yx yBIW,()xyx yCI IW計算圖像在方向二階導數(shù)，并將其與高斯平滑函數(shù)進行計算得到參數(shù), x yA、B、C，因此梯度矩陣如(2-

53、8)所示： (2-8)ACMCBM 表示梯度矩陣，則用，表示矩陣的特征值，Harris 角點的響應函數(shù)可以表12示為： (2-9)2()()RDet Mk Tr M公式(2-9)中為 M 的行列式值、表示 M 的跡，為一個常數(shù)，()Det M()Tr Mk第二章 移動背景下運動目標跟蹤方法14Harris 建議取 0.04，計算 M 得到矩陣的行列式和跡： (2-10)12()Tr MAB (2-11)212()Det MABC Harris 角點的響應函數(shù)可以表示為： (2-12)22()RABCk AB與 Moravec 一樣，若(T 為設定的閾值),可以判定該點為角點。圖 2-1 為角點

54、RT檢測圖。圖 2-1 角點檢測圖2.2.2 基于角點的跟蹤角點是一種重要的特征，對于動態(tài)背景并不敏感(比如水波、搖曳的樹枝、光線的變化)，圖 2-1 是一種細節(jié)信息較豐富的圖片，從圖可以得到眾多特征點，為基于角點的檢測與跟蹤提供了足夠依據(jù)。Zhang Yan 等人提出采用角點和 K-均值實現(xiàn)跟蹤，首先提取角點，隨后采用K-均值去除一部分角點，最后利用剩余的角點建立一個 K 邊模型，完成跟蹤。其基本框架如圖 2-2 所示33。角點檢測KNN去除多余角點模型建立目標跟蹤視頻輸入跟蹤輸出圖 2-2 角點與 K-均值算法框圖Ning Li 等人充分利用角點特征,它并不像基于像素的特征，在復雜環(huán)境下也

55、可對目標進行表示。提出結合卡爾曼濾波與角點生成新型自適應卡爾曼濾波，簡稱為(CB-AKF)34。電子科技大學碩士學位論文15n幀(nk)k幀Harris 角點Harris 角點利用三步搜索法計算運動角點手動選擇角點表示目標K-均值聚類利用角點進行目標匹配利用自適應卡爾曼濾波進行跟蹤運動物體軌跡最佳匹配運動向量圖 2-3 CB-AKF框圖 Meng liu 等人提出基于多尺度 Harris 角點特征并且融合多分辨率光流跟蹤算法實現(xiàn)目標跟蹤，多分辨率光流跟蹤算法將目標位移在小波變化的圖像金字塔中進行分解，然后基于 LK(lucas-kandade)的離散光流在小波變換的圖像金字塔的每一級金字塔逐步

56、進行匹配，并且可以穩(wěn)定的跟蹤快速運動的物體。對于運動物體所選取的特征，采用基于小波的多尺度角點特征，并且對于傳統(tǒng)的基于角點的跟蹤算法進行了改進，當運動目標發(fā)生旋轉和移動時特征都比較穩(wěn)定35。 Alessio Dore 等人采用粒子濾波與角點特征融合進行多目標的跟蹤36，并且采用稀疏分布的形狀模型解決部分遮擋問題。粒子濾波的狀態(tài)向量由一個興趣點點集組成，它們可以描述目標的位置和形狀，在文獻中興趣點尤角點組成；并且改進了重要性采樣,減少所用的粒子數(shù)目；并采用 Kanade-Lucas-Tomasi(KLT)特征跟蹤器去進行局部運動估計。重要性采樣可以自適應的處理部分遮擋，粒子權值的計算通過形狀的匹

57、配以及區(qū)域的顏色直方圖匹配得到。 Houssam Salmane 等人提出采用基于角點的光流和卡爾曼濾波實現(xiàn)目標跟蹤。該文指出基于興趣點的光流比基于像素點的光流更加精確和穩(wěn)定。首先，利用獨立成分分析進行目標檢測。隨后提取檢測目標的特征點局部光流，假定其余像素點的光流滿足高斯分布，估計剩余像素點的光流。最后利用自適應的卡爾曼濾波對估計的光流進行校正。該方法對目標跟蹤取得較好效果，但是也存在較多問題，比如通過估計得到光流的高斯分布使得較好的目標像素點比率較低，值得我們在第二章 移動背景下運動目標跟蹤方法16以后得研究中進行投入37。綜上所述角點是一種重要的點特征，基于角點的跟蹤都是從角點的平移不變

58、性出發(fā)，提取目標的角點進行匹配完成跟蹤。但是對于移動背景由于攝像機的旋轉，目標的點特征在幀間出現(xiàn)太多變化，對于點特征的匹配會造成諸多困難，因此對于移動背景下的檢測與跟蹤，角點并不是一個很好的選擇，尺度不變換特征是一種在移動背景下魯棒性更好的點特征，下面就對其進行一個簡單的介紹。2.3 基于尺度不變換特征的跟蹤2.3.1 SIFT 特征點的提取角點特征能夠很好的進行特征點提取，并且對于靜態(tài)背景下的目標檢測對于較強的魯棒性，由于動態(tài)背景下特征點存在一個快速變化的過程，因此對于基于特征點的檢測與跟蹤時一個巨大的挑戰(zhàn)。尺度不變換特征利用尺度空間理論，模擬攝像機旋轉變化，求取尺度空間特征性較強的點。該理

59、論為 David G.Lowe 于1999 年提出38，并于 2004 年進行了改進39。尺度不變換特征分為以下幾個步驟，候選極值點檢測、候選關鍵點定位、確定候選關鍵點方向、生成特征點描述子幾個部分，下面就從這幾個方面進行介紹。(1) 構建高斯尺度空間 SIFT 特征點具有尺度不變性，在動態(tài)背景下的視頻序列中，目標的尺度變化很大程度上是由于攝像機的旋轉造成的。尺度空間的建立主要目的就是為了尋找對于圖像尺度變化不敏感的更強特征點，由于在眾多的假設中，高斯函數(shù)是唯一可能建立尺度空間的內核40，因此 David G.Lowe 利用高斯函數(shù)建立尺度空間。假定圖像為，為尺度可變的高斯函數(shù)，因此可以假定圖

60、像的高斯( , )I x y( , ,)G x y尺度空間為,如公式(2-13)所示。( , ,)L x y (2-13)( , ,)( , )*( , ,)L x yI x yG x y如前所示這是尺度可變的高斯尺度空間，其中表示尺度空間的尺度，尺度空間每一層的變化都是因為選取不同的。高斯尺度空間函數(shù)形式如(2-14)所示。 (2-14)222()221( , ,)2xyG x ye電子科技大學碩士學位論文17 為了更有效的在尺度空間中檢測極值點，David G.Lowe 提出采用卷積運算，卷積函數(shù)為高斯差分函數(shù)，差分函數(shù)通過不同尺度的高斯高斯函數(shù)相減得到，如公式(2-15)。圖 2-4 為