目標(biāo)跟蹤綜述

1、目標(biāo)跟蹤綜述Alper Yilmaz俄亥俄州立大學(xué)Omar Javed目標(biāo)視頻公司和Mubarak Shah中央佛羅里達(dá)大學(xué) 這篇文章的目的是回顧最先進(jìn)的跟蹤方法，對這些方法分類并探索新的發(fā)展趨勢。一般來說，目標(biāo)跟蹤是一個頗具挑戰(zhàn)性的問題。目標(biāo)的不定向運(yùn)動使跟蹤目標(biāo)變得困難，因為它改變了目標(biāo)和場景的外觀模式、非剛性目標(biāo)的結(jié)構(gòu)、目標(biāo)之間及目標(biāo)與場景間的遮照、照相機(jī)的運(yùn)動。跟蹤常應(yīng)用于那些需要了解目標(biāo)每幀的位置及形狀的高級應(yīng)用環(huán)境中。常用假設(shè)來約束特定應(yīng)用環(huán)境中的跟蹤問題。在此調(diào)查中，我們根據(jù)常用到的目標(biāo)和運(yùn)動表示法對跟蹤方法分類，并提供每類中代表方法的詳細(xì)描述，分析各類別的優(yōu)缺點(diǎn)。此外，我們將討

2、論與跟蹤相關(guān)的重要問題，包括合適圖像特征的使用,運(yùn)動模型的選擇和目標(biāo)的檢測。范疇和學(xué)科性質(zhì)：I.4.8圖像處理和計算機(jī)視覺：場景分析跟蹤基本術(shù)語：算法另外的關(guān)鍵詞句：外觀模型，輪廓演變，特征選擇，目標(biāo)檢測，目標(biāo)表示法，點(diǎn)跟蹤、形狀跟蹤ACM（Association for Computing Machinery美國計算機(jī)協(xié)會） 參考格式：Yilmaz, A., Javed, O., and Shah, M. 2006.目標(biāo)跟蹤調(diào)查。ACM 計算機(jī)研究38，4，文章13（2006.12）45頁。數(shù)字目標(biāo)標(biāo)識(Digital Object Identifier)=10.1145/1177352.1

3、177355/10.1145/1177352.1177355此材料基于工作的部分基金來著美國政府。但材料中的任何意見、研究成果、結(jié)論或建議是作者自己的觀點(diǎn),并不代表美國政府的看法。作者地址：A. Yilmaz, CEEGS部門，俄亥俄州立大學(xué)；郵箱：；O. Javed, 目標(biāo)視頻公司，里斯頓，VA 20191;郵箱：ojaved; M. Shah, 電氣工程與計算機(jī)科學(xué)學(xué)校，中央佛羅里達(dá)大學(xué)；郵箱：允許免費(fèi)電子或硬盤復(fù)制部分或全部此材料，將其為個人或教學(xué)所用，不能用于盈利或者直接的商業(yè)競爭。復(fù)印件須在

4、第一頁或屏幕顯示的初始顯示此通知，并附上完整出處。由其他人擁有的此篇文章的版權(quán)必須得到尊重。有信譽(yù)的摘要是被允許的。在其他方面的復(fù)制、翻版、在服務(wù)器上的張貼、列表的重新分配、在其他作品中使用這篇文章的任何內(nèi)容需要先經(jīng)過特定允許或交付酬金。由美國紐約710套房賓夕法利亞大學(xué)2號廣場ACM公司出版部授權(quán)，傳真+1 (212) 869-0481，郵箱。_c 2006 ACM 0360-0300/2006/12-ART13 $5.00 DOI: 10.1145/1177352.1177355 /10.1145/1177352.117

5、7355.1.引言 在計算機(jī)視覺領(lǐng)域目標(biāo)跟蹤是一項重要的工作。隨著高性能計算機(jī)的增多，物美價廉的攝影機(jī)的普及，對自動視頻分析與日俱增的需求引起人們對目標(biāo)跟蹤算法的濃厚興趣。視頻分析有三個關(guān)鍵步驟：對特征運(yùn)動目標(biāo)的檢測、跟蹤每幀中的目標(biāo)、分析目標(biāo)的軌跡來識別它們的行為。因此，目標(biāo)跟蹤應(yīng)用于以下相關(guān)工作中：基于運(yùn)動的識別，即基于步法的人類識別，自動物體檢測等；自動化監(jiān)測，即監(jiān)視一個場景以檢測可疑行為或不太可能的事件；視頻索引，即在自動注釋或檢索多媒體數(shù)據(jù)庫視頻；人機(jī)交互，即將姿勢識別和眼睛注視的數(shù)據(jù)輸入到計算機(jī)中等；交通監(jiān)視，即實時收集交通數(shù)據(jù)用來指揮交通流動；車輛導(dǎo)航,即視頻路徑規(guī)劃和避障能力。

6、 跟蹤可以簡單地定義為評估物體圍繞一個場景運(yùn)動時在圖像平面中軌跡。換句話說，一個跟蹤系統(tǒng)給同一個視頻的不同幀中的跟蹤目標(biāo)分配相一致的標(biāo)簽。此外，根據(jù)跟蹤的范圍，跟蹤系統(tǒng)也可以提供中心目標(biāo)的信息，比如目標(biāo)的方向、面積或形狀。跟蹤的目標(biāo)可能很復(fù)雜，這是因為：根據(jù)二維圖片預(yù)測三維世界引起信息丟失圖片的噪音復(fù)雜的物體運(yùn)動物體的非剛性和精密的性質(zhì)部分或完整的物體遮擋復(fù)雜的物體形狀場景照度的改變實時處理的需要 可以通過大大的約束物體的運(yùn)動或外觀來簡化跟蹤。例如，幾乎所有的跟蹤算法都假設(shè)物體的運(yùn)動是平滑的，不會突變。還可以根據(jù)推理的信息將物體約束為勻速或等加速運(yùn)動。利用先前物體的數(shù)量和大小或外觀和形狀的知識

7、也可以簡化問題。 已有大量目標(biāo)跟蹤方法被提出。這些方法解決以下問題的方式有所不同：跟蹤物體的哪些表現(xiàn)？應(yīng)用哪些圖片特征？怎樣構(gòu)造物體的運(yùn)動、外觀、形狀模型？人們正在根據(jù)跟蹤環(huán)境和跟蹤信息的最后使用尋找這些問題的答案。為了回答不同情形下的這些問題，已有大量的跟蹤方法被提出。這次調(diào)查的目標(biāo)是將跟蹤方法分成幾大類，并且提供每類中代表方法的綜合描述。我們力求讓那些想學(xué)習(xí)跟蹤器的某個特定應(yīng)用的讀者能根據(jù)他們自身需要找到最合適的跟蹤算法。此外，我們的目標(biāo)是探索跟蹤領(lǐng)域的新趨勢和思想，希望讓讀者能洞悉新跟蹤方法的發(fā)展。 我們的調(diào)查重點(diǎn)是跟蹤一般目標(biāo)的方法，而不是跟蹤特定的目標(biāo)，例如，人體追蹤是使用人類運(yùn)動學(xué)

8、作為實現(xiàn)基礎(chǔ)。利用清晰的物理模型對人進(jìn)行跟蹤的工作已經(jīng)展開。這些模型在Aggarwal and Cai 1999, Gavrilla 1999, and Moeslund and Granum2001的調(diào)查中已被討論和分類。然而，我們，包括一些目標(biāo)跟蹤的工作也適用于除精密的目標(biāo)外的領(lǐng)域。我們采取自下而上的方法來描述問題，這些問題在建立目標(biāo)跟蹤時需要處理。第一個問題是定義一個合適的目標(biāo)表示法。在第二部分，我們將描述常見的物體形狀表示法，例如，點(diǎn)、簡單的幾何形狀和物體輪廓、外觀表示法。下一個問題是用以對跟蹤器輸入的圖像特征選取。在第三部分，我們將討論多種圖像特征，如顏色、運(yùn)動、邊等，這些特征在目標(biāo)

9、跟蹤中經(jīng)常用到。幾乎所有的跟蹤算法需要在第一幀或所有幀對目標(biāo)經(jīng)行檢測。第四部分概括了檢測場景中目標(biāo)的一般策略。一個特定跟蹤算法的合適性取決于目標(biāo)的外觀、形狀、數(shù)量、目標(biāo)和照相機(jī)的運(yùn)動和光照條件。在第五部分，我們對現(xiàn)有的跟蹤方法經(jīng)行分類和描述，在每類結(jié)尾的總結(jié)部分介紹它們的優(yōu)缺點(diǎn)。第六部分，討論關(guān)于目標(biāo)跟蹤的重要問題。 第七部分跟蹤研究的未來方向。最后，第八部分補(bǔ)充評論。2.目標(biāo)的表示法 在一個跟蹤情節(jié)中，目標(biāo)可以被定義成任何便于進(jìn)一步分析的東西。例如，海洋上的船只，玻璃缸里的魚，公路上的車輛，空中的飛機(jī)，路上的行人，或者水中的氣泡在特定的領(lǐng)域可能是一系列重要的跟蹤目標(biāo)。目標(biāo)可以用它們的形狀和外

10、觀表示。在這部分，我們將首先描述跟蹤常用到的目標(biāo)形狀表示法，然后描述節(jié)點(diǎn)形狀和外觀表示法。點(diǎn)。目標(biāo)用一個點(diǎn)來表示，即形心(圖 1(a) Veenman et al. 2001或者用一系列的點(diǎn)表示(圖 1(b) Serby et al. 2004。一般情況下，點(diǎn)表示法適合于在圖像中占據(jù)很小區(qū)域的跟蹤目標(biāo)。（見5.1部分）簡單的幾何形狀。目標(biāo)的形狀用矩形、橢圓表示。（圖1（c），（d）Comaniciu et al. 2003,等。通常用轉(zhuǎn)化、仿射或投影（單應(yīng)性）轉(zhuǎn)換來構(gòu)造這些表現(xiàn)形式的物體的運(yùn)動模型（詳見5.2部分）。盡管簡單的幾何形狀更適合表示簡單的剛性物體，他們也可以用來跟蹤非剛性物體。物體

11、的剪影和輪廓。輪廓表示法定義了物體的邊界（圖1（g），（h）。輪廓的中間區(qū)域被稱作物體的剪影（見圖1（i）。骨架和輪廓表示法適合跟蹤復(fù)雜的非剛性形狀Yilmaz et al. 2004。 圖.1物體表示法。（a）形心，（b）多點(diǎn)，（c）矩形塊，（d）橢圓塊，（e）有部分構(gòu)成的多塊，（f）物體骨架，（g）完整的物體輪廓，（h）物體輪廓的控制點(diǎn)，（i）物體剪影鏈狀模型。鏈接目標(biāo)由主體的各部分組成，這些部分通過節(jié)點(diǎn)連接在一起。例如，人體是一個有軀干的鏈接物體，腿、手、頭、腳由節(jié)點(diǎn)鏈接在一起。各部分間的關(guān)系由運(yùn)動學(xué)模型支配，例如，節(jié)點(diǎn)處的角度等。為了表示一個鏈狀物體，可以用圓柱體或橢圓構(gòu)造組成部分的模

12、型，如圖1（e）。骨骼模型。目標(biāo)的骨骼可以通過對物體剪影進(jìn)行中間軸轉(zhuǎn)換提取出來Ballard and Brown 1982, 第八章。這種模型通常作為識別目標(biāo)的一種形狀表示法Ali and Aggarwal 2001。骨骼表示法可以用來構(gòu)造鏈狀和剛性物體的模型（見圖1（f）。有很多表示物體外觀特征的方式。請注意在跟蹤中形狀表示法也可以與外觀表示法相結(jié)合Cootes et al. 2001。在目標(biāo)跟蹤環(huán)境中一些常見的外觀表示法有：物體外觀的概率密度。物體外觀的概率密度評估要不是參數(shù)形式的，如高斯分布Zhu and Yuille 1996和高斯分布的混合形式Paragios and Deriche

13、 2002，要不是非參數(shù)形式的，如密度評估窗體Elgammal et al. 2002或直方圖Comaniciu et al. 2003。物體外觀特征（顏色，紋理）的概率密度可以通過形狀模型（橢圓或輪廓的內(nèi)部區(qū)域）指定的圖像區(qū)域計算出來。模板。模板由簡單的幾何形狀或輪廓構(gòu)成Fieguth and Terzopoulos 1997。模板的優(yōu)勢在于它可以同時包含空間和外觀信息。但是模板只能編碼從單一視角產(chǎn)生的目標(biāo)目標(biāo)的外觀。因此模板只適合跟蹤在跟蹤過程中形態(tài)變化不是很大的目標(biāo)。主動外觀模型。主動外觀模型對物體的形狀和外觀同時建模。物體的形狀通常由一系列的標(biāo)記定義。與輪廓表示法相似，標(biāo)記可以附在物體

14、的邊界上或物體內(nèi)部。對每個標(biāo)記而言，外觀矢量是以顏色、紋理或者梯度大小的形式存儲的。主動外觀模型要求一個能從一系列樣本中識別形狀和相應(yīng)外觀的瞄準(zhǔn)位，如主成分分析。多視角外觀模型。這些模型可以對物體的不同視角編碼。表示物體不同視角的一個方法是從給定的視角中產(chǎn)生一個子空間。子空間方法，如主成分分析（PCA）和無約束成分分析（ICA），已用于形狀和外觀表示法中。Mughadam and Pentland 1997; Black and Jepson 1998。 另一種獲知物體的不同視角的方法是通過瞄準(zhǔn)一系列的分級器，如支持矢量的機(jī)械A(chǔ)vidan 2001和貝葉斯網(wǎng)絡(luò)Park and Aggarwal

15、 2004。多視角的外觀模型局限性在于需要提前形成所有視口中的外觀。通常目標(biāo)表示法與跟蹤算法有密切聯(lián)系。一般根據(jù)應(yīng)用領(lǐng)域選擇目標(biāo)表示法。對于在圖像中顯示非常小的跟蹤目標(biāo)適合用點(diǎn)表示法。例如，Veenman et al. 2001用點(diǎn)表示法跟蹤移動的盤子序列中的種子。類似的，Shafique and Shah 2003用點(diǎn)表示法跟蹤遙遠(yuǎn)的鳥群。形狀近似矩形或橢圓的目標(biāo)，簡單幾何形狀表示法更合適。Comaniciu et al. 2003用橢圓形狀表示法，并使用從橢圓區(qū)域計算出的顏色直方圖來對外觀建模。在1988年，Black和Jepson用特征向量表示外觀。特征詳細(xì)由矩形目標(biāo)模板產(chǎn)生。有復(fù)雜形狀

16、的跟蹤目標(biāo)如人體，用輪廓或剪影表示法合適。Haritaoglu et al. 2000用在監(jiān)視應(yīng)用中用剪影進(jìn)行目標(biāo)跟蹤。3.跟蹤的特征選擇 在跟蹤中選擇正確的特征非常重要。一個視覺特征最突出的屬性是它的獨(dú)特性，這樣目標(biāo)在特征空間才能容易被區(qū)分開來。特征的選擇與目標(biāo)表示法有密切聯(lián)系。例如，在柱狀圖外觀表示法中，顏色是一個特征。在基于輪廓的表示法中，目標(biāo)邊緣通常被當(dāng)作特征。一般情況下，許多跟蹤算法將這些特征結(jié)合起來使用。一般視覺特征的詳細(xì)說明如下：顏色。一個物體的表面顏色主要受兩個物理因素影響，1）光源的光譜能量分布和2）物體的表面反射屬性。在圖像處理中RGB彩色空間通常用來表示顏色。但RGB空間

17、不是一個視覺上勻稱的彩色空間，也就是說，RGB空間中顏色的差異與被人感知的顏色差異不一致Paschos 2001。此外，RGB的各維度是密切相關(guān)的。相比之下，Luv和 Lab are是視覺上勻稱的顏色空間，HSV（色彩，飽和度，值）是近似勻稱的顏色空間。但是這些顏色空間易受噪聲的影響Song et al. 1996。總之，對于哪種顏色空間更有效沒有最終的結(jié)論，因此各種各樣的顏色空間被應(yīng)用到跟蹤中。邊界。物體的邊界在圖像強(qiáng)度中往往會發(fā)生很大變化。邊界探測用來識別這些變化。邊界的一個重要屬性是相對于顏色特征它們對光照更不敏感。跟蹤目標(biāo)的邊界算法通常將邊界作為一個代表性特征。最流行的邊界探測法是精密

18、的邊緣探測器Canny 1986，因為它簡單精確。Bowyer et al. 2001提供了邊界探測算法的評估方法。視覺流。視覺流是移位矢量的一個高深領(lǐng)域，其中移位矢量定義了一個區(qū)域內(nèi)每個像素的轉(zhuǎn)化。視覺流用灰度約束來計算，假設(shè)連續(xù)幀中相對應(yīng)的像素灰度不變Horn and Schunk 1981。視覺流通常作為基于運(yùn)動的分割和跟蹤應(yīng)用中的一個特征。計算復(fù)雜的視覺流的常用方法有由Horn and Schunck 1981, Lucas and Kanade 1981研究的方法。對于視覺流的性能評估方法，我們參考關(guān)于Barron et al. 1994研究的有趣趣讀物。紋理。紋理是對表面量化屬性如

19、光滑度和規(guī)則性的強(qiáng)度變化的一種量度。與顏色相比，紋理需要一個處理步驟產(chǎn)生描述語。有許多紋理描述語：灰度級共存矩陣（GLCMs）Haralick et al. 1973(一個直方圖，它顯示了在指定的方向和距離上的強(qiáng)度共存)，Law的紋理測量Laws 1980（25個2D濾波器由5個相同級別、邊界、地點(diǎn)、波和波紋的濾波器產(chǎn)生），微波Mallat 1989（濾波器的正交儲庫）和可操作的金字塔Greenspan et al. 1994。與邊界特征相似，與顏色相比紋理特征對光照變化更不敏感。 大多數(shù)特征由用戶根據(jù)應(yīng)用領(lǐng)域手動選擇。但是在模式識別領(lǐng)域中自動特征選擇問題得到密切關(guān)注。自動特征選擇方法可以過濾

20、方法和包裝方法Blum and Langley 1997。過濾方法基于一般的方法選擇特征，如特征不相關(guān)。包裝方法是在指定的領(lǐng)域基于特征的有用性選擇特征，如使用特征的子集進(jìn)行分類。主成分分析（PCA）是一種用于特征降維的過濾方法。主成分分析包括將大量（可能）相關(guān)變量轉(zhuǎn)化成大量（少量）稱為主體成分的不相關(guān)變量。第一個主體成分在數(shù)據(jù)中占據(jù)盡可能多的可變性，隨后的每個成分盡可能多的占據(jù)剩余的可變性。自適應(yīng)增強(qiáng)算法Tieu and Viola 2004是一種包裝方法，它通過選擇能識別的特征以跟蹤特定種類的目標(biāo)。自適應(yīng)增強(qiáng)是根據(jù)將有適度不精確、錯誤、不牢固的分機(jī)器結(jié)合以發(fā)現(xiàn)一個強(qiáng)大的分機(jī)器的一種方法。對給

21、出的大量特征，一個分機(jī)器可以適應(yīng)每種特征。自適應(yīng)增強(qiáng)，如4.4部分討論的，將會發(fā)現(xiàn)分級器的加權(quán)結(jié)合（描述特征），將算法的分級性能最大化。特征的重量級越大，他就月越容易被識別?？梢杂弥亓考壸罡叩膎個特征進(jìn)行跟蹤。 表1.目標(biāo)檢測分類分類代表性作品點(diǎn)探測器莫拉維茨探測器Moravec 1979哈里斯探測器Harris and Stephens 1988比例不變的特征轉(zhuǎn)換Lowe 2004仿射不變點(diǎn)探測器Mikolajczyk and Schmid 2002分割均值平移Comaniciu and Meer 1999圖像切割Shi and Malik 2000主動輪廓Caselles et al. 1

22、995背景模型混合高斯模型Stauffer and Grimson 2000固有背景Oliver et al. 2000墻壁精華Toyama et al. 1999動態(tài)紋理背景Monnet et al. 2003監(jiān)督分類器支持向量機(jī)Papageorgiou et al. 1998神經(jīng)網(wǎng)絡(luò)Rowley et al. 1998自適應(yīng)提升Viola et al. 2003在所有的特征中，顏色是跟蹤中應(yīng)用最廣泛的一個特征。Comaniciu et al. 2003用顏色直方圖來表示物體的外觀。盡管這種表示方法很流行，大多數(shù)的顏色頻帶對光照變化很敏感。因此，在場景中這種影響是不可避免的，因為構(gòu)建目標(biāo)外觀

23、的模型中包含其它的一些特征。Cremers et al. 2003用視覺流作為一個特征進(jìn)行輪廓跟蹤。Jepson et al. 2003用可操作的過濾器相應(yīng)跟蹤。也可以將這些特征結(jié)合起來提高跟蹤性能。4.目標(biāo)檢測每種跟蹤方法要求在每幀或當(dāng)目標(biāo)第一次在視頻中出現(xiàn)時對目標(biāo)進(jìn)行檢測。一種常用的目標(biāo)檢測方法是在單幀中使用信息。但是一些目標(biāo)檢測方法利用從一系列幀計算出的時間信息以減少錯誤探測的數(shù)量。這種時間信息通常以突出連續(xù)幀的變化區(qū)域的幀差值的形式呈現(xiàn)。跟蹤系統(tǒng)的任務(wù)是根據(jù)圖像中給出的目標(biāo)區(qū)域，完成從一幀到下一幀的目標(biāo)通信，從而產(chǎn)生跟蹤。在表1中我們將幾種常見的目標(biāo)跟蹤方法制成表格。4.1.點(diǎn)探測器

24、點(diǎn)探測器是用來發(fā)現(xiàn)在它們各自位置上有表現(xiàn)力紋理的圖片上的特征點(diǎn)。特征點(diǎn)在運(yùn)動、立體聲和跟蹤問題的環(huán)境中已被長期使用。特征點(diǎn)有一個很好的特性就是它不會隨光照和照相機(jī)視角的改變而改變。在文獻(xiàn)中常用的特征點(diǎn)探測器包括Moravec的特征工具M(jìn)oravec 1979，哈里斯參與點(diǎn)探測器Harris and Stephens 1988，KLT探測器Shi and Tomasi 1994和SIFT探測器Lowe 2004。關(guān)于特征點(diǎn)探測器的比較評論，我們參考關(guān)于Mikolajczyk and Schmid2003的研究的讀物。 為了發(fā)現(xiàn)特征點(diǎn)，Moravec工具計算了4*4區(qū)域內(nèi)水平、垂直、右斜線線和左斜

25、線方向的圖像灰度差，并選擇了四個值中的最小值作為窗口的代表值。若該值在一個12*12的區(qū)域中是局部最大值，則為特征點(diǎn)。 圖.2 應(yīng)用哈里斯、KLT、SIFT檢測到的興趣點(diǎn)哈里斯檢測器計算水平和垂直方向的一階圖像倒數(shù),顯示了各個方向上的灰度差，可用一個二維矩陣來表示。它可以用來評估鄰域內(nèi)的像素點(diǎn)：特征點(diǎn)可以由這個行列式識別，M的軌跡用來測量在局部鄰域R =det(M)k ·tr(M)2中的差值，其中k是一個常量。特征點(diǎn)通過閥值R與指定的值進(jìn)行比較而標(biāo)記（效果見圖2（a）。哈里斯檢測器的源碼在HarrisSrc中也適用。在方程式（1）中給出的二維矩陣M在 KLT跟蹤方法中的特征點(diǎn)探測步驟

26、中也用到。特征點(diǎn)的置信度R由M的最小特征值min計算出。候選特征點(diǎn)通過閥值R選出。KLT去掉了空間距離很近的候選點(diǎn)(圖2（b）)。KLT檢測器的實施方法在KLTSrc中可以得到。性質(zhì)上，Harris 和KLT用相似的方法強(qiáng)調(diào)灰度差。如Harris中的R與用來計算M特征值的特征多項式：2 +det(M) · tr(M)=0有關(guān)，而KLT直接計算特征值。實際上，這些方法找到的特征點(diǎn)幾乎是相同的。唯一的不同是KLT預(yù)先定義了被檢測的特征點(diǎn)間的空間距離。理論上，M矩陣在旋轉(zhuǎn)和移動中是不變的。但它在仿射和投影變換中并不是一成不變的。為了介紹在不同轉(zhuǎn)換中檢測特征點(diǎn)的可靠方法，Lowe 2004介

27、紹了SIFT（比例不變的特征轉(zhuǎn)換）方法，它有四個步驟。首先，用高斯濾波器以不同比例對圖像進(jìn)行濾波，產(chǎn)生一個尺度空間。濾波圖像用來產(chǎn)生不同的高斯圖像。從最大和最小的高斯圖像中選出特征點(diǎn)。下一步內(nèi)插入鄰近像素點(diǎn)的的顏色值以更新每個候選點(diǎn)的坐標(biāo)。第三步，差別小的候選點(diǎn)和沿邊緣的候選點(diǎn)被去除。最后，根據(jù)候選點(diǎn)周圍鄰近區(qū)域的梯度方向的直方圖來安排剩下的特征點(diǎn)的方向。SIFT檢測器相對于其他的特征點(diǎn)探測器產(chǎn)生了很多的特征點(diǎn)。這是因為特征點(diǎn)是以不同的比例和分辨率累加的。Mikolajczykand Schmid 2003以經(jīng)驗表明，SIFT勝過大部分點(diǎn)檢測器，對圖像變化的彈性更好。SIFT檢測器的實現(xiàn)方法在

28、SIFTSrc中可以得到。圖3.背景減法的混合高斯模型（a）一個人步行穿過場景的序列中的圖片（b）在每個像素位置進(jìn)行最高權(quán)重的高斯處理。這些處理顯示了每個像素的最持久的顏色。因此應(yīng)該呈現(xiàn)出靜態(tài)的背景。（c）次高權(quán)重的高斯處理。這些處理顯示了經(jīng)常很少見到的顏色。（d）背景減法的效果。前景包括在當(dāng)前幀中低權(quán)重高斯處理的像素點(diǎn)。4.2 背景減法 目標(biāo)檢測可以通過構(gòu)造場景的表示法即背景模型，然后找出每幀中模型的差異獲得。在背景模型中，圖像區(qū)域中的任何值得注意的變化都意味著一個運(yùn)動物體。為了作進(jìn)一步處理，區(qū)域中正在變化的像素點(diǎn)要做上標(biāo)記。通常，一個相關(guān)聯(lián)的組件算法用來獲得與目標(biāo)相一致的相關(guān)聯(lián)區(qū)域。這個過

29、程被歸為背景減法。自從七十年代末相鄰幀的區(qū)別已被深入研究。隨著Wren et al. 1997的研究，背景減法變得很流行。為了及時了解平緩的變化，Wren et al.打算用一個3D（Y, U, and V顏色空間）高斯算法I (x, y) N(x, y), _(x, y)對靜態(tài)背景中的每個像素點(diǎn)的顏色建模。模型參數(shù)，平均值(x, y)和協(xié)方差_(x, y)從幾個連續(xù)幀的顏色觀察值中得到。一旦從背景模型中推斷出輸入幀中的每個像素，從N(x, y), _(x, y)中就可能計算顏色的值。從背景模型中偏離的像素點(diǎn)將被標(biāo)記成顯著的像素點(diǎn)。但是簡單的高斯分布不適合用于戶外場景Gao et al. 20

30、00因為在某一坐標(biāo)點(diǎn)上因重復(fù)的物體運(yùn)動、陰影或反射可能會觀察到多重顏色。通過使用多模型的統(tǒng)計模型來描述每個像素的背景顏色使背景模型獲得很大的改善。在此方法中，通過比較當(dāng)前幀中的像素點(diǎn)與模型中的每個高斯分布直到發(fā)現(xiàn)一個相配的高斯分布，將它與背景模型進(jìn)行核對。如果發(fā)現(xiàn)了一個匹配的，此高斯分布的平均值和方差被更新，否則將在模型中引進(jìn)一個新的高斯分布，它的平局值等于當(dāng)前像素的顏色，方差是初始化的一個值。每個像素根據(jù)相匹配的分布是否表示背景的變化進(jìn)行分類。移動的區(qū)域可以通過這種方法檢測出來，圖3展示了相應(yīng)的背景模型。另一種方法包含基于范圍（空間）的場景信息而不僅僅使用基于顏色的信息。Elgammal a

31、nd Davis 2000使用無參數(shù)的內(nèi)核密度估計來對每個像素的背景建模。在減法過程中，當(dāng)前像素點(diǎn)不僅與背景模型中相應(yīng)的像素點(diǎn)匹配，而且和鄰近像素的坐標(biāo)位置想匹配。這種方法可以處理背景中的照相機(jī)抖動或微小的運(yùn)動。Li and Leung 2002將紋理和顏色特征結(jié)合起來表現(xiàn)5 × 5像素塊的背景減法。圖4 特征空間基于分解的背景相減（照相機(jī)視場中的物體構(gòu)成的空間）：（a）物體的輸入圖像，（b）在特征空間上放映了輸入圖像后重建圖像，（c）有差異的圖像。注意顯著的目標(biāo)已被識別出來了。 因為紋理對光照變化不是很敏感，所以這種方法受光照的影響不大。Toyama et al. 1999提出一個

32、三級算法用來處理背景減法問題。除了像素級相減外，作者還使用了范圍和幀級信息。在像素級，作者建議使用Wiener過濾對預(yù)期的背景顏色進(jìn)行預(yù)測。在范圍級，具有形同顏色的前景區(qū)域被填充。在幀級，如果一幀中展現(xiàn)的大多數(shù)像素點(diǎn)突然變化，可以假定基于像素的背景模型不再有效。這時候先前存儲的基于像素的背景模型被交換進(jìn)來或重新啟動。 另一種背景相減的方法是當(dāng)環(huán)境中的對應(yīng)事物處于不連續(xù)狀態(tài)時顯示圖像序列中的像素灰度差。例如，跟蹤高速公路上的車輛，圖像像素可以處于背景狀態(tài)，前景狀態(tài)或陰影狀態(tài)。Rittscher et al. 2000使用隱藏的馬爾科夫模型（HMM）將屬于這三種狀態(tài)中的一種的圖像分成幾塊。對于一個

33、房間中探測燈時開時關(guān)的環(huán)境下的事物，Stenger et al. 2001使用HMMs進(jìn)行背景相減。使用HMMs的好處是使用訓(xùn)練樣本來獲得某些使用無監(jiān)督背景模型建模方法很難精確建模的事物。 Oliver et al. 2000不是根據(jù)單個像素的差值建模，而提出使用特征空間分解的一種整體方法。k代表幀數(shù)，I i : i = 1 · · · k，幀的大小為n*m,大小為k* l的背景矩陣B由一幀接一幀的級聯(lián)m列組成，其中l(wèi) = (n×m),特征值分解于B的協(xié)方差，C = BTB。背景由最有描述性的特征矢量描述，ui，其中i < < k，實現(xiàn)視角(

34、FOV)中所有可能的光照。因此，這種方法對光照更不敏感。通過發(fā)射當(dāng)前圖像到特征空間并發(fā)現(xiàn)重建圖像和實際圖像的不同來檢測前景目標(biāo)。在圖4中我們展示了使用特征空間方法檢測目標(biāo)區(qū)域。以上方法僅適用于靜態(tài)背景。此限制在Monnet et al. 2003, 和 Zhong and Sclaroff 2003中有相關(guān)敘述。這種方法可以處理隨時間變化的背景（如水波、漂浮的白云和電梯）。這些方法將圖像區(qū)域建模成自回歸運(yùn)動平均(ARMA)進(jìn)程，這樣就可以了解和預(yù)測場景中的運(yùn)動模式。 (ARMA)進(jìn)程一個時間序列的模型，它由很多自回歸和移動平均元件構(gòu)成，其中自回歸進(jìn)程可以被描述為它先前的值和熱噪音誤差的加權(quán)總數(shù)

35、。圖5（a）分割的圖像（b）mean-shift分割（c）標(biāo)準(zhǔn)分割總之，大多數(shù)高水準(zhǔn)的固定照相機(jī)的跟蹤方法，如Haritaoglu et al. 2000 和 Collins et al. 2001使用背景減法檢測特征區(qū)域。這是因為近代的減法方法能對背景區(qū)域中變化的光照、噪聲和周期性運(yùn)動建模，因此可以精確檢測變化環(huán)境中的目標(biāo)。而且這些方法在計算上很有效。實際上，背景減法在許多例子中提供的目標(biāo)區(qū)域都不完整，即目標(biāo)溢出到幾個區(qū)域中或目標(biāo)中有孔，因為不能保證目標(biāo)特征與背景特征不同。背景減法最重要的局限性是要求靜止的照相機(jī)。照相機(jī)的運(yùn)動經(jīng)常會使模型失真。這些方法可以通過再生很小的現(xiàn)有窗口中的背景模型應(yīng)

36、用到移動相機(jī)要求的視頻中，如從置亂Kanade et al.1998中得到三幀或通過修正傳感器運(yùn)動，如創(chuàng)建背景鑲嵌Rowe and Blake 1996; Irani and Anandan 1998。但這些解決方法都要求對二維場景的假設(shè)和連續(xù)幀中的微小運(yùn)動。4.3 分割圖像分割算法的目的是有感知的將圖像分成相似的區(qū)域。每個分割算法都強(qiáng)調(diào)了兩個問題，一個好的分割標(biāo)準(zhǔn)和獲得有效分割的方法Shi and Malik 2000。在這個部分，我們將討論近代與目標(biāo)跟蹤相關(guān)的分割技術(shù)。4.3.1 Mean-Shift聚集。 對于圖像分割問題，Comaniciu和Meer 2002提出mean-shift方

37、法用以發(fā)現(xiàn)空間和顏色交接點(diǎn)的空間中的簇l , u, v, x, y，其中l(wèi) , u, v表示顏色，x, y表示空間位置。根據(jù)給出的圖像，這個算法用從數(shù)據(jù)中選擇的大量的隨機(jī)假設(shè)簇中心進(jìn)行初始化。然后每個簇中心移動到以簇中心為中心的多維圓柱體的數(shù)據(jù)平均數(shù)。這個矢量由原來的和新的簇中心即mean-shift矢量定義。這個mean-shift矢量迭代計算直到簇中心的位置不再改變。注意在mean-shift迭代期間，一些簇可能發(fā)生合并。在圖5（b）中，我們展示了由MeanShiftSegmentSrc源代碼產(chǎn)生的mean-shift方法進(jìn)行分割的圖像。Mean-shift聚簇可以應(yīng)用于其它方面如邊緣檢測

38、，圖像規(guī)范化Comaniciu and Meer 2002和跟蹤C(jī)omaniciu et al. 2003?；诜指畹腗ean-shift算法要求各種參數(shù)很好的協(xié)調(diào)以獲得更好的分割，如顏色的選擇和空間內(nèi)核帶寬和區(qū)域最小化的閥值對分割的結(jié)果有很大影響。4.3.2.使用Graph-Cuts的圖像分割。圖像分割也可以表達(dá)成一個圖表分割問題，其中圖表（圖像）G的最高點(diǎn)（像素點(diǎn)）V = u, v, . . .，通過修剪圖表的權(quán)重邊緣將其分解成N個分離的子圖表（區(qū)域）Ai ，Ai Aj = , i _= j。兩個子圖的之間的修剪邊緣的權(quán)重總和成為切口。權(quán)重通過兩個節(jié)點(diǎn)間的顏色、亮度或紋理的相似性計算出來。

39、Wu 和Leahy 1993使用最小化的切口標(biāo)準(zhǔn)，目的是發(fā)現(xiàn)使切口最小的分割方式。在他們的方法中，權(quán)重被定義成基于顏色相似性。最小化切口的局限性在于它的斜紋朝向圖像切割的上部分。這種效果是因為隨著橫跨兩個切割塊的邊緣的增加，切口的成本增加。 Shi 和 Malik 2000提出了標(biāo)準(zhǔn)化的切口，它克服了超分割問題。在他們的方法中切口不僅依賴于切口邊緣權(quán)重的總和，還依賴于節(jié)點(diǎn)在每次分割中相對于圖表中的所有節(jié)點(diǎn)的總連接權(quán)重的比例。對于基于圖像的分割，節(jié)點(diǎn)間的權(quán)重通過顏色相似和空間鄰近的乘積定義。一旦每對節(jié)點(diǎn)間的權(quán)重被計算出，一個權(quán)重矩陣W和一個對角矩陣D，其中被構(gòu)造。第一次分割通過計算廣義的特征系統(tǒng)

40、(DW)y = Dy的特征矢量和特征值。然后用次小的特征矢量將圖像分成兩個片段。對于每個新的片段循環(huán)采用這種處理直到達(dá)到一個閥值。在圖5（c）中，我們展示了通過標(biāo)準(zhǔn)化切口的方法得到的分割結(jié)果。在基于標(biāo)準(zhǔn)化切口的分割中，對大圖片的廣義特征系統(tǒng)的解決辦法在處理和存儲要求上可能花費(fèi)很大。但是這種方法相對于mean-shift分割很少手動選擇參數(shù)。標(biāo)準(zhǔn)化切口在跟蹤目標(biāo)輪廓中也用到Xu and Ahuja 2002。4.3.3.主動輪廓。 在主動輪廓結(jié)構(gòu)中，可以通過將封閉的輪廓演變成目標(biāo)的邊界，將輪廓緊緊的圍繞目標(biāo)的區(qū)域，從而獲得目標(biāo)分割。輪廓的演變由輪廓對于假定目標(biāo)區(qū)域的合適性決定。輪廓演變的能量功能

41、用以下常見的形式表示：S是輪廓的弧長，Eint包括常規(guī)約束，Eim包括基于外觀的能量，Eext指定其它約束。Eint經(jīng)常包括一個曲率項、一階(v)或二階(2v)連續(xù)性項以發(fā)現(xiàn)最短的輪廓?；趫D像的能量Eim可以局部或全局計算。局部信息經(jīng)常用圖像梯度的形式表示，通過周圍的輪廓對其進(jìn)行評估Kass et al. 1988; Caselles et al. 1995。相比之下，全局特征有圖像區(qū)域的里外計算。全局特征包括顏色Zhu and Yuille 1996; Yilmaz et al. 2004; Ronfard 1994和紋理Paragios and Deriche 2002。 在等式(2)中

42、不同的研究者使用不同的能量項。在1995年，Caselles et al.去掉了Eext，僅使用圖像梯度作為圖像能量Eim = g(| I |)，其中g(shù)是一個S型函數(shù)。與梯度相比，梯度函數(shù)將目標(biāo)的輪廓定義為黎曼幾何空間中的測量曲線Caselles et al. 1995。但是圖像梯度提供了自身的信息，很容易受自身最小值的影響。為了克服這個問題，研究者采用基于區(qū)域的圖像能量項。在1996年，Zhu 和 Yuille提出使用區(qū)域信息代替圖像梯度。但是能量功能中區(qū)域項的使用不能很好的定位目標(biāo)的輪廓。最近，將基于區(qū)域和基于梯度的圖像能量混合的方法變得很盛行。Paragios 和 Deriche 200

43、2提出使用梯度和基于區(qū)域的能量凸面結(jié)合的方法，Eimage = Eboundary + (1 )Eregion。作者根據(jù)高斯混合用Eregion對外觀建模。先進(jìn)行全局輪廓演變，然后通過將從0變化到1進(jìn)行局部迭代。基于輪廓的方法的一個重要問題是輪廓初始化。在基于梯度的圖像方法中，輪廓置于圖像區(qū)域的外面，然后收縮，直到和目標(biāo)的邊界相遇Kass et al. 1988; Caselles et al.1995。這種約束在基于區(qū)域的方法中要求不是很嚴(yán)格，所以輪廓可以被初始化為目標(biāo)的內(nèi)部或外部，輪廓相應(yīng)的擴(kuò)展或收縮以適合目標(biāo)的邊界。但是這些方法要求先前的目標(biāo)或背景知識Paragios and Deric

44、he 2002。使用多重幀或參考幀，初始化可以不用建立先前的區(qū)域。例如，在Paragios and Deriche 2000中，作者使用背景減法初始化輪廓。除了能量功能的選擇和初始化外，另一個重要問題是選擇正確的輪廓表示法。目標(biāo)的輪廓可以明確地（控制點(diǎn)V）或含蓄地（等值面）表示。在明確的表示法中，控制點(diǎn)間的關(guān)系定義成曲線等式。在等值面表示法中，輪廓表示成空間的網(wǎng)格,這個網(wǎng)格編碼了目標(biāo)和背景區(qū)域的輪廓的相反標(biāo)記的網(wǎng)格之間的標(biāo)記距離。輪廓含蓄地定義成等值面網(wǎng)格的0交叉口。輪廓的演變根據(jù)能量改變網(wǎng)格的值來決定，這些能量使用等式（2）計算出來的并在每個網(wǎng)格位置對其進(jìn)行評估。網(wǎng)格值的改變導(dǎo)致新的0交叉點(diǎn)

45、，從而產(chǎn)生新的輪廓位置（詳見5.3部分）。一般的等值面源代碼通過指定輪廓的演變速度被廣泛應(yīng)用，例如，分割、跟蹤、熱流等，在LevelSetSrc中也適用。含蓄表示法比起明確表示法的一個重要優(yōu)點(diǎn)是能靈活的適應(yīng)拓?fù)渥兓ǚ蛛x和合并）。4.4 監(jiān)督學(xué)習(xí) 可以通過監(jiān)督學(xué)習(xí)裝置的方法自動從一系列的樣本中自動學(xué)習(xí)不同的物體視圖，從而進(jìn)行目標(biāo)檢測。不同的目標(biāo)視圖的學(xué)習(xí)不需要一個完整系列的模板。通過給出的一系列學(xué)習(xí)樣本，監(jiān)督學(xué)習(xí)方法產(chǎn)生了一個映射輸入到輸出的函數(shù)。一個標(biāo)準(zhǔn)的監(jiān)督學(xué)習(xí)構(gòu)想是使初學(xué)者的行為接近通過產(chǎn)生一個稱為回歸連續(xù)值或一個稱為類別的標(biāo)簽形式的輸出函數(shù)的分類問題。在目標(biāo)檢測的環(huán)境中，學(xué)習(xí)樣本由成對

46、的目標(biāo)特征和相關(guān)聯(lián)的目標(biāo)種類組成，樣本數(shù)量手動定義。 特征的選擇在分類中起著重要作用，因此使用一系列特征將種類區(qū)分開是很重要的。除了在第3部分討論的特征外，可能還使用其他的一些特征，如目標(biāo)面積、目標(biāo)方向和目標(biāo)外觀，可以用一個密度函數(shù)表示它們，如直方圖。一旦特征被選擇，通過選擇監(jiān)督學(xué)習(xí)的方法可以學(xué)習(xí)目標(biāo)的不同外觀。這些學(xué)習(xí)方法包括神經(jīng)網(wǎng)絡(luò)Rowley et al. 1998，自適應(yīng)推進(jìn)Viola et al. 2003，決策樹Grewe and Kak 1995和矢量支撐設(shè)備Papageorgiou et al. 1998。這些學(xué)習(xí)方法計算出一個超曲面用以在高維度空間內(nèi)將一個目標(biāo)種類與其他種類分

47、離。監(jiān)督學(xué)習(xí)方法經(jīng)常要求從目標(biāo)種類中收集大量樣本。此外，這些樣本必須手動地貼上標(biāo)簽。減少手動標(biāo)簽數(shù)據(jù)量的一種可能方法是監(jiān)督學(xué)習(xí)時進(jìn)行協(xié)同訓(xùn)練Blum and Mitchell 1998。協(xié)同訓(xùn)練的主要思想是使用標(biāo)簽數(shù)據(jù)的一個小集合訓(xùn)練兩個分類器，其中應(yīng)用到每個分離器中的特征是獨(dú)立的。每個分類器受到訓(xùn)練后，用來將無標(biāo)簽數(shù)據(jù)安排到其他分類器的訓(xùn)練集合中。事實表明，從有獨(dú)立特征的兩個集合的標(biāo)簽數(shù)據(jù)中的一個小集合開始，協(xié)同訓(xùn)練可以提供一個非常精確的分類原則Blum and Mitchell 1998。協(xié)同訓(xùn)練已成功地用以減少自適應(yīng)增強(qiáng)環(huán)境中訓(xùn)練時手工交互的數(shù)量Levin et al. 2003而且支持

48、矢量設(shè)備Kockelkorn et al. 2003。下面我們將討論自適應(yīng)增強(qiáng)和支持矢量設(shè)備，因為它們廣泛應(yīng)用于目標(biāo)跟蹤。4.4.1.自適應(yīng)增強(qiáng)。增強(qiáng)是一種迭代方法，它通過結(jié)合許多比較精確的基本分類器發(fā)現(xiàn)一個非常精確的分類器Freund and Schapire 1995。在自適應(yīng)增強(qiáng)算法的訓(xùn)練階段，第一步是在訓(xùn)練集上構(gòu)造權(quán)重的初始分布。增強(qiáng)設(shè)備然后選擇一個錯誤最少的基本分類器，其中錯誤與錯誤分類數(shù)據(jù)的權(quán)重是成比例的。其次，與通過選擇的基本分類器錯誤分類的數(shù)據(jù)相聯(lián)系的權(quán)重增加。因此，這個算法鼓勵在下一次迭代中選擇在錯誤分類數(shù)據(jù)上表現(xiàn)更好的其他分類器。在增強(qiáng)方面感興趣的讀者可以參考網(wǎng)址http:

49、/。在目標(biāo)檢測的環(huán)境中，不可靠的分類器可能是簡單的運(yùn)算如閥值的集合，這些操作可以應(yīng)用與從圖像中提取的目標(biāo)特征。在2003年，Viola et al.使用自適應(yīng)增強(qiáng)框架檢測行人。在他們的方法中，感知器用來作為在圖像特征上訓(xùn)練的不可靠分類器，其中圖像特征是從空間和當(dāng)前運(yùn)算的結(jié)合中提取出來的。特征提取的運(yùn)算形式是簡單的矩形濾波器，如圖六。當(dāng)代領(lǐng)域的運(yùn)算形式是以運(yùn)動信息編碼的幀差分。4.4.2.支持矢量設(shè)備。 作為一個分類器，支持矢量設(shè)備(SVM)通過發(fā)現(xiàn)將類別區(qū)分開的最大邊緣的超曲面將數(shù)據(jù)聚簇成兩種類別Boser et al. 1992。最大化的超曲面邊緣定義成超曲面

50、和最近數(shù)據(jù)點(diǎn)間的距離。在超曲面邊緣的邊界上的數(shù)據(jù)點(diǎn)稱為支持矢量。在目標(biāo)檢測的環(huán)境中，這些種類與目標(biāo)種類（真實樣本）和非目標(biāo)種類（底片樣本）一致。從手動產(chǎn)生的標(biāo)簽訓(xùn)練樣本作為目標(biāo)和非目標(biāo)，通過二次規(guī)劃編程計算大量的可能超曲面中的超曲面。圖6.在自適應(yīng)框架中Viola et al. 2003使用矩形濾波器提取特征。每個濾波器由三個區(qū)域組成：白色、淺灰色、深灰色，權(quán)重分別為0、-1、1.為了計算窗體的特征，這些濾波器不接受圖像。 盡管SVM是一個線性分類器，它也可以應(yīng)用核方法從輸入中提取輸入特征矢量當(dāng)作非線性分類器。在非線性分離的數(shù)據(jù)集中應(yīng)用核方法，可以將數(shù)據(jù)轉(zhuǎn)化成可能分離的更高空間維度。應(yīng)用于核方

51、法中的核是多項式核或光線基函數(shù)，例如高斯核和兩層感知器， 如S型函數(shù)。但是，對于如何正確選擇核的問題是很困難的。一旦選擇了核，必須檢測參數(shù)的分類功能，因為當(dāng)新的觀察值引進(jìn)到樣本中時這些參數(shù)可能不能很好工作。 在目標(biāo)檢測的環(huán)境中，Papageorgiou et al. 1998使用SVM檢測圖像中的行人和臉部。這些特征用來區(qū)分通過在正反訓(xùn)練樣本中應(yīng)用Haar微波提取的類別。為了減少搜索空間，將當(dāng)前信息應(yīng)用到計算圖像中的視覺流場中。特別是視覺流場的不連續(xù)性可以用來發(fā)起對可能導(dǎo)致誤報數(shù)量減少的目標(biāo)的搜索。5. 目標(biāo)跟蹤 目標(biāo)跟蹤的目的是通過定位目標(biāo)在視頻中每幀的位置產(chǎn)生目標(biāo)隨時間運(yùn)動的軌跡。目標(biāo)跟蹤

52、器也可能提供每個時間片目標(biāo)占據(jù)的圖像區(qū)域。檢測目標(biāo)和建立目標(biāo)在不同幀中的實例通信的任務(wù)可以分開執(zhí)行或共同執(zhí)行。在第一種情況下，每幀中的目標(biāo)區(qū)域通過目標(biāo)檢測算法得到，然后跟蹤器與不同幀中的目標(biāo)通信。在第二種情況下，通過不斷更新從以前幀中得到的目標(biāo)位置和區(qū)域信息共同估算目標(biāo)區(qū)域和通信。在任何種跟蹤方法中，目標(biāo)用第二部分描述的形狀或外觀模型表示。選取的表示目標(biāo)形狀的模型限制了它的運(yùn)動和變形的類型。例如，如果一個目標(biāo)用點(diǎn)來表示，只能使用平移模型。用幾何形狀如橢圓表示的目標(biāo)適合用參數(shù)運(yùn)動模型像仿射或投影變換。這些表示法可以近似表示場景中剛性物體的運(yùn)動。對于非剛性物體，剪影和輪廓是最具有描述性的表示法，參

53、數(shù)或非參數(shù)模型都可以用來指定它們的運(yùn)動。圖7.跟蹤方法的分類表二、跟蹤分類鑒于前面的討論，在圖7中我們提供了跟蹤方法的分類。每類中的代表作品在表II.制成了表。我們現(xiàn)在簡單的介紹主要的跟蹤種類，下面是每個種類的詳細(xì)章節(jié)。點(diǎn)跟蹤。在連續(xù)幀中的檢測目標(biāo)用點(diǎn)表示，點(diǎn)間的聯(lián)系基于先前目標(biāo)的狀態(tài)，包括目標(biāo)的位置和運(yùn)動。這種方法要求一個外部機(jī)制來檢測每幀中的目標(biāo)。圖8展示了一個目標(biāo)通信的例子。圖8（a）不同的跟蹤方法。多點(diǎn)通信（b）一個矩形塊的參數(shù)轉(zhuǎn)化（c,d）輪廓演變的兩個例子核跟蹤。核指的是目標(biāo)的形狀和外觀。例如，核可以是矩形模板或和直方圖相關(guān)聯(lián)的橢圓形狀。在連續(xù)幀中通過計算核的運(yùn)動跟蹤目標(biāo)（圖8(b

54、)）。此運(yùn)動經(jīng)常以參數(shù)轉(zhuǎn)換的形式表示，如轉(zhuǎn)化、旋轉(zhuǎn)、仿射。剪影跟蹤。通過估算每幀中目標(biāo)的區(qū)域進(jìn)行跟蹤。剪影跟蹤方法使用目標(biāo)區(qū)域內(nèi)部編碼的信息進(jìn)行跟蹤。這個信息可以是外觀密度和通常以邊緣映射表示的形狀模型的形式。根據(jù)給出的目標(biāo)模型，使用形狀匹配或輪廓演變跟蹤剪影（見圖8(c)，(d)）。這些方法都可以認(rèn)為應(yīng)用與當(dāng)前目標(biāo)的圖像分割，其中當(dāng)前目標(biāo)是從先前幀中產(chǎn)生的。5.1.點(diǎn)跟蹤跟蹤可以表述為不同幀中用點(diǎn)表述的檢測目標(biāo)間的通信。在目標(biāo)閉塞、誤檢測、進(jìn)入和退出的情況下，點(diǎn)通信是一個復(fù)雜的問題。總的來說，點(diǎn)通信方法可以分為兩大類，即確定性的和統(tǒng)計性的方法。確定性的方法使用定性運(yùn)動啟發(fā)法Veenman e

55、t al. 2001來約束通信問題。另一方面，概率統(tǒng)計方法明確的進(jìn)行目標(biāo)測量，在建立通信時考慮到了不確定性。5.1.1.通信的確定性方法。點(diǎn)通信的確定性方法定義了使用運(yùn)動約束將t 1幀中的每個目標(biāo)與t幀中的單個目標(biāo)結(jié)合起來的成本。通信成本最小化指組合的優(yōu)化問題。一個解決辦法包括在所有可能的關(guān)聯(lián)中建立一對一通信(圖9(a)，可以通過最佳指定分配方法如Hungarian算法、Kuhn 1955或貪婪搜索方法獲得。通信成本經(jīng)常定義成使用以下約束的組合。鄰近假設(shè)目標(biāo)的位置從一幀到另一幀不會發(fā)生顯著改變(見圖10(a)。最大速度定義了目標(biāo)速度的一個上界，限制目標(biāo)圓形鄰近區(qū)域的可能通信(見圖 10(b)。

56、小速度變化（平滑運(yùn)動）假設(shè)目標(biāo)的方向和速度沒有大幅度變化(見圖 10(c)。一般運(yùn)動約束鄰近目標(biāo)的速度相似(見圖10(d)。這種約束適合多點(diǎn)表示的目標(biāo)。圖9.點(diǎn)通信。（a）第t-1幀中的點(diǎn)（目標(biāo)）和第t幀中的點(diǎn)（目標(biāo)）所有可能的關(guān)聯(lián)（b）用粗線標(biāo)出唯一關(guān)聯(lián)（c）多幀通信。圖10.不同的運(yùn)動約束。（a）鄰近，（b）最大速度（r表示半徑），（c）小速度變化，（d）一般運(yùn)動，(e) 剛性約束。表示目標(biāo)在第t-2幀中的位置，表示目標(biāo)在第t-1幀中的位置，X表示目標(biāo)在第t幀中的位置剛性假設(shè)在3D世界中目標(biāo)是剛性的，因此在真實目標(biāo)上的任意兩點(diǎn)間的距離不發(fā)生變化(見圖 10(e)。鄰近一致性是鄰近性的結(jié)合和

57、小速度變化的約束。但是，我們應(yīng)該注意這些約束不是針對確定性的方法，它們也可以在統(tǒng)計方法的點(diǎn)跟蹤環(huán)境中使用。這里，在這個種類中我們介紹文獻(xiàn)中提到的不同方法的一個樣本。Sethi 和 Jain 1987通過基于鄰近和剛性約束的貪婪方法解決通信問題。他們的算法考慮了兩個連續(xù)的幀并根據(jù)最近標(biāo)準(zhǔn)進(jìn)行初始化。通信迭代變化，使成本最小化。與這個算法相同的改進(jìn)版本計算了除了計算正方向的通信外，也計算了反方向上的通信。這種方法不能處理閉塞、前進(jìn)、后退。Salari and Sethi 1990解決了這些問題，方法是首先建立檢測點(diǎn)間的通信，然后增加一些假設(shè)點(diǎn)擴(kuò)大對失蹤目標(biāo)的跟蹤。Rangarajan和Shah 1991 提出了貪婪法，通過鄰近一致性進(jìn)行約束。根據(jù)計算頭兩幀中視覺流可以獲得初始通信。這種方法沒有提到目標(biāo)的進(jìn)入和退出。如果檢測點(diǎn)的數(shù)量減少，假定存在閉塞或誤檢測。通過建立當(dāng)前幀中檢測點(diǎn)間的通信可以處理閉塞。對于其余