檢測(cè)和跟蹤視頻監(jiān)控中的運(yùn)動(dòng)目標(biāo)

1、檢測(cè)和跟蹤視頻監(jiān)控中的運(yùn)動(dòng)目標(biāo)Isaac Cohen G´ erard Medioni南加州大學(xué)機(jī)器人與智能系統(tǒng)研究所洛杉磯CA 90089 - 0273icohen 摘要：我們通過(guò)在一個(gè)移動(dòng)的機(jī)載平臺(tái)獲得的視頻流來(lái)解決關(guān)于運(yùn)動(dòng)目標(biāo)的檢測(cè)和跟蹤的問(wèn)題。該方法依賴于一個(gè)圖表示可以獲得和維持一個(gè)動(dòng)態(tài)的運(yùn)動(dòng)目標(biāo)，每個(gè)運(yùn)動(dòng)目標(biāo)要強(qiáng)制他們的連貫性。這個(gè)推斷的模板，以及在我們的方法中使用的圖形表示，使我們能夠判斷運(yùn)動(dòng)目標(biāo)的軌跡，找出在圖中的最優(yōu)路徑。建議的跟蹤器允許處理部分遮擋，以及在非常具有挑戰(zhàn)性的情況下的停止和運(yùn)動(dòng)。我們展示了一些不同的真實(shí)序列的結(jié)果。然

2、后我們定義量化我們的結(jié)果和如何克服錯(cuò)誤跟蹤檢測(cè)評(píng)估方法。1. 引言視頻傳感器（伴隨云臺(tái)和變焦能力或安裝在監(jiān)控應(yīng)用中的移動(dòng)平臺(tái)）的使用增加，增加了研究人員對(duì)處理任意視頻流的關(guān)注度。對(duì)于感興趣的事件的視頻流的處理依賴于檢測(cè)，在每個(gè)幀中，所涉及的對(duì)象，和基于幀的信息的時(shí)間整合到模型簡(jiǎn)單和復(fù)雜的行為。這種高層次的視頻流的描述依賴于準(zhǔn)確的運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤，并與它們軌跡之間的關(guān)系相關(guān)。在本文中，我們是在視頻監(jiān)控的背景下解決檢測(cè)和跟蹤運(yùn)動(dòng)目標(biāo)的問(wèn)題。大多數(shù)用于這個(gè)問(wèn)題的技術(shù)使用一個(gè)固定的相機(jī) 4，3 或封閉的世界表示 6，8 并且這些都依賴于一個(gè)固定的背景或特定的知識(shí)的行動(dòng)發(fā)生的類型。現(xiàn)在，我們處理一個(gè)

3、更具挑戰(zhàn)性的類型的視頻流：這個(gè)視頻流是從一個(gè)移動(dòng)的機(jī)載平臺(tái)獲得的。這種更一般的情況下，使我們能夠在現(xiàn)實(shí)世界的視頻監(jiān)控的情況下，在處理視頻流的建議的方法進(jìn)行評(píng)估。我們提出了一個(gè)基于圖形表示的檢測(cè)得到粗略的跟蹤運(yùn)動(dòng)區(qū)域的方法。檢測(cè)階段進(jìn)行流量補(bǔ)償后的圖像，是由觀測(cè)平臺(tái)運(yùn)動(dòng)引起的，它產(chǎn)生了大量的區(qū)域。事實(shí)上，使用剩余的流場(chǎng)和它的正常成分，即正常流量，定位移動(dòng)區(qū)域同時(shí)檢測(cè)同步誤差，由于當(dāng)?shù)氐淖兓荒苷_處理的穩(wěn)定以及3D structuresi E.視差。定義一個(gè)屬性圖中的每個(gè)節(jié)點(diǎn)是一個(gè)檢測(cè)區(qū)域，并且每個(gè)邊是可能的兩個(gè)區(qū)域在不同幀之間檢測(cè)匹配，提供所有詳盡表示檢測(cè)到的運(yùn)動(dòng)目標(biāo)。此圖表示方法，使我們能夠

4、保持對(duì)一個(gè)動(dòng)態(tài)模板的所有運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤。此外，該圖是通過(guò)優(yōu)化搜索路徑沿每個(gè)圖的連通分量，用來(lái)描述物體的運(yùn)動(dòng)軌跡的。這篇論文的組織如下：首先，我們描述介紹了在第2節(jié)所使用的檢測(cè)技術(shù)。在第3節(jié)和第4節(jié)分別闡述了動(dòng)態(tài)模板圖形表示和推理。在第5節(jié)提出用于從關(guān)聯(lián)圖中派生對(duì)象的軌跡的方法。最后，我們?cè)诘?節(jié)描述用于量化在處理視頻的設(shè)置結(jié)果的評(píng)價(jià)技術(shù)。2.運(yùn)動(dòng)目標(biāo)檢測(cè)大多數(shù)用于檢測(cè)移動(dòng)物體的技術(shù)已經(jīng)被設(shè)計(jì)為一個(gè)固定的攝像頭獲取的場(chǎng)景。這些方法允許將每個(gè)圖像分割成一組使用背景差分算法的運(yùn)動(dòng)目標(biāo)區(qū)域 6，4 。最近， 3 提出了一種局部建模的背景下使用K-高斯允許隨時(shí)間變化的背景視頻流混合過(guò)程。這些方法給出了

5、令人滿意的結(jié)果，可以在沒(méi)有專用的硬件的情況下實(shí)現(xiàn)實(shí)時(shí)處理。視頻傳感器的可用性，成本低，與云臺(tái)和變焦能力或視頻流通過(guò)移動(dòng)平臺(tái)得到了研究者的關(guān)注，主要集中在視頻流采集的運(yùn)動(dòng)物體檢測(cè)。在這種情況下，不能使用背景差分技術(shù)。他們必須依靠一個(gè)穩(wěn)定的算法來(lái)取消相機(jī)運(yùn)動(dòng)。這樣的兩步法，即穩(wěn)定、檢測(cè)、不完美的表現(xiàn)，是因?yàn)榛诒尘安罘z測(cè)技術(shù)假設(shè)了一個(gè)完美的穩(wěn)定。事實(shí)上，穩(wěn)定的算法使用仿射或視角的運(yùn)動(dòng)補(bǔ)償和賠償?shù)馁|(zhì)量取決于所觀察到的場(chǎng)景和對(duì)采集的類型模型（即泛傾斜變焦，任意運(yùn)動(dòng)）。因此，運(yùn)動(dòng)補(bǔ)償并不是沒(méi)有錯(cuò)誤的，它導(dǎo)致了錯(cuò)誤的檢測(cè)。然而，我們可以使用檢測(cè)區(qū)域的時(shí)間相干性，以提高運(yùn)動(dòng)目標(biāo)檢測(cè)的準(zhǔn)確性 10 。而不是

6、使用這兩個(gè)步驟的方法，我們建議在剩余運(yùn)動(dòng)發(fā)生的地方通過(guò)定位區(qū)域的圖像將檢測(cè)算法集成到穩(wěn)定算法中。這些區(qū)域被檢測(cè)到使用的時(shí)光流場(chǎng)的正常成分。正常流動(dòng)是來(lái)自圖像序列穩(wěn)定的圖像的時(shí)空梯度。事實(shí)上，通過(guò)映射到選定的參考幀的原始幀獲得的此圖像序列的每一幀， ij表示成像變形的參考框架J.映射函數(shù)由以下公式定義：穩(wěn)定的圖像序列被定義為：映射函數(shù)的估計(jì)量估計(jì)的自我運(yùn)動(dòng)，根據(jù)相機(jī)模型，它涉及到三維點(diǎn)在圖像平面上的投影。我們使用的方法，是以圖像引起的流量為模型，而不是一般的角度變換的三維參數(shù) 7 。模型的參數(shù)估計(jì)通過(guò)在序列中跟蹤一個(gè)小的特征點(diǎn)集。給一個(gè)參考圖I0和圖I1， 圖像的穩(wěn)定由寄存的兩張圖和變形圖像I1

7、計(jì)算幾何變換，與參考圖像I0的對(duì)齊組成。幾何變換的參數(shù)估計(jì)是通過(guò)最大限度地減少最小二乘準(zhǔn)則：異常值的檢測(cè)和通過(guò)一個(gè)迭代過(guò)程中去除。我們選擇一個(gè)仿射模型，從而逼近的透視投影，同時(shí)具有較低的計(jì)算復(fù)雜度。此外，空間層次，在金字塔的形式，用于跟蹤選定的特征點(diǎn)。金字塔由至少三的水平，一個(gè)迭代的仿射參數(shù)估計(jì)產(chǎn)生準(zhǔn)確的結(jié)果。參考幀和扭曲的人不要在創(chuàng)艾萊依，有相同的度量，因?yàn)?，在大多?shù)情況下，映射函數(shù)并不是翻譯而是一個(gè)真正的仿射變換，從而影響運(yùn)動(dòng)目標(biāo)檢測(cè)的圖像梯度的計(jì)算。這個(gè)變化的度量可以被納入到相關(guān)的圖像序列的光流方程為了更準(zhǔn)確地檢測(cè)移動(dòng)物體。事實(shí)上，與圖像序列相關(guān)聯(lián)的光流是：其中是光流。推廣已有的公式，得

8、到因此，正常流動(dòng)的表達(dá)式為：雖然并不總是描述圖像的運(yùn)動(dòng)，但是由于孔徑問(wèn)題，它可準(zhǔn)確地檢測(cè)移動(dòng)點(diǎn)。寬近移動(dòng)區(qū)域的振幅，并成為空附近的固定區(qū)域。圖1說(shuō)明了在一個(gè)從機(jī)載平臺(tái)獲取的視頻流的移動(dòng)車輛的檢測(cè)。我們鼓勵(lì)讀者從/home/iris/icohen/publichtml/tracking.htm查看說(shuō)明了在原始視頻序列和投影拼接中的檢測(cè)的電影文件。圖1：在一個(gè)由記載平臺(tái)獲取的視頻流中檢測(cè)到的幾種車輛。圖2：檢測(cè)區(qū)域及相關(guān)圖。圖3：圖中每個(gè)節(jié)點(diǎn)關(guān)聯(lián)的屬性描述。每個(gè)顏色代表一個(gè)移動(dòng)區(qū)域。圖4：節(jié)點(diǎn)的傳播以恢復(fù)未被發(fā)現(xiàn)的對(duì)象的描述。在左邊，我們顯示在每個(gè)幀的檢測(cè)區(qū)域，

9、并在右邊，相關(guān)聯(lián)的圖，紅色節(jié)點(diǎn)代表一個(gè)節(jié)點(diǎn)推斷的模板的中位數(shù)形狀。3.運(yùn)動(dòng)物體的圖表示圖像序列中的運(yùn)動(dòng)目標(biāo)檢測(cè)給我們檢測(cè)到的地區(qū)為代表的位置而運(yùn)動(dòng)。由方程（5）給出的正常組件允許，給定一對(duì)幀，來(lái)檢測(cè)運(yùn)動(dòng)發(fā)生的圖像的點(diǎn)。這些要點(diǎn)，然后匯總到區(qū)域考慮閾值值的光流的正常成分，然后標(biāo)注使用4連接方案。這些連接成分代表圖像在運(yùn)動(dòng)檢測(cè)區(qū)域。 在視頻流中檢測(cè)運(yùn)動(dòng)目標(biāo)的目的是能夠跟蹤這些對(duì)象隨著時(shí)間的推移，從他們的軌跡，如他們的行為，得到一組屬性。常用的跟蹤方法是基于令牌的，當(dāng)一個(gè)幾何描述的對(duì)象是可用的 2 ，或基于強(qiáng)度的（光流，相關(guān)性）。這些技術(shù)不適合斑點(diǎn)斑點(diǎn)跟蹤自可靠的幾何描述無(wú)法推斷。另一方面，基于強(qiáng)度

10、的技術(shù)忽略的二進(jìn)制大對(duì)象的幾何描述。我們的方法結(jié)合了這兩種技術(shù)，將在移動(dòng)的對(duì)象的代表性的空間和時(shí)間信息。這樣的表示是通過(guò)圖形結(jié)構(gòu)中的節(jié)點(diǎn)代表檢測(cè)運(yùn)動(dòng)區(qū)域和邊緣提供代表關(guān)系的兩個(gè)運(yùn)動(dòng)區(qū)域在兩個(gè)單獨(dú)的幀之間檢測(cè)。每一個(gè)新處理的幀會(huì)產(chǎn)生一組對(duì)應(yīng)于檢測(cè)到的移動(dòng)物體的區(qū)域。我們尋找新發(fā)現(xiàn)的對(duì)象和以前的相似性。建立這樣的連接可以通過(guò)不同的方法，如模板匹配 5 或相關(guān) 11 。然而，在視頻監(jiān)控，移動(dòng)對(duì)象的信息是可用的，因?yàn)樗^察到的對(duì)象是不同類型的。此外，小尺寸的物體（在空氣中的圖像的人）或大的物體大小的變化是頻繁的，因此不適合模板匹配的方法。每對(duì)幀給我們一組殘留運(yùn)動(dòng)被檢測(cè)的區(qū)域（見(jiàn)圖2）。這些區(qū)域可以通過(guò)

11、測(cè)量灰度相似性之間的區(qū)域在時(shí)間和一套位于其附近的區(qū)域在時(shí)間到之前檢測(cè)到一個(gè)相關(guān)的。一個(gè)區(qū)域可能有多個(gè)匹配，這個(gè)鄰域的大小是從對(duì)象的運(yùn)動(dòng)幅度得到的。我們?cè)趫D2中顯示的紅色斑點(diǎn)的檢測(cè)相關(guān)的圖表示。每個(gè)節(jié)點(diǎn)是一個(gè)地區(qū)的一個(gè)橢球從二進(jìn)制大對(duì)象的主方向和相關(guān)的特征值表示。此外，一組屬性關(guān)聯(lián)到每個(gè)節(jié)點(diǎn)如圖3所示。我們分配給每個(gè)邊緣的成本，這是該地區(qū)對(duì)應(yīng)于相同的對(duì)象的可能性。在我們的例子中，似然函數(shù)是一個(gè)對(duì)區(qū)域的圖像灰度級(jí)相關(guān)。4.動(dòng)態(tài)模板推理圖表示給出了一個(gè)詳盡的描述的運(yùn)動(dòng)被檢測(cè)到的區(qū)域，以及這些區(qū)域的方式與另一個(gè)。這種描述是適當(dāng)?shù)奶幚砬闆r下，一個(gè)單一的移動(dòng)對(duì)象被檢測(cè)為一組的小區(qū)域。這樣的情況發(fā)生時(shí)，在本

12、地，正常的光學(xué)組件的組件是空的（光圈的問(wèn)題），因此，而不是檢測(cè)一個(gè)區(qū)域，我們有一組小的區(qū)域。通常，聚類技術(shù)應(yīng)用融合檢測(cè)斑點(diǎn)為了恢復(fù)對(duì)應(yīng)的區(qū)域移動(dòng)對(duì)象。這些圖像技術(shù) 6，9 依靠對(duì)圖像中的斑點(diǎn)的接近和頻繁的合并，屬于獨(dú)立的目標(biāo)區(qū)域。在檢測(cè)到的區(qū)域中，一些小的區(qū)域應(yīng)該合并成一個(gè)較大的區(qū)域，或有一個(gè)自己的軌跡。在這兩種情況下，基于圖形表示，這些區(qū)域?qū)儆趫D的連通分量。在我們的方法中，我們?cè)趫D中的檢測(cè)區(qū)域，而不是在一個(gè)單一的圖像中所使用的在以前的作品 9，6 。事實(shí)上，通過(guò)圖形聚類阻止我們兼并地區(qū)屬于具有不同軌跡的物體，由于基于圖像接近，在連接部分的圖做的。聚類技術(shù)的粗略性，也提高了維護(hù)的動(dòng)態(tài)模板的移動(dòng)

13、對(duì)象的每個(gè)連接的組件，因此，為每個(gè)移動(dòng)的對(duì)象在場(chǎng)景中。提出了若干技術(shù)自動(dòng)更新的移動(dòng)物體的模板描述，加權(quán)形狀描述 9 或累積運(yùn)動(dòng)圖像 1 提出。這些方法的主要缺點(diǎn)是形狀描述中的錯(cuò)誤（即邊界）的傳播，因此這些技術(shù)不適合移動(dòng)攝像機(jī)。我們提出了一種基于中值形狀模板，這是更穩(wěn)定，并產(chǎn)生一個(gè)強(qiáng)大的描述模板。采用中值濾波計(jì)算模板（調(diào)整后的質(zhì)心和每個(gè)blob的方向）在過(guò)去的五檢測(cè)到幀的區(qū)域。動(dòng)態(tài)模板可以完成圖形描述。在視頻監(jiān)控應(yīng)用中，物體常常停下來(lái)，然后繼續(xù)他們的運(yùn)動(dòng)，這樣一個(gè)對(duì)象將被描述通過(guò)多個(gè)連接的組件圖中。這些連接的組件，通過(guò)使用動(dòng)態(tài)模板合并，被跟蹤的對(duì)象：我們傳播的每一個(gè)節(jié)點(diǎn)沒(méi)有繼承人，在一個(gè)給定的幀

14、和匹配的地區(qū)這些地區(qū)的搜索數(shù)量。這罰款一組可能的匹配，這是合并在圖結(jié)構(gòu)中，通過(guò)定義新的邊緣連接的匹配區(qū)域。這一步如圖4所示，在圖104中未檢測(cè)到的對(duì)象，在圖中的紅色節(jié)點(diǎn)表示。5.物體運(yùn)動(dòng)軌跡的提取作為新的幀被獲取和處理，我們逐步構(gòu)造運(yùn)動(dòng)對(duì)象的圖形表示。從圖中導(dǎo)出對(duì)象的運(yùn)動(dòng)軌跡，并從新發(fā)現(xiàn)的區(qū)域中提取一條沿每個(gè)圖的連通分量的路徑。我們提出了一種方法，通過(guò)搜索一個(gè)最佳路徑代表對(duì)象的軌跡，自動(dòng)提取所有移動(dòng)的物體的運(yùn)動(dòng)軌跡。此外，起始節(jié)點(diǎn)（源），以及目標(biāo)節(jié)點(diǎn)（目標(biāo)）是事先不知道。因此，我們認(rèn)為每個(gè)圖節(jié)點(diǎn)沒(méi)有父節(jié)點(diǎn)作為一個(gè)潛在的源節(jié)點(diǎn)，和每個(gè)節(jié)點(diǎn)沒(méi)有一個(gè)作為一個(gè)潛在的目標(biāo)節(jié)點(diǎn)的繼任者。定義一個(gè)最優(yōu)的標(biāo)準(zhǔn)

15、來(lái)描述一個(gè)最佳路徑是等價(jià)的關(guān)聯(lián)到每個(gè)邊的圖形的成本。圖中的每一個(gè)邊對(duì)應(yīng)于一個(gè)區(qū)域之間的匹配，并且具有成本，這是連接節(jié)點(diǎn)之間的相似性度量。因此，一套給每個(gè)節(jié)點(diǎn)如灰度分布的相關(guān)性質(zhì)，質(zhì)心和對(duì)象的動(dòng)態(tài)模板的使用是為了推斷一個(gè)強(qiáng)大的路徑。這些屬性被合并在下面的成本相關(guān)聯(lián)的圖的每個(gè)邊緣。其中，是灰度和形狀區(qū)域i和j之間的相關(guān)性，代表他們之間的距離質(zhì)心。通過(guò)方程（6）的邊緣成本可以提取局部最優(yōu)路徑。事實(shí)上，基于圖形搜索算法的邊緣成本的基礎(chǔ)上，將提供一個(gè)次優(yōu)的解決方案，因?yàn)橛袥](méi)有約束的目標(biāo)或目標(biāo)節(jié)點(diǎn)，必須達(dá)到。在不同的實(shí)驗(yàn)中，我們已經(jīng)觀察到，這一標(biāo)準(zhǔn)產(chǎn)生的一部分的軌跡。的目標(biāo)源被選中的基礎(chǔ)上的成本的最高值，

16、無(wú)論屬于相同的連接組件的其他節(jié)點(diǎn)。在圖中所用的每一個(gè)連接的組件，該圖表示一個(gè)移動(dòng)的對(duì)象在場(chǎng)景中的每個(gè)節(jié)點(diǎn)的位置，并允許表征多遠(yuǎn)這個(gè)節(jié)點(diǎn)是從一個(gè)潛在的目標(biāo)節(jié)點(diǎn)：一個(gè)新發(fā)現(xiàn)的區(qū)域。這樣的特性是通過(guò)分配給每個(gè)節(jié)點(diǎn)的最大長(zhǎng)度的圖的路徑開(kāi)始在這個(gè)節(jié)點(diǎn)。該節(jié)點(diǎn)的長(zhǎng)度的計(jì)算是從底部的圖進(jìn)行非常有效，即節(jié)點(diǎn)無(wú)繼承人，分配每個(gè)父節(jié)點(diǎn)接班人加一最大長(zhǎng)度。一個(gè)節(jié)點(diǎn)的長(zhǎng)度，i是由以下公式給出：其中，初步估計(jì)成本函數(shù)（6）和每個(gè)節(jié)點(diǎn)的長(zhǎng)度的組合，使我們能夠?yàn)槊總€(gè)節(jié)點(diǎn)定義一個(gè)新的成本函數(shù)。相關(guān)聯(lián)的邊緣連接節(jié)點(diǎn)i到節(jié)點(diǎn)j的成本函數(shù)，然后定義：其中，被定義為（6）和是由方程（7）定義的節(jié)點(diǎn)的長(zhǎng)度j。這個(gè)成本功能恢復(fù)的最優(yōu)路徑

17、的路徑從節(jié)點(diǎn)擴(kuò)展中。最優(yōu)路徑的提取是通過(guò)從圖的節(jié)點(diǎn)沒(méi)有父節(jié)點(diǎn)和拓展的最大值。該方法是如圖5所示，在一輛卡車和一輛汽車的運(yùn)動(dòng)軌跡顯示。處理后的視頻流的AVI文件可在/home/iris/icohen/ pub-lichtml/tracking.htm.查找。圖5：卡車和汽車的軌跡圖在所生成的拼接圖上。6評(píng)價(jià)和量化我們的方法是基于在一定數(shù)量的幀，我們稱之為系統(tǒng)的延遲時(shí)間（設(shè)置在這里到五幀）的移動(dòng)物體的時(shí)間整合。這種延遲時(shí)間，或延遲，有助于我們選擇的運(yùn)動(dòng)區(qū)域，并區(qū)分這些斑點(diǎn)從錯(cuò)誤由于補(bǔ)償攝像機(jī)的運(yùn)動(dòng)。此外，在提取的運(yùn)動(dòng)區(qū)域的信心增加，在處理幀中檢測(cè)到的對(duì)象的新出現(xiàn)

18、的。事實(shí)上，長(zhǎng)度（見(jiàn)表7）每個(gè)圖的節(jié)點(diǎn)（即運(yùn)動(dòng)區(qū)）代表幀的數(shù)量，目標(biāo)檢測(cè)。這讓我們拋棄標(biāo)量值檢測(cè)斑點(diǎn)是由于誤讀的運(yùn)動(dòng)補(bǔ)償算法，因?yàn)檫@些地區(qū)沒(méi)有時(shí)間連貫性，由一個(gè)小的長(zhǎng)度。表1給出了對(duì)視頻流的捕食者無(wú)人機(jī)獲得了幾組取得了一些成果（無(wú)人飛行器）和VSAM（視頻監(jiān)控和活動(dòng)監(jiān)控）平臺(tái)。這些視頻流代表了各種場(chǎng)景，涉及人類活動(dòng)，并被用來(lái)評(píng)估我們的系統(tǒng)的性能。數(shù)值代表在不同的加工階段獲得的輸出?！耙苿?dòng)對(duì)象”列表示在視頻流中移動(dòng)的對(duì)象的真實(shí)數(shù)目，并由用戶提供。接下來(lái)的兩列代表檢測(cè)的輸出和跟蹤模塊分別。正如我們所看到的，檢測(cè)到的區(qū)域的數(shù)目與移動(dòng)物體的數(shù)目相當(dāng)大。這些數(shù)字對(duì)應(yīng)的區(qū)域的正常流場(chǎng)的數(shù)目大于給定的閾值（

19、105，在所有的實(shí)驗(yàn)）。檢測(cè)列給出了這些區(qū)域的分布圖，這些區(qū)域在處理序列上。此外，相關(guān)的均值和方差給出的指示值。這些地區(qū)的時(shí)間整合，超過(guò)了一組幀，使我們能夠減少這個(gè)數(shù)量的地區(qū)（在第四列）和丟棄假檢測(cè)，由于區(qū)域由于噪音是不時(shí)間一致的。然而，一些不準(zhǔn)確的運(yùn)動(dòng)模型，或一個(gè)視差的存在可以引起某些區(qū)域有一個(gè)連貫的時(shí)間簽名。最后，列“路徑”，代表軌跡視為有效數(shù)，即相干時(shí)間重新檢測(cè)超過(guò)10幀代表區(qū)域，用于跟蹤的延遲時(shí)間。在某些情況下，軌跡的數(shù)目是大于在流中的移動(dòng)對(duì)象的數(shù)目。這是由于對(duì)象的軌跡被分散成多個(gè)路徑，并在匹配類似的區(qū)域，表示相同的對(duì)象的故障。剩余的軌跡是由于區(qū)域具有良好的時(shí)間相干性，不對(duì)應(yīng)于移動(dòng)的物

20、體，并且是，主要是由于強(qiáng)烈的視差。最后，我們定義了兩指標(biāo)表征的檢出率（DR）和誤警率（FAR）的系統(tǒng)。這些比率，用于量化我們的系統(tǒng)的輸出，是基于：TP（真陽(yáng)性）：檢測(cè)到對(duì)應(yīng)于運(yùn)動(dòng)物體的區(qū)域；FP（假陽(yáng)性）：檢測(cè)區(qū)域沒(méi)有對(duì)應(yīng)于一個(gè)移動(dòng)的物體；FN（假陰性）：運(yùn)動(dòng)目標(biāo)檢測(cè)不到。這些方法的組合來(lái)定義以下指標(biāo)：這些指標(biāo)在表1。由于移動(dòng)的物體的數(shù)目是小的，這些測(cè)量可能有很大的差異。該表顯示了通過(guò)跟蹤來(lái)減少檢測(cè)所產(chǎn)生的移動(dòng)物體的大量，導(dǎo)致所有的例子中的完美的檢測(cè)率。在過(guò)去的2個(gè)實(shí)驗(yàn)中的很大一個(gè)是由于三維結(jié)構(gòu)。在這種情況下，需要進(jìn)一步的處理，以區(qū)分運(yùn)動(dòng)從視差。 表1：檢測(cè)/跟蹤模塊的定量分析7.總結(jié)我們已經(jīng)

21、解決了幾個(gè)問(wèn)題相關(guān)的視頻流的分析。提出的框架是基于一個(gè)移動(dòng)的平臺(tái)上提取的移動(dòng)區(qū)域的圖形表示的基礎(chǔ)上。在這個(gè)圖形表示的檢測(cè)和跟蹤的整合允許動(dòng)態(tài)推斷出一個(gè)模板的所有移動(dòng)的對(duì)象，以獲得一個(gè)強(qiáng)大的跟蹤的情況下，如停止和去的和部分遮擋。最后，量化的結(jié)果通過(guò)定義的指標(biāo)，DR和FAR提供了一個(gè)置信度特征的每個(gè)提取軌跡的可靠性。所獲得的結(jié)果將被進(jìn)一步處理的假警報(bào)，以放棄的軌跡，由于區(qū)域與良好的時(shí)間相干性，不對(duì)應(yīng)于移動(dòng)的物體，這些都是，通常情況下，由于強(qiáng)烈的視差。參考文獻(xiàn)：1 J. W. Davis and A. F. Bobick. The representation and recognition of

22、human movement using temporal tem-plates. InCVPR, pages 928934, Puerto-Rico, June 1997. IEEE.2 O. Faugeras.Three-Dimensional Computer Vision.The MIT Press, 1993.3 W.E.L. Grimson, L. Lee, R. Romano, and C. Stauffer.Using adaptive tracking to classify and monitor activi-ties in a site. InCVPR98, pages

23、 2231, 1998.4 I. Haritaoglu, D. Harwood, and L.S. Davis. W4S: A real-time system for detecting and tracking people in 2 1/2-d. InECCV98, 1998.5 D.P. Huttenlocher, J.J. Noh, and W.J. Rucklidge. Tracking non-rigid objects in complex scenes. In ICCV, pages 93101, Berlin, Germany, May 1993.6 S.S. Intille, J.W. Davis, and A.F. Bobick. Real time closed world tracking. InCVPR97,