多個(gè)目標(biāo)的實(shí)時(shí)視頻跟蹤的先進(jìn)的算法

200810thIntl.Conf.onControl,Automation,RoboticsandVisionHanoi,Vietnam,17-20December2008多個(gè)目標(biāo)的實(shí)時(shí)視頻跟蹤的先進(jìn)的算法10俞賽艷ArturLozaDepartmentofElectricalandElectronicEngineeringUniversityofBristolBristolBS81UB,UnitedKingdomMiguelA.Patricio,Jes'usGarc'a,andJos'eM.MolinaAppliedArtificialIntelligenceGroup(GIAA)UniversidadCarlosIIIdeMadrid摘要28270-Colmenarejo,,摘要本文調(diào)查了用組合和概率的方法來(lái)實(shí)現(xiàn)實(shí)時(shí)的視頻目標(biāo)跟蹤。特殊興趣是真實(shí)世界的場(chǎng)景，在這場(chǎng)景里.多目標(biāo)和復(fù)雜背景構(gòu)成對(duì)非平凡的自動(dòng)追蹤者的挑戰(zhàn)。在一個(gè)規(guī)范的監(jiān)控視頻序列里，對(duì)象跟蹤是以組合數(shù)據(jù)協(xié)會(huì)和粒子過(guò)濾器為基礎(chǔ)，通過(guò)選擇完成視覺(jué)跟蹤技術(shù)實(shí)現(xiàn)的。以詳細(xì)的分析性能的追蹤器測(cè)試的優(yōu)點(diǎn)為基礎(chǔ)，已經(jīng)確定了互補(bǔ)的失效模式和每種方法的計(jì)算要求。考慮到獲得的結(jié)果，改善跟蹤性能的混合策略被建議了，為不同追蹤方法帶來(lái)了最好的互補(bǔ)特性。關(guān)鍵字一概率、組合、粒子過(guò)濾器、跟蹤、監(jiān)視、實(shí)時(shí)、多個(gè)目標(biāo).1、介紹最近人們對(duì)通過(guò)單個(gè)攝像機(jī)或一個(gè)網(wǎng)絡(luò)攝像頭提供來(lái)跟蹤視頻序列增加了興趣。在許多監(jiān)測(cè)系統(tǒng)中，可靠的跟蹤方法至關(guān)重要的。因?yàn)樗鼈兪惯\(yùn)營(yíng)商在遠(yuǎn)程監(jiān)控感興趣的領(lǐng)域，增加對(duì)形勢(shì)感知能力和幫助監(jiān)測(cè)分析與決策過(guò)程。跟蹤系統(tǒng)可以應(yīng)用在一個(gè)廣泛的環(huán)境如:交通系統(tǒng)、公共空間（銀行、購(gòu)物）購(gòu)物中心、停車場(chǎng)等）、工業(yè)環(huán)境、政府或軍事機(jī)構(gòu)。跟蹤的對(duì)象通常是移動(dòng)的環(huán)境中的一個(gè)高可變性。這需要復(fù)雜的算法對(duì)視頻采集，相機(jī)校正、噪聲過(guò)濾、運(yùn)動(dòng)檢測(cè)，能力學(xué)習(xí)和適應(yīng)環(huán)境。因?yàn)樗那闆r往往現(xiàn)實(shí)場(chǎng)景，系統(tǒng)也應(yīng)該能夠處理多個(gè)目標(biāo)出現(xiàn)在現(xiàn)場(chǎng)。為了實(shí)現(xiàn)強(qiáng)大的和可靠的多個(gè)跟蹤目標(biāo),，各種各樣的問(wèn)題，具體到這種場(chǎng)景，都必須加以解決。不僅要解決狀態(tài)估計(jì)問(wèn)題，而且還必須使執(zhí)行數(shù)據(jù)聯(lián)合運(yùn)行得準(zhǔn)確，特別是當(dāng)多目標(biāo)交互存在時(shí)。早期多個(gè)對(duì)象跟蹤的工作，關(guān)注于一個(gè)固定的數(shù)字的目標(biāo),但是人們已經(jīng)認(rèn)識(shí)到，很有必要解釋新出現(xiàn)的目標(biāo)以及消失的目標(biāo)造成的變量數(shù)量及多個(gè)軌道數(shù)量，具有相當(dāng)良好的間隔。這是典型的用擴(kuò)展?fàn)顟B(tài)估計(jì)框架聯(lián)合跟蹤所有檢測(cè)目標(biāo)［4］。聯(lián)合跟蹤目標(biāo)［6］,避免使用幾個(gè)獨(dú)立過(guò)濾器［7］的必要性，但個(gè)人目標(biāo)的身份可能會(huì)丟失，特別是當(dāng)目標(biāo)是緊密相連的。另一方面，當(dāng)所有目標(biāo)都相當(dāng)好時(shí)，一個(gè)單獨(dú)的跟蹤濾波器只能應(yīng)用到多個(gè)目標(biāo)跟蹤，，但它很少出現(xiàn)這種情況。由于計(jì)算機(jī)的實(shí)時(shí)跟蹤系統(tǒng)局限性，跟蹤算法的復(fù)雜性是一個(gè)特殊的重要性。在這種情況下，算法和特定場(chǎng)景必須被考慮，這些情況應(yīng)該包括：目標(biāo)檢測(cè)能力，復(fù)雜的聯(lián)合概率分布，以及在現(xiàn)場(chǎng)對(duì)象數(shù)呈現(xiàn)的他們的動(dòng)力。一個(gè)現(xiàn)實(shí)的監(jiān)視場(chǎng)景是這樣的，視頻跟蹤器監(jiān)控復(fù)雜的多目標(biāo)場(chǎng)景。由于存在虛假或類似的彩色背景和相互作用或閉塞的目標(biāo)，視頻序列展現(xiàn)這樣的場(chǎng)景是非常具有挑戰(zhàn)性的。因?yàn)殚L(zhǎng)時(shí)間只使用一個(gè)類型的一個(gè)專門跟蹤，不可能成功地執(zhí)行跟蹤等復(fù)雜的場(chǎng)景。改進(jìn)跟蹤可以通過(guò)使用少量的低復(fù)雜度互補(bǔ)算法，或單個(gè)混合解決方案獲得通過(guò)結(jié)合多種技術(shù)來(lái)實(shí)現(xiàn)。為了能夠完成雜交任務(wù),優(yōu)勢(shì)，失效模式在一個(gè)現(xiàn)實(shí)的監(jiān)視場(chǎng)景被認(rèn)為在這工作，在這種通信中，基于組合數(shù)據(jù)協(xié)會(huì)和粒子過(guò)濾器，對(duì)兩個(gè)一般方法來(lái)跟蹤、都進(jìn)行了綜述和分析。這些技術(shù)代表三個(gè)算法:連接組件，單變量邊際分布和粒子過(guò)濾器，都被應(yīng)用于一個(gè)監(jiān)控視頻序列。他們的性能評(píng)價(jià)基于軌跡的連續(xù)性的概率失去一個(gè)跟蹤和幀處理速率。連同識(shí)別的一些缺點(diǎn)，每一個(gè)方法，就是使用要更好地了解跟蹤技術(shù)使用和分析潛在的混合方案，利用每個(gè)技術(shù)的優(yōu)點(diǎn)。其余部分的組織如下：第二節(jié)多目標(biāo)聯(lián)合估計(jì)問(wèn)題。第三節(jié)綜述了概率解決視頻跟蹤的問(wèn)題,特別強(qiáng)調(diào)數(shù)據(jù)協(xié)會(huì)和狀態(tài)估計(jì)技術(shù)。第四節(jié)里，評(píng)估的視頻跟蹤仿真的方法及詳細(xì)的討論結(jié)果。最后，第五部分提出了研究的結(jié)論并提出區(qū)域未來(lái)的工作。2、多目標(biāo)聯(lián)合估計(jì)問(wèn)題現(xiàn)實(shí)中的視頻對(duì)象跟蹤器經(jīng)常面對(duì)多目標(biāo)(MTJE)聯(lián)合估計(jì)問(wèn)題。MTJE關(guān)心在一個(gè)場(chǎng)景里對(duì)象的數(shù)量，相互的瞬時(shí)位置，運(yùn)動(dòng)狀態(tài)和任何其他特性要求。這些代表目標(biāo)的實(shí)體，被稱為一個(gè)目標(biāo)狀態(tài)。目標(biāo)狀態(tài)向量與位置和運(yùn)動(dòng)估計(jì)(可以參考到相機(jī)平面)被用于跟蹤，通常輔以屬性定義目標(biāo)的擴(kuò)展，形狀、顏色、標(biāo)識(shí)等等。一個(gè)經(jīng)常使用的表示法的目標(biāo)狀態(tài)分別對(duì)應(yīng)于對(duì)象xn次:代....-，對(duì)應(yīng)形心、速度、范圍和對(duì)象的規(guī)模。在這種情況下維度d=7情況下。一個(gè)完整的MTJE問(wèn)題公式化的問(wèn)題考慮對(duì)象的數(shù)量N和他們的特點(diǎn)，""：.「.，因此，全球估計(jì)問(wèn)題涵蓋了理論配置設(shè)置：v[|:-這個(gè)公式包括代表某些目標(biāo)缺席的情況下，即N=0。一般來(lái)說(shuō)，出現(xiàn)在場(chǎng)景中對(duì)象的數(shù)量,N連同每個(gè)對(duì)象的狀態(tài)，是未知的,是獨(dú)立于時(shí)間的。完整的估計(jì)問(wèn)題時(shí)間,或跟蹤，包括估計(jì)的序列，X、..J，k是時(shí)間指數(shù),描述序列可用的觀測(cè)，獲得了Zk,時(shí)間k、3、概率解決視頻跟蹤問(wèn)題A.貝葉斯跟蹤框架因?yàn)樗麄儽苊夂?jiǎn)化假設(shè)，這可能會(huì)降低性能，所以貝葉斯推理方法獲得了良好聲譽(yù)跟蹤和數(shù)據(jù)融合應(yīng)用。在復(fù)雜的情況下，有可能提供一個(gè)次優(yōu)的解決方案。在理想的情況下解決方案接近理論最優(yōu)值，取決于計(jì)算能力來(lái)執(zhí)行數(shù)字近似法和概率模型的可行性的目標(biāo)外觀，動(dòng)力，和測(cè)量可能性。在貝葉斯跟蹤框架中，最好的后部估計(jì)的Xk的推測(cè)基于可用的測(cè)量、Zk，基于推導(dǎo)的后驗(yàn)概率密度函數(shù)(pdf)p(Xk|Zk)。假設(shè)后驗(yàn)pdf時(shí)k-1是可用的，先前的pdf在這個(gè)國(guó)家的時(shí)間獲得通過(guò)k在查普曼柯?tīng)柲缏宸蚍匠?、了/-\\--V/■■Xk-1:p(Xk|Xk-1)是狀態(tài)轉(zhuǎn)移概率。一旦一個(gè)測(cè)量值z(mì)k可用,p(Xk|zk)是遞歸地獲得根據(jù)貝葉斯更新規(guī)則'L在這里p(Zk|Zk-1)是一個(gè)正?；?shù)，p(Zk|Xk)是測(cè)量的可能性。常用的估計(jì)的Xk,包括最大后驗(yàn)(MAPLXk二自變量maxXkp(Xk|Zk)和最小均方誤(MMSE)、Xk=Xkp'Xk|Zk)dXk,相當(dāng)于預(yù)期值的狀態(tài)。在一般情況下，當(dāng)跟蹤多個(gè)目標(biāo)，完整的描述需要一個(gè)擴(kuò)展的表示法。因此前面的估計(jì)p(Xk|Zk)沒(méi)有減少計(jì)算一個(gè)積分，但由計(jì)算整個(gè)組概率,總結(jié)了所有可能的數(shù)字目標(biāo)N(一個(gè)組合數(shù)量的可能的情況下)，每一個(gè)人導(dǎo)致一個(gè)特定的組估計(jì)向量，.。B、圖像數(shù)據(jù)和屬性提取在貝葉斯框架中，數(shù)據(jù)提取圖像，稱為Zk的觀察，是用來(lái)決定的可能性估計(jì)假設(shè)處理跟蹤。P(Zk|Xk)在(3),描述了底層狀態(tài),Xk，支持觀察Zk。因此,在使用的可能性用于更新跟蹤對(duì)象的集合代表在單一的假設(shè)情況下，在多個(gè)假設(shè)案例瞎，分析相對(duì)優(yōu)勢(shì)的假設(shè)就能觀察。在視頻處理中，一個(gè)標(biāo)準(zhǔn)方法由分離檢測(cè)和跟蹤過(guò)程組成。檢測(cè)通常基于背景估計(jì)和減法，和導(dǎo)致一個(gè)前臺(tái)二進(jìn)制的掩模。在某些情況下，對(duì)象外觀和形狀可以基于這個(gè)二進(jìn)制表示,被稱為一個(gè)“blob”。背景/前景分割是進(jìn)行校準(zhǔn)視頻幀,其次是特征提取的前景對(duì)象。提取的特征可以與相關(guān)的位置(重心)和形狀(高度和寬度的邊界盒，詳細(xì)的輪廓，等等)相聯(lián)系。我們將參考這樣的測(cè)量為“blob的基礎(chǔ)”的測(cè)量。作為一個(gè)結(jié)果,相關(guān)的測(cè)量單個(gè)對(duì)象和條件在之前的檢測(cè)階段。各種其他功能利用額外的圖像信息，如顏色、運(yùn)動(dòng)、邊緣、空間結(jié)構(gòu)和紋理,來(lái)追蹤移動(dòng)物體，（見(jiàn)[11]-[13]）。使用這些特性造成許多挑戰(zhàn)，包括如何模擬移動(dòng)對(duì)象，選擇的測(cè)量模型和功能描述之間的相似度的兩個(gè)圖像或視頻幀。在這種情況下，似然函數(shù)將評(píng)估的區(qū)別功能分布的假定目標(biāo)在Xk和它的分布在圖像Zk。C、.數(shù)據(jù)關(guān)聯(lián)技術(shù)多個(gè)目標(biāo)的跟蹤是經(jīng)常分裂成兩個(gè)相關(guān)的階段，也就是數(shù)據(jù)關(guān)聯(lián)和狀態(tài)估計(jì)。數(shù)據(jù)協(xié)會(huì)決定哪些觀測(cè)過(guò)程相對(duì)應(yīng)對(duì)哪些對(duì)象，以便每個(gè)測(cè)量是用來(lái)更新相應(yīng)的跟蹤。這是緊隨其后的是過(guò)濾算法，更新目標(biāo)狀（狀態(tài)估計(jì)）。注意在數(shù)據(jù)關(guān)聯(lián)過(guò)程中，數(shù)字檢測(cè)到的目標(biāo)是估計(jì)和假警報(bào)的測(cè)量正在確認(rèn)。下面，我們?cè)敿?xì)討論常見(jiàn)的兩種使用數(shù)據(jù)關(guān)聯(lián)技術(shù)，基于組合和概率方法。1）組合方法:組合方法是一個(gè)基于一定的費(fèi)用，被稱作為標(biāo)準(zhǔn)“硬”協(xié)會(huì)的順序測(cè)量的所有曲目及旋進(jìn)的更新階段。因此，不列舉所有選擇和評(píng)估相應(yīng)的概率,而是采取一種假說(shuō)，在每一幀,優(yōu)化它偏離了貝葉斯方法。在最簡(jiǎn)單的情況下，一個(gè)最近的鄰居（NN）策略確定blob跟蹤信件，會(huì)自己分配追蹤到最近的觀察，并沒(méi)有在不同的軌道處理模棱兩可的對(duì)應(yīng)關(guān)系，或考慮后續(xù)幀。然而，在實(shí)際環(huán)境中，跟蹤系統(tǒng)應(yīng)該能夠處理復(fù)雜運(yùn)動(dòng)和目標(biāo)之間的相互作用。因此，-一個(gè)約束通常刪除，多個(gè)blob聯(lián)系到多個(gè)跟蹤評(píng)估、會(huì)計(jì)對(duì)于分散或合并氣泡導(dǎo)致每個(gè)跟蹤。在為了評(píng)估這種對(duì)應(yīng)，一個(gè)評(píng)估函數(shù)，考慮到因子之間的殘差和同時(shí)結(jié)構(gòu)對(duì)象的信息，必須被定義。在blob基于似然函數(shù)、數(shù)據(jù)關(guān)聯(lián)是一個(gè)序貫決策過(guò)程根據(jù)當(dāng)前幀檢測(cè)和結(jié)果之前的作業(yè)。它可以制定為最大化似然函數(shù)的電流觀察（檢測(cè)）檢測(cè)和協(xié)會(huì)的條件從以前的框架:arg馬克斯f（Ak）=P（bk|Ak,bk1,Ak1，bk2,Ak2,...，b0,A0）————如果bik是分配給對(duì)象oj;否則Ak(ij)k=0,在這里Ak成為Ak[ij]=1。從k-th結(jié)構(gòu)中提取的blobs被定義為.,，在這里Mk和Nk1分別代表數(shù)量的blobs和跟蹤對(duì)象。特殊情況下,j=0,代表在當(dāng)前時(shí)間轉(zhuǎn)讓blobs“空軌道”。這是用來(lái)丟棄或初始化對(duì)象。根據(jù)結(jié)果的檢測(cè)過(guò)程，隨時(shí)間注意尺寸的矩陣Ak,NkXMk+1。為了描述先前的歷史任務(wù)，在現(xiàn)場(chǎng)，把觀察狀態(tài)向量作為充分的統(tǒng)計(jì)，總估計(jì)的參數(shù)："?。因此，表達(dá)式(4)可以新配方在功能方面所觀察到的屬性和可以來(lái)近似：arg|「.?廣.，⑸At對(duì)象的狀態(tài)向量，例如遞歸更新序列分配的觀察，用運(yùn)動(dòng)和觀察模型，通過(guò)跟蹤濾波器如卡爾曼濾波器。最佳分辨率的二進(jìn)制值能Ak,作為一個(gè)搜索沿著關(guān)聯(lián)的假說(shuō)。一般來(lái)說(shuō)，假設(shè)給定的數(shù)量是由表達(dá)式：、..，?[⑹i=lNh是對(duì)象的數(shù)量。NH包括每一個(gè)blob的標(biāo)簽不屬于任何軌道可能性，“空跟蹤”。對(duì)于嚴(yán)重重疊，所有blobs可以分配到的所有曲目，表達(dá)呈現(xiàn)以下來(lái)自：NH=(1+M)Nk.k因此，分配問(wèn)題可能需要評(píng)估一個(gè)非常大的數(shù)量的組合來(lái)確定最佳的解決方案的。在[14]，完整的數(shù)據(jù)關(guān)聯(lián)問(wèn)題是制定為一個(gè)組合假設(shè)搜索與啟發(fā)式評(píng)估函數(shù)的規(guī)劃。其中這個(gè)假設(shè)空間最有效的搜索方法是估計(jì)分布算法(EDAs)。EDAs是一類進(jìn)化算法沒(méi)有實(shí)現(xiàn)交叉或變異算子。新人口抽樣概率分布生成的,這是估計(jì)的信息的幾個(gè)選擇個(gè)人從上一代。估計(jì)的聯(lián)合概率分布有關(guān)選中的人是最復(fù)雜的任務(wù)。其中一個(gè)導(dǎo)致制定單變量的邊際分布算法(UMDA)[15]。在UMDA，聯(lián)合概率分布估計(jì)的相對(duì)頻率的變量的值存儲(chǔ)在一個(gè)數(shù)據(jù)集。變量假定是獨(dú)立的，它已被證實(shí)在理論上UMDA表演得非常好，與線性問(wèn)題依賴關(guān)系不顯著。UMDA算法的提出了偽代碼的形式在表五。2)概率方法:聯(lián)合概率的估計(jì)密度函數(shù)需要一個(gè)從X包含所有可能的配置對(duì)象和相關(guān)的狀態(tài)向量,對(duì)所有可能的值的「非常大的樣本空間.顯示在［16］，可以近似這密度與一個(gè)表我單變量的邊際分布算法離散化網(wǎng)格，但是，這需要一個(gè)固定數(shù)量的網(wǎng)格細(xì)胞。TABLEIUNIVARIATEMARGINALDISTRIBUTIONALGORITHM1.UMDA().Di..M—generateCRITERIAMsamples;loop#STOPPINGEvaluation..MD—.MNevaluate(W);MD.)；#SelectN.samples6.D￥."，-select(7#Estimatethejointprobabilitydistributionfrommarginalfrequencies8..I；9D.m—generateMsamplesfrom.F^);USERDEFINEDCONSTANTS:STOPPINGCRITERIAM:populationsizeN:numberofsamplestobeproducedpergenerationVARIABLES:p：probabilityvectorD.m：solutionvectorsEvaluation:evaluationsofthesolutionvectors1..M作為替代，概率協(xié)會(huì)技術(shù)雖然保留了貝葉斯方法，然而分離了聯(lián)系和更新階段。聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)過(guò)濾器(JPDAF)是貝葉斯方法最出名的多目標(biāo)追蹤器。它對(duì)概率的聯(lián)合選擇，然后使用它們來(lái)更新估計(jì)向量(組合復(fù)雜性與列舉相關(guān)兼容和不兼容的情況)。常用包括多假說(shuō)追蹤器(MHTs)[17]的多掃描、多目標(biāo)算法。這些擴(kuò)展到多個(gè)幀搜索最好的假設(shè)關(guān)聯(lián)，使用一個(gè)樹(shù)開(kāi)放的假設(shè)推遲分配決策，直到更多證據(jù)是可用的，并且保持一個(gè)最大數(shù)量的替代假設(shè)評(píng)估。數(shù)據(jù)關(guān)聯(lián)算法收到廣泛的關(guān)注的計(jì)算機(jī)視覺(jué)的社區(qū)。例如,JPDA濾波器應(yīng)用于視覺(jué)3維重建［18］。在［19］，里德的一個(gè)實(shí)現(xiàn)與視覺(jué)傳感器MHT算法提出，但對(duì)象簡(jiǎn)化為點(diǎn)，沒(méi)有考慮數(shù)據(jù)的問(wèn)題聯(lián)系。為了減少計(jì)算負(fù)荷的JPDA和MHT，解的計(jì)算復(fù)雜性一直提議:概率多假設(shè)跟蹤(PMHT)算法［20］、人工神經(jīng)網(wǎng)絡(luò)、模糊系統(tǒng)［21］，和整數(shù)規(guī)劃與拉格朗日松弛算法對(duì)于源任務(wù)。,。D.狀態(tài)向量估計(jì)技術(shù)1)卡爾曼濾波:卡爾曼濾波器［22］是其中的一個(gè)最受歡迎的跟蹤技術(shù)來(lái)估計(jì)狀態(tài)向量從可用的觀測(cè)的器件。假設(shè)高斯分布對(duì)觀察和預(yù)測(cè)過(guò)程和線性關(guān)系,方程(3)可以減少到一個(gè)直接遞歸更新第一和二階參數(shù)的高斯分布。表II粒子濾波算法0Initialisation:Generatesamples｛專七二_p(JE|N.SetweightsW()=1/N.For::.■-I-1Prediction、|.fromthemotionmodel.2Update:ComputetheN1疽如：*『weightsandnormalisethem?，二_?.一注，亍f=l3Resample:Duplicate/eliminatesampleswithhigh/lowweightsandseL.，，.-k=1/N.回波，從而避免了計(jì)算的積分獲得最優(yōu)估計(jì)量。在卡爾曼濾波框架，它是假定狀態(tài)變量可以通過(guò)一個(gè)線性模型功能，具有不確定性的特征參數(shù)隨機(jī)變量qk(工廠噪聲模型)，xk+1=Fkxk+qk英寸的地方是轉(zhuǎn)移矩陣和qk，其協(xié)方差矩陣,Qk。同樣，觀察的結(jié)果從一個(gè)線性操作狀態(tài)變量受到高斯噪聲nk和協(xié)方差矩陣給出了羅伯特-庫(kù)比卡:zk=Hkxk+nk限制。在這些限制里，對(duì)卡爾曼濾波方程來(lái)計(jì)算出最佳估算xk是以下：2Update:ComputetheN?預(yù)測(cè)：/相訴―1=1Pg】=H?鼻_|估_]-米Q&?更新：Kk=BM(用+HA如廣僉k[/c=瓦儉一1+Kfc-(衽一?魚仆一1)P*—P*一「(I-(8)2)粒子濾波:粒子濾波[1],[10]、[22],[23]是一個(gè)依賴重建的概率密度函數(shù)的方法。連續(xù)粒子濾波的目的是評(píng)估后pdfp(xk|Zk)e的狀態(tài)向量xkeRn,,給定一組傳感器測(cè)量到時(shí)間kZ:.的。質(zhì)量(重要)的th粒子(樣品)的國(guó)家、x，測(cè)量體重相關(guān)?！埂５膫未a描述的通用粒子濾波器(PF)跟蹤算法是顯示在表二。兩個(gè)主要的階段可以在粒子濾波階段區(qū)分:預(yù)測(cè)和更新。在預(yù)測(cè)階段，每個(gè)是修改根據(jù)狀態(tài)模型的感興趣區(qū)域的視頻幀，包括微擾的粒子的狀態(tài)根據(jù)運(yùn)動(dòng)模型訊?由；"1j因此，為了狀態(tài)計(jì)算使用，粒子的集合作為、了*"、(9)e=i基于似然..「，，(10)的測(cè)量和粒子權(quán)重。在這里，6()是狄拉克5函數(shù)。因此使用粒子的集合作為狀態(tài)計(jì)算，「/?■??,?.一個(gè)根本性的問(wèn)題粒子濾波器退化(此案當(dāng)只有一個(gè)粒子有一個(gè)顯著的體重)。一個(gè)重采樣過(guò)程有助于避免這種通過(guò)消除顆粒小的重量和復(fù)制的顆粒較大的權(quán)重。在這部作品中，系統(tǒng)重采樣方法[24]被使用。為了完整表示剩余的成分的跟蹤算法，下文的運(yùn)動(dòng)和可能性模型按照他們的方式實(shí)現(xiàn)了工作。移動(dòng)物體的運(yùn)動(dòng)是由隨機(jī)建模步行模式,Fxkxk=—1+1,有一個(gè)狀態(tài)向量(x,y,x，,y-,s)組成的像素坐標(biāo)該地區(qū)的中心周圍的對(duì)象和區(qū)域尺度sk。Fkkkkk是過(guò)渡矩陣解決是一個(gè)過(guò)程噪聲假定為白色，高斯，協(xié)方差矩陣Q二診斷接頭..,...的過(guò)程。正常的兩個(gè)區(qū)域之間的距離不可食用的(參考地tk(當(dāng)前區(qū)域)，粒子被替換的似然函數(shù),模擬作為一個(gè)指數(shù):,(10)在Dmin=min{D(tref,tk)}.。這種光滑的可能性功能,盡管選擇作者的經(jīng)驗(yàn)［1］,已經(jīng)被廣泛應(yīng)用于各種線索自從。巴氏距離D的通常被用于計(jì)算目標(biāo)和參考對(duì)象之/H\°'5間的相似性,所描述的他們的顏色直方圖.(11)上面描述的PF跟蹤是指單一目標(biāo)場(chǎng)景和幾種方法擴(kuò)展這種技術(shù)處理多個(gè)物體的存在。顯著的例子包括樹(shù)莓［6］,聯(lián)合貝葉斯濾波器提出了可變數(shù)量的目標(biāo)，提高了PF［25］，基于演的組合技術(shù)和混合的粒子濾波器后pdf。另一種方法，多目標(biāo)跟蹤與PFs是使用交互式追蹤器［26］,［8］,即追蹤者受到周圍的目標(biāo)和他們的運(yùn)動(dòng)。最大的缺點(diǎn)是，它們的復(fù)雜性共同追蹤器呈指數(shù)增長(zhǎng)的數(shù)量的跟蹤目標(biāo)。在另一方面，使用混合的PFs在［25］(和因此固定數(shù)量的粒子)結(jié)果在目標(biāo)偷竊粒子從一個(gè)另一個(gè)，折中了跟蹤精度。在這個(gè)工作過(guò)程,決定使用一個(gè)獨(dú)立的粒子集合為每個(gè)目標(biāo),提出在［7］。過(guò)濾器造成這種方法是線性的復(fù)雜性數(shù)量的目標(biāo)。這種方法的缺點(diǎn)是，跟蹤器是容易錯(cuò)誤當(dāng)目標(biāo)做互動(dòng)時(shí)。四、實(shí)驗(yàn)在這一節(jié)中，我們提出一個(gè)性能分析和一個(gè)用應(yīng)用實(shí)時(shí)跟蹤多個(gè)視頻目標(biāo)的組合方法的比較(見(jiàn)部分三c1)和粒子濾波算法(見(jiàn)部分三c2)。此外，我們已經(jīng)測(cè)試了一個(gè)連通分量(CC)跟蹤算法［27］，它使用一個(gè)近鄰策略確定blob跟蹤任務(wù)。所有的方法都是初始化的描述的自動(dòng)檢測(cè)斑點(diǎn)在3b,然而，一些關(guān)鍵的參數(shù)，比如一個(gè)數(shù)字的粒子(N=100)和協(xié)方差的隨機(jī)行走模型PF,必須預(yù)先確定的手動(dòng)大范圍的視頻序列。描述的系統(tǒng)在這個(gè)工作中實(shí)現(xiàn)了微軟VisualC++,基于“視覺(jué)監(jiān)視”算法融入開(kāi)放源代碼的計(jì)算機(jī)視覺(jué)庫(kù)(OpenCV)［28］。系統(tǒng)進(jìn)行了戴爾PE1950四核至強(qiáng)E5310ghz/2x4mb1066fsb。我們對(duì)三種算法的性能進(jìn)行了評(píng)價(jià)績(jī)效評(píng)估與跟蹤和監(jiān)視(PETS)數(shù)據(jù)集1［29］。通過(guò)(PETS)在眾多場(chǎng)景，我們從這個(gè)PETS2002車間選擇了一個(gè)時(shí)長(zhǎng)一分鐘的序列，底層的任務(wù)是跟蹤行人在室內(nèi)購(gòu)物購(gòu)物中心的視頻序列。這個(gè)序列包含多個(gè)載波對(duì)象(行人)，類似的形狀和顏色到對(duì)方和一些元素出現(xiàn)在背景。這個(gè)數(shù)據(jù)集的結(jié)果從行人出現(xiàn)在一個(gè)寬范圍的距離和角度對(duì)相機(jī)，因此引入形狀縮放和扭曲。此外，從背后一個(gè)商店櫥窗里的現(xiàn)場(chǎng)記錄，這部分反映了感興趣的對(duì)象，從而創(chuàng)造虛假的對(duì)象。A.評(píng)價(jià)指標(biāo)跟蹤算法可以根據(jù)他們是否被評(píng)估生成正確的移動(dòng)對(duì)象軌跡被評(píng)價(jià)。考慮其他重要的評(píng)估標(biāo)準(zhǔn)考慮能力來(lái)維持?jǐn)?shù)量的目標(biāo)在視頻序列和可用性的最優(yōu)解，使用成本函數(shù)最小建立對(duì)應(yīng)［3］。在我們的工作，下面的指標(biāo)被用在我們的比較中：鐵軌每幀(TPF,stdTPF):評(píng)估連續(xù)性的追蹤。一個(gè)最優(yōu)的跟蹤結(jié)果在TPF被稱為一個(gè)“理想的”和一個(gè)低標(biāo)準(zhǔn)偏差°TPF的低于“理想”表明，跟蹤器失去連續(xù)性的歌曲(合并效應(yīng))，反之，高于“理想”表明，該跟蹤器油管流壓有過(guò)多的歌曲(分裂效應(yīng))。失去了跟蹤概率(LTP):它決定了概率失去一個(gè)跟蹤在一個(gè)給定的幀。注意,這個(gè)措施也被用于［30］，等等。幀每秒(FPS):處理的速度圖像的跟蹤算法的速度;高值意味著一個(gè)算法需要計(jì)算的少。表III措施的質(zhì)量的檢測(cè)跟蹤算法意味著錐度英尺(理想二meanTPF(ideal=stdTPFFPSLTPPFUMDACCb.結(jié)果與討論結(jié)果的數(shù)值跟蹤評(píng)價(jià)總結(jié)在表3。在表中，跟蹤方法分?jǐn)?shù)排序是根據(jù)遞減TPF。它已經(jīng)被確定先驗(yàn)的平均“理想”的錐度英尺序使用是。根據(jù)TPF，所有的方法執(zhí)行相對(duì),PF算法是最準(zhǔn)確的。注意因?yàn)門PF是一個(gè)“盲人”措施，即它不驗(yàn)證跟蹤,TPF應(yīng)采取考慮到隨著其標(biāo)準(zhǔn)偏差標(biāo)準(zhǔn)錐度英尺和LTP測(cè)量。LTP度量結(jié)果在同一級(jí)別油管流壓:為了降低質(zhì)量:PF,UMDA,CC;LTP的CC是幾乎兩倍的LTPPF。值得注意的是,這兩位最好的方法，PF和UMDA，有更大的stdTPF比CC表現(xiàn)得慢。在實(shí)時(shí)視頻跟蹤中一個(gè)重要的指標(biāo)是速度，在圖像處理的算法，測(cè)量的FPS指標(biāo)。根據(jù)幀顯示的結(jié)果表3,PF追蹤需要更多的計(jì)算負(fù)荷，它反過(guò)來(lái)又降低了它的處理能力。為了進(jìn)一步說(shuō)明這一點(diǎn),處理時(shí)間需要一個(gè)跟蹤測(cè)量。在我們的模擬,平均為ms(毫秒)和7.277年分別獲得PF和UMDA算法，。因此，可以得出結(jié)論,雖然比PF少精確的,UMDA跟蹤器在多目標(biāo)場(chǎng)景有一個(gè)更大的容量處理大量的軌道.最后，基于他們的輸出，我們比較了兩大部分準(zhǔn)確的追蹤器的一些特性，。為了清楚地說(shuō)明了我們的觀點(diǎn)，我們都集中在跟蹤一個(gè)的行人在片段的序列。圖1和圖2分別分離了PETS2002幀輸出的PF和UMDA追蹤器。其中的圖形一個(gè)疊加的功能使用和UMDAPF追蹤器(彩色圖像和前景區(qū)域,分別)和跟蹤區(qū)域輪廓。此外，一個(gè)二維投影生成的粒子的PF已被證明。最初一個(gè)的行人中出現(xiàn)的順序被準(zhǔn)確的跟蹤兩種方法(圖1和2,(一)-(c))。然而，它可以被觀察到的后續(xù)幀PF輸出(圖1(d)-(f)),粒子成為吸引了其他兩個(gè)行人，穿著類似的衣服。作為一個(gè)結(jié)果跟蹤器失去行人。另一方面,UMDA跟蹤器，盡管暫時(shí)合并兩個(gè)目標(biāo)幀圖2(c)，設(shè)法跟蹤正確的行人?；谠谖覀兊膶?shí)驗(yàn)中獲得的結(jié)果,它預(yù)計(jì)提高跟蹤性能和減少計(jì)算負(fù)載將會(huì)實(shí)現(xiàn)的組合

的UMDA和PF方法。這兩個(gè)追蹤器使用補(bǔ)充信息:在PF,顏色信息是為了找到處理相似點(diǎn)與參考點(diǎn)之間關(guān)系的;而在組合方法中，blobto-跟蹤聯(lián)系受鄰近的斑點(diǎn)檢測(cè)到當(dāng)前幀中。就像第四節(jié)所示，雖然PF說(shuō)最精確的測(cè)試，當(dāng)很相似目標(biāo)存在，PF的可能會(huì)從UMDA的輸出中受益。我們還發(fā)現(xiàn)，當(dāng)有丟失或暫時(shí)阻擋，PF追蹤更適合在場(chǎng)景里的目標(biāo)追蹤。此外，由于組合方法是比PFs方法速度快，這種組合不會(huì)增加計(jì)算負(fù)載相當(dāng)。相反，兩種方法的適當(dāng)?shù)慕M合,可能導(dǎo)致一個(gè)低數(shù)量的粒子，從而減少所需的處理時(shí)間。工作在一個(gè)有效的組合兩種方法將在未來(lái)通信報(bào)道里被報(bào)道。可能的混合策略被建議在第五部分。Fig.2.OnepedestriantrackingresultsusingUMDAalgorithm5、結(jié)論在本文中，我們調(diào)查了用組合和概率的方法實(shí)現(xiàn)實(shí)時(shí)視頻跟蹤多個(gè)目標(biāo)，它們的優(yōu)勢(shì)和共同已被確定，包括它們的優(yōu)點(diǎn)和補(bǔ)充。特定的問(wèn)題是關(guān)心在有虛假或類似的彩色目標(biāo)的場(chǎng)景里跟蹤行人，這可能會(huì)相互作用或暫時(shí)阻擋?；诮M合方法的跟蹤方法，包括連接組件和單變量邊緣分布算法，被應(yīng)用到視頻序列。他們的性能與粒子濾波方法對(duì)比。跟蹤結(jié)果表明，一般來(lái)說(shuō)，相比組合追蹤器測(cè)試，PF跟蹤比組合跟蹤更準(zhǔn)確地追蹤，。另一方面,UMDA算法處理速度比PF快得多。此外，當(dāng)同樣的顏色目標(biāo)存在，一個(gè)可能的失敗模式的PF已被確定。在獲得的結(jié)果的過(guò)程中,這個(gè)調(diào)查表明改進(jìn)的跟蹤性能結(jié)合UMDA和PF方法可以達(dá)到，而沒(méi)有的顯著增加計(jì)算復(fù)雜性系統(tǒng)。我們正在開(kāi)發(fā)混合策略，即一個(gè)上下文自適應(yīng)系統(tǒng)確定哪些算法應(yīng)該應(yīng)用于現(xiàn)場(chǎng)的策略。另一個(gè)可行的解決方案包括熔化或選擇追蹤得到并行追蹤器。然而，最吸引人的計(jì)算的觀點(diǎn)是一個(gè)混合動(dòng)力技術(shù)、整合組合算法的PF框架。在這樣的方案，輸出的組合算法將用于修改粒子及其權(quán)重，可能導(dǎo)致提高同時(shí)改進(jìn)的跟蹤性能和減少粒子所需數(shù)量。承認(rèn)這部分工作由項(xiàng)目MADRINET,TEC2005-07186-C03-02,SINPROB,TSI2005-07344-C02-02引用P.Perez,J.Vermaak,andA.Blake,“Datafusionfortrackingwithparticles,”ProceedingsofthelEEEvol.92,no.3,pp.49—513,March2004.A.Hampapur,L.Brown,J.Connell,A.Ekin,N.Haas,M.Lu,H.Merkl,andS.Pankanti,“Smartvideosurveillance:Exploringtheconceptofmultiscalespatiotemporaltracking,”IEEESignalProcessingMagazine,vol.22,no.2,pp.38-51,March2005.A.Yilmaz,O.Javed,andM.Shah,“Objecttracking:Asurvey,”ACMComput.Surv,vol.38,no.4,p.13,2006.M.Han,W.Xu,H.Tao,andY.Gong,“Analgorithmformultipleobjecttrajectorytracking,”ProceedingsoftheIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,CVPR2004vol.01,pp.864-871,2004.J.MacCormickandA.Blake,“Aprobabilisticexclusionprinciplefortrackingmultipleobjects,”Int.J.Comput.Visiqnvol.39,no.1,-71,2000.M.IsardandJ.Maccormick,“BraMBLe:aBayesianmultiple-blobtracker,”inComputerVision,2001.ICCV2001.Proceedings.EighthIEEEInternationalConferenceQnvol.2,2001,pp.34-41.Y.Cai,N.deFreitas,andJ.Little,“Robustvisualtrackingformultipletargets,”inInProc.ofEuropeanConferenceonComputerVision,2006,pp.IV:107-118.W.Qu,D.Schonfeld,andM.Mohamed,“Real-timedistributedmultiobjecttrackingusingmultipleinteractivetrackersandamagnetic-inertiapotentialmodel,”IEEETransactionsonMultimediavol.9,no.3,pp.511-519,April2007.K.Shearer,K.D.Wong,andS.Venkatesh,“Combiningmultipletrackingalgorithmsforimprovedgeneralperformance,"PatternRecognitionvol.34,no.6,pp.1257-1269,Jun.2001.M.Arulampalam,S.Maskell,N.Gordon,andT.Clapp,“Atutorialonparticlefiltersforonlinenonlinear/non-GaussianBayesiantracking,”IEEETrans.onSignalProc.,vol.50,no.2,pp.174-188,2002.K.Nummiaro,E.Koller-Meier,andL.V.Gool,“Acolorbasedparticlefilter,”inFirstInternationalWorkshoponGenerative-Model-BasedVision.Pece,2002.P.Brasnett,L.Mihaylova,D.Bull,andN.Canagarajah,“SequentialMonteCarlotrackingbyfusingmultiplecuesinvideosequences,"ImageVisionComput.,vol.25,no.8,pp.1217-1227,2007.A.Loza,L.Mihaylova,D.R.Bull,andC.N.Canagarajah,“Structuralsimilarity-basedobjecttrackinginmultimodalitysurveillancevideos,"MachineVisionandApplications2008(inpressdoi:s00x).M.A.Patricio,J.Garcia,A.Berlanga,andJ.M.Molina,“Videotrackingassociationproblemusingestimationofdistributionalgorithmsincomplexscenes."inIWINAC(2),ser.LectureNotesinComputerScience,J.MiraandJ.R.Alvarez,Eds.,vol.4528.Springer,2007,-270.H.M"uhlenbein,“Theequationforresponsetoselectionanditsuseforprediction."EvolutionaryComputationvol.5,no.3,pp.303-346,1997.M.J.A.StrensandI.N.Gregory,“Trackinginclutteredimages,”ImageandVisionComputingvol.21,no.10,pp.891-911,Sep.2003.S.S.BlackmanandR.Popoli,DesignandAnalysisofModernTrackingSystems,ArtechHouse,INC.,1999.Y.ChangandJ.Aggarwal,“3-Dstructurereconstructionfromanegomotionsequenceusingstatisticalestimationanddetectiontheory,”inProc.IEEEWorkshoponVisualMotion1991,pp.268-273.I.J.CoxandS.L.Hingorani,“Anefficientimplementationofreid?smultiplehypothesistrackingalgorithmanditsevaluationforthepurposeofvisualtracking,"IEEETrans.PatternAnal.Mach.Intel,l.vol.18,no.2,pp.138-150,1996.Y.RuanandP.Willett,“MultiplemodelPMHTanditsapplicationtothebenchmarkradartrackingproblem,"IEEETransactionsonAerospaceandElectronicSystemsvol.40,no.4,pp.13