《計算機(jī)視覺-王偉強(qiáng)》Course11

運(yùn)動跟蹤

董秋雷

中國科學(xué)院自動化研究所

qldong@nlpr.

運(yùn)動分析的一般流程

運(yùn)動檢測

運(yùn)動跟蹤

運(yùn)動表述

行為識別

運(yùn)動表述

識別與理解

什么是跟蹤(Tracking)?

什么是跟蹤（Tracking）?

□所謂跟蹤，就是指在圖像序列中持續(xù)地估計出

感興趣的運(yùn)動目標(biāo)所在區(qū)域（位置），形成運(yùn)

動目標(biāo)的運(yùn)動軌跡；有時還需要估計出運(yùn)動目

標(biāo)的某些運(yùn)動參數(shù)（比如速度、加速度等）。

跟蹤問題分類

□場景中運(yùn)動目標(biāo)的數(shù)目：單運(yùn)動目標(biāo)VS.多

運(yùn)動目標(biāo)

■在多目標(biāo)跟蹤過程中，必須考慮到多個目標(biāo)在場景

中會互相遮擋(Occlusion),合并(Merge),分離

(SpIit)等情況。

■多目標(biāo)跟蹤中的數(shù)據(jù)關(guān)聯(lián)問題(DataAssociation)o

跟蹤問題分類

□攝像機(jī)的數(shù)目：單攝像機(jī)VS.多攝像機(jī)

■使用多攝像機(jī)有望解決因相互遮擋導(dǎo)致的運(yùn)動目標(biāo)

丟失問題，但多攝像機(jī)的信息融合是一個關(guān)鍵性問

題。

□攝像機(jī)是否運(yùn)動：攝像機(jī)靜止VS.攝像機(jī)運(yùn)動

■攝像機(jī)的運(yùn)動形式，一種是攝像機(jī)支架固定，但攝像

機(jī)可以偏轉(zhuǎn)(Pan),俯仰(Ti11)以及縮放(Zoom)；另一

種是攝像機(jī)裝在某個移動的載體上，如移動的車輛

或飛行的飛機(jī)。

■攝像機(jī)的運(yùn)動增加了運(yùn)動目標(biāo)檢測的難度。

跟蹤問題分類

跟蹤問題分類

跟蹤問題分類

跟蹤問題分類

跟蹤問題分類

□場景中運(yùn)動目標(biāo)的類型：剛體VS.非剛體

■交通車輛一剛體；人一非剛體。

□傳感器的種類：可見光圖像VS.紅外圖像

■白天使用可見光圖像；晚上使用紅外圖像。

□運(yùn)動目標(biāo)的表示方法

□具體介紹常用的跟蹤方法

□多目標(biāo)跟蹤的數(shù)據(jù)關(guān)聯(lián)問題

□多攝像機(jī)跟蹤

運(yùn)動目標(biāo)的表示方法

□基于點(diǎn)的跟蹤

□基于區(qū)域的跟蹤

□基于輪廓的跟蹤

□基于模型的跟蹤

基于點(diǎn)的跟蹤

□質(zhì)心或一組特征點(diǎn)集

□運(yùn)動輪廓的角點(diǎn)

基于點(diǎn)的跟蹤

□將運(yùn)動目標(biāo)表示成點(diǎn)比較適合跟蹤那些在圖像上所占

區(qū)域比較小的目標(biāo)

□做簡單剛體運(yùn)動的目標(biāo)（特征點(diǎn)集）

基于區(qū)域的跟蹤

□將運(yùn)動目標(biāo)用比較簡單的幾何形狀表示，比如矩形或

橢圓等

□適合于表示簡單的剛體或非剛體運(yùn)動目標(biāo)。

□相較于后面要介紹的活動輪廓等表示方法精度較差。

基于輪廓的跟蹤

ContourSilhouette

□Contour表示運(yùn)動目標(biāo)的外部輪廓

□SiIhouette表示運(yùn)動目標(biāo)外部輪廓內(nèi)的區(qū)域

□適用于表示復(fù)雜的非剛體運(yùn)動目標(biāo)

基于輪廓的跟蹤

主動輪廓ActiveContour

利用封閉的曲線輪廓來表示運(yùn)動目標(biāo)，并且該輪廓能夠

自動連續(xù)地更新

*YILMAZ,A.,LI,X.,ANDSHAH,M.2004.Contourbasedobjecttrackingwithocclusionhandling

invideoacquiredusingmobilecameras.IEEETrans.Patt.Analy.Mach.Intell.26,11,1531-1536.

基于模型的跟蹤

二維形狀模型

SkeletalArticulatedModel

立體模型VolumetricModel

/I

運(yùn)動目標(biāo)的表示方法

口基于點(diǎn)的跟蹤

由

□基于區(qū)域的跟蹤

簡

口基于輪廓的跟蹤到

繁

口基于模型的跟蹤

V

□采用上述的哪種方法來表示運(yùn)動目標(biāo)和不同的

應(yīng)用場合、運(yùn)動目標(biāo)的運(yùn)動特性'以及對跟蹤

算法的精度要求等密切相關(guān)。

□運(yùn)動目標(biāo)的表示方法

□具體介紹常用的跟蹤方法

□多目標(biāo)跟蹤的數(shù)據(jù)關(guān)聯(lián)問題

□多攝像機(jī)跟蹤

跟蹤問題的兩種解決思路*

□自底向上(Bottom-up)的處理方法

■又稱為數(shù)據(jù)驅(qū)動(Date-driven)的方法，不依賴于

先驗(yàn)知識

□自頂向下(Top-down)的處理方法

■又稱為模型驅(qū)動(Model-driven)的方法，依賴于所

構(gòu)建的模型或先驗(yàn)知識

*ComanniciuD,RameshV,MeerP.Kernel-basedobjecttracking.IEEE

TransactionsonPatternAnalysisandMachineIntelligence,2003,25(5):564-577

跟蹤問題的兩種解決思路*

□自底向上(Bottom-up)的處理方法

個模板匹配(TemplateMatch)

->均值漂移(MeanShift)

□自頂向下(Top-down)的處理方法

個卡爾曼濾波器(KalmanFiIter)

個粒子濾波器(ParticleFiIter)

自底向上(Bottom-up)的處理方法

□模板匹配法(TemplateMatching)

■在前一幀圖像中目標(biāo)位置(或模板T位置)

為：(3)

■在當(dāng)前幀搜尋位置

(九'，)=(尤++dy)

使得

argmaxdxdycov(T(x/y)J(d+dx,y-\-dy))

概念上相對比較簡單

?：?進(jìn)行窮盡的搜索計算量非常大

□在前一幀目標(biāo)位置附近的一個小區(qū)域內(nèi)搜索

?：?FIEGUTH,P.ANDTERZOPOULOS,D.1997.Color-basedtrackingof

headsandothermobileobjectsatvideoframerates.InIEEE

ConferenceonComputerVisionandPatternRecognition(CVPR).21-27

??5?A

?X

XPredkcle-3.ocaUon

?TestedHypotheses

Figure2Theninelatticepointswfilcndeter-

minethelocalnypoch?868toDetestedfor

eacnobjectateachTrama

□使用模板匹配的快速算法

SCHWEITZER,H.,BELL,J.W.,ANDWU,F.2002.Veryfast

templatematching.InEuropeanConferenceonComputerVision

(ECCV).358-372.

自底向上(Bottom-up)的處理方法

□均值漂移法(MeanShift)

□原理:在圖像分割中已經(jīng)做過介紹

□核心思想:找到概率密度梯度為零的采樣點(diǎn)，并以此作為特

征空間聚類的模式點(diǎn).

均值漂移IntuitiveDescription

Regionof

interest

Centerof

mass

MeanShift

vector

均值漂移IntuitiveDescription

Regionof

interest

Centerof

mass

MeanShift

vector

均值漂移IntuitiveDescription

Regionof

interest

Centerof

mass

MeanShift

vector

均值漂移IntuitiveDescription

Regionof

interest

Centerof

mass

MeanShift

vector

均值漂移IntuitiveDescription

Regionof

interest

Centerof

mass

MeanShift

vector

均值漂移IntuitiveDescription

Regionof

interest

Centerof

mass

MeanShift

vector

均值漂移IntuitiveDescription

Regionof

interest

Centerof

mass

MeanShift跟蹤算法

?利用目標(biāo)的灰度(或彩色)分布來描述這個物體，假設(shè)目

標(biāo)中心位于X。,則該物體可以表示為

@u=c2匕MII寧『)況/陽S)-U]

■候選的目標(biāo)可以描述為

Pu(y)=力比/[等『)仇心/)—〃]

■目標(biāo)跟蹤過程轉(zhuǎn)化為尋找令瓦(y)與面相似度最高的解的

過程。

MeanShift跟蹤算法

?相似度量：瓦(y)三p[p(y),q]=2上，匹。)牝

泰勒展開：

Qu

p[p(y),q]|1VP(7o)Qu+11Pu(y)dPu(yo)

1mCn/

p[p(y),q]-Jp(yo)q〃+號｛卬＞(y一/2

h

u=li=l'

其中”=?上電8)一可底5

自底向上(Bottom-up)的處理方法

口均值漂移法(MeanShift)

?(b)(c)

(d)(e)⑴

Fig.12Mean-shifttrackingiterations,(a)estimatedobjectlocationattime￡-1,(b)frameattime

twithinitiallocationestimateusingthepreviousobjectposition,(c),(d),(e)locationupdateusing

mean-shiftiterations,(f)finalobjectpositionattimet.

自底向上(Bottom-叩)的處理方法

□均值漂移法(MeanShift)——通常只需要經(jīng)過4—5次迭代

Figure2:ThenumberofmeanshiftiterationsfunctionofthenameindexfortheFootballse-

quence.Themeannumberofiterationsis4.19perframe.

ComanniciuD,RameshV,MeerP.Kernel-basedobjecttracking.IEEE

TransactionsonPatternAnalysisandMachineIntelligence,2003,25(5):564-577

自頂向下(Top-down)的處理方法

□通過建立狀態(tài)空間模型，把跟蹤問題表示為動態(tài)

系統(tǒng)的狀態(tài)估計問題。

□思路是將目標(biāo)跟蹤問題轉(zhuǎn)換為在貝葉斯

(Bayesian)理論框架下已知目標(biāo)狀態(tài)的先驗(yàn)概率,

在獲得的測量值(Measurement)后不斷求解目標(biāo)

狀態(tài)的后驗(yàn)概率的過程。

狀態(tài)空間模型(StateSpaceModel)

□動態(tài)系統(tǒng)由狀態(tài)轉(zhuǎn)移方程和觀測方程組成。

□狀態(tài)轉(zhuǎn)移方程：

xk-

/：在很多跟蹤問題中可能是非線性的

Xk，Xk—:當(dāng)前時刻和前一時刻的狀態(tài)

以t：系統(tǒng)噪聲，通常是非高斯的

狀態(tài)空間模型(StateSpaceModel)

6

?M?

=xk-l+vk-l

XPredicted.ocation

?TestedHypotheses

Figure2,Theninelatticepointswtilcndeter-

minethelocalhypotb?8G€toDetesteditx

sacnobjectateachframe

狀態(tài)空間模型(StateSpaceModeI)

□觀測方程

"=hk(xkfnk)

h:在很多跟蹤問題中可能是非線性的

歟：測量值

二左?狀態(tài)

以：測量噪聲，通常是非高斯的

貝葉斯遞歸濾波器(RecursiveFiIters)

□狀態(tài)轉(zhuǎn)移方程：xk~vk-l)-P（&l&-1）

□測量方程：=h式&，秋)一p（y/ck/c）

□已知信息：yi：K=(y?！?yQ，P（%0）

□要求的是：p(&M：Q

貝葉斯遞歸濾波器(RecursiveFiIters)

□步驟：

■預(yù)測一測量一更新(Predict-Measurement-Update)

■預(yù)測：p%—1隊左-1)-p%lyihi)

■更新：pMyi,kXyk-p(&lyi：Q

測量

預(yù)測一測量一更新

□復(fù)習(xí)一下貝葉斯準(zhǔn)則(BayesRule):

p(%ly)0cp(yMpM

/I\

PosteriorlikelihoodPrior

預(yù)測一測量一更新

□預(yù)測：(usingChapman-KoImogoroffequation)

=Jp%%—IP%—也：

□更新：(usingBayesRuIe)

p(y/clxQp(xMyi火一i)

p(y/clyi：k-i)

j)=j)d&

□上述推導(dǎo)給出了理論上解的形式，實(shí)際中往往無法得到

解析表達(dá)

□在特定假設(shè)下可以獲得最優(yōu)解一一基于線性、高斯假設(shè)

■卡爾曼濾波器

□對任意概率密度函數(shù)—概率密度函數(shù)多峰情況

■粒子濾波器

R.E.Kalman

?Bom1930inHungary

?StudiedatMIT/Columbia

?Developedfilterin1960/61

卡爾曼濾波器(KaImanFiIter)

基本假設(shè)：

□后驗(yàn)概率分布p（4_ilyi火t）為高斯分布

□動態(tài)系統(tǒng)是線性的

Xk=儀-1+BUkT+Q/c-1

yk=Hxk+rk

□系統(tǒng)噪聲和測量噪聲都是高斯分布的，協(xié)方差矩陣分別

為Q/c-i和

Kalmanfilter-KF

Whenandwhere?

KFdescription

usingvectorsandmatrices

parameters

noise

(i^)a=HU

1j+!xJJ=!X:OSTOU]U0ui0jnse0p\[?

!r-!

(xbb)a=f)<=b+xv=\:OSTOUui回s^s?

???

(%%)日(匕％)3[=(g)H=d

[…(^l9)a

XIJ)EIUOJirepiEAOJOSWN

加=(夕)3[UUBTSSHB93：9SIO^[

0S!（）N

KFalgorithm

Xi=Ax「1+q

yi=HXj+r

—minimizethedifferencex-x

A-AA

?Prediction:七二Axji+q

?Correction:x^x^+KCyi-HXj-)

Kalmangainmatrix

'Kl—H=:(U9SI0UJUOUIOJnSBOUI?9SI0UUIOJSKS-

僅二!Xu9SI0UJU9UI9JnSE9UI?9SI0UUIOJsXs-

-VV,

:Sjpu口?

0+iVl!av二Jd?！菇星?/p>

Y(H+iH-dH)iH_d=X

Moqso]XSPQsi?

xe

<=(1%)H(b%)H=(s)H=d-x-x=3

0=-1—JLi

aeV

(…(％1)H(9呵

JOJJ0p^podxooq]QZTUITUTPJ?

XU3UUIure§ueui[?x

?時間更新

八_

Xk=/月一1+切"1

p;=APk_/+Q

?狀態(tài)更新

T

Kk二：P-H\HP-H+A)-1

/X

xK

k~工+Syk-H江)

Pk二(I一KRP；

實(shí)例

■測量電壓：假設(shè)我們可以測量這個常數(shù)的幅值，但觀

測幅值中摻入了幅值均方根為0.1伏的白噪聲。

?方程描述：

xx

k~^k-\+BUk_i+qk_x=x*+qk_x

Yk=k=乂卜…

?過程的狀態(tài)不隨時間變化，A=1；沒有控制輸入，u

二0；包含噪聲的觀測值是狀態(tài)變量的直接體現(xiàn)，H二

1O

實(shí)例

++noisymeasurements

aposteriestimate

truthvalue

8

6

8

B

-4

o0.

>0.

0.2

0.

-0.2

-0.4

05101520253035404550

Iteration

卡爾曼濾波器的擴(kuò)展

□ExtendedKalmanFilter(EKF)

□UnscentedKalmanFilter(UKF)

■同樣基于高斯分布的假設(shè)；

■狀態(tài)轉(zhuǎn)移方程和測量方程為非線性函數(shù)；

■沿用KalmanFiIter的框架；

■將非線性函數(shù)局部線性化。

為處理更為一般的概率密度函數(shù)(比如，多峰情況)，我們

需要適應(yīng)性更強(qiáng)的方法——粒子濾波器。

粒子濾波器(ParticleFiIter)

□粒子濾波器的一系列別名：

■CondensationAlgorithms

■Sequentialsampling-importancere-sampling(SIR)

■BootstrapFiltering

■Interactingparticleapproximations

■Survivalofthefittest

兩個問題

?兀是多少？怎么求？

?3.14159265358979323846264338327950288419716939937510582097944

592307816406286208998628034825342117067982148086513282306764

709384460955058223172535940812848111745028410270193852110955

596446229489549303819644288109756659334461284756482337867831

652712019091456485669234603486104543266482133936072602491412

737245870066063155881748815209209628292540917153643678925903

600113305305488204665213841469519415116094330572703657595919

530921861173819326117931051185480744623799627495673518857527

248912279381830119491298336733624406566430860213949463952247

371907021798609437027705392171762931767523846748184676694051

320005681271452635608277857713427577896091736371787214684409

012249534301465495853710507922796892589235420199561121290219

608640344181598136297747713099605187072113499837297804995105

973173281609631859502445945534690830264252230825334468503526

193118817101000313783875288658753320838142061717766914730359

825349042875546873115956286388235378201667315642315632318742

3187323128423128323658323

兩個問題

投針實(shí)驗(yàn)

試驗(yàn)者時間（年）針長投針次數(shù)相交次數(shù)乃問*計電

Wolf18500.80500025323.15956

Smith18550.60320412183.15665

Fox18840.7510304893.15951

Lazzarini19250.83340818083.14159292

d

MonteCarIo方法

?研究問題：某隨機(jī)事件A出現(xiàn)的概率。

?基本思想：通過某種“實(shí)驗(yàn)”的方法，得出A事件

出現(xiàn)的頻率，以此估計出A事件出現(xiàn)的概率。

MonteCarIo方法

?隨機(jī)生成1000000個點(diǎn)，結(jié)果為0.3328。

歷史

?Firstattempts-simulationsofgrowingpolymers

-M.N.RosenbluthandA.W.Rosenbluth,^MonteCarlocalculationoftheaverageextensionof

molecularchains,"JournalofChemicalPhysics,vol.23,no.2,pp.356-359,1956.

?Firstapplicationinsignalprocessing-1993

-N.J.Gordon,D.J.Salmond,andA.F.M.Smith,“Novelapproachtononlinear/non-Gaussian

Bayesianstateestimation,"IEEProceedings-F,vol.140,no.2,pp.107—113,1993.

?Books

-A.Doucet,N.deFreitas,andN.Gordon,Eds.,SequentialMonteCarloMethodsinPractice,

Springer,2001.

-B.Ristic,S.Arulampalam,N.Gordon,BeyondtheKalmanFilter:ParticleFiltersforTracking

Applications,ArtechHousePublishers,2004.

?Tutorials

-M.S.Arulampalam,S.Maskell,N.Gordon,andT.Clapp,"Atutorialonparticlefiltersfor

onlinenonlinear/non-gaussianBayesiantracking,"IEEETransactionsonSignalProcessing,

vol.50,no.2,pp.174-188,2002.'

粒子濾波器(ParticleFiIter)

□基于貝葉斯準(zhǔn)則的序貫蒙特卡羅算法(SequentiaI

MonteCarIo)

□通過尋找一組隨機(jī)樣本對任意概率密度函數(shù)進(jìn)行

近似，也即：用一組離散樣本點(diǎn)來近似連續(xù)的概

率密度函數(shù)。

MonteCarIo方法

■例子：估計如下積分值s為高斯分布函數(shù)）

+00

p=JX2p（x）dx

—00

?MonteCarIo方法：

1.模擬M個隨機(jī)變量（符合高斯分布）

X（m）?MO,CT2）

2.計算均值

V=吟

重要性采樣(ImportancesampIing)

計算積分

￡(/(/))=Jf〈x)p(x)dx=jf(x)

欣X)

?MonteCarlo方法：

1.模擬M個隨機(jī)變量(兀(x))

(加

A?欣X)

2.計算均值E(f(x))」X"f(")

兀(x*

屋w)

重要性采樣

計算積分E(&(%))=jg,(%)P(XoJ%)d%

E(M(%，)=Jg,(%J(%"W)4,

x

^\o.iIy\t)

?MonteCarlo方法：N

_________1/匕(瑞)(0,(瑞)

1.模擬N個隨機(jī)變量(q(x))E3(％J)=出~^

1/N%超)

id

N

2.計算均值=￡&(蟠)田(瑞)

/=1

力卜O/KJ=￡6'%>(')

/=|

Sequentialimportancesampling

p（”,）=夕（/）nvi\尸（wi均卜np（，/XJ）

7=>〃

1.ParticlegenerationX?）?P（XkIX"1）

2a.Weightcomputation

“加二心I土）

沙*（加

2b.Weightnormalization心加=“k

3.Estimatecomputation/故仔|7：））=￡g（x?（）w（：）

勿=i

重采樣ResampIing

?sis的問題

?重采樣(Resampling)

>M

?（/）

1

，Xk,M>

>m=\

Resampling

uw

~1

X

A7ooo

+1

X

OAA

,7YM

、<7f

S1X?

XAooo8oo8o

一

"o

1A?

一1

一I-

I

2磷

Lf/1

Posteiior9k

attimek-1

——\

Predictedstate1iVJl\.U/diffuse'

attimek-O-e?COQ-@)匕tJ

observation<S；

density?LLJJ,、、、.

41;

(rt\

粒子濾波器(ParticleFiIter)

優(yōu)點(diǎn)

1.通過隨機(jī)采樣近似復(fù)雜的、無法解析表達(dá)的概率密度函數(shù)

2.適應(yīng)性廣

不足：

1.高計算復(fù)雜度

2.粒子數(shù)目

3.重要性密度函數(shù)的選擇

實(shí)驗(yàn)BouncingBaII

KalmanFiltervs.ParticleFilter性能比較

KaImanFiIter

TheestimatedpositionfromtheKalmanfilter(red)iscompared

againsttheactualgroundtruthposition(green).

KaImanFiIter

KalmanElterFailures:

14:BOUNCEOVERSHOOT1G:SLOWCATCHUP

59:GRAVITYPLTLLSDOWNATREST

ParticIeFiIter

Thepredictedpositionfromtheparticlefilter(red)iscompared

againsttheactualgroundtruthposition(green).

ParticIeFiIter

EXAMPLEOFSAMPLINGEFFECTS

l\c(l:fiiialestiiiiiiteCrieen:(lata

Yellow：BOUNCEBluc:STOPBlack:E4LL

運(yùn)動跟蹤中的一些難點(diǎn)問題

□運(yùn)動跟蹤所面臨的主要難點(diǎn)可以歸結(jié)為對跟蹤

算法在三個方面的要求，即對算法的魯棒性'

準(zhǔn)確性和快速性的要求。

運(yùn)動跟蹤中的一些難點(diǎn)問題

口魯棒性要求跟蹤算法能夠在各種環(huán)境條件下實(shí)現(xiàn)對運(yùn)動

目標(biāo)持續(xù)穩(wěn)定的跟蹤。影響視覺跟蹤算法魯棒性的主要

原因在于：

■被跟蹤運(yùn)動目標(biāo)的姿態(tài)變化；

■運(yùn)動目標(biāo)所處環(huán)境的變化（比如，光照條件等）；

■部分遮擋引起的運(yùn)動目標(biāo)不規(guī)則變形和全部遮擋引起的運(yùn)動目

標(biāo)的暫時消失。

運(yùn)動跟蹤中的一些難點(diǎn)問題

□準(zhǔn)確性的要求包括兩個方面：

■對運(yùn)動目標(biāo)檢測的準(zhǔn)確性;

■對運(yùn)動目標(biāo)分割的準(zhǔn)確性;

□快速性的要求在于：在保證所要求的跟蹤精度的前提下

實(shí)現(xiàn)實(shí)時地跟蹤。

□運(yùn)動目標(biāo)的表示方法

□具體介紹常用的跟蹤方法

□多目標(biāo)跟蹤的數(shù)據(jù)關(guān)聯(lián)問題

□多攝像機(jī)跟蹤

多目標(biāo)跟蹤中的數(shù)據(jù)關(guān)聯(lián)

口數(shù)據(jù)關(guān)聯(lián)-DataAssociation

口類似于在兩幅圖像中找對應(yīng)點(diǎn)(Correspondence)的問題

多目標(biāo)跟蹤中的數(shù)據(jù)關(guān)聯(lián)

多目標(biāo)跟蹤中的數(shù)據(jù)關(guān)聯(lián)

□一

如何確定哪一個觀測對應(yīng)

于哪一個跟蹤目標(biāo)？

多目標(biāo)跟蹤中的數(shù)據(jù)關(guān)聯(lián)

□貝葉斯遞歸濾波器

■預(yù)測一測量一更新

■預(yù)測：p（沖-ilyi業(yè)—1）-p（^|yi：k-i）

■更新：p（x\y\y-P（打lyi火）

k1±kJ卜

測量

rA

數(shù)據(jù)關(guān)聯(lián)

預(yù)測更新

\確__定_哪_一_個_測__量_最__為_匹_配/

多目標(biāo)跟蹤中的數(shù)據(jù)關(guān)聯(lián)

□一些常用的基本約束

Fig.10Differentmotionconstraints.(a)proximity,(b)maximumvelocity(rdenotesradius),(c>small

velocity-change,(d)commonmotion,(e)rigidityconstraints.△denotesobjectpositionatframet—2,

odenotesobjectpositionatframe/—1,andfinallyxdenotesobjectpositionatframet.

多目標(biāo)跟蹤中的數(shù)據(jù)關(guān)聯(lián)

□典型的數(shù)據(jù)關(guān)聯(lián)方法

■最近鄰方法(NN,NearestNeighbor)

■聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)方法(JPDA,JointProbabiIity

DataAssociation)

■多假設(shè)跟蹤方法(MHT,MultiHypothesis

Tracking)

Gating

gating

region2

track1

track2observations

口一

□縮小范圍

□在每一個gatingregion中運(yùn)用數(shù)據(jù)關(guān)聯(lián)算法

最近鄰方法（NN）

□單目標(biāo)

trackl1口

口，

Z

/

/

□

GIobaINearestNeighbor(GNN)

□多目標(biāo)

trackl

□

GIobaINearestNeighbor(GNN)

□假定有N個跟蹤目標(biāo)，當(dāng)前幀有M個測量值。因此我們可

以獲得一個MXN的矩陣，矩陣中的元素表示了測量和目

標(biāo)之間的匹配程度。此處.暫時假設(shè)兇=%

12345

10.950.760.620.410.06

20.230.460.790.940.35

30.610.020.920.920.81

40.490.820.740.410.01

50.890.440.180.890.14MaxScore:4.26

尋找一對一的對應(yīng)，使得匹配程度總和達(dá)到最大值。

□快速算法：SoftAssign

■J.KosowskyandA.Yuille.Theinvisiblehandalgorithm:Solving

theassignmentproblemwithstatisticalphysics.NeuralNetworks,

7:477-490,1994.

GIobaINearestNeighbor(GNN)

□在絕大多數(shù)情況下，M往往不等于NMatches

1□A

□有的觀測可能找不到與之匹配的目標(biāo)

2?B

■噪聲、出現(xiàn)的新目標(biāo)3□?C

4□?D

□有的目標(biāo)可能找不到與之匹配的觀測5□

■匹配錯誤、目標(biāo)消失

GIobaINearestNeighbor(GNN)

Introduceonerowandonecolumnof“slackvaiiables“toabsorb

anyoutliermismatches.

GIobaINearestNeighbor(GNN)

MatchesABCDslack

1□Ai00001

2?B

3LJ>c210000

4□?D

5□300100

400010

500001

slack01000

最近鄰方法評價

優(yōu)點(diǎn)：

易實(shí)現(xiàn)

計算量少

缺點(diǎn)：

只適用于信噪比高、目標(biāo)密度小的環(huán)境，對目

標(biāo)密度較大的情況容易產(chǎn)生關(guān)聯(lián)錯誤

運(yùn)動目標(biāo)的表示方法

具體介紹常用的跟蹤方法

多目標(biāo)跟蹤的數(shù)據(jù)關(guān)聯(lián)問題

多攝像機(jī)跟蹤

多攝像機(jī)跟蹤

在跟蹤過程中需要使用多個攝像機(jī)主要基于

以下的兩個原因：

可以通過選擇最好的視點(diǎn)來解決遮擋問題；應(yīng)

該說，解決遮擋問題最有實(shí)際意義的潛在方法

應(yīng)該是基于多攝像機(jī)的跟蹤系統(tǒng)。

可以擴(kuò)大跟蹤的有效區(qū)域，單個攝像機(jī)的視野

范圍畢竟是有限的。

多攝像機(jī)跟蹤一個例子

Fig.1.Fourmiagesfroma6-perspectivesequencearaparticulartimeinstant.Theboxesshow

thepositionsfoundbythealgontlini.

MITTAL,A.ANDDAVIS,L.M2tracker:Amultiviewapproachtosegmentingand

trackingpeopleinaclutteredscene.IJCV,200351,3,189-203

多攝像機(jī)跟蹤一個例子

n

v

J

s

Introduction

?WhatisSLAM?

-SimultaneousLocalizationandMap-Building

-SLAMisatechniqueusedbyrobotsand

autonomousvehiclestobuildupamapwithinan

unknownenvironmentwhileatthesametime

keepingtrackoftheircurrentposition.

Introduction

Introduction

?TheSLAMpr