計(jì)算機(jī)視覺課程-7.目標(biāo)跟蹤

圖像特征檢測(cè)特征匹配4.圖像分割5.圖像配準(zhǔn)運(yùn)動(dòng)估計(jì)目標(biāo)8-11.三維重建識(shí)別人腦工程計(jì)算機(jī)視覺課程結(jié)構(gòu)圖目標(biāo)目標(biāo)：確定圖像序列中感物體的位置和運(yùn)動(dòng)機(jī)運(yùn)動(dòng)、目標(biāo)

的難點(diǎn)：光照、視角、形狀、遮擋、形變、運(yùn)動(dòng)模糊等。目標(biāo)的應(yīng)用目標(biāo)

有的廣泛的應(yīng)用領(lǐng)域：運(yùn)動(dòng)分析；運(yùn)動(dòng)醫(yī)學(xué)；動(dòng)畫特效；智能

；機(jī)器人；人機(jī)交互；；行為理解；...目標(biāo)的分類單目標(biāo)多目標(biāo)目標(biāo)的分類單機(jī)多機(jī)目標(biāo)的分類2D3D目標(biāo)的分類剛體非剛體運(yùn)動(dòng)目標(biāo)的表達(dá)方法Yilmaz,

Javed,

and

Shah,

2006運(yùn)動(dòng)目標(biāo)的表達(dá)方法基于區(qū)域的

：運(yùn)動(dòng)目標(biāo)的表達(dá)方法基于特征的

：運(yùn)動(dòng)目標(biāo)的表達(dá)方法基于輪廓的

：運(yùn)動(dòng)目標(biāo)的表達(dá)方法基于模型的

：目標(biāo)的基本方法判別式方法（自底向上、數(shù)據(jù)驅(qū)動(dòng)）：不依賴先驗(yàn)VS生成式方法（自頂向下、模型驅(qū)動(dòng)）：依賴于先驗(yàn)?zāi)繕?biāo)的基本方法遞歸式 （Recursive

tracking）VS單幀檢測(cè)（Tracking

by

detection）detectdetectdetect目標(biāo)

實(shí)例——基于退火粒子濾波的Jonathan

Deutscher

and

Ian

D.

Reid,

Articulated

Body

MotionCapture

by

Stochastic

Search,

International

Journal

of

ComputerVision,

61(2):

185–205,

2005.目標(biāo)實(shí)例——基于退火粒子濾波的算法特征：?jiǎn)文繕?biāo)、多遞歸式機(jī)、3D、連接剛體、生成式算法、29度3D模型三臺(tái)機(jī)同步拍攝目標(biāo)實(shí)例——基于退火粒子濾波的三維的主要難點(diǎn)：3D到2D投影歧義目標(biāo)實(shí)例——基于退火粒子濾波的三維的主要難點(diǎn)：姿態(tài)歧義目標(biāo)實(shí)例——基于退火粒子濾波的三維的主要難點(diǎn)：尺度歧義目標(biāo)實(shí)例——基于退火粒子濾波的三維的主要難點(diǎn)：運(yùn)動(dòng)模糊目標(biāo)

實(shí)例——基于退火粒子濾波的背景知識(shí)：貝葉斯濾波（Bayesian

Filtering）狀態(tài)：xt觀測(cè)：zt過(guò)程方程：xt

=

ft(xt-1,vt-1)測(cè)量方程：zt

=

ht(x

)過(guò)程噪聲：vt-1測(cè)量噪聲：nt貝葉斯濾波：已知0到t時(shí)刻的觀測(cè)z1:t={z1,…,zt}以及0時(shí)刻的狀態(tài)先驗(yàn)p(x0)，求t時(shí)刻狀態(tài)的概率分布p(xt|z1:t)目標(biāo)

實(shí)例——基于退火粒子濾波的背景知識(shí)：貝葉斯濾波（Bayesian

Filtering）根據(jù)貝葉斯準(zhǔn)則（Bayes

Rule）：1）：計(jì)算先驗(yàn)p(xt

|

z1:t

1

)

p(xt

|

xt

1

)p(xt

1

|

z1:t

1)dxt

1其中p(xt|z1:t-1)根據(jù)過(guò)程方程xt

=ft(xt-1,vt-1)2）測(cè)量：計(jì)算似然p(zt|xt)，根據(jù)測(cè)量方程zt

=

ht(x

)3）更新：計(jì)算后驗(yàn)p(xt|z1:t)∝p(zt|xt)p(xt|z1:t-1))

p(zt

|

xt

)

p(xt

|

z1:t

1)t1:tp(zt

|

z1:t

1)p(x

|

z目標(biāo)

實(shí)例——基于退火粒子濾波的背景知識(shí)：貝葉斯濾波（Bayesian

Filtering）上述貝葉斯濾波給出了狀態(tài)

問(wèn)題的最優(yōu)貝葉斯解，這一過(guò)程只 上解的形式，實(shí)際中往往無(wú)法得到解析表達(dá)。在給定一些假設(shè)（高斯、線性）時(shí)，貝葉斯解具有解析解的形式。目標(biāo)

實(shí)例——基于退火粒子濾波的背景知識(shí)：卡爾曼濾波（Kalman

Filtering）卡爾曼濾波的基本假設(shè)：1）后驗(yàn)概率p(xt-1|z1:t-1)為高斯分布2）過(guò)程方程是線性函數(shù)，xt

=ft(xt-1,vt-1)=Ftxt-1+vt-13）測(cè)量方程是線性函數(shù)，zt

=

ht(x

)

=

Htx）過(guò)程噪聲vt-1是高斯白噪聲，方差為Qt-15）觀測(cè)噪聲nt是高斯白噪聲，方差為Rt4目標(biāo)

實(shí)例——基于退火粒子濾波的背景知識(shí)：卡爾曼濾波（Kalman

Filtering）過(guò)程方程：xt

=Ftxt-1+vt-1測(cè)量方程：zt

=Htx過(guò)程噪聲vt-1

~

N(0,

Qt-1)測(cè)量噪聲nt

~N(0,

Rt)p(xt-1|z1:t-1)~

N(mt-1|t-1,Pt-1|t-1)，t-1時(shí)刻狀態(tài)，已知p(xt|z1:t-1)

~

N(mt|t-1,

Pt|t-1)，對(duì)t時(shí)刻狀態(tài)的進(jìn)行

，先驗(yàn)p(xt|z1:t)~

N(mt|t,Pt|t)，根據(jù)t時(shí)刻的測(cè)量進(jìn)行更新，后驗(yàn)：mt|t-1

=

Ftmt-1|t-1更新：mt|t

=

mt|t-1+tt(zt-Htmt|t-1)

Pt|t

=

Pt|t-1-ttHtPt|t-1P

=

Q

+F

PF

Tt|t-1

t-1

t

t-1|t-1

tT(H

P H

T+R

)-1稱為卡爾曼增益tt

=

Pt|t-1Htt

t|t-1

t

t目標(biāo)

實(shí)例——基于退火粒子濾波的背景知識(shí)：粒子濾波（Particle

Filtering）許多問(wèn)題是非線性非高斯的，因此無(wú)法使用卡爾曼濾波有效求解。針對(duì)非線性非高斯?fàn)顟B(tài)的一種有效方法是粒子濾波。粒子濾波是對(duì)貝葉斯最優(yōu)解的近似，其基本思想是基于蒙特卡洛法（Monte

CarloMethod）。蒙特卡羅方法于20世紀(jì)40年代

在第二次

中研制原的“曼哈頓計(jì)劃”計(jì)劃的成員烏拉姆和馮·諾伊曼首先提出，并用馳名世界的賭城—摩納哥的Monte

Carlo—來(lái)命名了這種方法。在這之前，蒙特卡羅方法就已經(jīng)存在。1777年，法國(guó)數(shù)學(xué)家布豐提出用投針實(shí)驗(yàn)的方法求圓周率π，這被認(rèn)為是蒙特卡羅方法的

。目標(biāo)

實(shí)例——基于退火粒子濾波的背景知識(shí)：粒子濾波（Particle

Filtering）布豐投針實(shí)驗(yàn)（計(jì)算π的最稀奇方法之一）：取一張白紙，在上面畫上許多條間距為d的平行線；取一根長(zhǎng)度為l

(l<d)的針，隨機(jī)地向畫有平行直線的紙上擲n次，觀察針與直線相交的次數(shù)m；則針與直線相交的概率與圓周率成正比：m/n=(π-1)/4目標(biāo)

實(shí)例——基于退火粒子濾波的背景知識(shí)：粒子濾波（Particle

Filtering）非高斯非線性的貝葉斯濾波沒有解析解，因此粒子濾波使用一組隨機(jī)樣本對(duì)貝葉斯濾波器進(jìn)行蒙特卡洛模擬。粒子濾波的 思想是使用一組帶 重的隨機(jī)樣本來(lái)近似狀態(tài)的后驗(yàn)概率。t

i=1,…,Ns

t

t令{xti,w

i}

為t時(shí)刻的一組隨機(jī)樣本，x

i為樣本采樣，w

i為權(quán)重，則t時(shí)刻狀態(tài)xt的后驗(yàn)概率可以近似為：p(xt

|

z1:t

)Nsi

t

t

ti1w(x

xi

)目標(biāo)

實(shí)例——基于退火粒子濾波的背景知識(shí)：粒子濾波（Particle

Filtering）標(biāo)準(zhǔn)粒子濾波算法流程：輸入：t-1時(shí)刻樣本及權(quán)值{x

i,wi}t-1

t-1

i=1,…,Ns，wt-

i=1/N1

s：根據(jù)過(guò)程方程xt

=ft(xt-1,vt-1)生成t樣本{x-i}t

t-1

t

t測(cè)量：根據(jù)觀測(cè)似然更新權(quán)重w-

i=w

ip(z

|x-

i)t

t重采樣：對(duì)Ns個(gè)樣本{x-i}以其權(quán)值{w-i}為概率進(jìn)行采樣，從而抑制權(quán)值較小的樣本，增值較大的樣本，生成i

i

i新樣本{xt

,wt

}i=1,…,Ns,其中新權(quán)值wt

均設(shè)為1/Ns輸出：t時(shí)刻樣本及權(quán)值{x

i,w

i}，w

i=1/Nt

t

i=1,…,Nsts1Nsi1itt時(shí)刻狀態(tài)估計(jì)：xtNsx目標(biāo)

實(shí)例——基于退火粒子濾波的背景知識(shí)：粒子濾波（Particle

Filtering）當(dāng)觀測(cè)似然函數(shù)p(zt|x-ti)多峰時(shí)，標(biāo)準(zhǔn)粒子濾波算法可能無(wú)法準(zhǔn)確找到最大后驗(yàn)概率值。目標(biāo)

實(shí)例——基于退火粒子濾波的許背景知識(shí)：退火粒子濾波（Annealed

Particle

Filtering）使用一組似然函數(shù)：p0,…,pM，相鄰兩個(gè)函數(shù)pm和pm-1不同，定義為：pm

(z

|

x)

p(z

|

x)m其中β0>β1>,…,>βM，pM的形狀比較平坦，能反映出整個(gè)狀態(tài)空間的趨勢(shì)，p0對(duì)應(yīng)真實(shí)似然函數(shù)，具有較高的峰值（β0=1），能夠反映局部特征。退火粒子濾波從比較平坦的pM開始，逐漸收斂到真實(shí)觀測(cè)似然函數(shù)p0。目標(biāo)

實(shí)例——基于退火粒子濾波的背景知識(shí)：退火粒子濾波（Annealed

Particle

Filtering）退火粒子濾波流程：1.

：根據(jù)過(guò)程方程xt

=ft(xt-1,vt-1)生成樣本{x-t

}it,m

t2.

m=M，{x-

i}

←

{x-

i}3.

測(cè)量：根據(jù)觀測(cè)似然更新權(quán)重w-

i=w

ip

(z

|x-t,m

t-1

m

t

t,mi)t,m

t,m4.

重采樣：對(duì)Ns個(gè)樣本{x-

i}以其權(quán)值{w-

i}為概率進(jìn)行重采樣，生成新樣本{x

i,wi},其中x

i=x

i+B

、

wt,m-1

t,m-1

t,m-1

t,m

m

t,m-1i=1/Ns

、Bm為高斯隨

量5.m

←m-1，如果m<0則迭代結(jié)束，否則轉(zhuǎn)步驟3輸出：t時(shí)刻樣本及權(quán)值{x

i,w

i}

，w

i=1/Nt

t

i=1,…,Ns

ts目標(biāo)

實(shí)例——基于退火粒子濾波的背景知識(shí)：退火粒子濾波（Annealed

Particle

Filtering）目標(biāo)

實(shí)例——基于退火粒子濾波的結(jié)構(gòu)模型：29度3D模型目標(biāo)

實(shí)例——基于退火粒子濾波的觀測(cè)似然函數(shù)：圖像特征：邊緣+剪影目標(biāo)

實(shí)例——基于退火粒子濾波的觀測(cè)似然函數(shù)：

1CCii1

r

(x,

I

)

i

ii1

C

i1p(z

|

x)

exp

1C1

e

(x,

I

)C：機(jī)數(shù)量Ii：第i個(gè)

機(jī)對(duì)應(yīng)的圖像

ri(x,Ii)：模型投影邊界采樣點(diǎn)處的圖像邊緣點(diǎn)比例ei(x,Ii)：模型投影區(qū)域采樣點(diǎn)處的圖像剪影點(diǎn)比例目標(biāo)

實(shí)例——基于退火粒子濾波的觀測(cè)似然函數(shù)：

1CCii1

r

(x,

I

)

i

ii1

C

i1p(z

|

x)

exp

1C1

e

(x,

I

)ri(x,Ii)ei(x,Ii)IiIi

and

x目標(biāo)

實(shí)例——基于退火粒子濾波的結(jié)果：目標(biāo)

實(shí)例——基于退火粒子濾波的結(jié)果：目標(biāo)

實(shí)例——基于退火粒子濾波的結(jié)果：Results

on

HumanEva

Dataset目標(biāo)

實(shí)例——基于退火粒子濾波的結(jié)果：Results

on

HumanEva

Dataset目標(biāo)

實(shí)例——基于退火粒子濾波的APF是一種遞歸式 （Recursive

tracking）方法，需要前一幀結(jié)果作為當(dāng)前幀的初值，因此在長(zhǎng)序列漂移，這是任何遞歸式 算法都中有可能會(huì)發(fā)生的問(wèn)題。APF發(fā)生漂移另一種遞歸式目標(biāo) 實(shí)例——KinectJamie

Shotton,

et

al.,

Real-Time

Human

Pose

Recognition

in

Partsfrom

Single

Depth

Images,

CVPR,

2011.

(Best

P r

Award)Research

Cambridge

&

Xbox

Incubation目標(biāo) 實(shí)例——Kinect通過(guò)單幅深度圖像計(jì)算

關(guān)節(jié)點(diǎn)3D空間位置Kinect深度圖像關(guān)節(jié)點(diǎn)3D位置算法特征：多目標(biāo)、單（深度）別式算法、單幀檢測(cè)機(jī)、3D、連接剛體、判目標(biāo)實(shí)例——Kinect算Kinect

算法是迄今為止最魯棒的室內(nèi)3D法，其主要特性為：使用單幅深度圖像（深度對(duì)于視覺感知的重要性）單幀檢測(cè)

（魯棒性）在Xbox

360的GPU上運(yùn)算速度200幀/秒（高效性）可用各種身材各種姿態(tài)（通用性）上市60天售出800萬(wàn)臺(tái)，成為有史以來(lái)銷售速度最快的電子設(shè)備（真實(shí)可用）目標(biāo) 實(shí)例——KinectKinect基本原理：Kinect上紅外光源投射出激光散斑（laser

speckle），這些散斑具有高度的隨機(jī)性，而且會(huì)隨著距離的不同變換圖案。不同距離的散斑圖案是預(yù)先標(biāo)定好的：每隔一段距離，取一個(gè)參考平面，把參考平面上的散斑圖案記錄下來(lái)。需要進(jìn)

量的時(shí)候，拍攝一副待測(cè)場(chǎng)景的散斑圖像，將這幅圖像和事先保存下來(lái)的參考散斑圖像依次做互相關(guān)運(yùn)算獲得場(chǎng)景深度。目標(biāo) 實(shí)例——Kinect算法的基本假設(shè)：室內(nèi)環(huán)境；人與Kinect距離在1-5米；動(dòng)作包括走、跳、踢、跑等常用動(dòng)作。目標(biāo) 實(shí)例——Kinect算法的基本流程：輸入深度圖像推斷身體各部分關(guān)節(jié)點(diǎn)3D位置計(jì)算目標(biāo) 實(shí)例——Kinect算法的基本流程：輸入深度圖像推斷身體各部分訓(xùn)練一個(gè)分類器，輸入為深度圖中每個(gè)像素點(diǎn)（特征），輸出為這一像素點(diǎn)所對(duì)應(yīng)的身體部分

。目標(biāo) 實(shí)例——Kinect身體上同一部分在不同姿態(tài)的深度圖中有很大的差別，因此在分類器的訓(xùn)練過(guò)程中需要大量帶

的樣本。同一個(gè)人的左手在不同姿態(tài)時(shí)的深度圖目標(biāo) 實(shí)例——Kinect如何產(chǎn)生訓(xùn)練樣本？樣本：深度圖、圖（31個(gè)身體）目標(biāo) 實(shí)例——Kinect如何產(chǎn)生訓(xùn)練樣本？使用運(yùn)動(dòng)捕捉（Motion

Capture）裝置獲取 運(yùn)動(dòng)的關(guān)節(jié)點(diǎn)3D位置。了約50萬(wàn)幀運(yùn)動(dòng)數(shù)據(jù)（跳、走、跑、劃等），從中選出約10萬(wàn)幀作為訓(xùn)練樣本（任意兩幀關(guān)節(jié)點(diǎn)間距離均大于

5cm）。目標(biāo)實(shí)例——Kinect將

的10萬(wàn)幀 運(yùn)動(dòng)數(shù)據(jù)用于虛擬MotionBuilder）運(yùn)動(dòng)（Autodesk不同高矮胖瘦添加衣物發(fā)型目標(biāo) 實(shí)例——Kinect將虛擬運(yùn)動(dòng)

投影到虛擬深度相機(jī)，獲得訓(xùn)練樣本。目標(biāo) 實(shí)例——Kinect使用隨機(jī)決策森林作為分類器：Y.

Amit

and

D.

Geman.Sh

zation

and

recognition

with

randomized

trees.

NeuralComputation,

9(7):1545–1588,

1997V.

Lepetit

and

P.

Fua.

Keypoint

Recognition

Using

Randomized

Trees,

IEEE

T-PAMI,28(9):1465-1479,

2006.目標(biāo) 實(shí)例——Kinect隨機(jī)決策森林節(jié)點(diǎn)使用的特征：I為深度圖像，x為一個(gè)像素點(diǎn)，θ=(u,v)為兩個(gè)偏移向量深度圖中不同位置像素點(diǎn)使用同樣的偏移向量所產(chǎn)生的fθ(I,x)不同目標(biāo) 實(shí)例——Kinect隨機(jī)決策森林節(jié)點(diǎn)使用的特征：I為深度圖像，x為一個(gè)像素點(diǎn)，θ=(u,v)為兩個(gè)偏移向量fθ(I,x)中偏移量除以深度值的目的：使特征對(duì)深度具有不變性目標(biāo) 實(shí)例——Kinect隨機(jī)決策森林訓(xùn)練方法：V.

Lepetit

and

P.

Fua.

Keypoint

Recognition

Using

Randomized

Trees,

IEEE

T-PAMI,28(9):1465-1479,

2006.隨機(jī)選擇法：在每個(gè)節(jié)點(diǎn)完全隨機(jī)選擇參數(shù)θ和τ目標(biāo) 實(shí)例——Kinect隨機(jī)決策森林訓(xùn)練方法：Y.

Amit

and

D.

Geman.

Sh zation

and

recognition

with

randomized

trees.

NeuralComputation,

9(7):1545–1588,

1997.貪心選擇法：在每個(gè)節(jié)點(diǎn)選擇能最大化區(qū)分樣本的參數(shù)θ和τ目標(biāo) 實(shí)例——Kinect隨機(jī)決策森林訓(xùn)練方法：Y.

Amit

and

D.

Geman.

Sh zation

and

recognition

with

randomized

trees.

NeuralComputation,

9(7):1545–1588,

1997.目標(biāo) 實(shí)例——Kinect隨機(jī)決策森林訓(xùn)練方法：決策森林包含3棵決策樹，樹的最大深度為20，每棵樹使用30萬(wàn)幅深度圖像、每幅上2000個(gè)像素點(diǎn)進(jìn)行訓(xùn)練，每個(gè)節(jié)點(diǎn)有2000個(gè)候選θ值和50個(gè)候選τ值。在一個(gè)1000核的集群上訓(xùn)練1天。Y.

Amit

and

D.

Geman.

Sh zation

and

recognition

with

randomized

trees.

NeuralComputation,

9(7):1545–1588,

1997.目標(biāo) 實(shí)例——Kinect關(guān)節(jié)點(diǎn)3D位置計(jì)算：推斷身體各部分關(guān)節(jié)點(diǎn)3D位置計(jì)算最簡(jiǎn)單的方法：將深度圖中身體每一部分所對(duì)應(yīng)像素點(diǎn)的空間均值作為關(guān)節(jié)點(diǎn)3D位置，但這一方法易受外點(diǎn)影響。目標(biāo) 實(shí)例——Kinect關(guān)節(jié)點(diǎn)3D位置計(jì)算：推斷身體各部分關(guān)節(jié)點(diǎn)3D位置計(jì)算改進(jìn)方法：使用 高斯核函數(shù)進(jìn)行meanshift聚類。目標(biāo) 實(shí)例——Kinect關(guān)節(jié)點(diǎn)3D位置計(jì)算：使用

高斯核函數(shù)進(jìn)行mean

shift聚類，即尋找密度分布函數(shù)的極值：，為深度圖中像素點(diǎn)xi對(duì)應(yīng)的空為待估計(jì)的關(guān)節(jié)點(diǎn)3