第三講光流分析法講訴

第三講光流分析法三維場景——>二維的時變圖像——>數(shù)學(xué)上3D>2D投影而我們所能得到的是時變圖像的某種采樣點(diǎn)陣(或采樣?xùn)鸥?的圖像序列， (1)假定投影中心在原點(diǎn)X2t時刻t時刻XXpPPP,—三維位移矢量X3pp,—二維成像平面上的二維位移矢量(2)假定投影中心在O1點(diǎn)(3)設(shè)(X,t)R3,t=t+ltO1X2PpOXXCCd(X,t；lt)=d(X,t；lt)，PCd(n,k；l)=d(X,t；lt)Pk表達(dá)了t‘-t的時間離散123PC (x，t)∧3 (n，k)Z3=(n,n)T2(1)pp定義為對應(yīng)矢量V=(V,V)T=(dx/dt,dx/dt)T1212表征了時空變化，而且是連續(xù)的變化。觀測到這種變化，則就意義(3)可觀測性例子角速度K+1幀K+1幀KK幀t--l△tdd112tPP12t+l△td112P12C1122離散化等價S(x，x)=S(x+d(X)，x+d(X))k12k+l1122對應(yīng)矢量d(X)=(d(X)，d(X))T2S(x，x)=S(x+d(X)，x+d(X)),其中t=ktk12kl1122(1)光流的估計——>若每一個△t間隔時，速度矢量不變。則光流估計與對應(yīng)(2)解的存在性——>如遮擋與顯露問題。(3)解的唯一性——>產(chǎn)生孔徑問題。位移各分量是否解耦合的。若獨(dú)立，未(4)解的連續(xù)性——>產(chǎn)生噪聲<——不連續(xù)(1)參數(shù)模型<——基于三維曲面的表達(dá)式(2)非參數(shù)模型d．貝葉斯(最大后驗(yàn)概率)1．設(shè)S(x,x,t)是連續(xù)時空亮度分布，若沿運(yùn)動軌跡上的亮度保持不變，有?S(X,t)CU(X,t)+?S(X,t)CU(X,t)+?S(X,t)C=0(3.3__2)?x1?x2?t121一坐標(biāo)速度分量1一坐標(biāo)速度分量)2dtdt我們的估計就是要在幀之間保持(3.3—1)式成立，需要的先驗(yàn)知識較多。dt=02in將(3.3—2)式中的偏微分項(xiàng)用梯度估計出來xxC12 xxC12 xx2C12ttC12 ttC12第四講基于塊的分析法(1)圖像由塊構(gòu)成(2)塊運(yùn)動由平移和二維變形構(gòu)成(1)模型BnnnnDdd)T是位移矢量，1212121122(2)重疊問題未重疊塊重疊塊b。(3)應(yīng)用(c)不能用于變形運(yùn)動3．變形的塊運(yùn)動設(shè)k幀中某像素的坐標(biāo)為(x,x)，而在k+l幀中的對應(yīng)像素的坐標(biāo)為(x’,x’)，1212XxxTXxx)T，D=(d,d)T(4.1--2)可處理121212{長方形平行四邊形的變換，而位射是正交投射。(2)透視變換非線性處理x'=4152671824.2相位相關(guān)法頻域法1.線性相位差項(xiàng)在(4.1--1)試兩邊取付氏變換S(f,f)=S(f,f).exp{j2(df+df)}k12k+1121122arg{S(f,f)}arg{S(f,f)}=2(df+df)k12k+1121122 可見相位差只是在(ff)坐標(biāo)上一個平面方向，則幀間的運(yùn)動矢量可以由22.相位相關(guān)函數(shù)kk12(4.2--3)C(f,f)=S(f,f)S*(f,f)kkk1212(f,f)=Sk+1(f1.f2)S(f1,f2)k,k+112S'(f,f)S*(f,f)k+112k12C(f,f)=exp{j2幾(df+df)}kk22 k,k+11211223實(shí)現(xiàn)及問題(1)計算塊的二維DFT(k,k+1幀)(2)計算(4.2--5)式的歸一化功率譜(3)求反二維DFT(4)檢測相位相關(guān)函數(shù)峰值位置(1)偽峰的出現(xiàn)(2)峰分裂(3)分辨率(4)頻譜泄露(1)不敏感照明的變化歸一化的功率譜(2)可檢測多物體運(yùn)動每個峰將指示一個特定運(yùn)動4.3塊匹配法時域法1.塊匹配法(1)算法在時域進(jìn)行，算法本身簡單、歸整(3)原則(a)合適的塊大小(b)匹配準(zhǔn)則(c)搜索方法(1)最小均方誤差MSE,定義：MSE(d,d)=MSE(d,d)=12NN112NN12(n,n2)B212122MSE可看成光流的約束條件(指塊內(nèi))(2)MAD最小絕對值法，定義：12NN12121212(n,nB122(,d)T=min{MAD(d,d),(d,d)TD}12122(3)MPC最大匹配像素數(shù)法121212122(n,n22(,d)T=min{mpc(d,d),(d,d)TD}12122MPC法只需邏輯運(yùn)算及計數(shù)，便于硬件實(shí)現(xiàn) (1)全程搜索(2)快速搜索法與預(yù)期的精度有關(guān)4.4分級運(yùn)動估計1