運(yùn)動(dòng)視覺(jué)分析

運(yùn)動(dòng)視覺(jué)分析7.1運(yùn)動(dòng)分類和表達(dá)1. 運(yùn)動(dòng)分類 圖象：前景（目標(biāo)）和背景 圖象序列：前景運(yùn)動(dòng)和背景運(yùn)動(dòng)

前景運(yùn)動(dòng)：局部運(yùn)動(dòng) 目標(biāo)在場(chǎng)景中的自身運(yùn)動(dòng)

背景運(yùn)動(dòng)：全局運(yùn)動(dòng)或攝象機(jī)運(yùn)動(dòng) 攝象機(jī)的運(yùn)動(dòng)所造成的幀圖象內(nèi)所 有點(diǎn)的整體移動(dòng)第2頁(yè),共50頁(yè)，2024年2月25日，星期天7.1運(yùn)動(dòng)分類和表達(dá)1. 運(yùn)動(dòng)分類

運(yùn)動(dòng)：沿時(shí)間軸的變化

短時(shí)運(yùn)動(dòng)分析 僅使用若干幀（常為兩三幀），獲得瞬時(shí) 運(yùn)動(dòng)場(chǎng)以得到對(duì)運(yùn)動(dòng)較為精確的估計(jì)

長(zhǎng)時(shí)運(yùn)動(dòng)分析 使用幾十到上百幀 獲得長(zhǎng)期運(yùn)動(dòng)的累積結(jié)果第3頁(yè),共50頁(yè)，2024年2月25日，星期天7.1運(yùn)動(dòng)分類和表達(dá)2. 運(yùn)動(dòng)矢量場(chǎng)表達(dá) 運(yùn)動(dòng)既有大小也有方向 運(yùn)動(dòng)矢量用（有起點(diǎn)）無(wú)箭頭的線段（線段長(zhǎng)度與矢量大小即運(yùn)動(dòng)速度成正比）來(lái)表示，并疊加在原始圖象上 逐塊進(jìn)行第4頁(yè),共50頁(yè)，2024年2月25日，星期天7.1運(yùn)動(dòng)分類和表達(dá)3. 運(yùn)動(dòng)直方圖表達(dá) 目標(biāo)運(yùn)動(dòng)常比攝象機(jī)運(yùn)動(dòng)更不規(guī)范 運(yùn)動(dòng)矢量方向直方圖 將從0度到360度的運(yùn)動(dòng)方向劃分成若干個(gè)間隔，把運(yùn)動(dòng)矢量場(chǎng)上每一點(diǎn)的數(shù)據(jù)歸到與它的運(yùn)動(dòng)方向最為接近的間隔

第5頁(yè),共50頁(yè)，2024年2月25日，星期天7.1運(yùn)動(dòng)分類和表達(dá)3. 運(yùn)動(dòng)直方圖表達(dá) 運(yùn)動(dòng)區(qū)域類型直方圖 根據(jù)參數(shù)模型描述各個(gè)運(yùn)動(dòng)區(qū)域 對(duì)運(yùn)動(dòng)模型進(jìn)行分類 統(tǒng)計(jì)各個(gè)運(yùn)動(dòng)區(qū)域 滿足不同運(yùn)動(dòng)模型 的象素?cái)?shù)量第6頁(yè),共50頁(yè)，2024年2月25日，星期天7.1運(yùn)動(dòng)分類和表達(dá)4. 運(yùn)動(dòng)軌跡表達(dá) 表達(dá)了目標(biāo)在運(yùn)動(dòng)過(guò)程中的位置信息 由一系列關(guān)鍵點(diǎn)和一組在這些關(guān)鍵點(diǎn)間進(jìn) 行插值的函數(shù)構(gòu)成

第7頁(yè),共50頁(yè)，2024年2月25日，星期天7.1運(yùn)動(dòng)分類和表達(dá)4. 運(yùn)動(dòng)軌跡表達(dá)

插值函數(shù) p：時(shí)間軸一點(diǎn)，vp：運(yùn)動(dòng)速度，ap：運(yùn)動(dòng)加速度

零次函數(shù)： 一次函數(shù)： 兩次函數(shù)：第8頁(yè),共50頁(yè)，2024年2月25日，星期天7.2運(yùn)動(dòng)估計(jì)和檢測(cè)對(duì)整個(gè)場(chǎng)景中的運(yùn)動(dòng)信息或運(yùn)動(dòng)矢量的檢測(cè)7.2.1 利用圖象差的運(yùn)動(dòng)檢測(cè)7.2.2 利用時(shí)-空梯度估計(jì)光流場(chǎng)7.2.3 基于模型的運(yùn)動(dòng)檢測(cè)7.2.4 頻率域運(yùn)動(dòng)檢測(cè)

第9頁(yè),共50頁(yè)，2024年2月25日，星期天7.2.1利用圖象差的運(yùn)動(dòng)檢測(cè)1. 差圖象的計(jì)算算術(shù)運(yùn)算： 一般用于灰度圖象 (1)加法：記為p+q (2)減法：記為p–q (3)乘法：記為p

q（也可寫(xiě)為pq和p

q） (4)除法：記為p

q第10頁(yè),共50頁(yè)，2024年2月25日，星期天7.2.1利用圖象差的運(yùn)動(dòng)檢測(cè)1. 差圖象的計(jì)算邏輯運(yùn)算： 一般用于二值圖象(1)與（AND）： 記為pANDq（也可寫(xiě)為p·q）(2)或（OR）： 記為pORq（也可寫(xiě)為p

+

q）(3)補(bǔ)（COMPLEMENT）：

記為NOTq（也可寫(xiě)為)第11頁(yè),共50頁(yè)，2024年2月25日，星期天7.2.1利用圖象差的運(yùn)動(dòng)檢測(cè)1. 差圖象的計(jì)算 通過(guò)逐象素比較可直接求取前后兩幀圖象之 間的差別 差圖象不為零處表明該處的象素發(fā)生了移動(dòng) 算術(shù)運(yùn)算 邏輯運(yùn)算第12頁(yè),共50頁(yè)，2024年2月25日，星期天7.2.1利用圖象差的運(yùn)動(dòng)檢測(cè)1. 差圖象的計(jì)算 設(shè)在時(shí)刻ti

和tj

采集到兩幅圖象f(x,y,ti)和f(x,y,tj)，則據(jù)此可得到差圖象： 差圖象為1時(shí)的不同情況：

如：f(x,y,ti)是一個(gè)運(yùn)動(dòng)目標(biāo)的象素而 f(x,y,tj)是一個(gè)背景象素、是同一個(gè) 運(yùn)動(dòng)目標(biāo)但不同位置的象素

……?

灰度閾值第13頁(yè),共50頁(yè)，2024年2月25日，星期天7.2.1利用圖象差的運(yùn)動(dòng)檢測(cè)1. 差圖象的計(jì)算 灰度差異顯著性的判別： 似然比 各m和s分別是在時(shí)刻ti

和tj

采集到兩幅圖象的對(duì)應(yīng)觀測(cè)窗口中的均值和方差，Ts

是顯著性閾值

第14頁(yè),共50頁(yè)，2024年2月25日，星期天7.2.1利用圖象差的運(yùn)動(dòng)檢測(cè)2. 累積差圖象的計(jì)算累積差圖象ADI（accumulativedifferenceimage）第15頁(yè),共50頁(yè)，2024年2月25日，星期天7.2.1利用圖象差的運(yùn)動(dòng)檢測(cè)2. 累積差圖象的計(jì)算ADI有三個(gè)功能：(1) ADI中相鄰象素值間的梯度關(guān)系可用來(lái)估計(jì) 目標(biāo)移動(dòng)的速度矢量，這里梯度的方向就是 速度的方向，梯度的大小與速度成正比(2) ADI中象素的個(gè)數(shù)（值）可幫助確定運(yùn)動(dòng)目 標(biāo)的尺寸和移動(dòng)的距離(3) ADI中包含了目標(biāo)運(yùn)動(dòng)的全部歷史資料，有 助于檢測(cè)慢運(yùn)動(dòng)和尺寸較小目標(biāo)的運(yùn)動(dòng)第16頁(yè),共50頁(yè)，2024年2月25日，星期天7.2.1利用圖象差的運(yùn)動(dòng)檢測(cè)2. 累積差圖象的計(jì)算三種ADI圖象：(1) 絕對(duì)(2) 正(3) 負(fù)第17頁(yè),共50頁(yè)，2024年2月25日，星期天7.2.1利用圖象差的運(yùn)動(dòng)檢測(cè)2. 累積差圖象的計(jì)算由ADI圖象獲得的信息：(1)正ADI圖像中的非零區(qū)域面積等于運(yùn)動(dòng)目標(biāo)的面積(2)正ADI圖像中對(duì)應(yīng)運(yùn)動(dòng)目標(biāo)的位置也就是運(yùn)動(dòng)目標(biāo)在 參考圖中的位置(3)當(dāng)正ADI圖像中的運(yùn)動(dòng)目標(biāo)移動(dòng)到與參考圖中的運(yùn)動(dòng) 目標(biāo)不重合時(shí)，正ADI圖像停止計(jì)數(shù)(4)絕對(duì)ADI圖像包含了正ADI圖像和負(fù)ADI圖像中的所有 目標(biāo)區(qū)域(5)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)方向和速度可分別根據(jù)絕對(duì)ADI圖像 和負(fù)ADI圖像來(lái)確定第18頁(yè),共50頁(yè)，2024年2月25日，星期天7.2.2利用時(shí)-空梯度估計(jì)光流場(chǎng)1. 光流方程 時(shí)刻t：一個(gè)圖象點(diǎn)在(x,y)處 時(shí)刻t+dt：該圖象點(diǎn)移動(dòng)到(x+dx,y+dy)

用泰勒級(jí)數(shù)展開(kāi)，令dt

0，第19頁(yè),共50頁(yè)，2024年2月25日，星期天7.2.2利用時(shí)-空梯度估計(jì)光流場(chǎng)1. 光流方程 灰度時(shí)間變化率是灰度空間變化率與該點(diǎn)空間運(yùn)動(dòng)速度的乘積第20頁(yè),共50頁(yè)，2024年2月25日，星期天7.2.2利用時(shí)-空梯度估計(jì)光流場(chǎng)2. 最小二乘法光流估計(jì)

在連續(xù)兩幅圖象f(x,y,t)和f(x,y,t+1)上取具有相同u和v的同一個(gè)目標(biāo)上的N個(gè)不同位置的象素

第21頁(yè),共50頁(yè)，2024年2月25日，星期天7.2.3基于模型的運(yùn)動(dòng)檢測(cè)1. 運(yùn)動(dòng)模型 通用模型 6參數(shù)仿射模型 8參數(shù)雙線性模型第22頁(yè),共50頁(yè)，2024年2月25日，星期天7.2.3基于模型的運(yùn)動(dòng)檢測(cè)2. 基于雙線性模型的全局運(yùn)動(dòng)檢測(cè)

求出一組（大于4個(gè)）運(yùn)動(dòng)矢量觀測(cè)值 獲得8個(gè)方程解8個(gè)參數(shù)

第23頁(yè),共50頁(yè)，2024年2月25日，星期天7.2.4頻率域運(yùn)動(dòng)檢測(cè) 借助傅里葉變換把檢測(cè)轉(zhuǎn)到頻率域(1)

對(duì)平移的檢測(cè)根據(jù)傅里葉變換借助平移性質(zhì)

第24頁(yè),共50頁(yè)，2024年2月25日，星期天7.2.4頻率域運(yùn)動(dòng)檢測(cè)(1)

對(duì)平移的檢測(cè)相位角之差考慮到傅里葉變換的分離性

dqx(u)和dqy(v)分別為f(x,y,tk)和f(x,y,tk+1)在X軸上和Y軸上投影的傅里葉變換的相位角之差

第25頁(yè),共50頁(yè)，2024年2月25日，星期天7.2.4頻率域運(yùn)動(dòng)檢測(cè)(2) 對(duì)旋轉(zhuǎn)的檢測(cè) 借助傅里葉變換功率譜進(jìn)行 圖象中的直線模式在傅里葉功率譜中對(duì)應(yīng)過(guò)頻譜原點(diǎn)的直線模式 在Pk(u,v)和Pk+1(u,v)中分別搜索對(duì)應(yīng)的過(guò)原點(diǎn)的直線模式，再計(jì)算夾角

第26頁(yè),共50頁(yè)，2024年2月25日，星期天7.2.4頻率域運(yùn)動(dòng)檢測(cè)(3) 對(duì)尺度變化的檢測(cè)

圖象空間的尺度變化對(duì)應(yīng)傅里葉變換域中頻率高低的變化 1) 搜索方向相同的直線模式Lk和Lk+1 2) 將Lk投影到Pk+1(u,v)上，得到L’k 如果S<1，表明目標(biāo)圖象尺寸增加了S倍

第27頁(yè),共50頁(yè)，2024年2月25日，星期天7.3運(yùn)動(dòng)目標(biāo)分割

視頻圖象是3-D圖象：f(x,y,t)時(shí)間分割：分解為時(shí)間片段（常為鏡頭）空間分割：把獨(dú)立運(yùn)動(dòng)的目標(biāo)逐幀檢測(cè)出來(lái)

7.3.1 運(yùn)動(dòng)目標(biāo)分割和運(yùn)動(dòng)信 息提取 7.3.2 Horn-Schunck算法 7.3.3 映射參數(shù)估計(jì)第28頁(yè),共50頁(yè)，2024年2月25日，星期天7.3.1運(yùn)動(dòng)目標(biāo)分割和運(yùn)動(dòng)信息提取三種策略(1) 先分割之后再計(jì)算運(yùn)動(dòng)信息 先獲得區(qū)域邊界，再估計(jì)區(qū)域運(yùn)動(dòng)模型

(2) 先計(jì)算運(yùn)動(dòng)信息再分割 先計(jì)算全圖運(yùn)動(dòng)矢量場(chǎng)，再分割運(yùn)動(dòng)矢量場(chǎng)

(3) 同時(shí)計(jì)算運(yùn)動(dòng)信息和進(jìn)行分割 比較復(fù)雜，需要相當(dāng)大的計(jì)算量

第29頁(yè),共50頁(yè)，2024年2月25日，星期天7.3.2Horn-Schunck算法1. 求解光流方程 ？：一個(gè)方程，兩個(gè)未知量(u,v) 光流誤差eof：運(yùn)動(dòng)矢量場(chǎng)中不符合光流 方程的部分 要使eof在整個(gè)幀內(nèi)的平方和達(dá)到最小

第30頁(yè),共50頁(yè)，2024年2月25日，星期天1. 求解光流方程

速度場(chǎng)梯度誤差

要使整個(gè)運(yùn)動(dòng)矢量場(chǎng)盡可能趨于平滑 Horn-Schunck法同時(shí)考慮兩種約束

7.3.2Horn-Schunck算法第31頁(yè),共50頁(yè)，2024年2月25日，星期天2. 對(duì)算法的討論 孔徑問(wèn)題：模板尺寸有限而產(chǎn)生的問(wèn)題 只能確定法線分量（與邊緣垂直），而無(wú)法確定與邊緣平行的分量？算法的計(jì)算量常很大，一般基于該算法的運(yùn)動(dòng)信息提取通常只能做到離線的非實(shí)時(shí)處理

7.3.2Horn-Schunck算法第32頁(yè),共50頁(yè)，2024年2月25日，星期天2. 對(duì)算法的討論 當(dāng)運(yùn)動(dòng)的矢量有較大幅度時(shí)，逼近結(jié)果的誤差也同樣會(huì)較大(1) 用位移幀差項(xiàng) 代替光流誤差項(xiàng)eof

(2) 用平均梯度代替偏導(dǎo)

f/

x，

f/

y

7.3.2Horn-Schunck算法第33頁(yè),共50頁(yè)，2024年2月25日，星期天3. 帶全局運(yùn)動(dòng)補(bǔ)償?shù)乃惴?獲得局部物體引起的運(yùn)動(dòng)矢量 具體步驟

(1) 設(shè)圖象中所有點(diǎn)的初始局部運(yùn)動(dòng)矢量為零(2) 根據(jù)全局運(yùn)動(dòng)模型計(jì)算每一點(diǎn)的全局運(yùn)動(dòng) 矢量(3) 計(jì)算每個(gè)象素點(diǎn)的實(shí)際運(yùn)動(dòng)矢量7.3.2Horn-Schunck算法第34頁(yè),共50頁(yè)，2024年2月25日，星期天3. 帶全局運(yùn)動(dòng)補(bǔ)償?shù)乃惴?4) 計(jì)算該點(diǎn)運(yùn)動(dòng)矢量的修正值(5) 如果的幅度大于某一閾域值T，令 并轉(zhuǎn)到步驟(3)；否則結(jié)束計(jì)算

7.3.2Horn-Schunck算法第35頁(yè),共50頁(yè)，2024年2月25日，星期天7.3.3映射參數(shù)估計(jì)基于參數(shù)和模型的基本原理 每個(gè)獨(dú)立的運(yùn)動(dòng)都可準(zhǔn)確地用一組映射參數(shù)來(lái)描述 設(shè)有K組參數(shù)矢量（對(duì)應(yīng)K個(gè)獨(dú)立的運(yùn)動(dòng)目標(biāo)），每一組在各個(gè)象素處定義一個(gè)光流矢量 由映射參數(shù)定義的光流矢量稱為基于模型的或合成的光流矢量 分割是對(duì)在每個(gè)位置最接近的估計(jì)光流矢量賦一個(gè)合成光流矢量標(biāo)號(hào)第36頁(yè),共50頁(yè)，2024年2月25日，星期天7.3.3映射參數(shù)估計(jì)直接哈夫變換 6參數(shù)仿射流模型 如果知道在3個(gè)或更多個(gè)點(diǎn)的光流，就可以將a1,a2,a3,a4,a5,a6解出來(lái) 用每個(gè)光流矢量v(x)=[v1(x)v2(x)]T對(duì)一組量化的參數(shù)投票以最小化

1(x)=v1(x)–a1–a2x1–a3x2

2(x)=v2(x)–a4–a5x1–a6x2

第37頁(yè),共50頁(yè)，2024年2月25日，星期天7.3.3映射參數(shù)估計(jì)利用改進(jìn)的哈夫變換 第一步，將相接近的光流矢量集合組成與單個(gè)參數(shù)集相一致的元素

例：將參數(shù)空間分成兩個(gè)不重合的集合{a1, a2,a3}

{a4,a5,a6}以進(jìn)行兩次哈夫變換

例：利用多分辨率哈夫變換

第二步，將第一步得到的最一致的元素在最小均方意義下合并以組成相關(guān)片段

第38頁(yè),共50頁(yè)，2024年2月25日，星期天7.4運(yùn)動(dòng)目標(biāo)跟蹤跟蹤需要對(duì)目標(biāo)位置進(jìn)行估計(jì)：估計(jì)就是根據(jù)測(cè)量得出的與狀態(tài)有關(guān)的數(shù)據(jù)：解算出的計(jì)算值

前面的量測(cè)在[t0,t1]時(shí)間范圍內(nèi)，若估計(jì)值的時(shí)間為tt=t1,稱為估計(jì);t>t1,稱為預(yù)測(cè);t<t1,稱為平滑

第39頁(yè),共50頁(yè)，2024年2月25日，星期天7.4運(yùn)動(dòng)目標(biāo)跟蹤

卡爾曼濾波

但目標(biāo)的位置,速度,加速度的測(cè)量值往往在任何時(shí)候都有噪聲.卡爾曼濾波利用目標(biāo)的動(dòng)態(tài)信息,設(shè)法去掉噪聲的影響,得到一個(gè)關(guān)于目標(biāo)位置的好的估計(jì)。Kalman濾波只能處理高斯分布的概率問(wèn)題，不能處理物體的相似性問(wèn)題。

粒子濾波

源于Montecarlo的思想，即以某事件出現(xiàn)的頻率來(lái)指代該事件的概率。因此在濾波過(guò)程中，需要用到概率如P(x)的地方，一概對(duì)變量x采樣，以大量采樣的分布近似來(lái)表示P(x)。因此，采用此一思想，在濾波過(guò)程中粒子濾波可以處理任意形式的概率。

第40頁(yè),共50頁(yè)，2024年2月25日，星期天7.4.1卡爾曼濾波第41頁(yè),共50頁(yè)，2024年2月25日，星期天7.4.1卡爾曼濾波第42頁(yè),共50頁(yè)，2024年2月25日，星期天7.4.1卡爾曼濾波房間測(cè)量溫度平均值為25度，有標(biāo)準(zhǔn)偏差，為圖中藍(lán)線第43頁(yè),共50頁(yè)，2024年2月25日，星期天7.4.1卡爾曼濾波EKF濾波器：使用一階泰勒展開(kāi)逼近非線性項(xiàng)，使用高斯分布近似狀態(tài)分布；UKF濾波器：使用少數(shù)幾個(gè)sigma點(diǎn)樣本，逼近到非線性泰勒展開(kāi)的二次項(xiàng)第44頁(yè),共50頁(yè)，2024年2月25日，星期天7.4.2粒子濾波1）初始化階段-提取跟蹤目標(biāo)特征該階段要人工指定跟蹤目標(biāo)，程序計(jì)算跟蹤目標(biāo)的特征，比如可以采用目標(biāo)的顏色特征。具體到RobHess的代碼，開(kāi)始時(shí)需要人工用鼠標(biāo)拖動(dòng)出一個(gè)跟蹤區(qū)域，然后程序自動(dòng)計(jì)算該區(qū)域色調(diào)(Hue)空間的直方圖，即為目標(biāo)的特征。直方圖可以用一個(gè)向量來(lái)表示，所以目標(biāo)特征就是一個(gè)N*1的向量V。第45頁(yè),共50頁(yè)，2024年2月25日，星期天7.4.2粒子濾波1）搜索階段-放狗我們已經(jīng)掌握了目標(biāo)的特征，下面放出很多條狗，去搜索目標(biāo)對(duì)象，這里的狗就是粒子particle。a)均勻的放：即在整個(gè)圖像平面均勻的撒粒子；b)在上一幀得到的目標(biāo)附近按照高斯分布來(lái)放，靠近目標(biāo)的地方多放，遠(yuǎn)離目標(biāo)的地方少放。每條狗怎么搜索目標(biāo)呢？就是按照初始化階段得到的目標(biāo)特征(色調(diào)直方圖，向量V)。每條狗計(jì)算它所處的位置處圖像的顏色特征，得到一個(gè)色調(diào)直方圖，向量Vi，計(jì)算該直方圖與目標(biāo)直方圖的相似性。相似性有多種度量，最簡(jiǎn)單的一種是計(jì)算sum(abs(Vi-V)).每條狗算出相似度后再做一次歸一化，使得所有的狗得到的相似度加起來(lái)等于1.第46頁(yè),共50頁(yè)，2024年2月25日，星期天7.4.2粒子濾波3）決策階段我們放出去的一條條聰明的狗向我們發(fā)回報(bào)告，“一號(hào)狗處圖像與目標(biāo)的相似度是0.3”,“二號(hào)狗處圖像與目標(biāo)的相似度是0.02”,“三號(hào)狗處圖像與目標(biāo)的相似度是0.0003”,“N號(hào)狗處圖像與目標(biāo)的相似度是0.013”...那么目標(biāo)究竟最可能在哪里呢？我們做次加權(quán)平均吧。設(shè)N號(hào)狗的圖像像素坐標(biāo)是(Xn,Yn),它報(bào)告的相似度是Wn,于是目標(biāo)最可能的像素坐標(biāo)X=sum(Xn*Wn),Y=sum(Yn*Wn).第47頁(yè),共50頁(yè)，2024年2月25日，星期天7.4.2粒子濾波4）重采樣階段既然我們是在做目標(biāo)跟蹤，一般說(shuō)來(lái)，目標(biāo)是跑來(lái)跑去亂動(dòng)的。在新的一幀圖像里，目標(biāo)可能在哪里呢？還是讓我們放狗搜索吧。但現(xiàn)在應(yīng)該怎樣放狗呢？讓