計算機視覺教程CCV11

1、第11章運動分析11.1 運動分類和表達11.2 全局運動檢測11.3 運動目標分割11.4 運動光流和表面取向11.1 運動分類和表達1.運動分類(1)攝像機靜止，景物運動(2)攝像機運動，景物靜止(3)攝像機和景物都運動(1)前景運動：前景運動指目標在場景中的自身運動，又稱為局部運動(2)背景運動：背景運動是由進行拍攝的攝像機的運動所造成的幀圖像內所有點的整體移動，又稱為全局運動或攝像機運動11.1 運動分類和表達攝像機的各種運動跟蹤運動升降運動進退或推拉運動傾斜運動掃視運動滾轉運動變焦運動或縮放運動11.1 運動分類和表達2.運動矢量場表達 將每個運動矢量用（有起點）無箭頭的線段（線段長

2、度與矢量大小即運動速度成正比）來表示，并疊加在原始圖像上11.1 運動分類和表達3.運動直方圖表達 運動矢量方向直方圖 僅保留運動的方向信息以減少數(shù)據(jù)量11.1 運動分類和表達3.運動直方圖表達 運動區(qū)域類型直方圖 借助對區(qū)域參數(shù)模型的表示來表達運動矢量場中各種運動的信息11.1 運動分類和表達4.運動軌跡表達 運動軌跡描述符由一系列關鍵點和一組在這些關鍵點間進行插值的函數(shù)構成11.2 全局運動檢測11.2.1 利用圖像差的運動檢測11.2.2基于模型的運動檢測11.2.1利用圖像差的運動檢測1.差圖像的計算對時間上相鄰的兩幅圖像求差將圖像中運動目標的位置和形狀變化突現(xiàn)出來11.2.1利用圖像

3、差的運動檢測1.差圖像的計算差圖像似然比11.2.1利用圖像差的運動檢測2.累積差圖像的計算11.2.1利用圖像差的運動檢測2.累積差圖像的計算累積差圖像ADI有3個功能(1)ADI中相鄰像素數(shù)值間的梯度關系可用來估計目標移動的速度矢量，這里梯度的方向就是速度的方向，梯度的大小與速度成正比(2)ADI中像素的數(shù)值可幫助確定運動目標的尺寸和移動的距離(3)ADI中包含了目標運動的全部歷史資料，有助于檢測緩慢運動的和尺寸較小的目標運動11.2.2利用模型的運動檢測1.全局運動模型通用的模型線性的6參數(shù)仿射模型8參數(shù)的雙線性模型11.2.2利用模型的運動檢測2.基于雙線性模型的全局運動檢測 將整個幀

4、圖像劃分為一些正方形小塊（如1616），然后用塊匹配法求取觀測運動矢量11.3 運動目標分割1.先分割之后再計算運動信息直接利用時空圖像的灰度和梯度信息2.先計算運動信息再分割先估計光流場，然后基于光流場進行分割3.同時計算運動信息和進行分割一般需要相當大的計算量11.4 運動光流和表面取向11.4.1 光流約束方程11.4.2 光流計算11.4.3 光流與表面取向11.4 運動光流和表面取向當攝像機與場景目標間有相對運動時所觀察到的亮度模式運動稱為光流，或者說物體帶光學特征的部位的移動投影到視網(wǎng)膜平面（即圖像平面）上就形成光流光流有三個要素：一是運動（速度場），這是光流形成的必要條件；二是帶

5、光學特性的部位（例如有灰度的像素點），它能攜帶信息；三是成像投影 （從場景到圖像平面），因而能被觀察到11.4.1 光流約束方程時刻t + d t在圖像點(x + d x, y + d y)處的照度應當與時刻t在圖像點(x, y)的照度相同用泰勒級數(shù)展開，令dt 0，取極限并略去高階項灰度的（一階）時間變化率是場景亮度變化率與該點運動速度的乘積11.4.2 光流計算對光流約束方程求解，即根據(jù)圖像點灰度值的梯度求光流分量光流約束方程的解是一條直線僅一個光流約束方程并不足以唯一地確定u和v兩個量11.4.2 光流計算1.剛體運動光流速度的空間變化率為零將e 對u和v分別求導并取導數(shù)為零11.4.2

6、 光流計算1.剛體運動光流松弛迭代方程在一個新(u, v)點的迭代值是該點鄰域中的平均值減去一個調節(jié)量，這個調節(jié)量處于亮度梯度的方向上零11.4.2 光流計算11.4.2 光流計算2.平滑運動光流考慮在圖像的大部分地方運動場的變化一般比較緩慢穩(wěn)定這個平滑條件。這時可考慮最小化一個與平滑相偏離的測度，常用的測度是對光流梯度之幅度平方的積分另一方面還可考慮最小化光流約束方程的誤差合起來需要最小化es+lec11.4.2 光流計算3.灰度突變光流從路徑看灰度變化從時間看灰度變化11.4.3 光流與表面取向光流包含了場景結構的信息，所以可從物體表面運動的光流解得表面的取向球形透視投影11.4.3 光流與表面取向一個任意運動點的光流假設場景靜止，而觀察者以速度S 沿 Z 軸（正向）運動。這時有u = 0，v = 0，w = S11.4.3 光流與表面取向借助光流求取表面方向將N分解到兩個互相垂直的方向上，一個在ZR平面中，與OR的夾角為s，另一個在與ZR平面垂直的平面（與XY平面平行）中，與OR的夾角為t 11.4.3 光流與表面取向借助光流求取表面方向教程作者（章毓晉）聯(lián)系信息 通信地址：北京清華大學電子工程