中層視覺正交變換與運(yùn)動估計演示文稿

中層視覺正交變換與運(yùn)動估計演示文稿現(xiàn)在是1頁\一共有53頁\編輯于星期三（優(yōu)選）第五講中層視覺正交變換與運(yùn)動估計現(xiàn)在是2頁\一共有53頁\編輯于星期三時域和頻域之間的變換可用數(shù)學(xué)公式表示如下：完成這種變換，一般采用的方法是線性正交變換。(7-2)為能同時表示信號的振幅和相位，通常采用復(fù)數(shù)表示法，因此上式可用復(fù)數(shù)表示為現(xiàn)在是3頁\一共有53頁\編輯于星期三1）富里葉變換富里葉變換（FourierTransformation）是線性系統(tǒng)分析一個有力的工具，它使我們定量分析系統(tǒng)與信號的一個手段——頻域分析方法。一維連續(xù)富里葉變換（回顧）現(xiàn)在是4頁\一共有53頁\編輯于星期三1）離散富里葉變換如果{fi}是一個長度為N的序列，比如從對一個連續(xù)函數(shù)進(jìn)行等間隔采樣得到的，則離散富里葉變換（DFT）就是序列{Fn}：其中：現(xiàn)在是5頁\一共有53頁\編輯于星期三由歐拉公式可知并利用cos(－θ)=cos(θ)，可得(7-10)可見，離散序列的傅立葉變換仍是一個離散的序列，每一個n對應(yīng)的傅立葉變換結(jié)果是所有輸入序列fi的加權(quán)和（每一個fi都乘以不同頻率的正弦和余弦值），n決定了每個傅立葉變換結(jié)果的頻率?，F(xiàn)在是6頁\一共有53頁\編輯于星期三通常傅立葉變換為復(fù)數(shù)形式，即式中，Rn和In分別是Fn的實部和虛部。上式也可表示成指數(shù)形式：其中現(xiàn)在是7頁\一共有53頁\編輯于星期三通常稱|Fn|為f(x)的頻譜或傅立葉幅度譜，φn為f(x)的相位譜。頻譜的平方稱為能量譜或功率譜，它表示為考慮到兩個變量，就很容易將一維離散傅立葉變換推廣到二維。如果{f(i,k)}是一個NN的數(shù)組，則它的二維離散傅立葉變換對定義為二維離散富里葉變換現(xiàn)在是8頁\一共有53頁\編輯于星期三二維離散富里葉變換的計算上式的指數(shù)可被分解，從而變換可寫成依次將二維DFT分解為水平和垂直兩部分運(yùn)算，方括號中項表示在圖象行上計算的DFT，方括號外邊的求和則實現(xiàn)結(jié)果數(shù)組在列上的DFT。這種分解是我們可以用一維FFT來實現(xiàn)二維DFT。矩陣表示：DFT用矩陣表示可以寫成現(xiàn)在是9頁\一共有53頁\編輯于星期三二維離散富里葉變換的計算其中：是一個NxN的復(fù)酉矩陣，即矩陣的逆是它的復(fù)共軛的轉(zhuǎn)置G-1=(G*)T.要得到一個酉矩陣的逆，只要簡單地交換行和列位置，并改變每個元素虛部的符號。由于G是對稱的，所以可以省掉轉(zhuǎn)置。定義|F(m,n)|2=F(m,n)F*(m,n)為圖象{f(i,j)}的功率譜，即F(m,n)的實部平方加虛部平方。功率譜是圖像的重要特征，反映圖像的灰度分布。例如具有精細(xì)結(jié)構(gòu)的圖像，其高頻分量較為豐富。如果圖像中目標(biāo)形狀排列呈現(xiàn)某種方向性，那么具有較高值的功率譜也呈現(xiàn)出與圖像目標(biāo)方向正交的方向分布?，F(xiàn)在是10頁\一共有53頁\編輯于星期三二維離散富里葉變換的計算f(x,y)yx|F(u,v)|2uv圖像模式延伸方向與功率譜高值的模式方向互相垂直例如，假設(shè)圖像{f(x,y)}灰度分布模式延y軸伸展,

1/X1/Y現(xiàn)在是11頁\一共有53頁\編輯于星期三二維離散富里葉變換的計算f(x,y)的FT由于功率譜函數(shù)模式延u軸延伸,因此，圖像功率譜模式延伸方向與原圖像灰度分布延伸方向相互正交。一般來說，若f的FT為F,則有：現(xiàn)在是12頁\一共有53頁\編輯于星期三二維離散富里葉變換由于富里葉變換的物理意義明確、直觀，加上有快速算法，近年來又出現(xiàn)了大規(guī)模集成電路的專用芯片，因此它是圖像數(shù)字變換中最常用的方法。實踐中，除了DFT變換之外，還采用許多其他的正交變換。例如：Karhunen_Loeve變換，離散余弦變換、沃爾什-哈達(dá)瑪變換、K-L變換等，下面將對常用的變換作一簡要介紹?，F(xiàn)在是13頁\一共有53頁\編輯于星期三2.離散余弦變換（DCT）

離散余弦變換（DiscreteCosineTransform，DCT）的變換核為余弦函數(shù)。DCT除了具有一般的正交變換性質(zhì)外，它的變換陣的基向量能很好地描述人類語音信號和圖像信號的相關(guān)特征。因此，在對語音信號、圖像信號的變換中，DCT變換被認(rèn)為是一種準(zhǔn)最佳變換。近年頒布的一系列視頻壓縮編碼的國際標(biāo)準(zhǔn)建議中，都把DCT作為其中的一個基本處理模塊。除此之外，DCT還是一種可分離的變換?，F(xiàn)在是14頁\一共有53頁\編輯于星期三一維離散余弦變換一維DCT的變換核定義為式中，x,u=0,1,2,…,N－1；式中，u,x=0,1,2,…,N－1。現(xiàn)在是15頁\一共有53頁\編輯于星期三將變換式展開整理后，可以寫成矩陣的形式，即F=Gf其中現(xiàn)在是16頁\一共有53頁\編輯于星期三一維DCT的逆變換IDCT定義為式中，

x,u=0,1,2,…,N－1。一維DCT的逆變換核與正變換核是相同的?，F(xiàn)在是17頁\一共有53頁\編輯于星期三二維離散余弦變換考慮到兩個變量，很容易將一維DCT的定義推廣到二維DCT。其正變換核為式中，C(u)和C(v)的定義相同，見上式；x,u=0,1,2,…,M－1；y,v=0,1,2,…,N－1。二維DCT定義如下：設(shè)f(x,y)為M×N的數(shù)字圖像矩陣，則現(xiàn)在是18頁\一共有53頁\編輯于星期三離散沃爾什-哈達(dá)瑪變換（WHT）一維離散沃爾什-哈達(dá)瑪變換沃爾什函數(shù)是1923年由美國數(shù)學(xué)家沃爾什提出的。沃爾什函數(shù)系是一個完備正交函數(shù)系，其值只能?。?和－1。按照哈達(dá)瑪排列來定義的沃爾什函數(shù)是由2n（n=0，1，2，…）階哈達(dá)瑪矩陣（HadamardMatrix）得到的，而哈達(dá)瑪矩陣的最大優(yōu)點在于它具有簡單的遞推關(guān)系，即高階矩陣可用兩個低階矩陣的克羅內(nèi)克積求得。N=2n(n=0,1,2,…)階哈達(dá)瑪矩陣每一行的符號變化規(guī)律對應(yīng)于某一個沃爾什函數(shù)的符號變化規(guī)律，即N=2n(n=0,1,2,…)階哈達(dá)瑪矩陣的每一行對應(yīng)于一個離散沃爾什函數(shù)，2n階哈達(dá)瑪矩陣有如下形式：現(xiàn)在是19頁\一共有53頁\編輯于星期三離散沃爾什-哈達(dá)瑪變換（WHT）哈達(dá)瑪矩陣的階數(shù)是按N＝2n(n＝0,1,2,…)規(guī)律排列的，階數(shù)較高的哈達(dá)瑪矩陣，可以利用矩陣的克羅內(nèi)克積運(yùn)算，由低階哈達(dá)瑪矩陣遞推得到，即現(xiàn)在是20頁\一共有53頁\編輯于星期三矩陣的克羅內(nèi)克積(KroneckerProduct)運(yùn)算用符號記作A⊙B，其運(yùn)算規(guī)律如下：設(shè)現(xiàn)在是21頁\一共有53頁\編輯于星期三則現(xiàn)在是22頁\一共有53頁\編輯于星期三則現(xiàn)在是23頁\一共有53頁\編輯于星期三2.離散沃爾什-哈達(dá)瑪變換一維離散沃爾什變換定義為一維離散沃爾什逆變換定義為式中，Walsh(u,x)為沃爾什函數(shù)。若將Walsh(u,x)用哈達(dá)瑪矩陣表示，并將變換表達(dá)式寫成矩陣形式，則上兩式分別為現(xiàn)在是24頁\一共有53頁\編輯于星期三和式中，［HN］為N階哈達(dá)瑪矩陣?，F(xiàn)在是25頁\一共有53頁\編輯于星期三由哈達(dá)瑪矩陣的特點可知，沃爾什-哈達(dá)瑪變換的本質(zhì)上是將離散序列f(x)的各項值的符號按一定規(guī)律改變后，進(jìn)行加減運(yùn)算，因此，它比采用復(fù)數(shù)運(yùn)算的DFT和采用余弦運(yùn)算的DCT要簡單得多。二維離散沃爾什變換很容易將一維WHT的定義推廣到二維WHT。二維WHT的正變換核和逆變換核分別為和式中：x,u=0,1,2,…,M－1；

y,v=0,1,2,…,N－1?，F(xiàn)在是26頁\一共有53頁\編輯于星期三二維離散沃爾什變換圖像數(shù)據(jù)為f正變換為：逆變換為：和求下面兩個信號的二維WHT?，F(xiàn)在是27頁\一共有53頁\編輯于星期三N=4，二維WHT變換核為所以現(xiàn)在是28頁\一共有53頁\編輯于星期三由此可見，二維圖像數(shù)據(jù)經(jīng)過Walsh變換后，僅在七左上部保留了一些元素，而其他的大部分位置上元素取值為0，因此說二維WHT具有能量集中的特性，而且原始數(shù)據(jù)中數(shù)字越是均勻分布，經(jīng)變換后的數(shù)據(jù)越集中于矩陣的邊角上。因此，WHT在圖像壓縮，雷達(dá)、通信、生物醫(yī)學(xué)等得到了廣泛的應(yīng)用。現(xiàn)在是29頁\一共有53頁\編輯于星期三2.二維運(yùn)動估計自然界的一切景物都在運(yùn)動著，靜止只是相對的，利用種種觀測器取得的二維圖像序列只是記錄了景物的某一側(cè)面、某一局部、某一時間內(nèi)各時刻的灰度圖像。從二維圖像序列檢測景物運(yùn)動，提取運(yùn)動參數(shù)，分析景物的運(yùn)動規(guī)律；或者獲取立體景物的深度、遮蓋和表面主方向等信息是圖像序列分析的主要研究內(nèi)容。例如，從運(yùn)動物體的圖像序列提取物體（如飛行器、交叉路口的汽車、傳送帶上的機(jī)器零件等）的平移、旋轉(zhuǎn)等運(yùn)動參數(shù)，從衛(wèi)星云圖提取某地區(qū)上空各云團(tuán)中心的運(yùn)動規(guī)律。從一個心動周期的超聲波圖像序列，檢測心內(nèi)膜位置，從而計算心臟排血量等對診斷心臟病有重要價值的參數(shù)?，F(xiàn)在是30頁\一共有53頁\編輯于星期三二維運(yùn)動估計如果同一個觀測器，在相鄰兩時刻tk-1和tk獲得的同一個三維景物圖像為f(x,y,tk-1)幀與f(x,y,tk)，而景物中某物體的特征（例如飛行器的前端）在這兩幅圖像上的相對位置是不同的，我們稱這種位置的差為視差。它是三維景物的運(yùn)動反映在二維圖像上的位移向量（包括大小和方向）.視差除以時間tk，稱為瞬時位置速度.在圖象序列反映的景物中，各物體或部分的運(yùn)動是不同的，形成眾多的瞬時位置速度向量，這些不同的瞬時位置速度向量分布在圖像上形成的向量場稱為瞬時位置速度場，也稱為光流場。根據(jù)視差大小和方向可以推斷立體景物物體表面上各點與觀測器之間的距離或深度，從而獲得距離版圖；也可以推斷多個物體相互遮蓋邊界位置和物體表面各點的表面主方向。現(xiàn)在是31頁\一共有53頁\編輯于星期三二維運(yùn)動估計在運(yùn)動檢測、運(yùn)動參數(shù)提取、運(yùn)動分析、距離版圖獲取、遮蓋物體邊界古跡、物體表面主方向估計中，視差的估計是十分重要的。圖像序列分析的應(yīng)用領(lǐng)域包括工業(yè)（生產(chǎn)過程動態(tài)監(jiān)視），辦公自動化（電視會議，可視電話的頻帶壓縮）遙感（云的運(yùn)動和高度估計），生物醫(yī)學(xué)，交通管理等現(xiàn)在是32頁\一共有53頁\編輯于星期三攝象機(jī)和場景運(yùn)動運(yùn)動分析分為四種模式模式：攝象機(jī)靜止/物體靜止：簡單的靜態(tài)場景分析．?dāng)z像機(jī)靜止/場景運(yùn)動：一類非常重要的動態(tài)場景分析，包括運(yùn)動目標(biāo)檢測、目標(biāo)運(yùn)動特性估計等，主要用于預(yù)警、監(jiān)視、目標(biāo)跟蹤等場合。攝象機(jī)運(yùn)動/物體靜止：重要的動態(tài)場景分析，包括基于運(yùn)動的場景分析、理解，三維運(yùn)動分析等，主要用于視覺導(dǎo)航、目標(biāo)自動鎖定與識別等．?dāng)z象機(jī)運(yùn)動/物體運(yùn)動：最一般的情況，也是最難的問題，目前對該問題研究的還很少．現(xiàn)在是33頁\一共有53頁\編輯于星期三圖象序列，視差，瞬時位置速度場和光流場

圖象序列又稱動態(tài)圖象，它由一系列圖象組成，它們具有給定的或假設(shè)的相對次序，并給出相鄰兩圖象獲取的時間間隔關(guān)系。它的一般表示可以寫成

i,j=0,1,…….,n-1

所謂相對次序一般是指時刻在之后（k=1,2,…n-1）。相鄰兩圖象獲取的時間間隔定義為

=-k=1,2,…….,n-1(k=1,2,…..,n-1)可以不等也可以相等，一般取為相等也就是說所有的圖象的獲取時間間隔均相等。圖象序列的每一幅，引用電視機(jī)技術(shù)術(shù)語也稱為一禎。

現(xiàn)在是34頁\一共有53頁\編輯于星期三在動態(tài)景物中，組成景物的各個運(yùn)動物體在不同的時刻其空間位置是不同的。假設(shè)oxyz是空間物體P點的空間位置坐標(biāo)系，它構(gòu)成物體空間。OXY是圖象空間，它是一個平面，也就是觀測器對物體點P進(jìn)行觀測獲取的圖象形成的位置。O與O相距F（觀測器的焦距），oyz與OYZ位于同一平面（見下圖。P點在時刻物體空間的坐標(biāo)為，時刻的坐標(biāo)為。它們在圖象空間的坐標(biāo)分別為和，記

現(xiàn)在是35頁\一共有53頁\編輯于星期三現(xiàn)在是36頁\一共有53頁\編輯于星期三空間物體點P從運(yùn)動到

，反映在圖象平面上，從位置運(yùn)動到。這是我們通過觀測器觀測三維景物運(yùn)動記錄下來并得到的信息。移位到，其位移量為我們稱物體表面的點在相鄰兩時刻圖象上相應(yīng)的位置的移位為視差，視差的估計稱為視差問題。物體點P從運(yùn)動到的時間間隔為。把圖象平面上物體圖象相應(yīng)位置的速度記為，那么的大小和方向分別為從現(xiàn)在是37頁\一共有53頁\編輯于星期三1）運(yùn)動檢測和估計的傅立葉方法用傅立葉變換，可以檢測和估計運(yùn)動物體的二維平移，旋轉(zhuǎn)和尺度變化1。物體圖象平移的檢測和估計

假設(shè)在時刻運(yùn)動物體點在圖象空間的位置為（x,y），到時刻，它的位置移到，如下圖所示。我們要對和作出估計。現(xiàn)在是38頁\一共有53頁\編輯于星期三一般我們可以假設(shè)從時刻到物體點的灰度保持不變，也就是說的傅立葉變換為的傅立葉變換為

=

=

上式表示：時刻和兩幀圖象的傅立葉變換相位角之差為

=而現(xiàn)在是39頁\一共有53頁\編輯于星期三由變量的可分離性，與分別表示為和在X軸的投影，亦即==和分別為和的傅立葉變換，那么它們的相位角之差為

=在頻率域，關(guān)于u，求得從而可解得現(xiàn)在是40頁\一共有53頁\編輯于星期三同理，求與在y軸投影，并求得它們的傅立葉變換的相位角之差而我們可以得到就是從時刻到運(yùn)動物體點P在圖象上的位移量?，F(xiàn)在是41頁\一共有53頁\編輯于星期三2）物體圖象旋轉(zhuǎn)和尺度變化的檢測和估計用傅立葉變換檢測運(yùn)動物體可以分別處理平移，旋轉(zhuǎn)和尺度變化。由紋理分析數(shù)字變換技術(shù)中的傅立葉方法可知，對于圖象空間的線形模式（例如直的邊緣），經(jīng)傅立葉變換以后，它的功率譜也呈線性分布，且通過（u,v）平面的原點；它的方向與圖象空間域上的線形模式方向正交。物體圖象的尺度變化，反映在傅立葉頻率域則是頻率高低的變化。在圖象空間域上物體區(qū)域尺寸變大，在頻率域上功率譜的低頻分量增大，反之若物體區(qū)域尺寸變小，那么頻率域上功率譜的高頻分量增大。物體圖象在空間域上的平移并不改變頻域的功率譜。估計物體圖象的旋轉(zhuǎn)和尺度變化的具體方法可如下進(jìn)行

現(xiàn)在是42頁\一共有53頁\編輯于星期三物體圖象旋轉(zhuǎn)的估計取不同時刻（例如相鄰兩時刻）的兩禎圖象與，分別對它們施行FFT，并求它們的功率譜在頻率域，功率譜時間序列和尋找具有明顯相似結(jié)構(gòu)的直線模式（都通過原點）（見下圖）和。在上的投影記為與的夾角就是我們所求的運(yùn)動物體二維旋轉(zhuǎn)的角度。中現(xiàn)在是43頁\一共有53頁\編輯于星期三現(xiàn)在是44頁\一共有53頁\編輯于星期三物體圖象尺度變化的估計在和中，尋找方向相同的一對線性結(jié)構(gòu)和，在平面上的投影記為和的最長直徑，和（見下圖），計算如果R＜1，即＜，那么從時刻到運(yùn)動物體圖象的尺寸增大了，增大倍數(shù)為1/R。如果R＞1，即＞，那么從時刻到運(yùn)動物