智能機器人原理與應(yīng)用 課件 第5章 智能機器人的視覺

北京信息科技大學(xué)自動化學(xué)院智能機器人原理與應(yīng)用“智能檢測技術(shù)與模式識別”研究所第五章

智能機器人的視覺機器人的視覺功能在于識別環(huán)境、理解人的意圖并完成工作任務(wù)。機器人的視覺技術(shù)包括：給定圖像的檢測與跟蹤、多目視覺與距離測量、時序圖像檢測運動并跟蹤、主動視覺等。移動機器人通常利用立體視覺恢復(fù)周圍環(huán)境的三維信息、識別道路、判斷障礙物，實現(xiàn)路徑規(guī)劃、自主導(dǎo)航等。5.1.1

理論體系5.1機器視覺基礎(chǔ)理論1982年，馬爾首次從信息處理的角度綜合了圖像處理、心理物理學(xué)、神經(jīng)生理學(xué)及臨床精神病學(xué)的研究成果，提出了一個較為完善的視覺系統(tǒng)框架。他認為對視覺系統(tǒng)的研究應(yīng)分為3個層次，即計算理論層、表達與算法層和硬件實現(xiàn)層，如圖5.1所示。圖5.1馬爾視覺理論的3個層次及其所對應(yīng)的內(nèi)容視覺系統(tǒng)的3個層次如下所示。(1)計算理論層是視覺信息處理的最高層次，是抽象的計算理論層次，它回答系統(tǒng)各個部分的計算目的和計算策略。(2)表達與算法層是要進一步回答如何表達視覺系統(tǒng)各部分的輸入、輸出和內(nèi)部的信息，以及實現(xiàn)計算理論所規(guī)定目標的算法。(3)硬件實現(xiàn)層要回答的是“如何用硬件實現(xiàn)各種算法”。5.1機器視覺基礎(chǔ)理論機器視覺研究可以分為如下五大研究內(nèi)容。1.低層視覺低層視覺的主要研究任務(wù)是采用大量的圖像處理技術(shù)和算法，對輸入的原始圖像進行處理。2.中層視覺中層視覺的主要研究任務(wù)是恢復(fù)場景的深度、表面法線方向、輪廓等有關(guān)場景的2.5維信息。3.高層視覺高層視覺的主要研究任務(wù)是在以物體為中心的坐標系中，在原始輸入圖像、圖像基本特征、2.5維圖的基礎(chǔ)上，恢復(fù)物體的完整三維圖，建立物體的三維描述，識別三維物體并確定物體的位置和方向。另外，主動視覺(activevision)涵蓋了上述各個層次的研究內(nèi)容。4.輸入設(shè)備輸入設(shè)備通過光學(xué)攝像機或紅外、激光、超聲、X射線對周圍場景或物體進行探測成象，得到關(guān)于場景或物體的二維或三維數(shù)字化圖像。5.體系結(jié)構(gòu)研究機器視覺從設(shè)計到實現(xiàn)中涉及的信息流結(jié)構(gòu)、拓撲結(jié)構(gòu)等一系列相關(guān)的問題。5.1機器視覺基礎(chǔ)理論5.1.2

關(guān)鍵問題機器視覺系統(tǒng)的主要困難體現(xiàn)在以下幾個方面。1.圖像多義性三維場景被投影為二維圖像，深度和不可見部分的信息被丟失。不同形狀的三維物體投影在圖像平面上可能產(chǎn)生相同圖像，如圖5.2所示。不同角度獲取的同一物體圖像可能存在很大差異。2.環(huán)境因素影響照明、物體形狀、表面顏色、攝像機以及空間關(guān)系變化都會對獲取的圖像有影響，幾個立方體構(gòu)成的多義性圖像如圖5.3所示。圖5.2不同形狀的三維物體投影在圖像平面上產(chǎn)生相同圖像圖5.3幾個立方體構(gòu)成的多義性圖像5.1機器視覺基礎(chǔ)理論3.知識導(dǎo)引在不同的知識導(dǎo)引下，同樣的圖像將會產(chǎn)生不同的識別結(jié)果。不同的知識導(dǎo)引也可能產(chǎn)生不同的空間關(guān)系。4.大數(shù)據(jù)灰度圖像、彩色圖像、高清圖像、深度圖像、圖像序列的信息量會非常大，需要很大的存貯空間和計算處理能力。5.2成像幾何基礎(chǔ)成像系統(tǒng)即是將三維場景變換成二維灰度或彩色圖像。這種變換可以用一個從三維空間到二維空間的映射來表示。(5.1)5.2成像幾何基礎(chǔ)5.2.1

基本術(shù)語簡單的三維圖像獲取過程如圖5.4所示。圖5.4三維圖形獲取過程1.

投影一般地，將n維的點變換成小于n維的點稱為投影，平面幾何投影的分類如圖5.5所示。三維場景投影將三維空間的點變換成二維圖像中的點。圖5.5平面幾何投影分類5.2成像幾何基礎(chǔ)2.

投影中心3.

投影線與投影面如圖5.6(a)所示，投影線回聚于投影中心(COP)。對于視覺系統(tǒng)，投影中心也稱為視點或觀察點。從投影中心向物體上各點發(fā)出的射線稱為投影線，投影面是物體投影所在的假想面。如圖5.6(b)所示，投影線可以是直線或曲線。投影面通常是平面，但有的場合也應(yīng)用曲面作為投影面。圖5.6（a）

投影過程中的投影線與投影面圖5.6（b）

投影過程中的投影線與投影面4.投影變換投影變換是將一種投影點的坐標變換為另一種投影點的坐標的過程。三維空間到二維空間的兩種常用映射分別是透視投影變換和平行投影變換。(1)透視投影。如圖5.7(a)所示，透視投影的投影中心與投影平面之間的距離為有限遠。(2)平行投影。如圖5.7(b)所示，投影中心與投影平面之間的距離為無限遠?？梢姡叫型队笆峭敢曂队暗臉O限狀態(tài)。5.2成像幾何基礎(chǔ)圖5.7透視投影變換和平行投影變換5.2成像幾何基礎(chǔ)5.2.2透視投影1.透視現(xiàn)象由于觀察距離及方位引起視覺的不同反應(yīng)，就是透視現(xiàn)象。利用透視規(guī)律，可以正確表現(xiàn)出物體之間的遠近層次關(guān)系，使觀察者獲得立體的空間感覺，圖5.8所示現(xiàn)象正體現(xiàn)了這一點。圖5.8透視現(xiàn)象5.2成像幾何基礎(chǔ)2.透視投影成像模型如圖5.10所示，透視投影可以用針孔成像模型來模擬，其特點是所有來自場景的光線均通過一個投影中心(針孔中心)。透視投影倒立成像的幾何示意圖如圖5.11所示，經(jīng)過投影中心且垂直于圖像平面(成像平面)的直線稱為投影軸或光軸。圖5.10針孔成像模型圖5.11透視投影倒立成像幾何示意圖5.2成像幾何基礎(chǔ)5.2.3平行投影平行投影也稱為正交投影，是指用平行于光軸的光將場景投射到圖像平面上。如圖5.12所示，正交投影是透視投影的一個特例，當(dāng)透視投影模型的焦距f很大且物體距投影中心很遠時，透視投影就可以用正交投影來近似。圖5.12正交投影幾何示意圖5.2成像幾何基礎(chǔ)5.2.4視覺系統(tǒng)坐標變換1.坐標系在幾何學(xué)中，為了用數(shù)字描述空間物體的大小、形狀和位置，必須引進笛卡兒坐標系。用戶總是習(xí)慣于在自己熟悉的坐標系中描述客體或繪制圖形，這個用戶定義客體的坐標系稱為用戶坐標系，或稱為客體坐標系。用戶坐標系、規(guī)格化坐標系和設(shè)備坐標系三者之間的關(guān)系如圖5.13所示。圖5.13三種坐標之間的關(guān)系5.2成像幾何基礎(chǔ)機器視覺系統(tǒng)中通常涉及以下幾種坐標系。(1)

像素坐標：表示圖像陣列中圖像像素的位置。(2)

圖像平面坐標：表示場景點在圖像平面上的投影。(3)

攝像機坐標：即以觀察者為中心的坐標，將場景點表示成以觀察者為中心的數(shù)據(jù)形式。(4)

場景坐標：也稱作絕對坐標(或世界坐標)，用于表示場景點的絕對坐標。5.2成像幾何基礎(chǔ)旋轉(zhuǎn)變化空間內(nèi)物體繞x、y、z軸旋轉(zhuǎn)角度θ，對應(yīng)的變換矩陣Ti可表示為：考慮對笛卡爾空間內(nèi)點P分別進行旋轉(zhuǎn)、平行移動、放大、縮小，對應(yīng)的射影空間內(nèi)P[p]→P’[p’]的變換操作可用4×4矩陣T來作為P的齊次坐標的線性變換：p’=pT（5.2）式中P’[p’]表示P點變換后，對應(yīng)在射影空間內(nèi)的點。2.齊次坐標2）平移變換5.2成像幾何基礎(chǔ)空間內(nèi)物體在x、y、z方向平移（h，k，l），對應(yīng)的變換矩陣T可表示為：(5.4)3）擴大、縮小變換空間內(nèi)物體以原點為中心，在x、y、z軸方向擴大或者縮小mx、my、mz倍，或者全體的1/mw倍，則對應(yīng)的變換矩陣Ti可表示為：5.2.5射影變換5.2成像幾何基礎(chǔ)

圖5.15配景映射5.2成像幾何基礎(chǔ)三維空間的坐標系規(guī)定為現(xiàn)實世界坐標，稱為實坐標或世界坐標。在三維空間中，三維物體的投影和圖像化過程如圖5.16所示。圖5.16三維空間內(nèi)物體圖像的形成過程5.3圖像的獲取和處理5.3.1成像模型成像系統(tǒng)的建模是建立攝像機成像面坐標與客觀三維場景的對應(yīng)關(guān)系。1.成像坐標變換成像變換涉及不同坐標系之間的變換，從三維場景到數(shù)字圖像的獲得所經(jīng)歷成像的變換如圖5.17所示：圖5.17坐標系轉(zhuǎn)換關(guān)系圖5.3圖像的獲取和處理1)圖像坐標系2)成像平面坐標系攝像機采集的圖像以MxN的二維數(shù)組存儲的。如圖所示，在圖像上定義的直角坐標系中，坐標系原點位于圖像的左上角，圖像坐標系的坐標(u,v)是以像素為單位的坐標。圖5.18圖像坐標系uv若原點q在uv坐標系中的坐標為(u0,v0)，每一個像素在x軸與y軸方向上的物理尺寸為dx,dy，則圖像中任意一個像素在兩個坐標系下的坐標關(guān)系如下。（5.9）（5.10）5.3圖像的獲取和處理3)攝像機坐標系4)世界坐標系攝像機坐標系是以攝像機為中心制定的坐標系。攝像機成像幾何關(guān)系如圖5.19所示。設(shè)三維空間中任意一點P在世界坐標系的齊次坐標為[xw,yw,zw,1]T，在攝像機坐標系下的齊次坐標為[xc,yc,zc,1]T，則攝像機坐標系與世界坐標系的關(guān)系：（5.12）

圖5.19攝像機成像與攝像機為中心制定的坐標系的幾何關(guān)系5.3圖像的獲取和處理2.攝像機小孔成像模型實際成像系統(tǒng)應(yīng)采用透鏡成像原理，物距u、透鏡焦距f、像距v三者滿足如右關(guān)系。3.攝像機非線性成像模型由于實際成像系統(tǒng)中存在著各種誤差因素，如透鏡像差和成像平面與光軸不垂直等，這樣像點、光心和物點在同一條直線上的前提假設(shè)不再成立，這表明實際成像模型并不滿足線性關(guān)系，而是一種非線性關(guān)系。尤其在使用廣角鏡頭時，遠離圖像中心處會有較大的畸變，如圖5.20所示。像點不再是點P和O的連線與圖像平面的交點，而是有了一定的偏移，這種偏移實際上就是鏡頭畸變。圖5.20鏡頭畸變示意圖5.3圖像的獲取和處理4.攝像機的標定1)傳統(tǒng)標定方法傳統(tǒng)的標定方法采用一個標定塊（高精度的幾何物體）的精確數(shù)據(jù)與攝像機獲得的標定塊圖像數(shù)據(jù)進行匹配，求取攝像機的內(nèi)部參數(shù)。2)自標定方法相機自標定是指僅通過相機運動所獲取的圖像序列來標定內(nèi)部參數(shù)，而不需要知道場景中物體的幾何數(shù)據(jù)。5.3.2圖像處理5.3圖像的獲取和處理視覺傳感系統(tǒng)的圖像處理流程如圖5.21所示，圖像處理算法上通常應(yīng)考慮算法的實時性、算法的精確性與算法的穩(wěn)定性。圖5.21視覺傳感系統(tǒng)圖像處理的一般流程1.圖像預(yù)處理圖像預(yù)處理的目的就是增強圖像，以便為后續(xù)過程做好準備。但由于圖像千差萬別，還沒有一種通用的處理方案，只能根據(jù)實際圖像的質(zhì)量來調(diào)整。具體處理方法多為圖像平滑(高通或低通濾波)，圖像灰度修正(如直方圖均衡化、灰度拉伸、同態(tài)濾波方法)等。1)圖像平滑2)圖像灰度修正5.3圖像的獲取和處理2.圖像分割圖像分割就是把圖像分成各具特征的區(qū)域，并提取出感興趣目標的技術(shù)和過程，這里的特征可以是灰度、顏色、紋理等。圖像分割可被粗略分為3類。(1)基于直方圖的分割技術(shù)(閾值分割、聚類等)。(2)基于鄰域的分割技術(shù)(邊緣檢測、區(qū)域增長)。(3)基于物理性質(zhì)的分割技術(shù)(利用光照特性和物體表面特征等)。3.特征提取特征提取就是提取目標的特征，也是圖像分析的一個重點。最常見的圖像特征包括：線段、區(qū)域和特征點。點特征提取主要是明顯點，如角點，圓點等。4.圖像識別根據(jù)預(yù)定的算法對圖像進行圖像識別，或區(qū)分出合格與不合格產(chǎn)品，或給出障礙物的分類，或給出定量的檢測結(jié)果。

5.4智能機器人的視覺傳感器視覺傳感器將圖像傳感器、數(shù)字處理器、通信模塊和其他外設(shè)集中到一個單一的相機內(nèi)，獨立地完成預(yù)先設(shè)定的圖像處理和分析任務(wù)。視覺傳感器一般由圖像采集單元、圖像處理單元、圖像處理軟件、通信裝置、I/O接口等構(gòu)成，視覺傳感器的構(gòu)成如圖5.23所示。圖5.23視覺傳感器構(gòu)成5.4智能機器人的視覺傳感器5.4.1照明系統(tǒng)照明系統(tǒng)的主要任務(wù)是以恰當(dāng)?shù)姆绞綄⒐饩€投射到被測物體上，從而突出被測特征部分的對比度。照明系統(tǒng)直接關(guān)系到檢測圖像的質(zhì)量，并決定后續(xù)檢測的復(fù)雜度。好的照明系統(tǒng)設(shè)計能夠改善整個系統(tǒng)分辨率，簡化軟件運算，直接關(guān)系到整個系統(tǒng)的成敗。5.4.1照明系統(tǒng)1.鏡頭的分類根據(jù)焦距能否調(diào)節(jié)，鏡頭可分為定焦距鏡頭和變焦距鏡頭兩大類。2.鏡頭的選擇方法1)鏡頭的主要性能指標1）最大像場2）清晰場3）有效場2)選取鏡頭的考慮內(nèi)容1）相機CCD尺寸2）所需視場3）景深4）畸變3．特殊鏡頭針對一些特殊的應(yīng)用要求，設(shè)計機器視覺系統(tǒng)時，還可以選擇一些特殊的光學(xué)鏡頭來改善檢測系統(tǒng)的性能，常用的特殊鏡頭如下。1）顯微鏡頭2）遠心鏡頭3）紫外鏡頭和紅外鏡頭4．接口鏡頭與攝像機之間的接口有許多不同的類型，工業(yè)攝像機常用的包括C接口、CS接口、F接口、V接口等。5.4智能機器人的視覺傳感器5.4智能機器人的視覺傳感器5.4.3攝像機攝像機是機器視覺系統(tǒng)中的一個核心部件，其功能是將光信號轉(zhuǎn)變成有序的電信號。攝像機以小巧、可靠、清晰度高等特點，在商用與工業(yè)領(lǐng)域都得到了廣泛使用。1.類型1)CCD攝像機和CMOS攝像機2)線陣式和面陣式攝像機2.攝像機的主要性能指標1)分辨率2)像素深度3)最大幀率/行頻4)曝光方式和快門速度6)光譜響應(yīng)特性5.4智能機器人的視覺傳感器5.4.4圖像處理器一般嵌入式系統(tǒng)可以采用的處理器類型有專用集成電路(ASIC)、數(shù)字信號處理器(DSP)及現(xiàn)場可編程邏輯陣列(FPGA)。智能相機中最常用的處理器是DSP和FPGA。5.5智能機器人的視覺系統(tǒng)5.5.1智能機器人視覺系統(tǒng)構(gòu)成人眼的深度感知能力(depthperception)主要依靠人眼的如下幾種機能。(1)雙目視差(2)運動視差(3)眼睛的適應(yīng)性調(diào)節(jié)(4)視差圖像在人腦的融合(5)其他因素。常見的有機器人視覺系統(tǒng)有單目視覺、雙目視覺以及多目視覺等。立體視覺系統(tǒng)可以劃分為圖像采集、攝像機標定、特征提取、立體匹配、三維重建和機器人視覺伺服6個模塊。1.圖像采集2.攝像機標定3.特征提取4.立體匹配5.三維重建6.機器人視覺伺服5.5智能機器人的視覺系統(tǒng)5.5.2單目視覺如圖5.24所示，焦距為f的CCD攝像機距離地面的高度為h，其俯仰角度為

；O0是鏡頭中心；O(x0,y0)是光軸與像平面的交點，可作為像平面坐標系原點；R為目標物體，假設(shè)被測點為P，它與鏡頭中心的水平距離為d；P’(x,y)是被測點P在像平面上的投影，如下圖所示。圖5.24單目測距原理5.5智能機器人的視覺系統(tǒng)圖5.25為國際仿人機器人奧林匹克競賽高爾夫比賽項目示意圖，機器人配備了一只CMOS攝像頭。根據(jù)上述原理，可以通過二維圖像獲取深度信息。具體步驟如下。(1)通過攝像機標定獲取攝像機的參數(shù)。(2)實時獲取攝像機的俯仰角。(3)選取目標物體的目標像素點。(4)通過正運動學(xué)原理建模獲取機器人當(dāng)前攝像頭的實時高度。(5)計算距離。圖5.25仿人機器人高爾夫比賽示意圖5.5智能機器人的視覺系統(tǒng)5.5.3立體視覺雙目視覺系統(tǒng)用兩臺性能相同、位置相對固定的圖像傳感器獲取同一景物的兩幅圖像，通過“視差”來確定場景的深度信息，可實現(xiàn)場景的三維重構(gòu)。1.平行式立體視覺模型最簡單的攝像機配置如圖5.26所示。在水平方向平行地放置一對相同的攝像機，其中基線距B=兩攝像機的投影中心連線的距離，攝像機焦距為f。前方空間內(nèi)的點，分別在“左眼”和“右眼”成像，它們的圖像坐標分別為，。

圖5.26雙目立體成像原理5.5智能機器人的視覺系統(tǒng)1)幾何關(guān)系現(xiàn)兩攝像機的圖像在同一個平面上，則特征點P的圖像坐標Y坐標相同，即，則由三角幾何關(guān)系得到：(5.27)2)性能分析雙目立體成像的視場關(guān)系如圖5.27所示。圖5.27雙目立體成像的視場關(guān)系5.5智能機器人的視覺系統(tǒng)3)立體視覺測量過程從上面的簡化公式可以看出，雙目立體視覺方法的原理較為簡單，計算公式也不復(fù)雜。立體視覺的測量過程如下。(1)圖像獲取。(2)相機標定。(3)圖像預(yù)處理和特征提取。(4)立體匹配。(5)深度確定。4)立體視覺的關(guān)鍵技術(shù)視差本身的計算是立體視覺中最困難的一步工作，它涉及模型分析、攝像機標定、圖像處理、特征選取及特征匹配等過程。特征匹配的本質(zhì)就是給定一幅圖像中的一點，尋找另一幅圖像中的對應(yīng)點。5.5智能機器人的視覺系統(tǒng)2.匯聚式立體視覺模型一般情況下，匯聚式立體視覺采用圖5.28所示的任意放置的兩個攝像機來組成雙目立體視覺系統(tǒng)。圖5.28匯聚式立體視覺模型3.多目立體視覺模型多個攝像機設(shè)置于多個視點，觀測三維對象的視覺傳感系統(tǒng)稱為多目視覺傳感系統(tǒng)。在生活中，人們對物體的多視角觀察就是多目視感系統(tǒng)的一個生動實例。5.5智能機器人的視覺系統(tǒng)5.5.4主動視覺與被動視覺1.雙目視覺實例圖5.29所示是一個基于雙目視覺的移動機器人系統(tǒng)框架圖。圖中的系統(tǒng)主要分為計算機視覺和機器人控制兩部分。圖5.30所示是加拿大機器人博士公司生產(chǎn)的

型具有2個云臺式高清光學(xué)變焦攝影鏡頭的無線智能機器人開發(fā)平臺。圖5.29移動機器人系統(tǒng)框架圖5.30

型移動機器人開發(fā)平臺5.5智能機器人的視覺系統(tǒng)2.肢體感應(yīng)器立體視覺實例肢體感應(yīng)器(Kinect)開發(fā)之初是為了給Xbox360充當(dāng)肢體感應(yīng)器攝像機，它利用動態(tài)捕捉、影像識別等技術(shù)，讓用戶可以通過自己的肢體動作來控制終端完成相應(yīng)的任務(wù)。(a)外觀(b)內(nèi)部結(jié)構(gòu)(c)拆解圖5.31肢體感應(yīng)器外觀及結(jié)構(gòu)圖如圖5.31所示，RGB彩色攝影機最大支持1280×960分辨率成像，用來采集彩色圖像。3D結(jié)構(gòu)光深度感應(yīng)器，由紅外線發(fā)射器和紅外線CMOS攝影機構(gòu)成，最大支持640×480成像。5.6視覺跟蹤早期機器視覺系統(tǒng)主要針對靜態(tài)場景。移動機器人視覺技術(shù)必須研究用于動態(tài)場景分析的機器視覺系統(tǒng)。視覺跟蹤是根據(jù)給定的一組圖像序列，對圖像中物體的運動形態(tài)進行分析，從而確定一個或多個目標在圖像序列中是如何運動的。5.6.1視覺跟蹤系統(tǒng)圖像的動態(tài)變化可能是由物體運動、物體結(jié)構(gòu)、大小或形狀變化引起的，也可能是由攝像機運動或光照改變引起的。根據(jù)攝像機與場景目標的運動狀態(tài)，可以分為以下4類。(1)攝像機靜止/目標靜止(2)攝像機靜止/目標運動(3)攝像機運動/目標靜止(4)攝像機運動/目標運動對常用視覺跟蹤算法進行總結(jié)分類，如圖5.34所示。圖5.33移動機器人視覺跟蹤系統(tǒng)流程及結(jié)構(gòu)5.6.1視覺跟蹤算法及性能要求對常用視覺跟蹤算法進行總結(jié)分類，如圖5.34所示。圖5.34常用的視覺跟蹤算法分類5.6視覺跟蹤5.6視覺跟蹤5.6.2基于對比度分析的目標追蹤基于對比度分析的的目標追蹤是利用目標與背景在對比度上的差異來提取、識別和跟蹤目標。檢測圖像序列相鄰兩幀之間變化的最簡單方法是直接比較兩幀圖像對應(yīng)像素點的灰度值。在這種最簡單的形式下，幀f(x,y,j)與幀f(x,y,k)之間的變化可用一個二值差分圖像表示，如圖所示。圖5.35二值差分圖像表示5.6視覺跟蹤在差分圖像中，取值為1的像素點被認為是物體運動或光照變化的結(jié)果。這里假設(shè)幀與幀之間配準或套準得很好。幀差法的處理流程如圖5.36所示。圖5.36幀差法處理流程5.6視覺跟蹤5.6.3光流法光流法是基于運動檢測的目標跟蹤代表性算法。光流是空間運動物體在成像面上的像素運動的瞬時速度，光流矢量是圖像平面坐標點上的灰度瞬時變化率。光流的計算是利用圖像序列中的像素灰度分布的時域變化和相關(guān)性來確定各自像素位置的運動。圖5.38所示的是一個非常均勻的球體，由于球體表面是曲面，因此在某一光源照射下，亮度會呈現(xiàn)一定的空間分布或明暗模式。圖5.38光流與運動場差別示意圖5.6視覺跟蹤1)基本原理給圖像中的每一像素點賦予一個速度向量，就形成了圖像運動場。在運動的一個特定時刻，圖像上某一點Pi

對應(yīng)三維物體上某一點P0，這種對應(yīng)關(guān)系可以由投影方程得到。如下圖所示，設(shè)物體上一點P0相對于攝像機具有速度V0，從而在圖像平面上對應(yīng)的投影點Pi具有速度Vi。在時間間隔

t時，點P0運動了V0

t，圖像點Pi運動了Vi

t。速度可由下式表示：

（5.29）圖5.39三維物體上一點運動的二維投影5.6視覺跟蹤2)特點光流法能夠很好地用于二維運動估計，也可以同時給出全局點的運動估計，但其本身還存在一些問題：需要多次迭代，運算速度慢，不利于實時應(yīng)用。5.6視覺跟蹤5.6.4基于匹配的目標跟蹤1.基本原理基于匹配的目標跟蹤算法需要提取目標的特征，并在每一幀中尋找該特征。尋找的過程就是特征匹配過程。目標跟蹤中用到的特征主要有幾何形狀、子空間特征、外形輪廓和特征點等。其中，特征點是匹配算法中常用的特征。特征點的提取算法很多，如KanadeLucasTomasi(KLT)算法、Harris算法、SIFT(尺度不變特征變換)算法以及SURF算法等。2.算法步驟大多數(shù)特征跟蹤算法的執(zhí)行都遵循圖5.40所示的目標預(yù)測—特征檢測—模板匹配—更新4個步驟的閉環(huán)結(jié)構(gòu)。圖5.40基于特征的跟蹤算法結(jié)構(gòu)圖5.6視覺跟蹤5.6.5MeanShift目標跟蹤1.基本原理MeanShift算法稱為均值偏移方法，其基本思想是對相似度概率密度函數(shù)或者后驗概率密度函數(shù)采用直接的連續(xù)估計。MeanShift跟蹤算法采用彩色直方圖作為匹配特征，反復(fù)不斷地把數(shù)據(jù)點朝向Mean

Shift矢量方向移動，最終收斂到某個概率密度函數(shù)的極值點。MeanShift算法的算法原理可用下面的例子進行直觀說明。對于圖5.41，在完全相同的桌球分布中找出最密集的區(qū)域。(a)隨機給出一感興趣區(qū)域(b)感興趣區(qū)域圓心移至質(zhì)心(c)感興趣區(qū)域圓心移至質(zhì)心(d)感興趣區(qū)域收斂至最密集的區(qū)域圖5.41

MeanShift算法原理舉例5.6視覺跟蹤2.算法步驟與粒子濾波跟蹤不同，MeanShift算法屬于基于特征模板匹配的確定性跟蹤方法。顏色分布特征對非剛體目標和目標旋轉(zhuǎn)形變保持較強的魯棒性，因此常被選擇作為目標模板的描述。從起始圖像開始，通過手工選擇方式確定運動目標的特征模板，并計算該搜索窗口的核函數(shù)加權(quán)直方圖分布。MeanShift算法基于兩個分布的相似度(即Bhattacharyya系數(shù))最大化準則，使搜索窗口沿梯度方向向目標真實位置移動。在初始時刻，確定初始幀中目標的窗口位置x0，以此窗口作為特征模板，利用上式計算其顏色直方圖分布。在開始跟蹤的后續(xù)各時刻，MeanShift跟蹤算法迭代過程如下：第1步：以上一時刻的跟蹤中心y作為當(dāng)前幀候選目標區(qū)域D的中心，利用式(5.32)計算顏色直方圖分布，由式(5.33)估計其與特征模板的巴氏系數(shù)。第2步：計算候選區(qū)域內(nèi)各像素點的權(quán)值，公式如下。5.6視覺跟蹤第3步：計算目標的新位置，公式如下。

（5.36）第4步：計算新位置的顏色直方圖分布，并估計其與特征模板的Bhattacharyya系數(shù)。第5步：判斷，若，則

。第6步：判斷。若，則跳出循環(huán)；否則，令

，返回第1步。5.6視覺跟蹤3.算法特點(1)MeanShift算法就是沿著概率密度的梯度方向進行迭代移動，最終達到密度分布的最值位置。其迭代過程本質(zhì)上是最速下降法，下降方向為一階梯度方向，步長為固定值。(2)MeanShift算法基于特征模板的直方圖，假定了特征直方圖足夠確定目標的位置，并且足夠穩(wěn)健，對其他運動不敏感。該方法可以避免目標形狀、外觀或運動的復(fù)雜建模，建立相似度的統(tǒng)計測量和連續(xù)優(yōu)化之間的聯(lián)系。但是，該算法不能用于旋轉(zhuǎn)和尺度運動的估計。5.7主動視覺5.7.1主動視覺與被動視覺機器人視覺系統(tǒng)可分為主動視覺和被動視覺兩大類。1.被動視覺的特點2.主動視覺的特點5.7.2主動視覺的控制機構(gòu)主動視覺強調(diào)與環(huán)境的動態(tài)交互與主動適應(yīng)和調(diào)整。從控制機構(gòu)的角度，可以對主動視覺進行如下分類。1.根據(jù)環(huán)境控制視覺傳感器2.根據(jù)環(huán)境控制光源5.7主動視覺5.7.3主動視覺與傳感器融合