機(jī)器視覺測量技術(shù)1概論

機(jī)器視覺測量技術(shù)MachineVisionMeasurementTechnology合肥工業(yè)大學(xué)儀器科學(xué)學(xué)院機(jī)器視覺測量技術(shù)當(dāng)前1頁，總共59頁。教師：楊永躍副教授

機(jī)器視覺測量技術(shù)當(dāng)前2頁，總共59頁。參考教材：賈云得《機(jī)器視覺》科學(xué)出版社，2000參考書目：張廣軍《機(jī)器視覺》科學(xué)出版社，2005章毓晉《圖像理解與計算機(jī)視覺》清華大學(xué)出版社，2000課程教材：機(jī)器視覺測量技術(shù)當(dāng)前3頁，總共59頁。第一章概論Chapter1Introduction機(jī)器視覺測量技術(shù)當(dāng)前4頁，總共59頁。耳眼鼻舌身1.1引言感知系統(tǒng)：視覺、聽覺、嗅覺、味覺和觸覺.其中約80%的信息是由視覺獲取的．機(jī)器視覺測量技術(shù)當(dāng)前5頁，總共59頁。智能機(jī)器:能模擬人類的功能，能感知外部世界并有效地解決人所能解決問題.賦予機(jī)器以人類視覺功能是及其重要的，也由此形成了一門新的學(xué)科—機(jī)器視覺。

機(jī)器視覺：研究用機(jī)器來模擬生物外顯或宏觀視覺功能的科學(xué)和技術(shù)．機(jī)器視覺系統(tǒng)的首要目標(biāo)是用圖像創(chuàng)建或恢復(fù)現(xiàn)實世界模型，然后認(rèn)知現(xiàn)實世界．機(jī)器視覺測量技術(shù)當(dāng)前6頁，總共59頁。

20世紀(jì)50年代歸入模式識別----主要集中在二維圖像分析和識別上，如，光學(xué)字符識別，工件表面、顯微圖片和航空圖片的分析和解釋等．60年代MIT的Roberts通過計算機(jī)程序從數(shù)字圖像中提取出諸如立方體、楔形體、棱柱體等多面體的三維結(jié)構(gòu)，并對物體形狀及物體的空間關(guān)系進(jìn)行描述．Roberts的研究工作開創(chuàng)了以理解三維場景為目的的三維計算機(jī)視覺的研究．“積木世界”．70年代出現(xiàn)一些視覺應(yīng)用系統(tǒng)．70年代中期，麻省理工學(xué)院(MIT)人工智能(AI)實驗室正式開設(shè)“機(jī)器視覺”(

MachineVision)課程．1.2機(jī)器視覺的發(fā)展機(jī)器視覺測量技術(shù)當(dāng)前7頁，總共59頁。MITAI實驗室，DavidMarr于1977年提出了不同于“積木世界”分析方法的計算視覺理論(computationalvision)．20世紀(jì)80年代機(jī)器視覺獲得了蓬勃發(fā)展，新概念、新方法、新理論不斷涌現(xiàn)。比如，基于感知特征群的物體識別理論框架，主動視覺理論框架，視覺集成理論框架等．機(jī)器視覺測量技術(shù)當(dāng)前8頁，總共59頁。許多國際會議都反應(yīng)了該領(lǐng)域的最新進(jìn)展，比如：Int.Conf.onComputerVisionandPatternRecognition(CVPR);Int.Conf.onComputerVision(ICCV);Int.Conf.onPatternRecognition(ICPR);Int.Conf.onRoboticsandAutomation(ICRA);WorkshoponComputerVision,SPIE．還有許多學(xué)報期刊也包含了這一領(lǐng)域的最新研究成果,如：IEEETrans.onPatternAnalysisandMachineIntelligence(PAMI);ComputerVision,Graphics,andImageProcessing(CVGIP);IEEETrans.onImageProcessing;MachineVisionandApplications;ImageandVisionComputing;PatternRecognition．機(jī)器視覺測量技術(shù)當(dāng)前9頁，總共59頁。

1.3.1信息處理三個層次1.3Marr的視覺計算理論

Marr的視覺計算理論[Marr1982]立足于計算機(jī)科學(xué)，系統(tǒng)地概括了心理生理學(xué)、神經(jīng)生理學(xué)等方面取得的所有重要成果，大大推動了機(jī)器視覺研究的發(fā)展．Marr視覺理論中的方法論.機(jī)器視覺測量技術(shù)當(dāng)前10頁，總共59頁。1.3.2視覺信息處理第一階段(早期階段)是將輸入的原始圖像進(jìn)行處理，抽取圖像中諸如角點(diǎn)、邊緣、紋理、線條、邊界等基本特征，這些特征的集合稱為基元圖.第二階段(中期階段)是指在以觀測者為中心的坐標(biāo)系中，由輸入圖像和基元圖恢復(fù)場景可見部分的深度、法線方向、輪廓等，這些信息的包含了深度信息，但不是真正的物體三維表示，因此，稱為二維半圖.第三階段(后期階段)是在以物體為中心的坐標(biāo)系中，由輸入圖像、基元圖、二維半圖來恢復(fù)、表示和識別三維物體.機(jī)器視覺測量技術(shù)當(dāng)前11頁，總共59頁。

¤視覺處理框架中的輸入是被動的，給什么圖像就處理什么圖像。

¤視覺處理框架中的目的是固定的，總是恢復(fù)場景中的物體位置和形狀。

¤沒有足夠地重視高層知識的交互指導(dǎo)應(yīng)用。

¤視覺處理框架基本上是自下而上，單向流動，沒有反饋。1.3.3Marr視覺理論的不足機(jī)器視覺測量技術(shù)當(dāng)前12頁，總共59頁。機(jī)器視覺測量技術(shù)當(dāng)前13頁，總共59頁。1.4計算機(jī)視覺的應(yīng)用零件識別與定位（工業(yè)生產(chǎn)線）產(chǎn)品檢驗（紡織工業(yè)棉花質(zhì)量檢驗）移動機(jī)器人導(dǎo)航（星球機(jī)器人）遙感圖像分析（植被分析）醫(yī)學(xué)圖像分析（骨骼定位）安全鑒別、監(jiān)視與跟蹤（門禁系統(tǒng)）國防系統(tǒng)（目標(biāo)自動識別與目標(biāo)跟蹤）其它（動畫、體育、考古）機(jī)器視覺測量技術(shù)當(dāng)前14頁，總共59頁。A.零件識別與定位機(jī)器視覺測量技術(shù)當(dāng)前15頁，總共59頁。B.產(chǎn)品檢驗機(jī)器視覺測量技術(shù)當(dāng)前16頁，總共59頁。C.機(jī)器人機(jī)器視覺測量技術(shù)當(dāng)前17頁，總共59頁。機(jī)器視覺測量技術(shù)當(dāng)前18頁，總共59頁。無人駕駛機(jī)器視覺測量技術(shù)當(dāng)前19頁，總共59頁。D.遙感圖像機(jī)器視覺測量技術(shù)當(dāng)前20頁，總共59頁。制導(dǎo)機(jī)器視覺測量技術(shù)當(dāng)前21頁，總共59頁。紅外機(jī)器視覺測量技術(shù)當(dāng)前22頁，總共59頁。生態(tài)環(huán)境自然災(zāi)害農(nóng)業(yè)調(diào)查海岸形貌機(jī)器視覺測量技術(shù)當(dāng)前23頁，總共59頁。E.醫(yī)學(xué)分析、專家系統(tǒng)機(jī)器視覺測量技術(shù)當(dāng)前24頁，總共59頁。F.安全檢驗、監(jiān)視跟蹤機(jī)器視覺測量技術(shù)當(dāng)前25頁，總共59頁。機(jī)器視覺測量技術(shù)當(dāng)前26頁，總共59頁。G.影視制作、虛擬環(huán)境機(jī)器視覺測量技術(shù)當(dāng)前27頁，總共59頁。機(jī)器視覺測量技術(shù)當(dāng)前28頁，總共59頁。三維重建機(jī)器視覺測量技術(shù)當(dāng)前29頁，總共59頁。多目立體視覺機(jī)機(jī)器視覺測量技術(shù)當(dāng)前30頁，總共59頁。1.5.機(jī)器視覺的研究內(nèi)容(1)輸入設(shè)備(inputdevice)包括成像設(shè)備和數(shù)字化設(shè)備．成象設(shè)備是指通過光學(xué)攝像機(jī)或紅外、激光、超聲、X射線對周圍場景或物體進(jìn)行探測成象，得到關(guān)于場景或物體的二維或三維數(shù)字化圖像．(2)低層視覺(lowlevel)對輸入的原始圖像進(jìn)行處理．借用圖像處理技術(shù)和算法，如圖像濾波、圖像增強(qiáng)、邊緣檢測等，以便從圖像中抽取諸如角點(diǎn)、邊緣、線條、邊界以及色彩等關(guān)于場景的基本特征；各種圖像變換、圖像紋理檢測、圖像運(yùn)動檢測等．機(jī)器視覺測量技術(shù)當(dāng)前31頁，總共59頁。(3)中層視覺（middlelevel）主要任務(wù)是恢復(fù)場景的深度、表面法線方向、輪廓等有關(guān)場景的2．5維信息，實現(xiàn)的途徑有立體視覺、測距成像運(yùn)動估計、明暗特征、紋理特征等估計方法．系統(tǒng)標(biāo)定、系統(tǒng)成像模型等研究內(nèi)容一般也在這個層次上．(4)高層視覺（highlevel）主要任務(wù)是在以物體為中心的坐標(biāo)系中，在原始輸入圖像、圖像基本特征、2．5維圖的基礎(chǔ)上，恢復(fù)物體的完整三維圖，建立物體三維描述，識別三維物體并確定物體的位置和方向．機(jī)器視覺測量技術(shù)當(dāng)前32頁，總共59頁。(5)體系結(jié)構(gòu)（systemarchitecture）

在高度抽象的層次上，根據(jù)系統(tǒng)模型而不是根據(jù)實現(xiàn)設(shè)計的具體例子來研究系統(tǒng)的結(jié)構(gòu)．好比于建筑設(shè)計中某一時期的建筑風(fēng)格和根據(jù)這一風(fēng)格設(shè)計出來的具體建筑之間的區(qū)別．體系結(jié)構(gòu)研究涉及一系列相關(guān)的課題：并行結(jié)構(gòu)、分層結(jié)構(gòu)、信息流結(jié)構(gòu)、拓?fù)浣Y(jié)構(gòu)以及從設(shè)計到實現(xiàn)的途徑．機(jī)器視覺測量技術(shù)當(dāng)前33頁，總共59頁。1.6.計算機(jī)視覺研究面臨的困難（1）圖像多義性：三維場景被投影為二維圖像，深度和不可見部分的信息被丟失，因而會出現(xiàn)不同形狀的三維物體投影在圖像平面上產(chǎn)生相同圖像的問題．機(jī)器視覺測量技術(shù)當(dāng)前34頁，總共59頁。（2）環(huán)境影響：場景中的諸多因素，包括照明、物體形狀、表面顏色、攝像機(jī)以及空間關(guān)系變化都會對成像有影響.（3）知識導(dǎo)引：同樣的圖像在不同的知識導(dǎo)引下，將會產(chǎn)生不同的識別結(jié)果．機(jī)器視覺測量技術(shù)當(dāng)前35頁，總共59頁。（4）大量數(shù)據(jù)：灰度圖像，彩色圖像，深度圖像的信息量十分巨大，需要很大的存貯空間，不易實現(xiàn)快速處理．機(jī)器視覺測量技術(shù)當(dāng)前36頁，總共59頁。1.7機(jī)器視覺與其它學(xué)科領(lǐng)域（1）圖像處理：圖像處理通常是把一幅圖像變換成另外一幅圖像，也就是說，圖像處理系統(tǒng)的輸入是圖像，輸出仍然是圖像，信息恢復(fù)任務(wù)則留給人來完成.（2）計算機(jī)圖形學(xué)：通過幾何基元，如線、圓和自由曲面，來生成圖像，它在可視化和虛擬現(xiàn)實中起著很重要的作用．(計算機(jī)視覺正好是解決相反的問題—圖像分析．)（3）模式識別：用于識別各種符號、圖畫等平面圖形．模式一般指一類事物區(qū)別于其它事物所具有的共同特征。機(jī)器視覺測量技術(shù)當(dāng)前37頁，總共59頁。（3）人工智能（AI）：涉及到智能系統(tǒng)的設(shè)計和智能計算的研究．在經(jīng)過圖像處理和圖像特征提取過程后，用人工智能方法對場景特征進(jìn)行表示，并分析和理解場景．人工智能有三個過程：感知、認(rèn)知和行動．（4）生物物理學(xué)與認(rèn)知科學(xué)：將人類視覺作為主要的研究對象．計算機(jī)視覺中已有的許多方法與人類視覺極為相似．希望計算機(jī)視覺更加自然化，更加接近生物視覺.機(jī)器視覺測量技術(shù)當(dāng)前38頁，總共59頁?？梢姽庾V:380-780nm1.8人類視覺簡介機(jī)器視覺測量技術(shù)當(dāng)前39頁，總共59頁。人類視覺構(gòu)造角膜、虹膜、瞳孔晶狀體、睫狀肌玻璃體視軸、光軸視網(wǎng)膜當(dāng)前40頁，總共59頁。機(jī)器視覺測量技術(shù)當(dāng)前41頁，總共59頁。視網(wǎng)膜:φ6.中央黃斑φ2.中央凹φ1.1萬萬桿體細(xì)胞：暗視覺650萬錐體細(xì)胞：明視覺430*540*570nm機(jī)器視覺測量技術(shù)當(dāng)前42頁，總共59頁。機(jī)器視覺測量技術(shù)當(dāng)前43頁，總共59頁。任何一種神經(jīng)細(xì)胞的輸出都依賴于視網(wǎng)膜上的許多光感受器.任何一個光感受器的輸出將對許多神經(jīng)細(xì)胞的輸出有貢獻(xiàn).感受野：影響神經(jīng)細(xì)胞的光感受細(xì)胞的全體.

感受野當(dāng)前44頁，總共59頁。機(jī)器視覺測量技術(shù)當(dāng)前45頁，總共59頁。視覺通路入視網(wǎng)膜（桿體和錐體細(xì)胞?神經(jīng)信號→神經(jīng)節(jié)細(xì)胞?神經(jīng)信號）出視網(wǎng)膜→視神經(jīng)束→視交叉神經(jīng)纖維?形成新視束→中樞的各個部位；第一通路外膝體或外膝核、四疊體上丘頂蓋前區(qū)和皮層等第二通路上丘和頂蓋前區(qū)>丘腦枕>視皮層機(jī)器視覺測量技術(shù)當(dāng)前46頁，總共59頁。視覺第一通路機(jī)器視覺測量技術(shù)當(dāng)前47頁，總共59頁。視覺信息的并行處理機(jī)器視覺測量技術(shù)當(dāng)前48頁，總共59頁。視覺視差機(jī)器視覺測量技術(shù)當(dāng)前49頁，總共59頁。1)非視覺性深度線索:

視覺的空間知覺眼睛聚焦調(diào)節(jié):晶狀體的調(diào)節(jié).共焦測距.雙眼視軸的幅合：視軸偏轉(zhuǎn)角.三角測距.2)雙眼深度線索:中央眼.機(jī)器視覺測量技術(shù)當(dāng)前50頁，總共59頁。3)單眼深度線索:大?。航撼上翊?；遠(yuǎn)：成像小.物體遮擋：遮擋來判斷物體的前后距離.光亮陰影：近：物體明亮；遠(yuǎn)：物體灰暗.顏色分布：近：黃或紅；遠(yuǎn)：藍(lán).空氣透視：近：輪廓清晰；遠(yuǎn)：模糊不清.紋理：近：紋理稀疏；遠(yuǎn)：紋理密集.運(yùn)動：近：視角變化大；遠(yuǎn)：視角變化小.機(jī)器視覺測量技術(shù)當(dāng)前51頁，總共59頁。視覺特性B.空間特性覺察：檢測在視野中某個給定物體存在與否。定位：對兩個物體相對位置精確辨別的能力。解像：對某視覺形狀各組成部分之間距離的辨別能力(顯示分辨)認(rèn)知：綜合的能力和方法，一定的解像力和定位能力。A、時間特性累積效應(yīng)：視覺受光總量E∝物體可見面積S＋表面亮度L＋觀察時間T光感受潛伏期：多次閃光導(dǎo)致閃爍知覺。視敏度：所能看到的景物細(xì)節(jié)的準(zhǔn)確性評價。(角)機(jī)器視覺測量技術(shù)當(dāng)前52頁，總共59頁。C、形狀知覺

輪廓：把物體與視野中的其他部分區(qū)分開來。

輪廓是邊界,局部概念.形狀為全體概念.主觀輪廓：

把不完整的因素連貫起來編程簡單和穩(wěn)定圖案的傾向.機(jī)器視覺測量技術(shù)當(dāng)前53頁，總共59頁。前景背景可相互置換.前景受背景影響.D、視覺的相對性

前景：視覺關(guān)心的主體。背景：與前景相關(guān)聯(lián)的其它刺激。E、視覺的選擇性

視而不見.