機(jī)器視覺(jué)概述

機(jī)器(jīqì)視覺(jué)MachineVision2/4/20231精品資料參考書目：1、《圖像處理、分析與機(jī)器視覺(jué)》（第二版）M.Sonka,V.Hlavac,R.Boyle著，艾海舟等譯，人民郵電出版社，20032、《機(jī)器視覺(jué)教程》W.E.Snyder,H.Qi著林學(xué)訚等譯，機(jī)械工業(yè)(gōngyè)出版社，20053、《計(jì)算機(jī)視覺(jué)》馬頌德著，科學(xué)出版社，19992/4/20232精品資料第一章引論Chap1引論(yǐnlùn)講解內(nèi)容1.機(jī)器視覺(jué)的研究?jī)?nèi)容、特點(diǎn)及其應(yīng)用。2.基礎(chǔ)理論（Marr視覺(jué)計(jì)算、成像幾何基礎(chǔ)）；3.課程學(xué)習(xí)內(nèi)容。目的1.了解(liǎojiě)機(jī)器視覺(jué)的主要內(nèi)容及相關(guān)知識(shí)，熟悉機(jī)器視覺(jué)與其他學(xué)科的關(guān)系；2.重點(diǎn)掌握Marr視覺(jué)計(jì)算理論及成像幾何基礎(chǔ)理論。2/4/20233精品資料1.1機(jī)器(jīqì)視覺(jué)

機(jī)器視覺(jué)：用計(jì)算機(jī)來(lái)模擬生物視覺(jué)功能的科學(xué)和技術(shù)。機(jī)器視覺(jué)系統(tǒng)的首要目標(biāo)(mùbiāo)是利用圖像創(chuàng)建或恢復(fù)現(xiàn)實(shí)世界模型，然后認(rèn)知現(xiàn)實(shí)世界。?從二維圖象恢復(fù)三維信息；?從原始圖像數(shù)值描述產(chǎn)生語(yǔ)義描述。1.1.1基本概念機(jī)器視覺(jué)是信息科學(xué)領(lǐng)域的一個(gè)重大挑戰(zhàn)性問(wèn)題：?JimGray列出的12大信息科學(xué)問(wèn)題之一:

Seeaswellasaperson.?BillGates：Thefutureofcomputingistomakecomputers

see,hear,speakandlearn.2/4/20234精品資料一、輸入設(shè)備(inputdevice)－包括成像設(shè)備和數(shù)字化設(shè)備．成象設(shè)備是指通過(guò)光學(xué)攝像機(jī)或紅外、激光、超聲、X射線對(duì)周圍場(chǎng)景或物體進(jìn)行(jìnxíng)探測(cè)成象，得到關(guān)于場(chǎng)景或物體的二維或三維數(shù)字化圖像。二、低層視覺(jué)(lowlevel)－主要是對(duì)輸入的原始圖像進(jìn)行處理．這一過(guò)程借用了大量的圖像處理技術(shù)和算法，如圖像濾波、圖像增強(qiáng)、邊緣檢測(cè)等，以便從圖像中抽取諸如角點(diǎn)、邊緣、線條、邊界以及色彩(sècǎi)等關(guān)于場(chǎng)景的基本特征；這一過(guò)程還包含了各種圖像變換（如校正）、圖像紋理檢測(cè)、圖像運(yùn)動(dòng)檢測(cè)等。1.1機(jī)器視覺(jué)1.1.2研究?jī)?nèi)容2/4/20235精品資料三、中層視覺(jué)（middlelevel）－主要任務(wù)是恢復(fù)場(chǎng)景的深度、表面法線方向、輪廓等有關(guān)場(chǎng)景的2．5維信息，實(shí)現(xiàn)(shíxiàn)的途徑有立體視覺(jué)（stereovision）、測(cè)距成像（rangefinder）運(yùn)動(dòng)估計(jì)（motionestimation）、明暗特征、紋理特征等.系統(tǒng)標(biāo)定、系統(tǒng)成像模型等研究?jī)?nèi)容一般也是在這個(gè)層次上進(jìn)行的．四、高層(ɡāocénɡ)視覺(jué)（highlevel）－主要任務(wù)是在以物體為中心的坐標(biāo)系中，在原始輸入圖像、圖像基本特征、2．5維圖的基礎(chǔ)上，恢復(fù)物體的完整三維圖，建立物體三維描述，識(shí)別三維物體并確定物體的位置和方向．五、體系結(jié)構(gòu)（systemarchitecture）1.1機(jī)器視覺(jué)2/4/20236精品資料20世紀(jì)50年代歸入模式識(shí)別----主要集中在二維圖像分析和識(shí)別上，如光學(xué)字符識(shí)別，工件表面、顯微圖片和航空?qǐng)D片的分析和解釋等。60年代，Roberts積木世界理論----開(kāi)創(chuàng)了以理解三維場(chǎng)景為目的的三維計(jì)算機(jī)視覺(jué)的研究。70年代，Marr計(jì)算視覺(jué)理論----第一個(gè)較為完善的視覺(jué)系統(tǒng)(xìtǒng)框架，分三個(gè)層次進(jìn)行處理。80年代以后，蓬勃發(fā)展----新概念、新方法、新理論不斷涌現(xiàn)，如基于感知特征群的物體識(shí)別理論框架，主動(dòng)視覺(jué)理論框架，視覺(jué)集成理論框架等。1.1機(jī)器(jīqì)視覺(jué)1.1.3發(fā)展概況2/4/20237精品資料（1）圖像多義性（2）環(huán)境因素影響(yǐngxiǎng)（3）知識(shí)導(dǎo)引（4）大量數(shù)據(jù)1.1機(jī)器(jīqì)視覺(jué)1.1.4研究面臨的困難2/4/20238精品資料主要(zhǔyào)期刊和會(huì)議1.1機(jī)器(jīqì)視覺(jué)?IEEET-PAMI,IJCV,IEEET-ImageProcessing,PatternRecognition,ComputerVisionandImageUnderstanding,ImageandVisionComputing,PRLetters,……?ICCV,CVPR,ICPR,ICIP,ECCV,ACCV,BMVC,MVA,……?自動(dòng)化學(xué)報(bào)、計(jì)算機(jī)學(xué)報(bào)、軟件學(xué)報(bào)、電子學(xué)報(bào)、中國(guó)圖像圖形學(xué)報(bào)、模式識(shí)別與人工智能、……2/4/20239精品資料1.2Marr視覺(jué)(shìjué)計(jì)算理論?MIT的DavidMarr在70年代末提出了第一個(gè)較為完善的視覺(jué)系統(tǒng)框架；?該框架立足于計(jì)算機(jī)科學(xué)，系統(tǒng)地概括了心理生理學(xué)、神經(jīng)生理學(xué)等方面取得的所有重要成果；?該框架盡管存在很多缺陷(quēxiàn)，但過(guò)去20多年一直處于主導(dǎo)地位。D.Marr,Vision,1982.中譯本：視覺(jué)計(jì)算理論，姚國(guó)正、劉磊、汪云九譯，科學(xué)出版社，1988。2/4/202310精品資料1.2.1三個(gè)層次(céngcì)視覺(jué)信息處理系統(tǒng)分為(fēnwéi)三個(gè)層次：2/4/202311精品資料1.2.2視覺(jué)(shìjué)表示框架第一階段(也稱為早期階段)：將輸入的原始圖像進(jìn)行處理，抽取圖像中諸如角點(diǎn)、邊緣、紋理、線條、邊界等基本特征，這些特征的集合稱為基元圖(primitivesketch)；第二階段(中期階段)：指在以觀測(cè)者為中心的坐標(biāo)系中，由輸入圖像和基元圖恢復(fù)場(chǎng)景可見(jiàn)部分(bùfen)的深度、法線方向、輪廓等，這些信息的包含了深度信息，但不是真正的物體三維表示，因此，稱為二維半圖(2．5dimensionalsketch)；第三階段(后期階段)：在以物體為中心的坐標(biāo)系中，由輸入圖像、基元圖、二維半圖來(lái)恢復(fù)、表示和識(shí)別三維物體。2/4/202312精品資料表1-2由圖像恢復(fù)形狀信息(xìnxī)的表示框架名稱目的基元圖像光強(qiáng)表示圖像中每一點(diǎn)的強(qiáng)度值基元圖表示二維圖像中的重要信息，主要是圖像中的強(qiáng)度變化位置及其幾何分布和組織結(jié)構(gòu)零交叉，斑點(diǎn)，端點(diǎn)和不連續(xù)點(diǎn)，邊緣片斷，有效線段，組合群，曲線組織，邊界2．5維圖在以觀測(cè)者為中心的坐標(biāo)系中，表示可見(jiàn)表面的方向、深度值和不連續(xù)的輪廓局部表面朝向(“針”基元)離觀測(cè)者的距離深度上的不連續(xù)點(diǎn)表面朝向的不連續(xù)點(diǎn)3維模型表示在以物體為中心的坐標(biāo)系中，用由體積基元和面積基元構(gòu)成的模塊化多層次表示，描述形狀及其空間組織形式．分層次組成若干三維模型，每個(gè)三維模型都是在幾個(gè)軸線空間的基礎(chǔ)上構(gòu)成的，所有體積基元或面積形狀基元都附著在軸線上．1.2.2視覺(jué)表示(biǎoshì)框架2/4/202313精品資料視覺(jué)處理框架基本上是自下而上，沒(méi)有反饋；沒(méi)有足夠地重視知識(shí)的應(yīng)用?；诟兄卣魅旱奈矬w(wùtǐ)識(shí)別理論框架，主動(dòng)視覺(jué)理論框架，視覺(jué)集成理論框架等等。1.2Marr視覺(jué)(shìjué)計(jì)算理論Marr理論的不足2/4/202314精品資料1.3機(jī)器視覺(jué)(shìjué)的應(yīng)用零件識(shí)別與定位(dìngwèi)產(chǎn)品檢驗(yàn)移動(dòng)機(jī)器人導(dǎo)航遙感圖像分析醫(yī)學(xué)圖像分析安全、監(jiān)控與跟蹤國(guó)防系統(tǒng)其它（動(dòng)畫、體育、考古）應(yīng)用領(lǐng)域2/4/202315精品資料Sojourner火星車前部圖，中部的兩個(gè)小突出(tūchū)是兩個(gè)黑白CCD攝像機(jī)1.3機(jī)器(jīqì)視覺(jué)的應(yīng)用2/4/202316精品資料Sojourner視覺(jué)(shìjué)系統(tǒng)獲取的立體圖象對(duì)障礙物探測(cè)示意圖Sojourner視覺(jué)系統(tǒng)對(duì)場(chǎng)景的深度(shēndù)恢復(fù)1.3機(jī)器視覺(jué)的應(yīng)用2/4/202317精品資料人臉跟蹤(gēnzōng)演示1.3機(jī)器視覺(jué)(shìjué)的應(yīng)用2/4/202318精品資料MITMediaLab，與虛擬生物(shēngwù)交互演示1.3機(jī)器(jīqì)視覺(jué)的應(yīng)用2/4/202319精品資料（基于圖象(túxiànɡ)序列的）五角大樓三維重建1.3機(jī)器視覺(jué)(shìjué)的應(yīng)用2/4/202320精品資料三維人臉重建(zhònɡjiàn)1.3機(jī)器(jīqì)視覺(jué)的應(yīng)用2/4/202321精品資料1．基于視覺(jué)(shìjué)感知與認(rèn)知機(jī)理的圖像分析與識(shí)別系統(tǒng)研究目標(biāo)：突破基于人類視覺(jué)(shìjué)感知與認(rèn)知機(jī)理的圖像處理模型、關(guān)鍵技術(shù)和算法，建立個(gè)性化、高準(zhǔn)確度的圖像分析與識(shí)別系統(tǒng)。研究?jī)?nèi)容：分層交互的統(tǒng)計(jì)視覺(jué)(shìjué)計(jì)算模型與推理，基于感知整合機(jī)制的視覺(jué)(shìjué)模式識(shí)別技術(shù)，具有選擇性注意機(jī)制的視覺(jué)(shìjué)信息搜索與多目標(biāo)跟蹤模型。863計(jì)劃信息技術(shù)領(lǐng)域(lǐnɡyù)2006年度專題課題申請(qǐng)指南目標(biāo)導(dǎo)向類課題：2/4/202322精品資料2．復(fù)雜應(yīng)用(yìngyòng)環(huán)境下的生物特征識(shí)別系統(tǒng)研究目標(biāo)：突破安全便捷的、高可靠性的多生物特征獲取及識(shí)別算法，建立面向典型應(yīng)用(yìngyòng)的生物特征識(shí)別與認(rèn)證原型系統(tǒng)。研究?jī)?nèi)容：臉相、虹膜、掌紋等多生物特征獲取技術(shù)，大規(guī)模生物特征庫(kù)的分類和檢索，具有魯棒性的生物特征識(shí)別關(guān)鍵技術(shù)，面向?qū)嶋H應(yīng)用(yìngyòng)需求的多種生物特征的融合技術(shù)等。863計(jì)劃信息技術(shù)領(lǐng)域2006年度(niándù)專題課題申請(qǐng)指南目標(biāo)導(dǎo)向類課題：2/4/202323精品資料1.4機(jī)器視覺(jué)(shìjué)與其它學(xué)科關(guān)系機(jī)器(jīqì)視覺(jué)VS圖像處理?圖像處理(ImageProcessing)：實(shí)現(xiàn)從輸入圖像到另一種圖像的轉(zhuǎn)換?圖像處理：人是最終的解釋者?機(jī)器視覺(jué)：計(jì)算機(jī)是圖像的解釋者?機(jī)器視覺(jué)系統(tǒng)需要圖像處理模塊2/4/202324精品資料1.4機(jī)器(jīqì)視覺(jué)與其它學(xué)科關(guān)系機(jī)器(jīqì)視覺(jué)VS計(jì)算機(jī)圖形學(xué)?計(jì)算機(jī)圖形學(xué)：從三維描述到二維圖像顯示?機(jī)器視覺(jué)：從二維圖像數(shù)據(jù)到三維描述?在一定意義上講，計(jì)算機(jī)視覺(jué)是計(jì)算機(jī)圖形學(xué)的逆問(wèn)題?兩者從最初相互獨(dú)立的平行發(fā)展到最近的融合是一大趨勢(shì)2/4/202325精品資料1.4機(jī)器(jīqì)視覺(jué)與其它學(xué)科關(guān)系機(jī)器(jīqì)視覺(jué)VS模式識(shí)別?模式識(shí)別：研究各類模式的分類，其中模式可以有不同的物理意義和表現(xiàn)形式?圖像模式的分類是計(jì)算機(jī)視覺(jué)中的一個(gè)重要問(wèn)題?模式識(shí)別中的許多方法可以應(yīng)用于計(jì)算機(jī)視覺(jué)中2/4/202326精品資料1.4機(jī)器視覺(jué)與其它學(xué)科(xuékē)關(guān)系機(jī)器視覺(jué)(shìjué)VS人工智能?人工智能：主要研究智能系統(tǒng)的設(shè)計(jì)和有關(guān)智能的計(jì)算理論與方法?AImaybeconsideredashavingthreestages:perception,cognitionandaction?計(jì)算機(jī)視覺(jué)經(jīng)常被視為AI的一個(gè)分支2/4/202327精品資料圖1.6透視投影倒立(dàolì)成像幾何示意圖1.5成像幾何(jǐhé)基礎(chǔ)1.5.1透視投影2/4/202328精品資料圖1.7透視(tòushì)投影幾何示意圖

1.5.1透視(t