傳感技術(shù)課件

——第七章視覺傳感技術(shù)——第七章視覺傳感技術(shù)本章內(nèi)容7.1概述7.2圖像傳感器7.33D視覺傳感技術(shù)7.4智能視覺傳感技術(shù)7.5視覺傳感應(yīng)用技術(shù)現(xiàn)代傳感器技術(shù) <2>本章內(nèi)容7.1概述現(xiàn)代傳感器技術(shù) <2>7.1.1生物視覺與機器視覺視覺：直觀理解就是通過對環(huán)境場景（組成成分、空間關(guān)系、質(zhì)地質(zhì)感等）成像，一次性得到包含大量場景信息的“圖、像”，經(jīng)過分層次處理，最終達到理解和表達的目的。通過視覺系統(tǒng)的外周感覺器官（眼）接受外界環(huán)境中一定波長范圍內(nèi)的電磁波刺激，經(jīng)中樞有關(guān)部分進行編碼加工和分析后獲得的主觀感覺?，F(xiàn)代傳感器技術(shù) <3>7.1.1生物視覺與機器視覺視覺：直觀理解就是通過對環(huán)境場7.1.1生物視覺與機器視覺生物視覺功能建立在生物組織、器官的基礎(chǔ)上。環(huán)境場景通過成像器官（眼睛）成像，視覺神經(jīng)感受到亮度信號，形成神經(jīng)脈動，進而傳輸至中樞神經(jīng)系統(tǒng)（大腦），上述路徑構(gòu)成視覺通路。生物視覺系統(tǒng)是一個結(jié)構(gòu)復雜、功能強大、高度智能的信息系統(tǒng)。人的眼可分為感光細胞（視桿細胞和視錐細胞）的視網(wǎng)膜和折光（角膜，房水，晶狀體和玻璃體）系統(tǒng)。其適宜刺激是波長為370-740納米的電磁波(可見光部分)，約150種顏色?，F(xiàn)代傳感器技術(shù) <4>背側(cè)皮質(zhì)視覚路(綠色)與腹側(cè)皮質(zhì)視覚路(紫色)7.1.1生物視覺與機器視覺生物視覺功能建立在生物組織、器7.1.1生物視覺與機器視覺借助于信息處理理論、電子器件和計算機技術(shù)的進步，人們試圖用攝像機獲取環(huán)境場景圖像，轉(zhuǎn)化為計算機處理的數(shù)字信號，由計算機平臺進行視覺信息處理，由此誕生一門新興學科－計算機視覺。現(xiàn)代傳感器技術(shù) <5>計算機視覺系統(tǒng)組成包括：過程控制（例如工業(yè)機器人和無人駕駛汽車）事件監(jiān)測（例如圖像監(jiān)測）信息組織（例如圖像數(shù)據(jù)庫和圖像序列的索引建立）物體與環(huán)境建模（例如工業(yè)檢查，醫(yī)學圖像分析和拓撲建模）交感互動（例如人機互動的輸入設(shè)備）7.1.1生物視覺與機器視覺借助于信息處理理論、電子器件和7.1.1生物視覺與機器視覺基于工程應(yīng)用的考慮，在計算機視覺中可以將視覺傳感（信息獲取）、視覺信息處理、理解和認知等環(huán)節(jié)分開考慮，一方面簡化了類生物視覺系統(tǒng)復雜的相互作用體系結(jié)構(gòu)，同時便于現(xiàn)有計算機平臺的實現(xiàn)。將計算機視覺用于工程應(yīng)用，產(chǎn)生了一門新的學科－機器視覺。將近80%的工業(yè)視覺系統(tǒng)主要用在檢測方面。現(xiàn)代傳感器技術(shù) <6>7.1.1生物視覺與機器視覺基于工程應(yīng)用的考慮，在計算機視7.1.1生物視覺與機器視覺計算機視覺和機器視覺現(xiàn)代傳感器技術(shù) <7>7.1.1生物視覺與機器視覺計算機視覺和機器視覺現(xiàn)代傳感器7.1.2Marr計算機視覺理論20世紀70年代中后期，D.Marr教授從信息處理的角度，綜合了當時圖像處理、心理物理學、神經(jīng)生理學及臨床精神病學等方面的研究成果，提出了一個較為完善的人工視覺系統(tǒng)架構(gòu)。Marr的計算視覺理論把視覺過程看作信息處理過程，對該過程的研究分為三個不同的層次：計算理論層次——計算理論層次要回答的是計算目的與策略問題表達與算法層次——表達與算法層次則進一步回答如何實現(xiàn)上述計算理論的問題硬件實現(xiàn)層次——硬件實現(xiàn)層次是回答如何物理（硬件）上實現(xiàn)上述表示表達和算法的問題現(xiàn)代傳感器技術(shù) <8>7.1.2Marr計算機視覺理論20世紀70年代中后期，7.1.2Marr計算機視覺理論Marr將視覺過程區(qū)分為三個階段：

圖像->要素圖->2.5維圖->三維表示第一階段，稱為早期視覺，由輸入二維圖像獲得要素圖。第二階段，稱為中期視覺，由要素圖獲取2.5維圖。第三階段，稱為后期視覺，由輸入圖像、要素圖和2.5維圖獲得環(huán)境場景的三維表示。2.5維圖:以三維圖數(shù)據(jù)庫為基礎(chǔ)，按照一定比例對現(xiàn)實世界或其中一部分的一個或多個方面的三維、抽象的描述?，F(xiàn)代傳感器技術(shù) <9>7.1.2Marr計算機視覺理論Marr將視覺過程區(qū)分為7.1.2Marr計算機視覺理論缺陷1）物理成像過程在數(shù)學上是一個透視投影過程，深度和被視線遮擋的信息被丟棄了，使得相同場景在不同視角下得到的二維圖像是完全不同的；2）二維圖像是依靠圖像灰度（亮度）來反映視覺信息的，在成像過程中很多無關(guān)因素都會和有用信息綜合在一起生成二維圖像?，F(xiàn)代傳感器技術(shù) <10>7.1.2Marr計算機視覺理論缺陷現(xiàn)代傳感器技術(shù) <17.1.2Marr計算機視覺理論視覺傳感與計算機視覺的區(qū)別由圖像信息恢復三維場景問題

Marr的視覺計算理論是通過三維場景映射到的二維圖像來研究和感知場景三維物理結(jié)構(gòu)的理論，強調(diào)的是識別和理解功能，側(cè)重于基本理論研究而視覺傳感則是從工程應(yīng)用的角度出發(fā)，研究定量提取三維空間內(nèi)有用信息的理論和方法精度問題傳統(tǒng)的計算機視覺研究，側(cè)重于定性的三維場景識別和理解，定量的精度分析很少涉及或不涉及；視覺傳感測量則是以計算機視覺為理論基礎(chǔ)，結(jié)合精密測量、測試理論，解決工程應(yīng)用領(lǐng)域內(nèi)的測量問題，要求在滿足一定的精度前提下，實現(xiàn)被測對象的可靠測量。現(xiàn)代傳感器技術(shù) <11>7.1.2Marr計算機視覺理論視覺傳感與計算機視覺的區(qū)7.1.3視覺傳感技術(shù)的發(fā)展視覺傳感應(yīng)用于測量是多方面的，一個主要的研究領(lǐng)域就是基于視覺傳感的幾何量測量―視覺測量，尤其是3D坐標尺寸測量，在現(xiàn)代工業(yè)制造領(lǐng)域內(nèi)有著廣泛的應(yīng)用背景。視覺像機是視覺測量的基礎(chǔ)。將通過鏡頭投影到傳感器的圖像傳送到能夠儲存、分析和（或者）顯示的機器設(shè)備上?，F(xiàn)代傳感器技術(shù) <12>7.1.3視覺傳感技術(shù)的發(fā)展視覺傳感應(yīng)用于測量是多方面的7.1.3視覺傳感技術(shù)的發(fā)展視覺測量的分析方法的顯著變化采用多參數(shù)的非線性模型和誤差補償措施；將精密測量領(lǐng)域內(nèi)的標定方法、設(shè)備和技術(shù)引入到計算機視覺中；結(jié)合近景攝影測量理論和計算機視覺。視覺測量的應(yīng)用范圍不斷擴大早期主要用于特定的、有非接觸要求的場合；現(xiàn)今可以滿足絕大多數(shù)工業(yè)測量需求?，F(xiàn)代傳感器技術(shù) <13>7.1.3視覺傳感技術(shù)的發(fā)展視覺測量的分析方法的顯著變化本章內(nèi)容7.1概述7.2圖像傳感器7.33D視覺傳感技術(shù)7.4智能視覺傳感技術(shù)7.5視覺傳感應(yīng)用技術(shù)現(xiàn)代傳感器技術(shù) <14>本章內(nèi)容7.1概述現(xiàn)代傳感器技術(shù) <14>7.2.1攝像管工作原理典型的光電攝像管包含三個基本部分：鑲嵌板集電環(huán)電子槍當光線照在光電管上，電子被打出，投影在鑲嵌板上的圖像將變成一幅正電荷的分布圖。集電環(huán)收集光電管所放出的電子，移出光電發(fā)像管電子槍發(fā)射電子形成電子束。電子束逐個掃描鑲嵌板上的個光電管時，便形成一系列電脈沖?，F(xiàn)代傳感器技術(shù) <15>7.2.1攝像管工作原理典型的光電攝像管包含三個基本部7.2.1攝像管工作原理電荷耦合器件CCD（ChargeCoupledDevice）傳感器使用一種高感光度的半導體材料制成，能把光信號轉(zhuǎn)變成電荷信號。當CCD表面受到光線照射時，每個感光單位會將電荷反映在組件上。所有的感光單位所產(chǎn)生的信號加在一起，就構(gòu)成了一幅完整的畫面。CCD以電荷作為信號?；竟δ埽盒盘栯姾傻漠a(chǎn)生、存儲、傳輸和檢測(即輸出)?，F(xiàn)代傳感器技術(shù) <16>7.2.1攝像管工作原理電荷耦合器件CCD（Charg7.2.2電荷耦合攝像器件工作原理現(xiàn)代傳感器技術(shù) <17>當光入射到CCD的光敏面時，便產(chǎn)生了光電荷。CCD在某一時刻所獲得的光電荷與前期所產(chǎn)生的光電荷進行累加，稱為電荷積分。入射光越強，通過電荷積分所得到的光電荷量越大?；竟δ芤?/p>

光電荷的產(chǎn)生7.2.2電荷耦合攝像器件工作原理現(xiàn)代傳感器技術(shù) <17.2.2電荷耦合攝像器件工作原理現(xiàn)代傳感器技術(shù) <18>構(gòu)成CCD的基本單元是MOS結(jié)構(gòu)。如圖所示.UG=0時，P型半導體中的空穴(多數(shù)載流子)分布是均勻的；UG<Uth時，空穴被排斥，產(chǎn)生耗盡區(qū)；UG>Uth時，表面勢Φs變得很高，形成反型層，反型層電荷的存在表明了MOS結(jié)構(gòu)存儲電荷的功能?；竟δ芏?/p>

電荷的存儲7.2.2電荷耦合攝像器件工作原理現(xiàn)代傳感器技術(shù) <17.2.2電荷耦合攝像器件工作原理如圖(a)空勢阱的情況。在沒有反型層時，勢阱的深度和UG成正比例關(guān)系。如圖(b)，當反型層電荷填充勢阱時，表面勢收縮.如圖(c)所示，反型層電荷濃度繼續(xù)增加，勢阱被填充更多，此時表面不再束縛多余的電子，電子將產(chǎn)生“溢出”現(xiàn)象。現(xiàn)代傳感器技術(shù) <19>7.2.2電荷耦合攝像器件工作原理如圖(a)空勢阱的情7.2.2電荷耦合攝像器件工作原理如圖示意CCD中勢阱中電荷的轉(zhuǎn)移：(a)

初始狀態(tài)；

(b)

電荷由(1)電極向

(2)電極轉(zhuǎn)移；

(c)

電荷在(1)(2)電極均勻分布；(d)

電荷繼續(xù)由(1)電極向(2)電極轉(zhuǎn)移；(e)

電荷完全轉(zhuǎn)移到(2)電極；(f)

三相轉(zhuǎn)移脈沖轉(zhuǎn)移?，F(xiàn)代傳感器技術(shù) <20>通過按一定的時序在電極上施加高低電平，可以實現(xiàn)光電荷在相鄰勢阱間的轉(zhuǎn)移?；竟δ苋?/p>

電荷的轉(zhuǎn)移7.2.2電荷耦合攝像器件工作原理如圖示意CCD中勢阱7.2.2電荷耦合攝像器件工作原理現(xiàn)代傳感器技術(shù) <21>光電荷的輸出是指在光電荷轉(zhuǎn)移通道的末端，將電荷信號轉(zhuǎn)換為電壓或電流信號輸出，也稱為光電荷的檢測?；竟δ芩?/p>

光電荷的輸出CCD電荷的檢出方式還有浮置擴散輸出、浮置柵放大器輸出等。其結(jié)構(gòu)示意如圖7-6、圖7-7所示。7.2.2電荷耦合攝像器件工作原理現(xiàn)代傳感器技術(shù) <27.2.3CCD圖像傳感器現(xiàn)代傳感器技術(shù) <22>CCD圖像傳感器線陣CCD傳感器面陣CCD傳感器單溝道線陣CCD雙溝道線陣CCD幀轉(zhuǎn)移型面陣CCD電荷耦合器件行間轉(zhuǎn)移型面陣CCD電荷耦合器件幀-行轉(zhuǎn)移型面陣CCD電荷耦合器件7.2.3CCD圖像傳感器現(xiàn)代傳感器技術(shù) <22>CC7.2.3CCD圖像傳感器圖示是三相單溝道線陣CCD的結(jié)構(gòu)圖。光敏元陣列與轉(zhuǎn)移區(qū)-移位寄存器是分開的，移位寄存器被遮擋。這種結(jié)構(gòu)的CCD轉(zhuǎn)移次數(shù)多，效率低，只適用于像敏元較少的攝像器件。圖示為雙溝道線陣CCD的結(jié)構(gòu)圖。它具有兩列移位寄存器A和B，分別位于像敏陣列的兩邊。當轉(zhuǎn)移柵為高電平時，光積分陣列的信號電荷包同時按箭頭所示方向轉(zhuǎn)移到對應(yīng)的移位寄存器中，然后在驅(qū)動脈沖的作用下分別向右轉(zhuǎn)移，最后以視頻信號輸出?，F(xiàn)代傳感器技術(shù) <23>7.2.3CCD圖像傳感器圖示是三相單溝道線陣CCD的7.2.3CCD圖像傳感器幀轉(zhuǎn)移型面陣CCD電荷耦合器件(FT-CCD)由成像區(qū)、存儲區(qū)和讀出寄存器3個基本區(qū)域組成，由三相脈沖驅(qū)動，又稱三相驅(qū)動式面陣CCD電荷耦合器件。現(xiàn)代傳感器技術(shù) <24>優(yōu)點：①電極結(jié)構(gòu)簡單；②較高的分辨率和靈敏度。缺點：①尺寸較大；②易形成光“污染”嚴重時形成垂直拖尾現(xiàn)象。7.2.3CCD圖像傳感器幀轉(zhuǎn)移型面陣CCD電荷耦合器7.2.3CCD圖像傳感器行間轉(zhuǎn)移型面陣CCD電荷耦合器件(IT-CDD)的感光行與垂直位移寄存器相間排列，由轉(zhuǎn)移柵極控制電荷的轉(zhuǎn)移和輸出?，F(xiàn)代傳感器技術(shù) <25>優(yōu)點：

①結(jié)構(gòu)簡單，面積?。虎谳^高的空間頻率；③垂直拖尾減輕。缺點：①防止漏光，總的感光面積減小，靈敏度降低；②有部分入射光到達垂直位移寄存器，形成光污染。7.2.3CCD圖像傳感器行間轉(zhuǎn)移型面陣CCD電荷耦合7.2.3CCD圖像傳感器CCD圖像傳感器現(xiàn)代傳感器技術(shù) <26>7.2.3CCD圖像傳感器CCD圖像傳感器現(xiàn)代傳感器技7.2.4CMOS圖像傳感器CMOS圖像傳感器(CIS)由許多光敏單元組成。根據(jù)光敏像元結(jié)構(gòu)的不同，可分為光柵型和光電二極管型。根據(jù)敏感單元內(nèi)是否具有放大功能，可分為無源像素圖像傳感器（PPS）和有源像素圖像傳感器(APS)?，F(xiàn)代傳感器技術(shù) <27>7.2.4CMOS圖像傳感器CMOS圖像傳感器(CIS)由7.2.4CMOS圖像傳感器1、無源像素結(jié)構(gòu)無源像素傳感器的像元結(jié)構(gòu)簡單，沒有信號放大作用，是由一個反向偏置的光敏二極管(MOS管或p-n結(jié)二極管)和一個行選擇開關(guān)管Tx構(gòu)成?，F(xiàn)代傳感器技術(shù) <28>優(yōu)點：①在給定的單元尺寸下，可設(shè)計出最高的填充系數(shù)②在給定的設(shè)計填充系數(shù)下，單元尺寸可設(shè)計得最小③可獲得較高的“量子效率”

有利于提高器件的靈敏度不足:①存在較大的固有圖形噪聲②列線不宜過長，減小分布參數(shù)影響7.2.4CMOS圖像傳感器1、無源像素結(jié)構(gòu)現(xiàn)代傳感器技術(shù)7.2.4CMOS圖像傳感器2、有源像素結(jié)構(gòu)（1）光敏二極管型有源像素結(jié)構(gòu)光敏二極管型有源像素結(jié)構(gòu)如圖所示，每個像元包括三個晶體管和一個光敏二極管。光敏面沒有多晶硅層疊，光敏二極管型APS量子效率較高；難以設(shè)計在片相關(guān)雙取樣電路，讀出噪聲出復位噪聲限制，典型值為75～100個均方根電子。CMOS光敏二極管型APS適宜于大多數(shù)中低性能的應(yīng)用?，F(xiàn)代傳感器技術(shù) <29>7.2.4CMOS圖像傳感器2、有源像素結(jié)構(gòu)現(xiàn)代傳感器技術(shù)7.2.4CMOS圖像傳感器（2）光柵型有源像素結(jié)構(gòu)光柵型有源像素傳感器結(jié)合了CCD和X-Y尋址的優(yōu)點，其結(jié)構(gòu)如圖所示，每個像元采用了五個晶體管。采用0.25um工藝將允許達到5um的像元間距。由于可以設(shè)置CDS電路和雙Δ取樣DDS)電路，其讀出噪聲小，一般為10～20個均方根電子，可接近高檔CCD水平，目前已有讀出噪聲為5個均方根電子的報道CMOS光柵型APS適用于高性能科學成像和低光照成像?，F(xiàn)代傳感器技術(shù) <30>7.2.4CMOS圖像傳感器（2）光柵型有源像素結(jié)構(gòu)現(xiàn)代傳7.2.4CMOS圖像傳感器CMOS傳感器現(xiàn)代傳感器技術(shù) <31>7.2.4CMOS圖像傳感器CMOS傳感器現(xiàn)代傳感器技術(shù) 7.2.5CCD與CMOS圖像傳感器比較與CCD圖像傳感器相比，CMOS圖像傳感器具有明顯的優(yōu)勢。CCD存儲的電荷轉(zhuǎn)移和讀取電路較為復雜，速度較慢；CMOS信號讀取十分簡單，能同時處理各單元的圖像信息，速度比CCD快得多。CCD器件的成像點為X-Y縱橫矩陣排列且僅能輸出模擬電信號；CMOS器件的集成度高、體積小、重量輕，具有高度系統(tǒng)整合的條件。從功耗和兼容性來看，CCD功耗大；而CMOS-APS具有功耗低、兼容性好的特點。CCD傳感器成本高；CMOS傳感器成品率高，制造成本低。CMOS-APS比CCD圖像質(zhì)量高。高速性是CMOS電路的固有特性。CMOS圖像傳感器具有更強的靈活性.現(xiàn)代傳感器技術(shù) <32>7.2.5CCD與CMOS圖像傳感器比較與CCD圖像傳7.2.5CCD與CMOS圖像傳感器比較現(xiàn)代傳感器技術(shù) <33>7.2.5CCD與CMOS圖像傳感器比較現(xiàn)代傳感器技術(shù)本章內(nèi)容7.1概述7.2圖像傳感器7.33D視覺傳感技術(shù)7.4智能視覺傳感技術(shù)7.5視覺傳感應(yīng)用技術(shù)現(xiàn)代傳感器技術(shù) <34>本章內(nèi)容7.1概述現(xiàn)代傳感器技術(shù) <34>7.3.13D視覺傳感原理3D視覺傳感是指采用一個或多個圖象傳感器（攝像機等）作為傳感元件，在特定的結(jié)構(gòu)設(shè)計的支持下，綜合利用其它輔助信息，實現(xiàn)對被測物體的尺寸及空間位姿的三維非接觸測量?；谌欠ǖ闹鲃雍捅粍右曈X測量原理抗干擾能力強效率高精度合適組成簡潔適合制造現(xiàn)場的在線、非接觸測量，是實際應(yīng)用的主流?，F(xiàn)代傳感器技術(shù) <35>7.3.13D視覺傳感原理3D視覺傳感是指采用一個或多個圖7.3.13D視覺傳感原理3D視覺測量模型包括三個層次：攝像機成像模型、3D傳感器測量模型、3D測量系統(tǒng)模型，與此對應(yīng)，標定問題也分為三個層次?，F(xiàn)代傳感器技術(shù) <36>基于三角法的3D視覺測量方法結(jié)構(gòu)光方法通過構(gòu)造結(jié)構(gòu)光，使得結(jié)構(gòu)光平面和攝像機之間配置成三角測量關(guān)系，依靠被測點成像光束和結(jié)構(gòu)光平面的交匯約束，求解3D信息。立體視覺方法采用兩個以上的攝像機在空間構(gòu)成三角配置，利用被測點在多個攝像機中成像位置的不同（所謂“視差”），由多個攝像機的成像光束在空間交匯，由此得到被測點3D信息。7.3.13D視覺傳感原理3D視覺測量模型包括三個層次：攝7.3.2攝像機模型及結(jié)構(gòu)參數(shù)標定技術(shù)現(xiàn)代傳感器技術(shù) <37>攝像機模型基于像機成像過程和自身物理參數(shù)的成像模型基于投影變換關(guān)系的模型針孔成像模型直接線性變換模型攝影測量模型7.3.2攝像機模型及結(jié)構(gòu)參數(shù)標定技術(shù)現(xiàn)代傳感器技術(shù) <7.3.2攝像機模型及結(jié)構(gòu)參數(shù)標定技術(shù)現(xiàn)代傳感器技術(shù) <38>針孔成像模型PQzoxy攝像機針孔模型P為物點，Q為像點，像機針孔模型的數(shù)學表示：

式中，q=（x，y）為像點Q在攝像機像平面上的坐標；p=（xw,，yw，zw）為P在攝像機坐標系中的三維坐標；F

—透視變換矩陣；M

—旋轉(zhuǎn)矩陣；T

—平移矩陣；（7-1）7.3.2攝像機模型及結(jié)構(gòu)參數(shù)標定技術(shù)現(xiàn)代傳感器技術(shù) <7.3.2攝像機模型及結(jié)構(gòu)參數(shù)標定技術(shù)現(xiàn)代傳感器技術(shù) <39>式中，表示刻度因子；F、M、T三個矩陣，它們與針孔模型中具有相同的含義；V、B兩個矩陣是補償矩陣。直接線性變換模型（7-2）DLT模型由下式表述：式中，p，q與（7-1）中相同；A為矩陣，可分解為（7-3）7.3.2攝像機模型及結(jié)構(gòu)參數(shù)標定技術(shù)現(xiàn)代傳感器技術(shù) <7.3.2攝像機模型及結(jié)構(gòu)參數(shù)標定技術(shù)現(xiàn)代傳感器技術(shù) <40>攝影測量模型假設(shè)(xu,yu)為空間物點P

在像平面上理想像點坐標，實際像點位置為(xd,yd)，則（7-4）其中，Cx、Cy為像面中心，x、y為成像綜合畸變（修正因子），可采用下列模型：（7-5）式中：7.3.2攝像機模型及結(jié)構(gòu)參數(shù)標定技術(shù)現(xiàn)代傳感器技術(shù) <7.3.2攝像機模型及結(jié)構(gòu)參數(shù)標定技術(shù)直接標定及技術(shù)通過建立已知空間點（控制點）三維坐標（Xw,Yw,Zw）及其對應(yīng)成像點的二維像面坐標（xd，yd）之間的對應(yīng)關(guān)系：對于較小視場的成像，可以通過精確的共面或非共面的靶標建立控制點的三維物點和二維特征像點的對應(yīng)；對于較大視場的成像，可以通過大型CMM

構(gòu)造較大空間的三維控制點?，F(xiàn)代傳感器技術(shù) <41>（b）（c）（a）標定控制點（a）CMM虛擬控制點（b）共面控制點（c）非共面控制點7.3.2攝像機模型及結(jié)構(gòu)參數(shù)標定技術(shù)直接標定及技術(shù)現(xiàn)代7.3.2攝像機模型及結(jié)構(gòu)參數(shù)標定技術(shù)直接標定技術(shù)以攝影測量模型為例，由成像模型得到：現(xiàn)代傳感器技術(shù) <42>式中：（Xw,Yw,Zw）為控制點空間坐標（已知量）（xd，yd）為控制點對應(yīng)象點的象素坐標（已知量）f、Cx、Cy、k1、k2、k3、b1、b2、P1、P2

為模型

參數(shù)（未知量），

為像機坐標系OXYZ到世界坐

標系OwXwYwZw之間的變換關(guān)系，即像機姿態(tài)外

參數(shù)（未知量），解算上述非線性方程組，可以得到模型參數(shù)。7.3.2攝像機模型及結(jié)構(gòu)參數(shù)標定技術(shù)直接標定技術(shù)現(xiàn)代傳7.3.2攝像機模型及結(jié)構(gòu)參數(shù)標定技術(shù)自標定技術(shù)基本思路：在空間簡單設(shè)置標定控制點，控制點的空間坐標未知，像機在不同的姿態(tài)（）條件下，獲取視場中控制點的圖像，處理得到控制點的象面坐標。現(xiàn)代傳感器技術(shù) <43>xm,ym,zmOXYZ光束定向交匯自標定原理7.3.2攝像機模型及結(jié)構(gòu)參數(shù)標定技術(shù)自標定技術(shù)現(xiàn)代傳感7.3.2攝像機模型及結(jié)構(gòu)參數(shù)標定技術(shù)自標定技術(shù)本質(zhì)：將像機的姿態(tài)、控制點的空間坐標以及模型參數(shù)均作為未知量，以控制點的成像光束在空間交匯作為已知條件，建立高度非線性的大規(guī)模方程組，從中解算像機模型參數(shù)，原理上消除了直接標定方法中要求控制點三維坐標已知的局限性。優(yōu)點：對工作環(huán)境要求不高，易于實現(xiàn)標定結(jié)果不受控制點坐標精度影響，標定精度高標定過程可以和測量過程有機結(jié)合適合大尺寸視覺測量現(xiàn)代傳感器技術(shù) <44>7.3.2攝像機模型及結(jié)構(gòu)參數(shù)標定技術(shù)自標定技術(shù)現(xiàn)代傳感7.3.3結(jié)構(gòu)光視覺傳感器測量原理設(shè)攝象機坐標系為OXYZ

，光平面和被測物體相交形成光條l

，記光條上一特征點P

在OXYZ中的坐標為（X，Y，Z），光平面在OXYZ

中的方程已知，特征點P在攝象機象素坐標系中的坐標為（xm，ym），由攝象機數(shù)學模型知現(xiàn)代傳感器技術(shù) <45>又，P點在光平面內(nèi)其中，fx，fy是攝象機的模型函數(shù)，可以通過精確的攝象機標定過程得到；fp為光平面在OXYZ坐標系中的方程，在標定傳感器時精確求得。聯(lián)立方程可解出被測物體上特征點P在坐標系OXYZ

中的三維坐標。結(jié)構(gòu)光傳感器測量原理7.3.3結(jié)構(gòu)光視覺傳感器測量原理現(xiàn)代傳感器技術(shù) <47.3.3結(jié)構(gòu)光視覺傳感器標定現(xiàn)代傳感器技術(shù) <46>標定借助一個細絲靶標進行，細絲靶標上固定n個（相互近似平行）細直鋼絲l1，…，ln。將細絲靶標固定在傳感器的工作空間，取細絲方向和光平面的法向一致。光平面入射到靶標細絲上時產(chǎn)生n個散射亮點Pi（i=1,…,n），Pi對應(yīng)像點的象素坐標由計算機處理得到。相應(yīng)地，Pi的空間三維坐標（xw，yw，zw）可用另外的空間坐標測量設(shè)備測量。設(shè)Pi在OXwYwZw坐標系中的坐標為（xwi，ywi，zwi），Pi對應(yīng)像點的象素坐標為（xdi，ydi）。在光平面F內(nèi)，取P0點為原點，P0P1為X方向，光平面法線方向為Z方向，由X、Z方向按右手法則，在F上建立坐標系OXfYfZf。由空間坐標轉(zhuǎn)換關(guān)系，容易將Pi在OXwYwZw坐標系中的三維坐標轉(zhuǎn)換到坐標系OXfYfZf中，設(shè)經(jīng)轉(zhuǎn)換后Pi在OXfYfZf坐標系中的坐標為（xfi，yfi，zfi），因為Pi在OXfYfZf的xy平面內(nèi)，所以zfi=0。結(jié)構(gòu)光傳感器標定7.3.3結(jié)構(gòu)光視覺傳感器標定現(xiàn)代傳感器技術(shù) <46>7.3.3結(jié)構(gòu)光視覺傳感器現(xiàn)代傳感器技術(shù) <47>假設(shè)坐標系OXfYfZf到攝像機坐標系OXYZ的旋轉(zhuǎn)矩陣為R，平移矩陣為T，則

（7-8）且

（7-9）展開（7-8），利用矩陣元素之間的對應(yīng)關(guān)系，得到式中：r1,…,r9為Rt矩陣中的元素；txtytz為T矩陣中的元素。R為旋轉(zhuǎn)矩陣，存在正交約束由(7-9),(7-10)，采用一般的非線性方程組解法，可以解出R矩陣中的元素r1,…,r9，T矩陣中的元素txtytz。（7-10）7.3.3結(jié)構(gòu)光視覺傳感器現(xiàn)代傳感器技術(shù) <47>假設(shè)7.3.3結(jié)構(gòu)光視覺傳感器光平面F在攝像機坐標系中的位姿可理解為：經(jīng)過OXfYfZf坐標系原點，平面法線矢量為OXfYfZf的Z軸方向。令F0=（tx，ty，tz）；n0=（r1，r4，r7）（r2，r5，r8），于是，光平面F在OXYZ坐標系中的點法式平面方程為式中：X=（x，y，z）為光平面F上的點在OXYZ坐標系中的坐標。該方程表明了光平面在攝像機坐標系中的位姿，是光條結(jié)構(gòu)光傳感器的結(jié)構(gòu)參數(shù)?，F(xiàn)代傳感器技術(shù) <48>7.3.3結(jié)構(gòu)光視覺傳感器光平面F在攝像機坐標系中的位7.3.4雙目視覺傳感器測量原理左攝象機坐標系為O1X1Y1Z1

，右攝象機坐標系為O2X2Y2Z2

，空間被測點P

在左、右攝象機坐標系中的坐標分別為（x1，y1，z1），（x2，y2，z2），P點在左、右攝象機象素坐標系中的象素坐標分別為（x1m，y1m），（x2m，y2m），由攝象機模型知現(xiàn)代傳感器技術(shù) <49>（7-12）（7-13）式中，f1x，f1y和

f2x，f2y分別為左、右攝象機的模型函數(shù)，通過標定攝象機準確得到。雙目立體視覺測量原理7.3.4雙目視覺傳感器測量原理現(xiàn)代傳感器技術(shù) <49>7.3.4雙目視覺傳感器設(shè)左、右攝象機坐標系O1X1Y1Z1

，O2X2Y2Z2

之間的關(guān)系可表示為式中現(xiàn)代傳感器技術(shù) <50>（7-14）R為3X3階坐標系間旋轉(zhuǎn)變換矩陣；T為3X1階坐標系間平移變換矩陣；R，T在立體視覺傳感器中是已知的，可通過傳感器標定嚴格求出。由（7-12）（7-13）（7-14）解出被測空間點P在左攝象機坐標系O1X1Y1Z1中的三維坐標。7.3.4雙目視覺傳感器設(shè)左、右攝象機坐標系O1X1Y17.3.4雙目視覺傳感器標定原理左攝像機坐標系為OX1Y1Z1，右攝像機坐標系為OX2Y2Z2，靶標坐標系為OXYZ。設(shè)OXYZ到OX1Y1Z1的旋轉(zhuǎn)矩陣為R1，平移矩陣為T1，OXYZ到OX2Y2Z2的旋轉(zhuǎn)矩陣為R2，平移矩陣為T2，有現(xiàn)代傳感器技術(shù) <51>（7-15）（7-16）式中：X1=（x1，y1，z1）為點在OX1Y1Z1坐標系中的坐標；X2=（x2，y2，z2）為點在OX2Y2Z2坐標系中的坐標；X=（x，y，z）為點在OXYZ坐標系中的坐標；（7-17）雙目特征傳感器的標定7.3.4雙目視覺傳感器標定原理現(xiàn)代傳感器技術(shù) <51>7.3.4雙目視覺傳感器即：OX2Y2Z2坐標系到OX1Y1Z1坐標系之間的旋轉(zhuǎn)矩陣，平移矩陣分別為（7-18）和（7-19）式是雙目特征傳感器的結(jié)構(gòu)參數(shù)，其中R1，R2，T1，T2，矩陣分別為采用同一靶標標定傳感器中兩個攝像機同時得到的攝像機外部參數(shù)。以上分析可知：雙目特征傳感器中兩個攝像機的標定，以及攝像機之間關(guān)系的結(jié)構(gòu)參數(shù)標定可以同時進行，標定工作量可明顯減少?，F(xiàn)代傳感器技術(shù) <52>（7-18）（7-19）7.3.4雙目視覺傳感器即：OX2Y2Z2坐標系到OX17.3.4雙目視覺傳感器光束定向交匯約束在雙攝像機的重合視場中任意設(shè)置控制點（點的空間坐標無需已知）Pi，控制點在兩個攝像機中的成像光束必定在空間交匯，以此為約束可以精確求解攝像機之間的空間變換關(guān)系，。對于較小視場（測量空間）的傳感器，也可采用固定靶標產(chǎn)生控制點。現(xiàn)代傳感器技術(shù) <53>O2X2Y2Z2控制點Pi(i=1,…,n)O1X1Y1Z1光束定向交匯約束標定雙攝像機位姿7.3.4雙目視覺傳感器光束定向交匯約束現(xiàn)代傳感器技術(shù)7.3.5組合視覺測量系統(tǒng)多個傳感器安裝在剛性支架上形成統(tǒng)一的視覺檢測系統(tǒng)。每個傳感器實現(xiàn)對大型被測物體一個局部區(qū)域的測量，所有傳感器組合實現(xiàn)對物體多個不同區(qū)域的測量，從而實現(xiàn)對被測物體的整體測量?，F(xiàn)代傳感器技術(shù) <54>多視覺傳感器組成的視覺檢測系統(tǒng)7.3.5組合視覺測量系統(tǒng)多個傳感器安裝在剛性支架上形7.3.5組合視覺測量系統(tǒng)基于網(wǎng)絡(luò)的組合視覺測量系統(tǒng)現(xiàn)代傳感器技術(shù) <55>7.3.5組合視覺測量系統(tǒng)基于網(wǎng)絡(luò)的組合視覺測量系統(tǒng)現(xiàn)7.3.5組合視覺測量系統(tǒng)現(xiàn)代傳感器技術(shù) <56>令傳感器（測頭）坐標系為OsXsYsZs，外部測量坐標系為OoXoYoZo

，靶標坐標系為OTXTYTZT，系統(tǒng)測量坐標系為ObXbYbZb，標定時：首先，測頭和外部測量裝置同時測量靶標，分別建立測頭坐標系OsXsYsZs和靶標坐標系OTXTYTZT，靶標坐標系OTXTYTZT和外部測量坐標系OoXoYoZo之間的關(guān)系，此外，用外部測量裝置測量系統(tǒng)測量坐標系（基準點位置），建立外部測量坐標系OoXoYoZo和系統(tǒng)坐標系ObXbYbZb之間的關(guān)系，經(jīng)過坐標變換鏈：可以得到每一個測頭坐標系到系統(tǒng)測量坐標系的變換關(guān)系，即系統(tǒng)標定。OsXsYsZs

－>

OTXTYTZT－>

OoXoYoZo－>

ObXbYbZb全局標定原理7.3.5組合視覺測量系統(tǒng)現(xiàn)代傳感器技術(shù) <56>令傳本章內(nèi)容7.1概述7.2圖像傳感器7.33D視覺傳感技術(shù)7.4智能視覺傳感技術(shù)7.5視覺傳感應(yīng)用技術(shù)現(xiàn)代傳感器技術(shù) <57>本章內(nèi)容7.1概述現(xiàn)代傳感器技術(shù) <57>7.4.1智能視覺傳感器及其結(jié)構(gòu)組成

智能視覺傳感器(IntelligentVisionSensor)通常也稱為智能相機(SmartCamera)，是一種集圖像采集、分析處理和信息傳輸于一體的微小型視覺檢測系統(tǒng)，是一種嵌入式視覺傳感器?，F(xiàn)代傳感器技術(shù) <58>OMRONSensopart7.4.1智能視覺傳感器及其結(jié)構(gòu)組成智能視覺傳感器(7.4.1智能視覺傳感器及其結(jié)構(gòu)組成現(xiàn)代傳感器技術(shù) <59>智能視覺傳感器結(jié)構(gòu)組成作用器件圖像采集單元將光學影像轉(zhuǎn)換成數(shù)字圖像，傳遞給圖像處理單元CCD圖像傳感器、CMOS圖像傳感器圖像處理單元完成圖像信息的分析處理工作通用處理器、ASIC、DSP、MediaDSP和FPGA圖像處理軟件圖像的預(yù)處理、圖像特征的提取、針對特定檢測任務(wù)的分析處理針對具體應(yīng)用的完整軟件、具有圖形開發(fā)接口的軟件包、基本的圖像處理算法庫7.4.1智能視覺傳感器及其結(jié)構(gòu)組成現(xiàn)代傳感器技術(shù) <7.4.1智能視覺傳感器及其結(jié)構(gòu)組成現(xiàn)代傳感器技術(shù) <60>智能視覺傳感器結(jié)構(gòu)組成作用器件信息存儲單元負責有選擇性地將有用的信息存儲起來，以用來顯示或傳輸給其它計算機或控制設(shè)備小型硬盤或存儲卡信息通訊單元完成智能視覺傳感器和其它計算機或計算控制設(shè)備之間的圖像數(shù)據(jù)傳輸和控制信息傳遞任務(wù)以太網(wǎng)接口、IEEE1394、CameraLink、USB或I/O接口顯示單元負責顯示智能視覺傳感器的相關(guān)信息7.4.1智能視覺傳感器及其結(jié)構(gòu)組成現(xiàn)代傳感器技術(shù) <7.4.2智能視覺傳感器的特點及其發(fā)展趨勢現(xiàn)代傳感器技術(shù) <61>智能視覺傳感器的特點基于PC的視覺系統(tǒng)的特點結(jié)構(gòu)緊湊，尺寸小，易于安裝在生產(chǎn)線和各種設(shè)備上，便于裝卸和移動結(jié)構(gòu)復雜、體積相對龐大，安裝難度相對較大，便攜性差高度的系統(tǒng)集成大大降低了系統(tǒng)的安裝和調(diào)試難度，提高了系統(tǒng)的穩(wěn)定性，系統(tǒng)使用簡單方便由于其復雜的結(jié)構(gòu)，安裝和調(diào)試相對困難得多，需要一定的視覺經(jīng)驗系統(tǒng)配置了功能齊全、性能強大的圖像分析處理軟件，無需編程，極大的提高了應(yīng)用系統(tǒng)的開發(fā)速度軟件一般完全或部分由用戶自己開發(fā)，難度相對較大，大大減慢了視覺系統(tǒng)的應(yīng)用開發(fā)速度7.4.2智能視覺傳感器的特點及其發(fā)展趨勢現(xiàn)代傳感器技術(shù)7.4.2智能視覺傳感器的特點及其發(fā)展趨勢智能視覺傳感器的發(fā)展趨勢進一步優(yōu)化系統(tǒng)的體系結(jié)構(gòu)，提高硬件系統(tǒng)的效率和可靠性開發(fā)性能更好、可靠性更高的嵌入式圖像處理軟件建立智能視覺傳感器相關(guān)產(chǎn)品標準現(xiàn)代傳感器技術(shù) <62>7.4.2智能視覺傳感器的特點及其發(fā)展趨勢智能視覺傳感器7.4.3幾種典型的智能視覺傳感器現(xiàn)代傳感器技術(shù) <63>德國Feith公司的CanCam智能視覺傳感器采用ProgressiveScanCMOS圖像傳感器，分辨率為1280×1024采用MotorolaColdFire66MHz作為處理器，操作系統(tǒng)為EmbeddedLinux，具有64Mb的SDRAM和8Mb的Flash支持以太網(wǎng)接口和串口RS232的數(shù)據(jù)通訊，支持CAN總線提供SCACoake圖像處理軟件，支持用戶編程7.4.3幾種典型的智能視覺傳感器現(xiàn)代傳感器技術(shù) <637.4.3幾種典型的智能視覺傳感器現(xiàn)代傳感器技術(shù) <64>德國VisionComponent公司的VC40XX系列智能視覺傳感器功耗7W采用ProgressiveScanCCD圖像傳感器，分辨率為640×480采用TITM320C64400MHz作為處理器，操作系統(tǒng)為VCRT，具有32Mb的SDRAM和4Mb的Flash支持以太網(wǎng)接口和串口RS232的數(shù)據(jù)通訊，可選擇VGA視頻輸出提供VCLIB基礎(chǔ)圖像處理函數(shù)庫，支持用戶編程7.4.3幾種典型的智能視覺傳感器現(xiàn)代傳感器技術(shù) <647.4.3幾種典型的智能視覺傳感器現(xiàn)代傳感器技術(shù) <65>加拿大Matrox公司的Iris系列智能視覺傳感器功耗9W采用ProgressiveScanCCD圖像傳感器，分辨率有640×480和1024×768兩種采用InterULPCeleron400MHz作為處理器，操作系統(tǒng)為WindowsCE.NET，具有128Mb的SDRAM和64Mb的Flash支持以太網(wǎng)接口和串口RS232的數(shù)據(jù)通訊提供Mil基礎(chǔ)圖像處理函數(shù)庫，支持用戶編程7.4.3幾種典型的智能視覺傳感器現(xiàn)代傳感器技術(shù) <657.4.3幾種典型的智能視覺傳感器現(xiàn)代傳感器技術(shù) <66>美國Cognex公司的InSight智能視覺傳感器功耗9W采用1/3“CCD圖像傳感器，分辨率640×480采用specificImageprocessor作為處理器，不支持操作系統(tǒng)，具有64Mb的SDRAM和16Mb的Flash支持以太網(wǎng)接口和串口RS232的數(shù)據(jù)通訊提供INSightExplorer圖像處理軟件，支持用戶編程7.4.3幾種典型的智能視覺傳感器現(xiàn)代傳感器技術(shù) <667.4.3幾種典型的智能視覺傳感器現(xiàn)代傳感器技術(shù) <67>美國Cognex公司的InSight智能視覺傳感器功耗大于5W采用1/3"CCD和1/3"CMOS兩種圖像傳感器，分辨率為640×480采用MotorolaPowerPC/TIDSP作為處理器，不支持操作系統(tǒng)，具有32Mb的SDRAM和16Mb的Flash支持以太網(wǎng)接口和串口RS232的數(shù)據(jù)通訊提供專門的圖像處理工具，支持用戶編程7.4.3幾種典型的智能視覺傳感器現(xiàn)代傳感器技術(shù) <67本章內(nèi)容7.1概述7.2圖像傳感器7.33D視覺傳感技術(shù)7.4智能視覺傳感技術(shù)7.5視覺傳感應(yīng)用技術(shù)現(xiàn)代傳感器技術(shù) <68>本章內(nèi)容7.1概述現(xiàn)代傳感器技術(shù) <68>7.5.1汽車車身視覺檢測系統(tǒng)汽車車身視覺檢測系統(tǒng)的主體是多個視覺傳感器，包括機械運送機構(gòu)、機械定位機構(gòu)、電氣控制設(shè)備、計算機等相關(guān)組成部分?，F(xiàn)代傳感器技術(shù) <69>7.5.1汽車車身視覺檢測系統(tǒng)汽車車身視覺檢測系統(tǒng)的主體7.5.1汽車車身視覺檢測系統(tǒng)汽車車身視覺檢測系統(tǒng)的優(yōu)點：測量效率高測量工作全部自動完成車身視覺測量系統(tǒng)的組成靈活現(xiàn)代傳感器技術(shù) <70>基于機器人的柔性視覺測量裝置多傳感器車身視覺測量應(yīng)用系統(tǒng)7.5.1汽車車身視覺檢測系統(tǒng)汽車車身視覺檢測系統(tǒng)的優(yōu)7.5.2鋼管直線度、截面尺寸在線視覺測量系統(tǒng)測量原理：測量系統(tǒng)由多個結(jié)構(gòu)光傳感器組成，傳感器上結(jié)構(gòu)光投射器投射的光平面和被測鋼管相交，得到鋼管截面圓周上的部分圓弧，傳感器測量部分圓弧在空間中的位置。系統(tǒng)中每一個傳感器實現(xiàn)一個截