機(jī)器視覺技術(shù)發(fā)展現(xiàn)狀文獻(xiàn)綜述

1、機(jī)器視覺技術(shù)開展現(xiàn)狀人類認(rèn)識(shí)外界信息的 80%來自于視覺，而機(jī)器視覺就是用機(jī)器代替人眼來做 測(cè)量和判斷， 機(jī)器視覺的最終目標(biāo)就是使計(jì)算機(jī)像人一樣， 通過視覺觀察和理解 世界，具有自主適應(yīng)環(huán)境的能力。作為一個(gè)新興學(xué)科，同時(shí)也是一個(gè)交叉學(xué)科， 機(jī)器視覺是通過對(duì)相關(guān)的理論和技術(shù)進(jìn)行研究， 從而建立由圖像或多維數(shù)據(jù)中獲 取“信息的人工智能系統(tǒng)，其特點(diǎn)是可提高生產(chǎn)的柔性和自動(dòng)化程度。目前機(jī) 器視覺技術(shù)已經(jīng)在很多工業(yè)制造領(lǐng)域得到了應(yīng)用，并逐漸進(jìn)入我們的日常生活。一、機(jī)器視覺簡(jiǎn)介機(jī)器視覺就是用機(jī)器代替人眼來做測(cè)量和判斷。 機(jī)器視覺主要利用計(jì)算機(jī)來 模擬人的視覺功能， 再現(xiàn)于人類視覺有關(guān)的某些智能行為， 從客

2、觀事物的圖像中 提取信息進(jìn)行處理， 并加以理解， 最終用于實(shí)際檢測(cè)和控制。 機(jī)器視覺是一項(xiàng)綜 合技術(shù)，其包括數(shù)字處理、機(jī)械工程技術(shù)、控制、光源照明技術(shù)、光學(xué)成像、傳 感器技術(shù)、 模擬與數(shù)字視頻技術(shù)、 計(jì)算機(jī)軟硬件技術(shù)和人機(jī)接口技術(shù)等， 這些技 術(shù)相互協(xié)調(diào)才能構(gòu)成一個(gè)完整的工業(yè)機(jī)器視覺系統(tǒng) 1。機(jī)器視覺強(qiáng)調(diào)實(shí)用性， 要能適應(yīng)工業(yè)現(xiàn)場(chǎng)惡劣的環(huán)境， 并要有合理的性價(jià)比、 通用的通訊接口、 較高的容錯(cuò)能力和平安性、 較強(qiáng)的通用性和可移植性。 其更強(qiáng) 調(diào)的是實(shí)時(shí)性，要求高速度和高精度，且具有非接觸性、實(shí)時(shí)性、自動(dòng)化和智能 高等優(yōu)點(diǎn)，有著廣泛的應(yīng)用前景 1。一個(gè)典型的工業(yè)機(jī)器人視覺應(yīng)用系統(tǒng)包括光源、 光學(xué)

3、成像系統(tǒng)、 圖像捕捉系 統(tǒng)、圖像采集與數(shù)字化模塊、 智能圖像處理與決策模塊以及控制執(zhí)行模塊。 通過 CCD或CMOS攝像機(jī)將被測(cè)目標(biāo)轉(zhuǎn)換為圖像信號(hào)， 然后通過A/D轉(zhuǎn)換成數(shù)字信 號(hào)傳送給專用的圖像處理系統(tǒng)， 并根據(jù)像素分布、 亮度和顏色等信息， 將其轉(zhuǎn)換 成數(shù)字化信息。圖像系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來抽取目標(biāo)的特征，如面積、 數(shù)量、位置 和長(zhǎng)度等，進(jìn)而根據(jù)判別的結(jié)果來控制現(xiàn)場(chǎng)的設(shè)備動(dòng)作 1。機(jī)器視覺一般都包括下面四個(gè)過程：被測(cè)物體光學(xué)系統(tǒng)相機(jī)圖像采集卡計(jì)算機(jī)圖1機(jī)器視覺條統(tǒng)組成二、機(jī)器視覺的開展歷史機(jī)器視覺是在20世紀(jì)50年代從統(tǒng)計(jì)模式識(shí)別開始，當(dāng)時(shí)的工作主要集中 在二維圖像分析、識(shí)別和理解上

4、。從 20世紀(jì)70年代才真正開始開展，并涌現(xiàn) 出了主動(dòng)視覺理論框架、基于感知特征群島物體識(shí)別理論框架等新的概念、方法 及理論。Marr視覺計(jì)算機(jī)理論是視覺研究迄今較為完善的理論，其使視覺研究 有了一個(gè)較為明確的體系。Marr視覺理論從計(jì)算視覺理論出發(fā)，將立體視覺分為自上而下的三個(gè)階段， 即早期的二維視覺數(shù)據(jù)獲取、中期的要素處理和后期三維信息的形成和表達(dá)。經(jīng) 歷這單個(gè)階段即可完成二維到三維的轉(zhuǎn)換工作2.5維陶?qǐng)D2 Marr理論框架的三個(gè)階段覺處理早期階段的“要素圖(primarysketch)是由二維圖像中的點(diǎn)、直線、曲線和紋理等特征組成，早期階段的處理是從圖像中獲取這些特征中期階段的處理是處理

5、特征要素的位置和相互關(guān)系，從而完成對(duì)物體的識(shí)別、運(yùn)動(dòng)分析和形狀恢復(fù)等操作，該階段處理的結(jié)果僅僅是對(duì)空間場(chǎng)景的二維半描述。如假設(shè)要完成對(duì)空間場(chǎng)景的真正三維描述，還需第三階段的后期視覺處理，將物體自身坐標(biāo)統(tǒng)一到一個(gè)世界坐標(biāo)系中3作為立體視覺的根底理論， Marr 理論具有極其重要的指導(dǎo)作用，但 Marr 理 論自身有缺陷，如單向性視覺處理只能從前至后處理 、被動(dòng)性視覺處理只 能是給什么圖像處理什么圖像 、目的單一性視覺處理的目標(biāo)一般只是恢復(fù)空 間場(chǎng)景中的物體形狀和位置 等。經(jīng)過幾十年的開展， 許多學(xué)者紛紛提出了 Marr 理論的改良框架， 如在框架前增加圖像拾取模塊， 使其能根據(jù)分析要求和分析結(jié)

6、果自主獲取圖像； 增加反應(yīng)環(huán)節(jié)， 使視覺處理結(jié)果能反向指導(dǎo)圖像獲取環(huán)節(jié)， 前 后互動(dòng)；增加高層指導(dǎo)模塊和視覺目的模塊， 使整個(gè)視覺處理按照視覺目的的要 求，在高層指導(dǎo)模塊的指導(dǎo)下完成不同的視覺處理操作，實(shí)現(xiàn)其功能多樣化.總之，改良的 Marr 理論框架使立體視覺趨于自動(dòng)化、智能化和多功能化 3 。三、機(jī)器視覺相關(guān)技術(shù)1、 圖像采集技術(shù)機(jī)器視覺的根底圖像采集局部一般由光源、 鏡頭、數(shù)字?jǐn)z像機(jī)和圖像采集卡構(gòu)成。 采集過程 可簡(jiǎn)單描述為在光源提供照明的條件下， 數(shù)字?jǐn)z像機(jī)拍攝目標(biāo)物體并將其轉(zhuǎn)化為 圖像信號(hào)，最后通過圖像采集卡傳輸給圖像處理局部。在設(shè)計(jì)圖像采集局部時(shí)， 要考慮到多方面的問題，主要是關(guān)于

7、數(shù)字?jǐn)z像機(jī)、 圖像采集卡和光源方面的問題。1光源照明照明是影響機(jī)器視覺系統(tǒng)輸入的重要因素， 其直接影響輸入數(shù)據(jù)的質(zhì)量和應(yīng) 用效果。到目前為止， 還未有哪種機(jī)器視覺照明設(shè)備能通用各種應(yīng)用， 因此在 實(shí) 際應(yīng)用中， 需針對(duì)應(yīng)用選擇相應(yīng)的照明設(shè)備以滿足特定需求。 在光源照明方案選 擇過程中， 應(yīng)盡可能地突出物體特征， 在物體需要檢測(cè)的局部與不重要局部之間 盡量產(chǎn)生明顯的區(qū)域， 增加比照度， 同時(shí)還應(yīng)保證足夠的整體亮度， 而物體位置 的變化不應(yīng)影響成像的質(zhì)量。照明系統(tǒng)按其照射方法可分為 :背向照明、前向照明、結(jié)構(gòu)光和頻閃光照明 等。其中，背向照明是指將被測(cè)物放在光源和攝像機(jī)之間， 以提高圖像的比照度。

8、 前向照明是光源和攝像機(jī)位于被測(cè)物的同側(cè)， 其優(yōu)點(diǎn)是便于安裝。 結(jié)構(gòu)光照明是 將光柵或線光源等投射到被測(cè)物上， 并根據(jù)其產(chǎn)生的畸變， 解調(diào)出被測(cè)物的三維 信息。頻閃光照明是將高頻率的光脈沖照射到物體上， 攝像機(jī)拍攝要求與光源同 步1。2光學(xué)攝像頭光學(xué)攝像頭的任務(wù)就是進(jìn)行光學(xué)成像， 一般在測(cè)量領(lǐng)域都又專門的用于測(cè)量 的攝像鏡頭， 因?yàn)槠鋵?duì)成像質(zhì)量有著關(guān)鍵性的作用。 攝像頭需要注意的一個(gè)問題 是畸變。這個(gè)就需要使用相應(yīng)的畸變校正方法， 目前也開發(fā)出了很多自動(dòng)畸變自 動(dòng)校正系統(tǒng)。3CCD 攝像機(jī)及圖像采集卡CCD Charge Coupled Device攝像機(jī)及圖像采集卡共同完成對(duì)目標(biāo)圖像的采 集

9、與數(shù)字化。目前CCD CMOS等固體器件的應(yīng)用技術(shù)，線陣圖型敏感器件，像 元尺寸不斷減小，陣列像元數(shù)量不斷增加，像元電荷傳輸速率也得到大幅提高。 在基于PC機(jī)的機(jī)器視覺系統(tǒng)中，圖像采集卡是控制攝像機(jī)拍照來完成圖像的采 集與數(shù)字化，并協(xié)調(diào)整個(gè)系統(tǒng)的重要設(shè)備。圖像采集卡直接決定了攝像頭的接口為 :黑白、彩色、模擬、數(shù)字等形式。2、 圖像處理與分析機(jī)器視覺的核心用于機(jī)器視覺的圖像處理與分析方法的核心是，解決目標(biāo)的檢測(cè)識(shí)別問題。 為此，提出方法的思想中心是如何獲得可正確描述目標(biāo)物與非目標(biāo)物的特征。 當(dāng) 所需要識(shí)別的目標(biāo)比擬復(fù)雜時(shí)， 就需要通過幾個(gè)環(huán)節(jié)， 從不同的側(cè)面綜合來實(shí)現(xiàn)。對(duì)目標(biāo)進(jìn)行識(shí)別提取的時(shí)候

10、， 首先是要考慮如何自動(dòng)地將目標(biāo)物從背景中分 離出來。目標(biāo)物提取的復(fù)雜性一般就在于目標(biāo)物與非目標(biāo)物的特征差異不是很 大，在確定了目標(biāo)提取方案后， 就需要對(duì)目標(biāo)特征進(jìn)行增強(qiáng)。 增強(qiáng)方法有顏色特 征的增強(qiáng)、累計(jì)特征的增強(qiáng)等。經(jīng)過特征增強(qiáng)后，最后就是目標(biāo)物的提取了。這 里也有很多不同的方法， 比方偽目標(biāo)刪除方法、 自適應(yīng)閾值方法、逐步驟類方法、 多信息融合方法等 4 。隨著計(jì)算機(jī)技術(shù)、 微電子技術(shù)以及大規(guī)模集成電路的開展， 圖像信息處理工 作越來越多地借助硬件完成，如 DSP 芯片、專用的圖像信號(hào)處理卡等。軟件部 分主要用來完成算法中并不成熟又較復(fù)雜或需不斷完善改良的局部。 這一方面提 高了系統(tǒng)的實(shí)

11、時(shí)性，同時(shí)又降低了系統(tǒng)的復(fù)雜度。四、機(jī)器視覺的開展現(xiàn)狀及應(yīng)用目前，最先進(jìn)的機(jī)器視覺技術(shù)仍然由歐美、 日本等國(guó)家掌握， 興旺國(guó)家針對(duì) 工業(yè)現(xiàn)場(chǎng)的應(yīng)用開發(fā)出了相應(yīng)的機(jī)器視覺軟硬件產(chǎn)品。 中國(guó)目前正處于由勞動(dòng)密 集型向技術(shù)密集型轉(zhuǎn)型的時(shí)期， 對(duì)提高生成效率、 降低人工本錢的機(jī)器視覺方案 有著旺盛的需求， 中國(guó)正在成為機(jī)器視覺技術(shù)開展最為活潑的地區(qū)之一。 長(zhǎng)三角 和珠三角成為國(guó)際電子和半導(dǎo)體技術(shù)的轉(zhuǎn)移地， 同時(shí)也就成為了機(jī)器視覺技術(shù)的 聚集地。許多具有國(guó)際先進(jìn)水平的機(jī)器視覺系統(tǒng)進(jìn)入了中國(guó)， 國(guó)內(nèi)的機(jī)器視覺企 業(yè)也在與國(guó)際機(jī)器視覺企業(yè)的良性競(jìng)爭(zhēng)中不斷茁壯成長(zhǎng)， 許多大學(xué)和研究所都在 致力于機(jī)器視覺技術(shù)的

12、研究。在國(guó)外，機(jī)器視覺主要應(yīng)用在半導(dǎo)體及電子行業(yè)，其中，半導(dǎo)體行業(yè)占40%50%。例如，PCB印刷電路、SMT外表貼裝、電子生產(chǎn)加工設(shè)備等。此 外機(jī)器視覺還在質(zhì)量檢測(cè)的各方面及其他領(lǐng)域均有著廣泛應(yīng)用。 1 在工業(yè)檢測(cè)方面近幾十年來，在工業(yè)檢測(cè)中利用視覺系統(tǒng)的非接觸、速度快、精度適宜、現(xiàn) 場(chǎng)抗干擾能力強(qiáng)等突出的優(yōu)點(diǎn)， 使機(jī)器視覺技術(shù)得到了廣泛的應(yīng)用， 取得了巨大 的經(jīng)濟(jì)與社會(huì)效益。自動(dòng)視覺識(shí)別檢測(cè)目前已經(jīng)用于產(chǎn)品外形和外表缺陷檢驗(yàn)，如木材加工檢 測(cè)、 金屬外表視覺檢測(cè)、二極管基片檢查、印刷電路板缺陷檢查、焊縫缺陷自 動(dòng)識(shí)別等。 這些檢測(cè)識(shí)別系統(tǒng)屬于二維機(jī)器視覺，技術(shù)已經(jīng)較為成熟，其根本 流程是

13、用一個(gè)攝像機(jī)獲取圖像，對(duì)所獲取的圖像進(jìn)行處理及模式識(shí)別，檢測(cè)出 所需的內(nèi)容 5 。 2 在醫(yī)學(xué)上的應(yīng)用在醫(yī)學(xué)領(lǐng)域，機(jī)器視覺主要用于醫(yī)學(xué)輔助診斷。 首先采集核磁共振、 超聲波、 激光、X射線、丫射線等對(duì)人體檢查記錄的圖像，再利用數(shù)字圖像處理技術(shù)、 信 息融合技術(shù)對(duì)這些醫(yī)學(xué)圖像進(jìn)行分析、 描述和識(shí)別， 最后得出相關(guān)信息， 對(duì)輔助 醫(yī)生診斷人體病源大小、 形狀和異常， 并進(jìn)行有效治療發(fā)揮了重要的作用。 不同 醫(yī)學(xué)影像設(shè)備得到的是不同特性的生物組織圖像，如X射線反映的是骨骼組織， 核磁共振影像反映的是有機(jī)組織圖像， 而醫(yī)生往往需要考慮骨骼 有機(jī)組織的關(guān) 系，因而需要利用數(shù)字圖像處理技術(shù)將兩種圖像適當(dāng)?shù)?/p>

14、疊加起來， 以便于醫(yī)學(xué)分 析5。3 交通監(jiān)控領(lǐng)域中的應(yīng)用智能交通監(jiān)控領(lǐng)域中， 在重要的十字路口安放攝像頭， 就可以利用攝像頭的 快速拍照功能，實(shí)現(xiàn)對(duì)違章、逆行等車牌的車牌進(jìn)行自動(dòng)識(shí)別、存貯，以便相關(guān)的工作人員進(jìn)行查看。 4 在橋梁檢測(cè)領(lǐng)域中的應(yīng)用 人工檢測(cè)法和橋檢車法都是依靠人工用肉眼對(duì)橋梁外表進(jìn)行檢測(cè)，其速度慢，效率低，漏檢率高，實(shí)時(shí)性差，影響交通，存在平安隱患，很難大幅應(yīng)用； 無損檢測(cè)包括激光檢測(cè)、超聲波檢測(cè) 以及聲發(fā)射檢測(cè)等多種檢測(cè)技術(shù)，它們儀 器昂貴，測(cè)量范圍小， 不能滿足日益開展的橋梁檢測(cè)要求； 智能化檢測(cè)有基于導(dǎo) 電性材料的混凝土裂縫分布式自動(dòng)檢測(cè)系統(tǒng)和智能混凝土技術(shù)， 也有最前沿

15、的基 于機(jī)器視覺的檢測(cè)方法。導(dǎo)電性材料技術(shù)雖然使用方便，設(shè)備簡(jiǎn)單，本錢低廉， 但是均需要事先在混凝土結(jié)構(gòu)上涂刷或者埋設(shè)導(dǎo)電性材料進(jìn)行檢測(cè)， 而且智能混 凝土技術(shù)還無法確定裂縫位置、裂縫寬度等一系列問題距實(shí)用化還有較長(zhǎng)的距 離；而基于機(jī)器視覺的檢測(cè)方法是利用 CCD 相機(jī)獲取橋梁表觀圖片，然后運(yùn)用 計(jì)算機(jī)處理后自動(dòng)識(shí)別出裂縫圖像， 并從背景中別離出來然后進(jìn)行裂縫參數(shù)的計(jì) 算的方法，它具有便捷、 直觀、精確、非接觸、再現(xiàn)性好、適應(yīng)性強(qiáng)、靈活性高、 本錢低廉的優(yōu)點(diǎn)，能解放勞動(dòng)力，排除人為干擾，具有很好的應(yīng)用前景6。據(jù)統(tǒng)計(jì)，混凝土橋梁的損壞有 90%以上都是由裂縫引起的， 因此對(duì)橋梁的健 康檢測(cè)主要是

16、對(duì)橋梁表觀的裂縫進(jìn)行檢測(cè)與測(cè)量。 基于機(jī)器視覺的橋梁檢測(cè)技術(shù) 主要包括三局部?jī)?nèi)容： 橋梁表觀圖像的獲取技術(shù)、 基于圖像的裂縫自動(dòng)識(shí)別理論 與算法以及基于圖像的裂縫寬度等病害程度定量化測(cè)量方法?；跈C(jī)器視覺的自動(dòng)化、 智能化檢測(cè)技術(shù)已經(jīng)在道路、 隧道上得到了成功應(yīng) 用，在橋梁上也得到了初步的應(yīng)用， 但主要集中在視線開闊的高空混凝土構(gòu)件表 觀圖像獲取技術(shù)上， 在病害的自動(dòng)識(shí)別方面仍停留在理論研究階段， 還無法應(yīng)用 于實(shí)際工程當(dāng)中。 針對(duì)量大面廣的混凝土梁體， 智能化視頻橋梁檢測(cè)車進(jìn)入理論 與關(guān)鍵部件模型的研制階段， 但是受到橋梁細(xì)小裂縫自動(dòng)識(shí)別與清晰圖像快速化 獲取難度大的限制，目前離到達(dá)實(shí)用化程

17、度的要求還相距甚遠(yuǎn) 6。五、機(jī)器視覺技術(shù)開展遇到的問題對(duì)于人類來說， 識(shí)別和理解周圍場(chǎng)景是一件非常容易的事， 但對(duì)于機(jī)器人來 說，卻是一件很困難的事。主要困難有一下幾個(gè)方面： 1 穩(wěn)定性問題 現(xiàn)實(shí)中的環(huán)境因素是多變的，場(chǎng)景中的諸多因素，包括照明、物體形狀、表面顏色、攝像機(jī)以及空間關(guān)系變化都會(huì)對(duì)生成的圖像有影響。比方用于智能交通檢測(cè)的設(shè)備，如何保證其在惡劣天氣下依舊保持較高的穩(wěn)定性就是一個(gè)很難解決 的問題。(2) 構(gòu)造出性能良好的識(shí)別算法圖像處理與分析技術(shù)是機(jī)器視覺的核心，所以構(gòu)造出一個(gè)良好的、適應(yīng)相關(guān) 領(lǐng)域應(yīng)用的識(shí)別算法顯得尤為重要。而且現(xiàn)在的應(yīng)用領(lǐng)域越來越要求檢測(cè)設(shè)備具 有準(zhǔn)確、高速地識(shí)別出

18、目標(biāo)的能力，如果我們不能構(gòu)造出一個(gè)更好的識(shí)別算法， 就不能適應(yīng)不斷增長(zhǎng)的需求。(3) 數(shù)據(jù)量大機(jī)器視覺所獲取的數(shù)據(jù)量非常非常大的。比方用于 上的人臉識(shí)別功能， 識(shí)別一次要投射多大幾萬個(gè)紅外線點(diǎn)，這是一個(gè)龐大的數(shù)據(jù)。再比方交通檢測(cè)方 面看，一天累積下來的數(shù)據(jù)量也是驚人的。所以如何處理如此大的信息量是個(gè)難題。不過隨著硬件技術(shù)的開展，這個(gè)問題將來會(huì)逐步得到解決。六、結(jié)束語機(jī)器視覺的誕生和應(yīng)用，大幅解放了人類勞動(dòng)力，同時(shí)提高了生產(chǎn)自動(dòng)化水 平，裝備的使用效率、可靠性及穩(wěn)定性等。隨著新技術(shù)、新理論在機(jī)器視覺系統(tǒng) 中的應(yīng)用，機(jī)器視覺將在國(guó)民經(jīng)濟(jì)的各領(lǐng)域申發(fā)揮更大作用，其應(yīng)用前景廣闊， 并為社會(huì)的開展帶來了新的技術(shù)革命。郭靜,羅華,張濤.機(jī)器視覺與應(yīng)用J.電子科技,2021, 27(