人工智能通識教程 第2版 課件 第10章 計算機視覺

第2版人工智能通識教程第10章周蘇教授QQ：81505050計算機視覺導(dǎo)讀案例：谷歌大腦的誕生谷歌大腦是“GoogleX實驗室”的一個研究項目，是谷歌在人工智能領(lǐng)域開發(fā)出的一款模擬人腦的軟件，這個軟件具備自我學(xué)習(xí)功能。GoogleX部門的科學(xué)家們通過將1.6萬臺電腦的處理器相連接建造出了這個全球為數(shù)不多的最大中樞網(wǎng)絡(luò)系統(tǒng)。谷歌的一個研究團(tuán)隊發(fā)布了有史以來最高分辨率的動物大腦連接圖——半腦連接組，這是重建的首個突觸級連接組。該模型追蹤了果蠅大腦中約25000個神經(jīng)元的2000萬個突觸，它們可以被分成數(shù)千種不同的細(xì)胞類型，橫跨大腦的幾個區(qū)域。01模式識別02圖像識別03計算機視覺技術(shù)04智能圖像處理技術(shù)目錄/CONTENTS05計算機視覺典型功能06計算機視覺技術(shù)應(yīng)用計算機視覺是一門研究如何使機器“看”的科學(xué)，更進(jìn)一步的說，就是指用攝影機、照相機和電腦代替人眼對目標(biāo)進(jìn)行識別、跟蹤和測量等的機器的視覺，并進(jìn)一步做圖形處理，使之成為更適合人眼觀察或傳送給儀器檢測的圖像。第10章計算機視覺計算機視覺研究相關(guān)的理論和技術(shù)，試圖建立能夠從圖像或者多維數(shù)據(jù)中獲取“信息”的人工智能系統(tǒng)。這里所指的信息，是指可以用來幫助做“決定”的內(nèi)容。因為感知可以看作是從感官信號中提取信息，所以計算機視覺也可以看作是研究如何使人工系統(tǒng)從圖像或多維數(shù)據(jù)中“感知”的科學(xué)。第10章計算機視覺PART01模式識別模式識別原本是人類的一項基本智能，是指對表征事物或現(xiàn)象的不同形式（數(shù)值、文字和邏輯關(guān)系）的信息做分析和處理，從而得到一個對事物或現(xiàn)象做出描述、辨認(rèn)和分類等的過程。隨著計算機技術(shù)發(fā)展和人工智能的興起，人類自身的模式識別已經(jīng)滿足不了社會發(fā)展的需要，于是就希望用計算機來代替或擴展人類的部分腦力勞動。這樣，模擬人類圖像識別過程（圖10-3）的計算機圖像識別技術(shù)就產(chǎn)生了。模式識別與數(shù)學(xué)關(guān)系緊密，其思想方法與概率統(tǒng)計、心理學(xué)、語言學(xué)、計算機科學(xué)、生物學(xué)、控制論等學(xué)科都有關(guān)系。10.1模式識別

圖10-3模式識別過程10.1模式識別模式識別的內(nèi)容包括文字識別、圖像識別、語音識別和生物識別等。從處理問題的性質(zhì)和解決問題的方法等角度來看，模式識別可分為抽象和具體兩種形式。前者如意識、思想、議論等，屬于概念識別研究的范疇。而這里所指的模式識別主要是對語音波形、地震波、心電圖、腦電圖、圖片、照片、文字、符號、生物傳感器等對象的具體模式進(jìn)行辨識。要實現(xiàn)計算機視覺必須有圖像處理的幫助，而圖像處理依賴于模式識別過程的有效運用。10.1模式識別模式識別研究主要集中在兩方面，一是研究生物體（包括人）是如何感知對象的，屬于認(rèn)識科學(xué)的范疇，二是在給定的任務(wù)下，如何用計算機實現(xiàn)模式識別的理論和方法。應(yīng)用計算機對一組事件或過程進(jìn)行辨識和分類，所識別的事件或過程可以是文字、聲音、圖像等具體對象，也可以是狀態(tài)、程度等抽象對象。這些對象與數(shù)字形式的信息相區(qū)別，稱為模式信息。10.1模式識別PART02圖像識別圖像識別，是指利用計算機對圖像進(jìn)行處理、分析和理解，以識別各種不同模式的目標(biāo)和對象，它是深度學(xué)習(xí)算法的一種應(yīng)用實踐。圖像識別技術(shù)一般分為人臉識別與商品識別，人臉識別主要用在安全檢查、身份核驗與移動支付中；商品識別主要用在商品流通過程中，特別是無人貨架、智能零售等無人零售領(lǐng)域。另外，在地理學(xué)中，圖像識別也指將遙感圖像進(jìn)行分類的技術(shù)。圖像識別的方法主要有三種：統(tǒng)計模式識別、結(jié)構(gòu)模式識別和模糊模式識別。10.2圖像識別人類擁有記憶和“高明”的識別系統(tǒng)，比如告訴你面前的一只動物是“貓”，以后你再看到貓，一樣可以認(rèn)出來。圖形刺激作用于感覺器官，人們辨認(rèn)出它是以前見過的某一圖形的過程，叫圖像再認(rèn)。在圖像識別中，既要有當(dāng)時進(jìn)入感官的信息，也要有記憶中存儲的信息。只有通過存儲的信息與當(dāng)前的信息進(jìn)行比較的加工過程，才能實現(xiàn)對圖像的再認(rèn)。10.2.1人類的圖像識別能力人的圖像識別能力是很強的。圖像距離的改變或圖像在感覺器官上作用位置的改變，都會造成圖像在視網(wǎng)膜上的大小和形狀的改變。即使在這種情況下，人們?nèi)匀豢梢哉J(rèn)出他們過去知覺過的圖像。甚至圖像識別可以不受感覺通道的限制。例如，人可以用眼看字，當(dāng)別人在他背上寫字時，他也可以認(rèn)出這個字來。10.2.1人類的圖像識別能力人類是通過眼睛接收到光源反射，“看”到自己眼前的事物，但是很多內(nèi)容元素人們可能并不在乎；就像曾經(jīng)與你擦肩而過的一個人，如果你再次看到并不一定會記得他。然而，人工智能會記住它見過的任何人、任何事物。例如人類覺得很簡單的黃黑相間條紋，如果問問人工智能系統(tǒng)，它給出的答案也許是“99%的概率是校車”。對于圖10-4，人工智能系統(tǒng)雖不能看出這是一條戴著墨西哥帽的吉娃娃狗，但起碼能識別出這是一條戴著寬邊帽的狗。

圖10-4識別戴著墨西哥帽的吉娃娃狗10.2.1人類的圖像識別能力懷俄明大學(xué)進(jìn)化人工智能實驗室的一項研究表明，人工智能未必總是那么靈光，也會把這些隨機生成的簡單圖像當(dāng)成了鸚鵡、乒乓球拍或者蝴蝶。當(dāng)研究人員把這個研究結(jié)果提交給神經(jīng)信息處理系統(tǒng)大會討論時，專家形成了涇渭分明的兩派意見。一組人領(lǐng)域經(jīng)驗豐富，他們認(rèn)為這個結(jié)果是完全可以理解的；另一組人則對研究結(jié)果感到困惑，至少在一開始對強大的人工智能算法卻把結(jié)果完全弄錯感到驚訝。10.2.1人類的圖像識別能力圖像識別以圖像的主要特征為基礎(chǔ)。每個圖像都有它的特征，如字母A有個尖，P有個圈、而Y的中心有個銳角等。對圖像識別時眼動的研究表明，人們的視線總是集中在圖像的主要特征上，也就是集中在圖像輪廓曲度最大或輪廓方向突然改變的地方，這些地方的信息量最大。而且，眼睛的掃描路線也總是依次從一個特征轉(zhuǎn)到另一個特征上。由此可見，在圖像識別過程中，知覺機制必須排除輸入的多余信息，抽出關(guān)鍵信息。同時，在大腦里必定有一個負(fù)責(zé)整合信息的機制，它能把分階段獲得的信息整理成一個完整的知覺映像。10.2.2圖像識別的基礎(chǔ)人類對復(fù)雜圖像的識別往往要通過不同層次的信息加工才能實現(xiàn)。對于熟悉的圖形，由于掌握了它的主要特征，會把它當(dāng)作一個單元來識別，而不再注意它的細(xì)節(jié)。這種由孤立單元材料組成的整體單位叫做組塊，每一個組塊是同時被感知的。在文字材料的識別中，人們不僅可以把一個漢字的筆劃或偏旁等單元組成一個組塊，而且能把經(jīng)常在一起出現(xiàn)的字或詞組成組塊單位來加以識別。10.2.2圖像識別的基礎(chǔ)事實上，基于計算機視覺的圖像檢索也可以分為類似文本搜索引擎的三個步驟：提取特征、建立索引以及查詢。在計算機視覺識別系統(tǒng)中，圖像內(nèi)容通常用圖像特征進(jìn)行描述。舉例：圖片線條特征提取后高層特征的逐層構(gòu)建，其中展示了不同層提取到了不同的特征。第一層是一些簡單的線條顏色等（圖10-5）。10.2.2圖像識別的基礎(chǔ)

圖10-5圖像特征提取的第1層和3層10.2.2圖像識別的基礎(chǔ)第二層是不同線條組成的簡單形狀。第三層是簡單形狀組成的簡單圖案。第四層是在第三層基礎(chǔ)上面構(gòu)建了部分狗臉的輪廓等更復(fù)雜的特征（圖10-6）。第五層是又增加了部分復(fù)雜性的輪廓，比如人臉等。10.2.2圖像識別的基礎(chǔ)圖10-6圖像特征提取的第4層和第5層10.2.2圖像識別的基礎(chǔ)為了編制模擬人類圖像識別活動的計算機程序，人們提出了不同的圖像識別模型。例如，模板匹配模型認(rèn)為，識別某個圖像，過去的經(jīng)驗中有這個圖像的記憶模式，叫做模板。當(dāng)前的刺激如果與大腦中的某個模板相匹配，這個圖像就被識別了。事實上人不僅能識別與腦中的模板完全一致的圖像，也能識別與模板不完全一致的圖像。例如，人們不僅能識別某一個具體的字母A，也能識別印刷體的、手寫體的、方向不正、大小不同的各種字母A。同時，人能識別的圖像是大量的，如果所識別的每一個圖像在腦中都有一個相應(yīng)的模板，這是不可能的。10.2.3圖形識別的模型為了解決模板匹配模型存在的問題，格式塔心理學(xué)家又提出了一個原型匹配模型。這種模型認(rèn)為，在長時記憶中存儲的并不是所要識別的無數(shù)個模板，而是圖像的某些“相似性”。從圖像中抽象出來的“相似性”作為原型，拿它來檢驗所要識別的圖像。如果找到一個相似的原型，這個圖像就被識別了。這種模型從神經(jīng)上和記憶探尋的過程來看，都比模板匹配模型更適宜，而且還能說明對一些不規(guī)則的，但某些方面與原型相似的圖像的識別。10.2.3圖形識別的模型但是，這種模型沒有說明人是怎樣對相似的刺激進(jìn)行辨別和加工的，它也難以在計算機程序中得到實現(xiàn)。因此又有人提出了一個更復(fù)雜的模型——“泛魔”識別模型，又稱“萬鬼堂”，它是一種具體的特征分析模型：第一層：印象鬼，對外部刺激編碼形成刺激映像；第二層：特征鬼，進(jìn)行特征分解；第三層：認(rèn)知鬼，監(jiān)視特征鬼的反應(yīng)，綜合各種特征并作出反應(yīng)；第四層：決策鬼，根據(jù)認(rèn)知鬼的反應(yīng)做出決策，識別模式。10.2.3圖形識別的模型在一般工業(yè)使用中，采用工業(yè)相機拍攝圖片，然后利用軟件根據(jù)圖片灰階差做處理后識別出有用信息。10.2.3圖形識別的模型圖像識別的發(fā)展經(jīng)歷了三個階段：文字識別：研究開始于1950年。一般是識別字母、數(shù)字和符號，從印刷文字識別到手寫文字識別，應(yīng)用非常廣泛。數(shù)字圖像處理和識別：研究開始于1965年。數(shù)字圖像與模擬圖像相比具有存儲和傳輸方便、可壓縮、傳輸過程中不易失真、處理方便等巨大優(yōu)勢，為圖像識別技術(shù)的發(fā)展提供了強大動力。物體識別：主要是指對三維世界的客體及環(huán)境的感知和認(rèn)識，屬于高級計算機視覺范疇。它是以數(shù)字圖像處理與識別為基礎(chǔ)，結(jié)合了多學(xué)科的研究方向，其研究成果被廣泛應(yīng)用在各種工業(yè)及機器人探測上。10.2.3圖形識別的模型神經(jīng)網(wǎng)絡(luò)圖像識別技術(shù)是在傳統(tǒng)的圖像識別方法基礎(chǔ)上了融合神經(jīng)網(wǎng)絡(luò)算法的一種圖像識別方法。在神經(jīng)網(wǎng)絡(luò)圖像識別技術(shù)中，遺傳算法與BP（backpropagation，反向傳播）網(wǎng)絡(luò)相融合的神經(jīng)網(wǎng)絡(luò)圖像識別模型非常經(jīng)典，在很多領(lǐng)域都有它的應(yīng)用。BP網(wǎng)絡(luò)是1986年由科學(xué)家魯梅爾哈特和麥克萊蘭提出的概念，是一種按照誤差逆向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)。在圖像識別系統(tǒng)中利用神經(jīng)網(wǎng)絡(luò)系統(tǒng)，一般會先提取圖像的特征，再利用圖像所具有的特征映射到神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像識別分類。10.2.4神經(jīng)網(wǎng)絡(luò)圖像識別以汽車拍照自動識別技術(shù)為例，當(dāng)汽車通過的時候，汽車自身具有的檢測設(shè)備會有所感應(yīng)。此時檢測設(shè)備就會啟用圖像采集裝置來獲取汽車正反面的圖像。獲取圖像后上傳到計算機進(jìn)行保存以便識別。車牌定位模塊提取車牌信息，對車牌上的字符進(jìn)行識別并顯示最終的結(jié)果。在對車牌上的字符進(jìn)行識別時就用到了基于模板匹配算法和基于人工神經(jīng)網(wǎng)絡(luò)算法。10.2.4神經(jīng)網(wǎng)絡(luò)圖像識別PART03計算機視覺技術(shù)計算機視覺技術(shù)是計算機模擬人類的視覺過程，具有感受環(huán)境的能力和人類視覺功能的技術(shù)。圖像處理、人工智能和模式識別等技術(shù)的綜合。10.3計算機視覺技術(shù)機器視覺是人工智能領(lǐng)域中發(fā)展迅速的一個重要分支，正處于不斷突破、走向成熟的階段。一般認(rèn)為，機器視覺“是通過光學(xué)裝置和非接觸傳感器自動地接受和處理一個真實場景的圖像，通過分析圖像獲得所需信息或用于控制機器運動的裝置”。10.3.1什么是機器視覺具有智能圖像處理功能的機器視覺，相當(dāng)于人們在賦予機器智能的同時為機器按上了眼睛，使機器能夠“看得見”“看得準(zhǔn)”，可替代甚至勝過人眼做測量和判斷，使得機器視覺系統(tǒng)可以實現(xiàn)高分辨率和高速度的控制。而且，機器視覺系統(tǒng)與被檢測對象無接觸，安全可靠。圖10-7圖像處理與模式識別應(yīng)用于指紋識別10.3.1什么是機器視覺機器視覺的起源可追溯到20世紀(jì)60年代美國學(xué)者L.R.羅伯茲對多面體積木世界的圖像處理研究，70年代麻省理工學(xué)院（MIT）人工智能實驗室“機器視覺”課程的開設(shè)。到80年代，全球性機器視覺研究熱潮開始興起，出現(xiàn)了一些基于機器視覺的應(yīng)用系統(tǒng)。90年代以后，隨著計算機和半導(dǎo)體技術(shù)的飛速發(fā)展，機器視覺的理論和應(yīng)用得到進(jìn)一步發(fā)展。10.3.1什么是機器視覺進(jìn)入21世紀(jì)后，機器視覺技術(shù)的發(fā)展速度更快，已經(jīng)大規(guī)模地應(yīng)用于多個領(lǐng)域，如智能制造、智能交通、醫(yī)療衛(wèi)生、安防監(jiān)控等領(lǐng)域。常見機器視覺系統(tǒng)主要分為兩類，一類是基于計算機的，如工控機或PC，另一類是更加緊湊的嵌入式設(shè)備。典型的基于工控機的機器視覺系統(tǒng)主要包括：光學(xué)系統(tǒng)，攝像機和工控機（包含圖像采集、圖像處理和分析、控制/通信）等單元（圖10-8）。機器視覺系統(tǒng)對核心的圖像處理要求算法準(zhǔn)確、快捷和穩(wěn)定，同時還要求系統(tǒng)的實現(xiàn)成本低，升級換代方便。10.3.1什么是機器視覺

圖10-8機器視覺系統(tǒng)10.3.1什么是機器視覺視覺是各個應(yīng)用領(lǐng)域，如制造業(yè)、檢驗、文檔分析、醫(yī)療診斷和軍事等領(lǐng)域中各種智能/自主系統(tǒng)中不可分割的一部分。由于它的重要性，一些先進(jìn)國家把對計算機視覺的研究列為對經(jīng)濟(jì)和科學(xué)有廣泛影響的科學(xué)和工程中的重大挑戰(zhàn)。圖10-9計算機視覺的相關(guān)領(lǐng)域10.3.2定義計算機視覺計算機視覺開始于60年代初，基本研究中的許多重要進(jìn)展是在80年代取得的。從圖像處理和模式識別發(fā)展起來的計算機視覺，是使用計算機及相關(guān)設(shè)備來模擬人的視覺機理獲取和處理信息的能力。它所面臨的挑戰(zhàn)是要為計算機和機器人開發(fā)具有與人類水平相當(dāng)?shù)囊曈X能力。機器視覺需要把圖像信號、紋理和顏色建模、幾何處理和推理以及物體建模等所有這些處理都緊密地集成在一起。10.3.2定義計算機視覺計算機視覺要達(dá)到的基本目的包括：（1）根據(jù)一幅或多幅二維投影圖像計算出觀察點到目標(biāo)物體的距離；（2）根據(jù)一幅或多幅二維投影圖像計算出目標(biāo)物體的運動參數(shù)；（3）根據(jù)一幅或多幅二維投影圖像計算出目標(biāo)物體的表面物理特性；（4）根據(jù)多幅二維投影圖像恢復(fù)出更大空間區(qū)域的投影圖像。10.3.2定義計算機視覺人工智能所研究的一個主要問題是：如何讓系統(tǒng)具備“計劃”和“決策能力”，從而使之完成特定的技術(shù)動作（例如：移動一個機器人通過某種特定環(huán)境）。在這里，計算機視覺系統(tǒng)作為一個感知器，為決策提供信息。10.3.2定義計算機視覺為了達(dá)到計算機視覺的目的，有兩種技術(shù)途徑可以考慮。第一種是仿生學(xué)方法，即從分析人類視覺的過程入手，利用大自然提供給我們的最好參考系——人類視覺系統(tǒng)，建立起視覺過程的計算模型，然后用計算機系統(tǒng)實現(xiàn)之。第二種是工程方法，即脫離人類視覺系統(tǒng)的約束，利用一切可行和實用的技術(shù)手段實現(xiàn)視覺功能。此方法的一般做法是，將人類視覺系統(tǒng)作為一個黑盒子對待，實現(xiàn)時只關(guān)心對于某種輸入，視覺系統(tǒng)將給出何種輸出。10.3.2定義計算機視覺這兩種方法理論上都是可行的，但面臨的困難是，人類視覺系統(tǒng)對應(yīng)某種輸入的輸出到底是什么，這是無法直接測得的。而且由于人的智能活動是一個多功能系統(tǒng)綜合作用的結(jié)果，即使是得到了一個輸入輸出對，也很難肯定它是僅由當(dāng)前的輸入視覺刺激所產(chǎn)生的響應(yīng)，而不是一個與歷史狀態(tài)綜合作用的結(jié)果。10.3.2定義計算機視覺計算機視覺和機器視覺領(lǐng)域有顯著的重疊。計算機視覺涉及被用于許多領(lǐng)域自動化圖像分析的核心技術(shù)。機器視覺通常指的是結(jié)合自動圖像分析與其他方法和技術(shù)，以提供自動檢測和機器人指導(dǎo)，實現(xiàn)在工業(yè)應(yīng)用中的一個過程。在許多計算機視覺應(yīng)用中，計算機被預(yù)編程，以解決特定的任務(wù)，但基于學(xué)習(xí)的方法現(xiàn)在正變得越來越普遍。10.3.3計算機視覺與機器視覺的區(qū)別一般認(rèn)為，計算機就是機器的一種，那么，計算機視覺與機器視覺有什么區(qū)別呢？（1）定義不同。計算機視覺是一門研究如何使機器“看”的科學(xué)，更進(jìn)一步的說，是指用攝影機和電腦代替人眼對目標(biāo)進(jìn)行識別、跟蹤和測量等機器視覺，并進(jìn)一步做圖形處理，使電腦處理成為更適合人眼觀察或傳送給儀器檢測的圖像。10.3.3計算機視覺與機器視覺的區(qū)別機器視覺系統(tǒng)通過機器視覺產(chǎn)品（即圖像攝取裝置，分CMOS和CCD兩種）將被攝取目標(biāo)轉(zhuǎn)換成圖像信號，傳送給專用的圖像處理系統(tǒng)，得到被攝目標(biāo)的形態(tài)信息，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號；圖像系統(tǒng)對這些信號進(jìn)行各種運算來抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來控制現(xiàn)場的設(shè)備動作。10.3.3計算機視覺與機器視覺的區(qū)別（2）原理不同。計算機視覺是用各種成像系統(tǒng)代替視覺器官作為輸入敏感手段，由計算機來代替大腦完成處理和解釋。計算機視覺的最終研究目標(biāo)就是使計算機能像人那樣通過視覺觀察和理解世界，具有自主適應(yīng)環(huán)境的能力。這是一個需要經(jīng)過長期的努力才能達(dá)到的目標(biāo)。因此，在實現(xiàn)最終目標(biāo)以前，人們努力的中期目標(biāo)是建立一種視覺系統(tǒng)，這個系統(tǒng)能依據(jù)視覺敏感和反饋的某種程度的智能完成一定的任務(wù)。例如，計算機視覺的一個重要應(yīng)用領(lǐng)域就是自主車輛的視覺導(dǎo)航，還沒有條件實現(xiàn)象人那樣能識別和理解任何環(huán)境，完成自主導(dǎo)航的系統(tǒng)。10.3.3計算機視覺與機器視覺的區(qū)別人們努力的研究目標(biāo)是實現(xiàn)在高速公路上具有道路跟蹤能力，可避免與前方車輛碰撞的視覺輔助駕駛系統(tǒng)。在計算機視覺系統(tǒng)中計算機起代替人腦的作用，但并不意味著計算機必須按人類視覺的方法完成視覺信息的處理。計算機視覺可以而且應(yīng)該根據(jù)計算機系統(tǒng)的特點來進(jìn)行視覺信息的處理。人類的視覺系統(tǒng)是迄今為止人們所知道的功能最強大和完善的視覺系統(tǒng)，對人類視覺處理機制的研究將給計算機視覺的研究提供啟發(fā)和指導(dǎo)。10.3.3計算機視覺與機器視覺的區(qū)別因此，用計算機信息處理的方法研究人類視覺的機理，建立人類視覺的計算理論，也是一個非常重要和令人感興趣的研究領(lǐng)域。這方面的研究被稱為計算視覺，是計算機視覺中的一個重要研究領(lǐng)域。10.3.3計算機視覺與機器視覺的區(qū)別機器視覺的檢測系統(tǒng)采用CCD（電荷耦合元件）照相機將被檢測的目標(biāo)轉(zhuǎn)換成圖像信號，傳送給專用的圖像處理系統(tǒng)，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號，圖像處理系統(tǒng)對這些信號進(jìn)行各種運算來抽取目標(biāo)的特征，如面積、數(shù)量、位置、長度，再根據(jù)預(yù)設(shè)的允許度和其他條件輸出結(jié)果，包括尺寸、角度、個數(shù)、合格/不合格、有/無等，實現(xiàn)自動識別功能。10.3.3計算機視覺與機器視覺的區(qū)別PART04智能圖像處理技術(shù)智能圖像處理是指一類基于計算機的自適應(yīng)于各種應(yīng)用場合的圖像處理和分析技術(shù)，本身是一個獨立的理論和技術(shù)領(lǐng)域，但同時又是機器視覺中的一項十分重要的技術(shù)支撐。10.4智能圖像處理技術(shù)圖像處理一般指數(shù)字圖像處理。數(shù)字圖像是指用數(shù)字?jǐn)z像機、掃描儀等設(shè)備經(jīng)過采樣和數(shù)字化得到的一個大的二維數(shù)組，該數(shù)組的元素稱為像素，其值為一整數(shù)，稱為灰度值。圖像處理技術(shù)的主要內(nèi)容包括圖像壓縮，增強和復(fù)原，匹配、描述和識別3個部分。常見的處理有圖像數(shù)字化、圖像編碼、圖像增強、圖像復(fù)原、圖像分割和圖像分析等。機器視覺的圖像處理系統(tǒng)對現(xiàn)場的數(shù)字圖像信號按照具體的應(yīng)用要求進(jìn)行運算和分析，根據(jù)獲得的處理結(jié)果來控制現(xiàn)場設(shè)備的動作。10.4智能圖像處理技術(shù)圖像采集就是從工作現(xiàn)場獲取場景圖像的過程，是機器視覺的第一步，采集工具大多為CCD或CMOS照相機或攝像機。照相機采集的是單幅圖像，攝像機可以采集連續(xù)的現(xiàn)場圖像。就一幅圖像而言，它實際上是三維場景在二維圖像平面上的投影，圖像中某一點的彩色（亮度和色度）是場景中對應(yīng)點彩色的反映。這就是我們可以用采集圖像來替代真實場景的依據(jù)所在。10.4.1圖像采集如果相機是模擬信號輸出，需要將模擬圖像信號數(shù)字化后送給計算機（包括嵌入式系統(tǒng)）處理?，F(xiàn)在大部分相機都可直接輸出數(shù)字圖像信號。不僅如此，現(xiàn)在相機的數(shù)字輸出接口也是標(biāo)準(zhǔn)化的，如USB、VGA、1394、HDMI、WiFi、BlueTooth接口等，可以直接送入計算機進(jìn)行處理，后續(xù)的圖像處理工作往往是由計算機或嵌入式系統(tǒng)以軟件的方式進(jìn)行。10.4.1圖像采集對于采集到的數(shù)字化現(xiàn)場圖像，由于受到設(shè)備和環(huán)境因素的影響，往往會受到不同程度的干擾，如噪聲、幾何形變、彩色失調(diào)等，為此必須對采集圖像進(jìn)行預(yù)處理。常見的預(yù)處理包括噪聲消除、幾何校正、直方圖均衡等處理。使用時域或頻域濾波的方法來消除圖像中的噪聲；采用幾何變換的辦法來校正圖像的幾何失真；采用直方圖均衡、同態(tài)濾波等方法來減輕圖像的彩色偏離。總之，通過這一系列的圖像預(yù)處理技術(shù)，對采集圖像進(jìn)行“加工”，為機器視覺應(yīng)用提供“更好”“更有用”的圖像。10.4.2圖像預(yù)處理所謂圖像分割，就是按照應(yīng)用要求，把圖像分成各具特征的區(qū)域，從中提取出感興趣目標(biāo)。在圖像中常見的特征有灰度、彩色、紋理、邊緣、角點等。例如，對汽車裝配流水線圖像進(jìn)行分割，分成背景區(qū)域和工件區(qū)域，提供給后續(xù)處理單元對工件安裝部分的處理。10.4.3圖像分割圖像分割是圖像處理中的一項關(guān)鍵技術(shù)，其研究一直都受到人們的高度重視，借助于各種理論提出了數(shù)以千計的圖像分割算法，例如閾值、邊緣檢測、區(qū)域提取、結(jié)合特定理論工具等。從圖像的類型來分，有灰度圖像、彩色圖像和紋理圖像等分割。早在1965年就有人提出了檢測邊緣算子，使得邊緣檢測產(chǎn)生了不少經(jīng)典算法。隨著基于直方圖和小波變換的圖像分割方法的研究計算技術(shù)、VLSI技術(shù)的迅速發(fā)展，有關(guān)圖像處理方面的研究已經(jīng)取得了很大的進(jìn)展。近年來，人們利用基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法進(jìn)行圖像分割，其性能勝過傳統(tǒng)算法。10.4.3圖像分割在制造或安防等行業(yè)，機器視覺都離不開對輸入圖像的目標(biāo)（又稱特征）進(jìn)行識別和分類處理，以便在此基礎(chǔ)上完成后續(xù)的判斷和操作。識別和分類技術(shù)有很多相同的地方，常常在目標(biāo)識別完成后，目標(biāo)的類別也就明確了。圖像識別技術(shù)正在跨越傳統(tǒng)方法，形成以神經(jīng)網(wǎng)絡(luò)為主流的智能化圖像識別方法，如卷積神經(jīng)網(wǎng)絡(luò)（CNN）、回歸神經(jīng)網(wǎng)絡(luò)（RNN）等一類性能優(yōu)越的方法。

圖10-10目標(biāo)（特征）識別10.4.4目標(biāo)識別和分類在智能制造中，最常見的工作就是對目標(biāo)工件進(jìn)行安裝，但是在安裝前往往需要先對目標(biāo)進(jìn)行定位，安裝后還需對目標(biāo)進(jìn)行測量。安裝和測量都需要保持較高的精度和速度，如毫米級精度（甚至更?。?，毫秒級速度。這種高精度、高速度的定位和測量，倚靠通常的機械或人工的方法是難以辦到的。在機器視覺中，采用圖像處理的辦法，對安裝現(xiàn)場圖像進(jìn)行處理，按照目標(biāo)和圖像之間的復(fù)雜映射關(guān)系進(jìn)行處理，從而快速精準(zhǔn)地完成定位和測量任務(wù)。10.4.5目標(biāo)定位和測量圖像處理中的運動目標(biāo)檢測和跟蹤，就是實時檢測攝像機捕獲的場景圖像中是否有運動目標(biāo)，并預(yù)測它下一步的運動方向和趨勢，即跟蹤。并及時將這些運動數(shù)據(jù)提交給后續(xù)的分析和控制處理，形成相應(yīng)的控制動作。圖像采集一般使用單個攝像機，如果需要也可以使用兩個攝像機，模仿人的雙目視覺而獲得場景的立體信息，這樣更加有利于目標(biāo)檢測和跟蹤處理。10.4.6目標(biāo)檢測和跟蹤PART05計算機視覺系統(tǒng)典型功能計算機視覺系統(tǒng)的結(jié)構(gòu)形式在很大程度上依賴其應(yīng)用方向。有些是獨立工作的，解決具體的測量或檢測問題，有些作為某個大型復(fù)雜系統(tǒng)的一部分，比如和機械控制系統(tǒng)、數(shù)據(jù)庫系統(tǒng)、人機接口設(shè)備協(xié)同工作。計算機視覺系統(tǒng)中的有些功能幾乎是每個系統(tǒng)都需要具備的。

圖10-11計算機視覺（檢測）系統(tǒng)組成10.5計算機視覺系統(tǒng)典型功能計算機視覺系統(tǒng)的一些關(guān)鍵要素包括：·光源布局影響大，需審慎考量?！ふ_選擇鏡組，考量倍率、空間、尺寸、失真等?！みx擇合適的攝影機（CCD），考量其功能、規(guī)格、穩(wěn)定性、耐用型等?！ひ曈X軟件的開發(fā)依賴經(jīng)驗累積，要多嘗試、思考問題的解決途徑。·以創(chuàng)造精度的不斷提升，縮短處理時間為最終目標(biāo)。10.5計算機視覺系統(tǒng)典型功能（1）圖像獲取。一幅數(shù)字圖像是由一個或多個圖像感知器產(chǎn)生，感知器可以是各種光敏攝像機，包括遙感設(shè)備、X射線斷層攝影儀、雷達(dá)、超聲波接收器等。取決于不同的感知器，產(chǎn)生的圖片可以是普通的二維圖像、三維圖組或者一個圖像序列。圖片的像素值往往對應(yīng)于光在一個或多個光譜段上的強度（灰度圖或彩色圖），但也可以是相關(guān)的各種物理數(shù)據(jù)，如聲波、電磁波或核磁共振的深度、吸收度或反射度。。10.5計算機視覺系統(tǒng)典型功能（2）預(yù)處理。在對圖像實施具體的計算機視覺方法來提取某種特定的信息之前，往往采用一種或一些預(yù)處理來使圖像滿足后繼方法的要求。例如：·二次取樣保證圖像坐標(biāo)的正確；·平滑去噪來濾除感知器引入的設(shè)備噪聲；·提高對比度來保證實現(xiàn)相關(guān)信息可以被檢測到；·調(diào)整尺度空間使圖像結(jié)構(gòu)適合局部應(yīng)用。10.5計算機視覺系統(tǒng)典型功能（3）特征提取。從圖像中提取各種復(fù)雜度的特征。例如：·線，邊緣提??；·局部化的特征點檢測如邊角檢測，斑點檢測；·更復(fù)雜的特征可能與圖像中的紋理形狀或運動有關(guān)。（4）檢測分割。在處理過程中，有時會需要對圖像進(jìn)行分割來提取有價值的用于后繼處理的部分，例如篩選特征點；分割一或多幅圖片中含有特定目標(biāo)的部分。10.5計算機視覺系統(tǒng)典型功能（5）高級處理。到了這一步，數(shù)據(jù)的數(shù)量就不多了，例如圖像中只有經(jīng)先前處理被認(rèn)為含有目標(biāo)物體的部分。這時的處理包括：·驗證得到的數(shù)據(jù)是否符合前提要求；·估測特定系數(shù)，比如目標(biāo)的姿態(tài)，體積；·對目標(biāo)進(jìn)行分類。高級處理有理解圖像內(nèi)容的含義，是計算機視覺中的高階處理，主要是在圖像分割的基礎(chǔ)上再經(jīng)行對分割出的圖像塊進(jìn)行理解，例如進(jìn)行識別等操作。10.5計算機視覺系統(tǒng)典型功能PART06計算機視覺系統(tǒng)的應(yīng)用圖像是人類獲取和交換信息的主要來源，因此與圖像相關(guān)的圖像識別技術(shù)必定也是未來的研究重點。計算機的圖像識別技術(shù)在公共安全、生物、工業(yè)、農(nóng)業(yè)、交通、醫(yī)療等很多領(lǐng)域都有應(yīng)用。例如交通方面的車牌識別系統(tǒng)，安全方面的人臉識別技術(shù)、指紋識別技術(shù)，農(nóng)業(yè)方面的種子識別技術(shù)、食品品質(zhì)檢測技術(shù)，醫(yī)學(xué)方面的心電圖識別技術(shù)等。隨著計算機技術(shù)的不斷發(fā)展，圖像識別技術(shù)也在不斷地優(yōu)化，其算法也在不斷地改進(jìn)。10.6計算機視覺技術(shù)的應(yīng)用計算機視覺應(yīng)用的實例包括：（1）控制過程，比如一個工業(yè)機器人；（2）導(dǎo)航，例如通過自主汽車或移動機器人；（3）檢測事件，如對視頻監(jiān)控和人數(shù)統(tǒng)計；（4）組織信息，例如對于圖像和圖像序列的索引數(shù)據(jù)庫；（5）造型對象或環(huán)境，如醫(yī)學(xué)圖像分析系統(tǒng)或地形模型；（6）相互作用，例如當(dāng)輸入到一個裝置，用于計算機人的交互；10.6計算機視覺技術(shù)的應(yīng)用（7）自動檢測，例如制造業(yè)的應(yīng)用程序；（8）自動汽車駕駛；（9）生物識別技術(shù)，例如人臉識別。10.6計算機視覺技術(shù)的應(yīng)用最突出的應(yīng)用領(lǐng)域是醫(yī)療計算機視覺和醫(yī)學(xué)圖像處理。這個領(lǐng)域的特征信息從圖像數(shù)據(jù)中提取用于針對患者進(jìn)行醫(yī)療診斷。通常，圖像數(shù)據(jù)是在顯示顯微鏡圖像、X射線圖像、血管造影圖像、超聲圖像和斷層圖像，例如檢測腫瘤、動脈粥樣硬化或其他惡性變化，也可以是器官的尺寸，血流量等，還支持提供醫(yī)學(xué)研究的測量。計算機視覺在醫(yī)療領(lǐng)域的應(yīng)用還包括增強人類的感知能力，例如超聲圖像或X射線圖像，以降低受噪聲影響的圖像。10.6計算機視覺技術(shù)的應(yīng)用第二個重要應(yīng)用領(lǐng)域是工業(yè)，即機器視覺。信息被提取用于支撐制造工序。一個例子是質(zhì)量控制，其中的信息或最終產(chǎn)品被自動檢測。機器視覺也被大量用于農(nóng)業(yè)。10.6計算機視覺技術(shù)的應(yīng)用軍事上的應(yīng)用很可能是計算機視覺最大的地區(qū)之一。最明顯的例子是探測敵方士兵或車輛和導(dǎo)彈制導(dǎo)。更先進(jìn)的系統(tǒng)為導(dǎo)彈制導(dǎo)發(fā)送導(dǎo)彈的區(qū)域，而不是一個特定的目標(biāo)，并且當(dāng)導(dǎo)彈到達(dá)基于本地獲取的圖像數(shù)據(jù)的區(qū)域的目標(biāo)做出選擇?，F(xiàn)代軍事概念，如“戰(zhàn)場感知”，意味著各種傳感器，包括圖像傳感器，提供了豐富的有關(guān)作戰(zhàn)的場景，可用于支持戰(zhàn)略決策的信息。在這種情況下，數(shù)據(jù)的自動處理，用于減少復(fù)雜性和融合來自多個傳感器的信息，以提高可靠性。10.6計算機視覺技術(shù)的應(yīng)用一個較新的應(yīng)用領(lǐng)域是自主交通，其中包括潛水裝置、陸上車輛（帶輪子，如轎車或卡車）、高空作業(yè)車和無人機。完全獨立的自主化水平，通常使用計算機視覺進(jìn)行導(dǎo)航，即知道它在哪里，用于指定的生產(chǎn)環(huán)境（地圖）或檢測障礙物，它也可以被用于檢測特定任務(wù)的特定事件，例如尋找森林火災(zāi)。應(yīng)用領(lǐng)域還包括支持視覺特效制作的電影和廣播，例如，攝像頭跟蹤（運動匹配）、監(jiān)視等。10.6計算機視覺技術(shù)的應(yīng)用機器視覺的應(yīng)用主要體現(xiàn)在半導(dǎo)體及電子行業(yè)，其中大概40%~50%都集中在半導(dǎo)體行業(yè)。

圖10-12半導(dǎo)體領(lǐng)域的機器視覺應(yīng)用10.6.1機器視覺的行業(yè)應(yīng)用具體如PCB印刷電路：各類生產(chǎn)印刷電路板組裝技術(shù)、設(shè)備；單、雙面、多層線路板，覆銅板及所需的材料及輔料；輔助設(shè)施以及耗材、油墨、藥水藥劑、配件；電子封裝技術(shù)與設(shè)備；絲網(wǎng)印刷設(shè)備及絲網(wǎng)周邊材料等。SMT表面貼裝：SMT工藝與設(shè)備、焊接設(shè)備、測試儀器、返修設(shè)備及各種輔助工具及配件、SMT材料、貼片劑、膠粘劑、焊劑、焊料及防氧化油、焊膏、清洗劑等；再流焊機、波峰焊機及自動化生產(chǎn)線設(shè)備。電子生產(chǎn)加工設(shè)備：電子元件制造設(shè)備、半導(dǎo)體及集成電路制造設(shè)備、元器件成型設(shè)備、電子工模具。10.6.1機器視覺的行業(yè)應(yīng)用機器視覺系統(tǒng)還在質(zhì)量檢測的各個方面已經(jīng)得到了廣泛的應(yīng)用，并且其產(chǎn)品在應(yīng)用中占據(jù)著舉足輕重的地位。隨著經(jīng)濟(jì)水平的提高，3D機器視覺也開始進(jìn)入人們的視野，它可用于水果和蔬菜、木材、化妝品、烘焙食品、電子組件和醫(yī)藥產(chǎn)品的評級，可以提高合格產(chǎn)品的生產(chǎn)能力，在生產(chǎn)過程的早期就報廢劣質(zhì)產(chǎn)品，從而減少了浪費節(jié)約成本。這種功能非常適合用于高度、形狀、數(shù)量甚至色彩等產(chǎn)品屬性的成像。10.6.1機器視覺的行業(yè)應(yīng)用在行業(yè)應(yīng)用方面，主要有制藥、包裝、電子、汽車制造、半導(dǎo)體、紡織、煙草、交通、物流等行業(yè)，用機器視覺技術(shù)取代人工，可以提供生產(chǎn)效率和產(chǎn)品質(zhì)量。例如在物流行業(yè)，可以使用機器視覺技術(shù)進(jìn)行快遞的分揀分類，不會出現(xiàn)大多快遞公司人工進(jìn)行分揀，減少物品的損壞率，可以提高分揀效率，減少人工勞動。10.6.1機器視覺的行業(yè)應(yīng)用機器視覺的應(yīng)用主要有檢測和機器人視覺兩個方面：（1）檢測：又分為高精度定量檢測（例如顯微照片的細(xì)胞分類、機械零部件的尺寸和位置測量）和不用量器的定性或半定量檢測（例如產(chǎn)品外觀檢查、裝配線上的零部件識別定位、缺陷性檢測與裝配完全性檢測）。（2）機器人視覺：用于指引機器人在大范圍內(nèi)的操作和行動，如從料斗送出的雜亂工件堆中揀取工件并按一定的方位放在傳輸帶或其他設(shè)備上（即料斗揀取問題）。至于小范圍內(nèi)的操作和行動，還需要借助于觸覺傳感技術(shù)。10.6.2檢測與機器人視覺應(yīng)用此外還有自動光學(xué)檢查、人臉識別、無人駕駛汽車、產(chǎn)品質(zhì)量等級分類、印刷品質(zhì)量自動化檢測、文字識別、紋理識別、追蹤定位等等機器視覺圖像識別的應(yīng)用。10.6.2檢測與機器人視覺應(yīng)用1.汽車車身檢測系統(tǒng)英國ROVER汽車公司800系列汽車車身輪廓尺寸精度的100%在線檢測，是機器視覺系統(tǒng)用于工業(yè)檢測中的一個較為典型的例子，該系統(tǒng)由62個測量單元組成，每個測量單元包括一臺激光器和一個CCD攝像機，用以檢測車身外殼上288個測量點。汽車車身置于測量框架下，通過軟件校準(zhǔn)車身的精確位置。

圖10-13汽車在線檢測10.6.2檢測與機器人視覺應(yīng)用測量單元的校準(zhǔn)將會影響檢測精度，因而受到特別重視。每個激光器/攝像機單元均在離線狀態(tài)下經(jīng)過校準(zhǔn)。同時還有一個在離線狀態(tài)下用三坐標(biāo)測量機校準(zhǔn)過的校準(zhǔn)裝置，可對攝像頂進(jìn)行在線校準(zhǔn)。檢測系統(tǒng)以每40秒檢測一個車身的速度，檢測三種類型的車身。系統(tǒng)將檢測結(jié)果與人、從CAD模型中提取出來的合格尺寸相比較，測量精度為±0.1mm。ROVER的質(zhì)量檢測人員用該系統(tǒng)來判別關(guān)鍵部分的尺寸一致性，如車身整體外型、門、玻璃窗口等。實踐證明，該系統(tǒng)是成功的，并將用于ROVER公司其他系統(tǒng)列汽車的車身檢測。10.6.2檢測與機器人視覺應(yīng)用2.質(zhì)量檢測系統(tǒng)紙幣印刷質(zhì)量檢測系統(tǒng)利用圖像處理技術(shù)，通過對紙幣生產(chǎn)流水線上的紙幣20多項特征（號碼、盲文、顏色、圖案等）進(jìn)行比較分析，檢測紙幣的質(zhì)量，替代傳統(tǒng)的人眼辨別的方法。瓶裝啤酒生產(chǎn)流水線檢測系統(tǒng)可以檢測啤酒是否達(dá)到標(biāo)準(zhǔn)的容量、啤酒標(biāo)簽是否完整。10.6.2檢測與機器人視覺應(yīng)用3.智能交通管理系統(tǒng)通過在交通要道放置攝像頭，當(dāng)有違章車輛（如闖紅燈）時，攝像頭將車輛的牌照拍攝下來，傳輸給中央管理系統(tǒng)，系統(tǒng)利用圖像處理技術(shù)，對拍攝的圖片進(jìn)行分析，提取出車牌號，存儲在數(shù)據(jù)庫中，可以供管理人員進(jìn)行檢索。

圖10-14交通監(jiān)控10.6.2檢測與機器人視覺應(yīng)用4.圖像分析金相圖像分析系統(tǒng)能對金屬或其他材料的基體組織、雜質(zhì)含量、組織成分等進(jìn)行精確、客觀地分析，為產(chǎn)品質(zhì)量提供可靠的依據(jù)。例如金屬表面的裂紋測量：用微波作為信號源，根據(jù)微波發(fā)生器發(fā)出不同波濤率的方波，測量金屬表面的裂紋，微波的波的頻率越高，可測的裂紋越狹小。醫(yī)療圖像分析，包括血液細(xì)胞自動分類計數(shù)、染色體分析、癌癥細(xì)胞識別等。10.6.2檢測與機器人視覺應(yīng)用5.大型工件平行度、垂直度測量儀采用激光掃描與C