人工智能導(dǎo)論-課件-第6章-計(jì)算機(jī)視覺

第6章

計(jì)算機(jī)視覺

導(dǎo)入案例

“最強(qiáng)大腦”之人機(jī)大戰(zhàn)，百度人工智能勝出2017年1月6日，在江蘇衛(wèi)視播出的節(jié)目《最強(qiáng)大腦》第四季中，吳恩達(dá)率隊(duì)的百度人工智能在人臉識(shí)別跨年齡識(shí)別任務(wù)中以3:2的比分驚險(xiǎn)擊敗《最強(qiáng)大腦》名人堂輪值主席、世界記憶大師王峰?！靶《取焙屯醴宓摹皼Q戰(zhàn)”分為兩輪，第一輪，嘉賓從20張蜜蜂少女隊(duì)成員童年照中挑出3張高難度照片，選手通過動(dòng)態(tài)錄像表演將所選童年照和在場(chǎng)的成年少女相匹配。第二輪，人機(jī)共同觀察一位30歲以上的觀眾，隨后將他從30張小學(xué)集體照中找出。根據(jù)節(jié)目組的安排，“小度”和王峰第一輪需要識(shí)別兩個(gè)對(duì)象。對(duì)第一個(gè)對(duì)象的識(shí)別，王峰和“小度”都答對(duì)了?！白顝?qiáng)大腦”之人機(jī)大戰(zhàn)第二個(gè)對(duì)象的識(shí)別，現(xiàn)場(chǎng)出現(xiàn)了一個(gè)事先沒有想到的“狀況”：“小度”為一個(gè)對(duì)象給出了72.98％和72.99％兩個(gè)極其接近的匹配答案，這令現(xiàn)場(chǎng)嘉賓大為困惑?？筛钊苏痼@的是，事實(shí)證明待識(shí)別的對(duì)象群組中的確有原來是識(shí)別對(duì)象群組中有一對(duì)雙胞胎。最后，作為“小度”負(fù)責(zé)人的百度首席科學(xué)家吳恩達(dá)現(xiàn)場(chǎng)選擇72.99％的照片作為最終結(jié)果，匹配正確，而王峰則識(shí)別錯(cuò)誤。這一環(huán)節(jié)上，王峰識(shí)別錯(cuò)誤。第一輪的比賽，小度拿下1分，王峰0分。第二輪比賽，雙方都成功識(shí)別出照片中的人，均拿下2分。因此，最終小度以3：2的比分拿下了第一場(chǎng)比賽。

6.1計(jì)算機(jī)視覺的概念人眼與大腦的協(xié)作使得人們可以獲取、理解及處理視覺信息，人類獲取的環(huán)境信息中有80%左右是通過視覺得到的。近年來，隨著計(jì)算機(jī)技術(shù)和數(shù)字信號(hào)處理技術(shù)的迅猛發(fā)展，計(jì)算機(jī)也能擁有像人類一樣的“視覺”感知方式，并可以執(zhí)行多種任務(wù)。這樣就形成了一門新興的學(xué)科——計(jì)算機(jī)視覺。讓計(jì)算機(jī)能像人一樣看事物，并能理解看到的事物，粒度從非常小的蒼蠅到非常大的宇宙，從靜態(tài)的物體到動(dòng)態(tài)的行為過程，等等。此時(shí)便會(huì)涉及到一個(gè)根本性的問題：怎么樣在計(jì)算機(jī)中表示這么多不同的物體呢？

6.1.1什么是計(jì)算機(jī)視覺計(jì)算機(jī)視覺是要用計(jì)算機(jī)來實(shí)現(xiàn)人類的視覺功能，即對(duì)客觀世界中三維場(chǎng)景的感知、加工和解釋。視覺研究的目的是把握和理解有關(guān)場(chǎng)景的圖像，辨識(shí)和定位其中的目標(biāo)，確定它們的結(jié)構(gòu)、空間排列和分布以及目標(biāo)間的相互關(guān)系等。計(jì)算機(jī)視覺的研究方法：一種是仿生學(xué)方法，即參照人類視覺系統(tǒng)的結(jié)構(gòu)原理，建立相應(yīng)的處理模塊完成類似的功能和工作；另一種是工程的方法，即從分析人類視覺過程的功能著手，并不刻意模擬人類視覺系統(tǒng)的內(nèi)部結(jié)構(gòu)，僅考慮系統(tǒng)的輸入和輸出，采用可行的手段來實(shí)現(xiàn)系統(tǒng)功能。

計(jì)算機(jī)視覺的研究目標(biāo)一個(gè)是建立計(jì)算機(jī)視覺系統(tǒng)來完成各種視覺任務(wù)。計(jì)算機(jī)能借助各種視覺傳感器（如CCD、CMOS攝像器件等）獲取場(chǎng)景的圖像，從中感知和恢復(fù)環(huán)境中物體的幾何性質(zhì)、姿態(tài)結(jié)構(gòu)、運(yùn)動(dòng)情況、相互位置等，并對(duì)客觀場(chǎng)景進(jìn)行識(shí)別、描述、解釋，進(jìn)而做出判定和決斷。二是把該研究作為探索人腦視覺工作機(jī)理的手段，掌握和理解人腦視覺工作的機(jī)理（如計(jì)算神經(jīng)科學(xué)）。這里主要研究的是生物學(xué)機(jī)理。計(jì)算機(jī)視覺利用計(jì)算機(jī)實(shí)現(xiàn)人的視覺功能，同時(shí)又從人類視覺得到啟發(fā)。計(jì)算機(jī)視覺方面的許多重要研究都是通過理解人類視覺系統(tǒng)而實(shí)現(xiàn)的，另外，借助對(duì)人類視覺系統(tǒng)功能的理解研究也可幫助人們開發(fā)新的圖像理解和計(jì)算機(jī)視覺算法。

6.1.2計(jì)算機(jī)視覺的發(fā)展歷程從人工智能誕生起，計(jì)算機(jī)視覺研究和應(yīng)用就引起人們的重視，如前面學(xué)習(xí)的感知機(jī)，它最早用來演示的應(yīng)用就是字母識(shí)別。計(jì)算機(jī)視覺正式成為一個(gè)學(xué)科，要追溯到1963年美國計(jì)算機(jī)科學(xué)家羅伯茨根據(jù)對(duì)貓視覺皮層的研究，提出計(jì)算機(jī)的模式識(shí)別和生物的識(shí)別類似，邊緣是用來描述物體形狀的最關(guān)鍵信息。70年代中期，英國神經(jīng)生理學(xué)家戴維·馬爾提出了一種計(jì)算機(jī)視覺理論：人類視覺的主要功能是通過大腦進(jìn)行一系列處理和變換，來復(fù)原真實(shí)世界中三維場(chǎng)景，并且這種神經(jīng)系統(tǒng)里的信息處理過程是可以用計(jì)算的方式重現(xiàn)的。馬爾認(rèn)為這種重現(xiàn)分為三個(gè)層次：理論、算法和硬件實(shí)現(xiàn)。從此開啟了計(jì)算機(jī)視覺作為一門正式學(xué)科的研究。從1987年開始，國際計(jì)算機(jī)視覺大會(huì)開始給計(jì)算機(jī)視覺領(lǐng)域做出重要貢獻(xiàn)的人頒發(fā)獎(jiǎng)項(xiàng)，獎(jiǎng)項(xiàng)名字就叫做馬爾獎(jiǎng)。計(jì)算機(jī)視覺的發(fā)展歷程20世紀(jì)80年代，計(jì)算機(jī)視覺進(jìn)入了快速發(fā)展時(shí)期，計(jì)算機(jī)視覺的全球性研究熱潮開始興起。出現(xiàn)了諸如基于感知特征群的物體識(shí)別理論框架、主動(dòng)視覺理論框架和視覺集成理論框架，無論是對(duì)二維信息的處理，還是針對(duì)三維圖像的模型及算法研究都有了極大的提升。20世紀(jì)90年代，計(jì)算機(jī)視覺理論進(jìn)一步發(fā)展，并開始在工業(yè)領(lǐng)域中得到應(yīng)用在一些人工作業(yè)危險(xiǎn)系數(shù)較大的工作環(huán)境，或者人類視覺難以滿足需求的場(chǎng)景中，可以借助計(jì)算機(jī)視覺這種非接觸方式，利用機(jī)器人替代人類完成任務(wù)。同時(shí)，在大規(guī)模高重復(fù)性工業(yè)生產(chǎn)場(chǎng)景中，借助計(jì)算機(jī)視覺，機(jī)器人替代人類工作可以大大提高生產(chǎn)效率和自動(dòng)化程度，節(jié)省生產(chǎn)成本。目前，計(jì)算機(jī)視覺技術(shù)已廣泛應(yīng)用于生產(chǎn)和生活的許多領(lǐng)域。在生產(chǎn)過程中應(yīng)用于智能制造的某些環(huán)節(jié)，如工業(yè)探傷和自動(dòng)焊接；并應(yīng)用于智能生活之中，如智能醫(yī)療、智能交通和智能家居。計(jì)算機(jī)視覺的發(fā)展歷程進(jìn)入21世紀(jì)之后，計(jì)算機(jī)視覺已經(jīng)成為計(jì)算機(jī)領(lǐng)域的一個(gè)大學(xué)科了。斯坦福大學(xué)的李飛飛教授牽頭創(chuàng)立了一個(gè)非常龐大的圖像數(shù)據(jù)庫ImageNet。它包含1400萬張圖像，超過20000個(gè)類別。基于這個(gè)數(shù)據(jù)庫，自2010年開始，每年舉辦一次的大規(guī)模視覺識(shí)別挑戰(zhàn)比賽，采用了ImageNet里1000個(gè)子類目的超過120萬張圖片作為數(shù)據(jù)，參賽者來自世界各國的大學(xué)、研究機(jī)構(gòu)和公司，成為計(jì)算機(jī)視覺領(lǐng)域最受關(guān)注的事件之一。

6.1.3計(jì)算機(jī)視覺的應(yīng)用1.安防

安防是最早應(yīng)用計(jì)算機(jī)視覺的領(lǐng)域之一。人臉識(shí)別和指紋識(shí)別；常見的應(yīng)用有利用人臉庫和公共攝像頭對(duì)犯罪嫌疑人進(jìn)行識(shí)別和布控。移動(dòng)檢測(cè)也是計(jì)算機(jī)視覺在安防中的重要應(yīng)用，利用攝像頭監(jiān)控畫面移動(dòng)用于防盜或者勞教和監(jiān)獄的監(jiān)控。計(jì)算機(jī)視覺的應(yīng)用2.交通利用計(jì)算機(jī)視覺技術(shù)對(duì)違章車輛的照片進(jìn)行分析提取車牌號(hào)碼并記錄在案。這是大家都熟知的一項(xiàng)應(yīng)用。此外很多停車場(chǎng)和收費(fèi)站也用到車牌識(shí)別。除了車牌識(shí)別，還有利用攝像頭分析交通擁堵狀況或進(jìn)行隧道橋梁監(jiān)控等技術(shù)，但應(yīng)用并沒有那么廣泛。前面說的是道路應(yīng)用，針對(duì)汽車和駕駛的計(jì)算機(jī)視覺技術(shù)也有很多，如行人識(shí)別、路牌識(shí)別、車輛識(shí)別、車距識(shí)別，還有更進(jìn)一步的也是近兩年突然火起來的無人駕駛等。計(jì)算機(jī)視覺的應(yīng)用前面已經(jīng)提到了淘寶和京東的拍照購物功能。事實(shí)上計(jì)算機(jī)視覺在電商領(lǐng)域的應(yīng)用還有更多。圖片信息是在電商商品列表中扮演著信息傳播最重要的角色，尤其是在手機(jī)上。當(dāng)我們打開購物App時(shí)，最先最快看到的信息一定是圖片。工業(yè)領(lǐng)域也是最早應(yīng)用計(jì)算機(jī)視覺技術(shù)的領(lǐng)域之一。如利用攝像頭拍攝的圖片對(duì)部件長(zhǎng)度進(jìn)行非精密測(cè)量；利用識(shí)別技術(shù)識(shí)別工業(yè)部件上的缺陷和劃痕等；對(duì)生產(chǎn)線上的產(chǎn)品進(jìn)行自動(dòng)識(shí)別和分類用來篩選不合格產(chǎn)品；通過不同角度的照片重建零部件三維模型。3.工業(yè)生產(chǎn)4.在線購物計(jì)算機(jī)視覺的應(yīng)用在游戲娛樂領(lǐng)域，計(jì)算機(jī)視覺的主要應(yīng)用是在體感游戲，如Kinect、Wii和PS4等。在這些游戲設(shè)備上會(huì)用到一種特殊的深度攝像頭，用于返回場(chǎng)景到攝像頭距離的信息搜索引擎可以利用文字描述返回用戶想要的信息，圖片也可以作為輸入來進(jìn)行信息的檢索。后來隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的崛起，Google和百度等公司也推出了自己的圖片搜索引擎，只要上傳自己拍攝的照片，就能從返回的結(jié)果中找到相關(guān)的信息。5.信息檢索6.游戲娛樂計(jì)算機(jī)視覺的應(yīng)用7.攝影攝像數(shù)碼相機(jī)誕生后，計(jì)算機(jī)視覺技術(shù)就開始應(yīng)用于消費(fèi)電子領(lǐng)域的照相機(jī)和攝像機(jī)上。最常見的就是人臉，尤其是笑臉識(shí)別，只要露出微笑就會(huì)捕捉下美好的瞬間。新手照相也不用擔(dān)心對(duì)焦不準(zhǔn)，相機(jī)會(huì)自動(dòng)識(shí)別出人臉并對(duì)焦。8.機(jī)器人/無人機(jī)機(jī)器人和無人機(jī)中主要利用計(jì)算機(jī)視覺和環(huán)境發(fā)生互動(dòng)，如教育或玩具機(jī)器人利用人臉識(shí)別和物體識(shí)別對(duì)用戶和場(chǎng)景做出相應(yīng)的反應(yīng)。無人機(jī)也是近年來火熱的一個(gè)領(lǐng)域。計(jì)算機(jī)視覺的應(yīng)用10.體育高速攝像系統(tǒng)已經(jīng)普遍用于競(jìng)技體育中。球類運(yùn)動(dòng)中結(jié)合時(shí)間數(shù)據(jù)和計(jì)算機(jī)視覺的進(jìn)球判斷、落點(diǎn)判斷、出界判斷等?；谝曈X技術(shù)對(duì)人體動(dòng)作進(jìn)行捕捉和分析也是一個(gè)活躍的研究方向。

9.醫(yī)療醫(yī)學(xué)影像是醫(yī)療領(lǐng)域中一個(gè)非常活躍的研究方向，各種影像和視覺技術(shù)在這個(gè)領(lǐng)域中至關(guān)重要。計(jì)算斷層成像（CT）和磁共振成像（MRI）中重建三維圖像都有涉及一些計(jì)算機(jī)視覺的基礎(chǔ)手段。細(xì)胞識(shí)別和腫瘤識(shí)別用于輔助診斷，一些細(xì)胞或者體液中小型顆粒物的識(shí)別，還可以用來量化分析血液或其他體液中的指標(biāo)。

6.2圖像處理與視覺系統(tǒng)在計(jì)算機(jī)中，圖像的最基本組成單元為像素，圖片是包含很多個(gè)像素的集合。像素一般就是圖片中某個(gè)位置的顏色，很多個(gè)像素點(diǎn)排列起來，就可以組成一個(gè)二維平面點(diǎn)陣，這就是圖像。比如電腦桌面背景，如果是1920×1080，那就意味著像素點(diǎn)有1920列，1080行，共1920×1080（2073600）個(gè)像素。色彩空間的表達(dá)通常用RGB圖像、灰度等概念。RGB圖像又稱為三通道彩色圖，灰度圖相對(duì)應(yīng)就可以叫作單通道圖。通道數(shù)可簡(jiǎn)單理解為表示單個(gè)像素所需要的數(shù)字的個(gè)數(shù)。

6.2圖像處理與視覺系統(tǒng)在計(jì)算機(jī)中，灰度圖中的像素通常用0~255之間的一個(gè)整數(shù)數(shù)字表示，0表示黑色，255表示白色，數(shù)字從0變到255表示顏色由黑變白的一個(gè)過程。顏色越黑則越接近0，越白則越接近255。RGB彩色空間則使用三個(gè)整數(shù)數(shù)字來代表一個(gè)像素，如(0,100,200)，分別代表紅色部分的顏色值為0，綠色部分為100，藍(lán)色部分為200。RGB分別代表英文單詞Red、Green和Blue，其對(duì)應(yīng)的取值范圍都是0～255，數(shù)值越大表示顏色越淺，越小則越飽和。所以RGB像素不同的組合總數(shù)為：256×256×256=16777216，其中(0,0,0)表示黑色，(255,255,255)表示白色。圖像處理二值圖像也稱單色圖像或1位圖像，即顏色深度為1的圖像。顏色深度為1表示每個(gè)像素點(diǎn)僅占1個(gè)二進(jìn)制位，每個(gè)像素點(diǎn)的顏色只可能取兩種顏色之一，通常，這兩種顏色取黑色或白色，0表示黑色，1表示白色。1.二值圖像2.灰度圖像灰度圖像是包含灰度級(jí)（亮度）的圖像。一張灰度圖像及其圖像數(shù)據(jù)如圖所示。每一個(gè)像素點(diǎn)的取值可能是0～255中的某一個(gè)值，0表示黑色，255表示白色，介于黑色和白色之間的不同程度的灰色由0～255的不同數(shù)值來表示。圖像處理3.真彩色圖像真彩色圖像具有最豐富的顏色數(shù)。一張真彩色圖像及其圖像數(shù)據(jù)如圖所示。真彩色圖像每一個(gè)像素由R、G、B三個(gè)分量組成，每一個(gè)像素點(diǎn)的每一個(gè)分量的取值可能是0～255中的某一個(gè)值，三個(gè)分量的值共同構(gòu)成該像素點(diǎn)的顏色值。因此，真彩色圖像具有最豐富的顏色，其顏色數(shù)可達(dá)224=16777216種。4.偽彩色圖像偽彩色圖像通常包括256色彩色圖像和16色彩色圖像。256色彩色圖像的每個(gè)像素由8個(gè)二進(jìn)制位組成，取值范圍為0～255，可以表示256種不同的彩色，能夠達(dá)到照片效果，比較真實(shí)。16色彩色圖像的每個(gè)像素由4個(gè)二進(jìn)制位組成，取值范圍為0～15，可以表示16種不同的彩色，通常用于對(duì)遙感圖像的灰度賦予不同的假色彩以改善視覺效果。16色彩色圖像的失真現(xiàn)象嚴(yán)重，已不能真實(shí)反映原始圖像的顏色特性。

6.2.2圖像處理技術(shù)計(jì)算機(jī)視覺的圖像處理技術(shù)主要有圖像分類、目標(biāo)檢測(cè)、圖像分割、目標(biāo)定位與跟蹤等（1）圖像分類圖像分類：把不同類別的目標(biāo)區(qū)分開來的圖像處理方法。它是計(jì)算機(jī)視覺中的基礎(chǔ)任務(wù)，也是圖像檢測(cè)、語義分割、實(shí)例分割、圖像搜索等高級(jí)任務(wù)的根本。圖像分類包含了通用圖像分類和細(xì)粒度圖像分類，通用分類主要解決識(shí)別圖像上主體類別的問題，如是貓還是狗的問題；細(xì)粒度分類則解決如何將大類進(jìn)行細(xì)分類的問題，如在狗這一類別下，識(shí)別的是其品種（如泰迪、松獅、哈士奇等）的問題。

（1）圖像分類圖像分類效果易受視角、光照、背景、形變、部分遮擋等的影響，所以想要做好這一塊，現(xiàn)實(shí)工程難度仍然不小。深度學(xué)習(xí)在圖像分類中的應(yīng)用主要是以卷積神經(jīng)網(wǎng)絡(luò)為代表，主要通過有監(jiān)督的方法讓計(jì)算機(jī)去學(xué)習(xí)如何表達(dá)某張圖片的特征。目前計(jì)算機(jī)視覺領(lǐng)域大多優(yōu)秀的深度學(xué)習(xí)算法都需要大量的訓(xùn)練數(shù)據(jù)集，其中最為出名的便是ImageNet。圖像分類在許多領(lǐng)域都有著廣泛的應(yīng)用。如安防領(lǐng)域的人臉識(shí)別和智能視頻分析、交通領(lǐng)域的交通場(chǎng)景識(shí)別、互聯(lián)網(wǎng)領(lǐng)域基于內(nèi)容的圖像檢索和相冊(cè)自動(dòng)歸類、醫(yī)學(xué)領(lǐng)域的圖像識(shí)別等。（2）目標(biāo)檢測(cè)目標(biāo)檢測(cè)：是用算法判斷圖片中是不是包含特定目標(biāo)，并且在圖片中標(biāo)記出它的位置，通常用邊框或紅色方框把目標(biāo)圈起來。例如，查找圖片中有沒有馬，如果找到了，就把它框起來。目標(biāo)檢測(cè)和圖像分類不一樣，目標(biāo)檢測(cè)側(cè)重于目標(biāo)的搜索，檢測(cè)的目標(biāo)必須要有固定的形狀和輪廓。圖像分類可以是任意的對(duì)象，這個(gè)對(duì)象可能是物體，也可能是一些屬性或者場(chǎng)景。（2）目標(biāo)檢測(cè)目標(biāo)檢測(cè)分為：傳統(tǒng)目標(biāo)檢測(cè)與識(shí)別方法和基于深度學(xué)習(xí)的目標(biāo)檢測(cè)與識(shí)別方法。傳統(tǒng)目標(biāo)檢測(cè)與識(shí)別方法分為3個(gè)步驟：①使用不同大小的滑動(dòng)窗口框住待測(cè)圖像中的某一部分作為候選區(qū)域，完成定位；②提取該候選區(qū)域相關(guān)的視覺特征；③使用訓(xùn)練完成的分類器進(jìn)行分類，如常用的支持向量機(jī)模型等?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)與識(shí)別方法可表示為圖像的特征提取與目標(biāo)識(shí)別定位，用到的深度學(xué)習(xí)模型是卷積神經(jīng)網(wǎng)絡(luò)。2012年，利用卷積神經(jīng)網(wǎng)絡(luò)AlexNet，在ImageNet上打敗了所有傳統(tǒng)方法的團(tuán)隊(duì)，CNN因此成為計(jì)算機(jī)視覺領(lǐng)域最為重要的工具之一，推動(dòng)機(jī)器視覺研究進(jìn)入了一個(gè)新的階段，隨后基于CNN的目標(biāo)檢測(cè)與識(shí)別方法也逐漸取代了傳統(tǒng)方法。

（3）圖像分割圖像分割是將圖像細(xì)分為多個(gè)圖像子區(qū)域的過程，使得圖像更加易于理解和分析。圖像分割主要用于定位物體的邊界，即將每個(gè)像素進(jìn)行分類，使得同一物體具有共同的類別屬性，即可展現(xiàn)出共同的視覺特性。分割時(shí)一般會(huì)使用某種屬性（顏色、亮度、紋理等）的相似度量方法，使得同一個(gè)子區(qū)域中的像素在此方法的計(jì)算下都很相似，而不同區(qū)域則差異很大，即：類內(nèi)差異小，類間差異大。圖像分割應(yīng)用領(lǐng)域也非常廣泛，包括醫(yī)學(xué)影像、自動(dòng)駕駛、交通控制、人臉識(shí)別、指紋識(shí)別等。根據(jù)不同的分割粒度，圖像分割算法有：物體分割、語義分割和實(shí)例分割。

1）物體分割1）物體分割首先，面對(duì)一個(gè)場(chǎng)景時(shí)，人類常常會(huì)自動(dòng)地注意到某些他們感興趣的區(qū)域，而選擇性地忽略不感興趣的區(qū)域，感興趣區(qū)域（ROI）也常稱為顯著性區(qū)域，這就是所謂視覺注意機(jī)制（VA）。VA的作用：應(yīng)用兩個(gè)場(chǎng)景，一個(gè)是廣告投放，在廣告圖片中，要考慮受眾更關(guān)心的是什么，怎樣做出更好的廣告。另一個(gè)是安防領(lǐng)域，如行人檢測(cè)、人臉識(shí)別、異常舉動(dòng)檢測(cè)等。其實(shí)，目標(biāo)檢測(cè)也是VA的一部分，只不過現(xiàn)在不僅僅要求給出一個(gè)矩形框，還需要更加細(xì)的信息。物體分割初級(jí)的操作就是將圖像的前景和背景進(jìn)行分割，前景一般包含大家關(guān)心的物體，

2）語義分割物體分割中是將圖像中的主體與背景分離開來，常常利用的是灰度值的不連續(xù)和相似的性質(zhì)，不需要區(qū)分主體間的差別。而語義分割主要是在像素級(jí)別進(jìn)行分類，同類別的分為一類，比如某個(gè)像素是貓、狗、人、車等，它比目標(biāo)檢測(cè)預(yù)測(cè)的邊框更加精細(xì)?？梢院?jiǎn)單將語義分割任務(wù)理解為：用一種顏色代表一個(gè)類別，用另一種顏色代表另外一個(gè)類別，將所有類別用不同顏色代表，然后對(duì)原始圖片對(duì)應(yīng)大小的白紙上進(jìn)行涂色操作（類別當(dāng)然就不能有白色代表），盡量讓涂的結(jié)果與原始圖片表達(dá)的類別接近。

3）

實(shí)例分割語義分割可以將不同類別的物體區(qū)別開來，而實(shí)例分割則是在語義分割的基礎(chǔ)上，進(jìn)一步區(qū)分出同一類不同的個(gè)體。

（4）目標(biāo)定位與跟蹤圖像分類解決了“是什么”的問題，如果還想知道圖像中的目標(biāo)具體在圖像的什么位置，就需要用到目標(biāo)定位技術(shù)。目標(biāo)定位的結(jié)果通常是以包圍盒的形式返回的。目標(biāo)跟蹤是指在給定場(chǎng)景中跟蹤感興趣的具體對(duì)象或多個(gè)對(duì)象的過程。簡(jiǎn)單來說，給出目標(biāo)在跟蹤視頻第一幀中的初始狀態(tài)（如位置、尺寸），自動(dòng)估計(jì)目標(biāo)物體在后續(xù)幀中的狀態(tài)。

6.2.3計(jì)算機(jī)視覺系統(tǒng)計(jì)算機(jī)視覺系統(tǒng)是為完成視覺任務(wù)而構(gòu)造的計(jì)算機(jī)系統(tǒng)，它由多個(gè)功能模塊按照一定的結(jié)構(gòu)組成，各模塊之間要互相聯(lián)系以保證根據(jù)一定的流程實(shí)現(xiàn)系統(tǒng)功能。計(jì)算機(jī)視覺系統(tǒng)根據(jù)系統(tǒng)結(jié)構(gòu)的不同可分成許多種，不同系統(tǒng)結(jié)構(gòu)的功能模塊組成不同，采用的處理技術(shù)也不相同，但有些功能模塊卻幾乎是每個(gè)計(jì)算機(jī)視覺系統(tǒng)都需要具備的。1.圖像采集計(jì)算機(jī)視覺是從獲取客觀世界的圖像開始的。為采集圖像，需要使用一定的采集裝置或設(shè)備，這里的裝置和設(shè)備可以是各種光敏攝像機(jī)，包括遙感設(shè)備、X射線斷層攝影儀、雷達(dá)、超聲波接收器等。6.2.3計(jì)算機(jī)視覺系統(tǒng)2.預(yù)處理采集圖像后，為更有效地獲取其中的信息，提高后續(xù)加工的效率，常需對(duì)圖像進(jìn)行一定的預(yù)處理。一方面，圖像在采集中有可能發(fā)生幾何失真，為恢復(fù)場(chǎng)景和圖像的空間對(duì)應(yīng)關(guān)系，需要進(jìn)行坐標(biāo)變換。另一方面，對(duì)圖像的幅度也需要進(jìn)行一定的調(diào)整，以改善圖像的視覺質(zhì)量。另外，圖像采集中還會(huì)受到噪聲等干擾，需要消除它們的影響。所以，對(duì)圖像預(yù)處理常是必不可缺的。3.特征檢測(cè)特征檢測(cè)也稱基元檢測(cè)，是指圖像中有比較顯著特點(diǎn)的基本單元，一般常說的基元主要有：邊緣、角點(diǎn)、直線段、圓、孔、橢圓以及其他興趣點(diǎn)等（也包括它們的一些結(jié)合體）。對(duì)這些基元的檢測(cè)是常見的工作。6.2.3計(jì)算機(jī)視覺系統(tǒng)4.圖像分割圖像分割指將感興趣的目標(biāo)區(qū)域從圖像中分離并提取出來，也可看作是基元檢測(cè)的一種推廣。要將目標(biāo)從圖像中分割出來，有兩類方法。一類方法基于目標(biāo)的輪廓，即考慮該目標(biāo)與圖像其他部分的界限，如果能確定目標(biāo)輪廓，就可將目標(biāo)與圖像中的其他部分區(qū)分開。另一類方法是基于區(qū)域的，即考慮所有屬于目標(biāo)區(qū)域的像素（包括邊界和內(nèi)容像素），如果能確定出每個(gè)屬于目標(biāo)的像素，就可獲得完整的目標(biāo)。5.圖像的高級(jí)處理高級(jí)處理有理解圖像內(nèi)容的含義，是計(jì)算機(jī)視覺中的高階處理，主要是在圖像分割的基礎(chǔ)上再對(duì)分割出的圖像塊進(jìn)行理解，這一階段采用模式識(shí)別或機(jī)器學(xué)習(xí)方法，如利用卷積神經(jīng)網(wǎng)絡(luò)等算法，訓(xùn)練出合理的模型，對(duì)目標(biāo)進(jìn)行識(shí)別、分類等操作。

拓展閱讀

智能布匹質(zhì)量檢測(cè)系統(tǒng)在布匹生產(chǎn)過程中，像布匹質(zhì)量檢測(cè)這種有高度重復(fù)性和智能性的工作通常只能靠人工檢測(cè)來完成，給企業(yè)增加巨大的人工成本和管理成本的同時(shí)，卻仍然不能保證100%的檢驗(yàn)合格率。采用機(jī)器視覺的自動(dòng)識(shí)別技術(shù)，在大批量的布匹檢測(cè)中，可以大大提高生產(chǎn)效率和生產(chǎn)的自動(dòng)化程度。1．特征提取辨識(shí)一般布匹檢測(cè)（自動(dòng)識(shí)別）先利用高清晰度、高速攝像鏡頭拍攝標(biāo)準(zhǔn)圖像，在此基礎(chǔ)上設(shè)定一定標(biāo)準(zhǔn)；然后拍攝被檢測(cè)的圖像，再將兩者進(jìn)行對(duì)比。2．色質(zhì)檢測(cè)從彩色CCD相機(jī)中獲取的圖像都是RGB圖像。每一個(gè)像素都由RGB三個(gè)成分組成，以表示RGB色彩空間中的一個(gè)點(diǎn)。需要將RGB像素轉(zhuǎn)換成為另一種顏色空間智能布匹質(zhì)量檢測(cè)系統(tǒng)3．Blob檢測(cè)Blob分析是對(duì)圖像中相同像素的連通域進(jìn)行分析，該連通域稱為Blob。Blob分析工具可以從背景中分離出目標(biāo)，并可計(jì)算出目標(biāo)的數(shù)量、位置、形狀、方向和大小，還可以提供相關(guān)斑點(diǎn)間的拓?fù)浣Y(jié)構(gòu)。在處理過程中不是采用單個(gè)的像素逐一分析，而是對(duì)圖形的行進(jìn)行操作。圖像的每一行都用游程長(zhǎng)度編碼（RLE）來表示相鄰的目標(biāo)范圍。這種算法與基于像素的算法相比，大大提高了處理速度。4．結(jié)果處理和控制應(yīng)用程序把返回的結(jié)果存入數(shù)據(jù)庫或用戶指定的位置，并根據(jù)結(jié)果控制機(jī)械部分做相應(yīng)的運(yùn)動(dòng)。根據(jù)識(shí)別的結(jié)果，存入數(shù)據(jù)庫進(jìn)行信息管理。以后可以隨時(shí)對(duì)信息進(jìn)行檢索查詢，管理者可以獲知某段時(shí)間內(nèi)流水線的忙閑，為下一步的工作做出安排；可以獲知布匹的質(zhì)量情況等。

6.3人臉識(shí)別人臉與人體的其他生物特征（指紋、虹膜等）一樣與生俱來，它的唯一性和不易被復(fù)制的良好特性為身份鑒別提供了必要的前提，與其他類型的生物識(shí)別比較，人臉識(shí)別用戶不需要和設(shè)備直接接觸就能獲取人臉圖像，也不需要人專門配合采集設(shè)備，幾乎可以在無意識(shí)的狀態(tài)下就可獲取人臉圖像，除此之外，還有操作簡(jiǎn)單、結(jié)果直觀、隱蔽性好等特點(diǎn)。因此，人臉識(shí)別系統(tǒng)廣泛應(yīng)用于信息安全、電子商務(wù)、基礎(chǔ)設(shè)施、政府、軍隊(duì)、銀行等相關(guān)領(lǐng)域。

6.3.1人臉識(shí)別概述人臉識(shí)別是基于人的臉部特征信息進(jìn)行身份識(shí)別的一種生物識(shí)別技術(shù)。簡(jiǎn)單來說就是通過人的面部照片實(shí)現(xiàn)身份認(rèn)證的技術(shù)。這里的照片既可以來源于相機(jī)拍照，也可以來源于視頻截圖；既可以是配合狀態(tài)下的正面照（如護(hù)照像），也可以是非配合狀態(tài)下的側(cè)面照或遠(yuǎn)景照（如監(jiān)控錄像）。人臉識(shí)別可細(xì)分為兩種認(rèn)證方式，一種是身份確認(rèn)，一種是身份辨認(rèn)。在身份確認(rèn)中，計(jì)算機(jī)需要對(duì)兩張人臉照片進(jìn)行對(duì)比，以判斷是否為同一個(gè)人。這一認(rèn)證方式通常用于信息安全領(lǐng)域，如海關(guān)身份認(rèn)證、ATM刷臉取款等。在身份辨認(rèn)中，給定目標(biāo)人的一張面部照片，計(jì)算機(jī)需要在一個(gè)龐大的照片數(shù)據(jù)庫中進(jìn)行搜索，找到和給定照片最相近的照片，從而判斷出目標(biāo)人的身份。這一認(rèn)證方式一般用于公共安全領(lǐng)域，如刑偵領(lǐng)域的嫌疑人排查。

6.3.1人臉識(shí)別概述

人臉識(shí)別系統(tǒng)的研究始于20世紀(jì)60年代，80年代后隨著計(jì)算機(jī)技術(shù)和光學(xué)成像技術(shù)的發(fā)展得到提高，而真正進(jìn)入初級(jí)的應(yīng)用階段則在20世紀(jì)90年代后期，并且以美國、德國和日本的技術(shù)實(shí)現(xiàn)為主；人臉識(shí)別系統(tǒng)成功的關(guān)鍵在于是否擁有尖端的核心算法，并使識(shí)別結(jié)果具有實(shí)用化的識(shí)別率和識(shí)別速度；“人臉識(shí)別系統(tǒng)”集成了人工智能、機(jī)器識(shí)別、機(jī)器學(xué)習(xí)、模型理論、專家系統(tǒng)、視頻圖像處理等多種專業(yè)技術(shù)，同時(shí)需結(jié)合中間值處理的理論與實(shí)現(xiàn)，是生物特征識(shí)別的最新應(yīng)用。

人臉識(shí)別的優(yōu)勢(shì)人臉識(shí)別的優(yōu)勢(shì)在于其自然性和不被被測(cè)個(gè)體察覺的特點(diǎn)。所謂自然性，是指該識(shí)別方式同人類（甚至其他生物）進(jìn)行個(gè)體識(shí)別時(shí)所利用的生物特征相同。例如人臉識(shí)別，人類也是通過觀察比較人臉區(qū)分和確認(rèn)身份的，另外具有自然性的識(shí)別還有語音識(shí)別、體形識(shí)別等。不被察覺的特點(diǎn)對(duì)于一種識(shí)別方法也很重要，這會(huì)使該識(shí)別方法不令人反感，并且因?yàn)椴蝗菀滓鹑说淖⒁舛蝗菀妆黄垓_。人臉識(shí)別具有這方面的特點(diǎn)，它完全利用可見光獲取人臉圖像信息，而不同于指紋識(shí)別或者虹膜識(shí)別，需要利用電子壓力傳感器采集指紋，或者利用紅外線采集虹膜圖像，這些特殊的采集方式很容易被人察覺，從而更有可能被偽裝欺騙。

人臉識(shí)別的困難人臉識(shí)別的困難主要是人臉作為生物特征的特點(diǎn)所帶來的。在視覺特點(diǎn)上，首先，不同個(gè)體之間的區(qū)別不大，所有的人臉的結(jié)構(gòu)都相似，甚至人臉器官的結(jié)構(gòu)外形都很相似。這樣的特點(diǎn)對(duì)于利用人臉進(jìn)行定位是有利的，但是對(duì)于利用人臉區(qū)分人類個(gè)體是不利的。其次，人臉的外形很不穩(wěn)定，人可以通過臉部的變化產(chǎn)生很多表情，而在不同觀察角度，人臉的視覺圖像也相差很大，另外，人臉識(shí)別還受光照條件（例如白天和夜晚，室內(nèi)和室外等）、人臉的很多遮蓋物（例如口罩、墨鏡、頭發(fā)、胡須等）、年齡等多方面因素的影響。

6.3.2人臉識(shí)別系統(tǒng)人臉識(shí)別系統(tǒng)主要包括：人臉圖像采集及檢測(cè)、人臉圖像預(yù)處理、人臉圖像特征提取以及匹配與識(shí)別四個(gè)部分。人臉圖像采集：不同的人臉圖像都能通過攝像鏡頭采集下來，比如靜態(tài)圖像、動(dòng)態(tài)圖像、不同的位置、不同表情等方面都可以得到很好的采集。當(dāng)用戶在采集設(shè)備的拍攝范圍內(nèi)時(shí)，采集設(shè)備會(huì)自動(dòng)搜索并拍攝用戶的人臉圖像。人臉檢測(cè)：人臉檢測(cè)在實(shí)際中主要用于人臉識(shí)別的預(yù)處理，即在圖像中準(zhǔn)確標(biāo)定出人臉的位置和大小。人臉圖像中包含的模式特征十分豐富，如直方圖特征、顏色特征、模板特征、結(jié)構(gòu)特征等。人臉檢測(cè)就是把這其中有用的信息挑出來，并利用這些特征實(shí)現(xiàn)人臉檢測(cè)。1.人臉圖像采集及檢測(cè)人臉識(shí)別系統(tǒng)2.人臉圖像預(yù)處理3.人臉圖像特征提取人臉圖像預(yù)處理：對(duì)于人臉的圖像預(yù)處理是基于人臉檢測(cè)結(jié)果，對(duì)圖像進(jìn)行處理并最終服務(wù)于特征提取的過程。系統(tǒng)獲取的原始圖像由于受到各種條件的限制和隨機(jī)干擾，往往不能直接使用，必須在圖像處理的早期階段對(duì)它進(jìn)行灰度校正、噪聲過濾等圖像預(yù)處理人臉識(shí)別系統(tǒng)可使用的特征通常分為視覺特征、像素統(tǒng)計(jì)特征、人臉圖像變換系數(shù)特征、人臉圖像代數(shù)特征等。人臉特征提取就是針對(duì)人臉的某些特征進(jìn)行的。人臉特征提取，也稱人臉表征，它是對(duì)人臉進(jìn)行特征建模的過程。人臉特征提取的方法歸納起來分為兩大類：一種是基于知識(shí)的表征方法；另外一種是基于代數(shù)特征或統(tǒng)計(jì)學(xué)習(xí)的表征方法。

4.人臉圖像匹配與識(shí)別人臉圖像匹配與識(shí)別：提取的人臉圖像的特征數(shù)據(jù)與數(shù)據(jù)庫中存儲(chǔ)的特征模板進(jìn)行搜索匹配，通過設(shè)定一個(gè)閾值，當(dāng)相似度超過這一閾值，則把匹配得到的結(jié)果輸出。人臉識(shí)別就是將待識(shí)別的人臉特征與已得到的人臉特征模板進(jìn)行比較，根據(jù)相似程度對(duì)人臉的身份信息進(jìn)行判斷。這一過程又分為兩類：一類是確認(rèn)，是一對(duì)一進(jìn)行圖像比較的過程，另一類是辨認(rèn)，是一對(duì)多進(jìn)行圖像匹配對(duì)比的過程。

6.3.3人臉識(shí)別的應(yīng)用1.人臉識(shí)別門禁2.身份辨識(shí)可在機(jī)場(chǎng)、體育場(chǎng)、超級(jí)市場(chǎng)等公共場(chǎng)所對(duì)人群進(jìn)行監(jiān)視，例如在機(jī)場(chǎng)安裝監(jiān)視系統(tǒng)以防止恐怖分子登機(jī)。如銀行的自動(dòng)提款機(jī)，用戶卡片和密碼被盜，就會(huì)被他人冒取現(xiàn)金。同時(shí)應(yīng)用人臉識(shí)別就會(huì)避免這種情況的發(fā)生。通過查詢目標(biāo)人像數(shù)據(jù)尋找數(shù)據(jù)庫中是否存在重點(diǎn)人口基本信息。例如在機(jī)場(chǎng)或車站安裝此系統(tǒng)以監(jiān)測(cè)重點(diǎn)人員。人臉識(shí)別門禁通過人臉識(shí)別辨識(shí)試圖進(jìn)入者的身份。把人臉識(shí)別技術(shù)結(jié)合成熟的ID卡和指紋識(shí)別技術(shù)而推出的安全實(shí)用的門禁產(chǎn)品，可實(shí)現(xiàn)人臉、指紋和ID卡信息的采集和生物信息識(shí)別及門禁控制內(nèi)外分離，實(shí)用性高、安全可靠。

3.網(wǎng)絡(luò)應(yīng)用利用人臉識(shí)別輔助信用卡網(wǎng)絡(luò)支付，以防止非信用卡的擁有者使用信用卡等。如計(jì)算機(jī)登錄、電子政務(wù)和電子商務(wù)。在電子商務(wù)中交易全部在網(wǎng)上完成，電子政務(wù)中的很多審批流程也都搬到了網(wǎng)上。而當(dāng)前，交易或者審批的授權(quán)都是靠密碼來實(shí)現(xiàn)。如果密碼被盜，就無法保證安全。如果使用生物特征，就可以做到當(dāng)事人在網(wǎng)上的數(shù)字身份和真實(shí)身份統(tǒng)一。從而大大增加電子商務(wù)和電子政務(wù)系統(tǒng)的可靠性。

拓展閱讀

人臉識(shí)別的相關(guān)法律法規(guī)隨著信息技術(shù)飛速發(fā)展，人臉識(shí)別逐步滲透到人們生活的方方面面。人臉識(shí)別技術(shù)在諸多領(lǐng)域發(fā)揮著巨大作用的同時(shí)，也存在被濫用的情況，最高人民法院發(fā)布司法解釋，對(duì)人臉識(shí)別進(jìn)行規(guī)范。2021年7月28日，《最高人民法院關(guān)于審理使用人臉識(shí)別技術(shù)處理個(gè)人信息相關(guān)民事案件適用法律若干問題的規(guī)定》正式對(duì)外發(fā)布?！兑?guī)定》明確：“物業(yè)服務(wù)企業(yè)或者其他建筑物管理人以人臉識(shí)別作為業(yè)主或者物業(yè)使用人出入物業(yè)服務(wù)區(qū)域的唯一驗(yàn)證方式，不同意的業(yè)主或者物業(yè)使用人請(qǐng)求其提供其他合理驗(yàn)證方式的，人民法院依法予以支持?！备鶕?jù)這一規(guī)定，小區(qū)物業(yè)在使用人臉識(shí)別門禁系統(tǒng)錄入人臉信息時(shí)，應(yīng)當(dāng)征得業(yè)主或者物業(yè)使用人的同意，對(duì)于不同意的業(yè)主或者物業(yè)使用人，小區(qū)物業(yè)應(yīng)當(dāng)提供替代性驗(yàn)證方式，不得侵害業(yè)主或物業(yè)使用人的人格權(quán)益和其他合法權(quán)益。

6.4無人駕駛無人駕駛是指通過軟件算法代替人類操作過程使交通工具能夠自行完成行駛過程的整套流程。在現(xiàn)實(shí)生活中已經(jīng)得到了應(yīng)用的無人駕駛汽車、無人機(jī)。本節(jié)要介紹的是無人駕駛汽車。無人駕駛汽車也叫自動(dòng)駕駛汽車、智能汽車，它是利用車載傳感器來感知車輛周圍的環(huán)境，并根據(jù)感知獲得道路、車輛位置和障礙物信息，控制車輛的轉(zhuǎn)向和速度，從而使車輛能夠安全、可靠地在道路上行駛，具體包括感知、定位、決策、控制等多個(gè)關(guān)聯(lián)子系統(tǒng)。

6.4.1無人駕駛分級(jí)美國汽車工程師學(xué)會(huì)

(SAE)定義了6個(gè)無人駕駛等級(jí)，從

0級(jí)（完全手動(dòng)）到

5級(jí)（完全自動(dòng)）。這些無人駕駛等級(jí)準(zhǔn)則已經(jīng)被美國交通部采納。0級(jí)（無自動(dòng)駕駛）在當(dāng)今的道路上行駛的大多數(shù)汽車都是

0級(jí)：手動(dòng)控制。由人來完成"動(dòng)態(tài)駕駛?cè)蝿?wù)"，盡管可能有相應(yīng)的系統(tǒng)來輔助駕駛員，例如緊急制動(dòng)系統(tǒng)，但從技術(shù)方面來講，該輔助系統(tǒng)并未主動(dòng)"驅(qū)動(dòng)"車輛，所以算不上自動(dòng)化駕駛。L1級(jí)（輔助駕駛）自動(dòng)駕駛系統(tǒng)對(duì)方向盤和加減速中的一項(xiàng)操作提供駕駛支持，其他的駕駛動(dòng)作都由人類駕駛員進(jìn)行操作。L2（半自動(dòng)駕駛）車輛通過攝像頭、雷達(dá)、激光傳感器等設(shè)備獲取道路及周邊交通信息，自動(dòng)駕駛系統(tǒng)會(huì)自行對(duì)方向盤和加減速中的多項(xiàng)操作提供駕駛支援，在駕駛者收到警告卻未能及時(shí)采取相應(yīng)行動(dòng)時(shí)，自動(dòng)駕駛系統(tǒng)能夠自動(dòng)進(jìn)行干預(yù)，其他操作交由駕駛員完成，實(shí)現(xiàn)人機(jī)共駕，但車輛不允許駕駛員的雙手脫離方向盤。無人駕駛分級(jí)L3（有條件自動(dòng)駕駛）由自動(dòng)駕駛系統(tǒng)完成駕駛操作，根據(jù)路況條件，在必要時(shí)發(fā)出系統(tǒng)請(qǐng)求，必須交由駕駛員駕駛。L4（高度自動(dòng)駕駛）由自動(dòng)駕駛系統(tǒng)完成所有駕駛操作。根據(jù)系統(tǒng)請(qǐng)求，駕駛員可以不控制車輛。L5（完全自動(dòng)駕駛）自動(dòng)駕駛的理想形態(tài)，乘客只需提供目的地，無論任何路況，任何天氣，車輛均能夠?qū)崿F(xiàn)自動(dòng)駕駛。這種自動(dòng)化水平允許乘客在車中進(jìn)行計(jì)算機(jī)工作、休息以及娛樂活動(dòng)等，人在任何時(shí)候都不需要對(duì)車輛進(jìn)行監(jiān)控。

2.我國《汽車駕駛自動(dòng)化分級(jí)》我國《汽車駕駛自動(dòng)化分級(jí)》將駕駛自動(dòng)化分為為6個(gè)等級(jí)，從0級(jí)應(yīng)急輔助到5級(jí)完全自動(dòng)駕駛。（1）L0級(jí)（應(yīng)急輔助）L0級(jí)（應(yīng)急輔助）系統(tǒng)不能持續(xù)執(zhí)行動(dòng)態(tài)駕駛?cè)蝿?wù)中的車輛橫向或縱向運(yùn)動(dòng)控制，但具備持續(xù)執(zhí)行動(dòng)態(tài)駕駛?cè)蝿?wù)中的部分目標(biāo)和事件探測(cè)與響應(yīng)能力。在這一階段中自動(dòng)駕駛系統(tǒng)可以感知環(huán)境，并提供信息或短暫介入車輛控制以輔助駕駛員安全駕駛車輛，如熟知的車道偏離預(yù)警系統(tǒng)、自動(dòng)緊急制動(dòng)系統(tǒng)等在部分駕駛場(chǎng)景下可以輔助安全駕駛的功能都可以歸類到L0級(jí)中，在0級(jí)自動(dòng)化中，車輛控制的主體為駕駛員，自動(dòng)駕駛系統(tǒng)僅提供部分的駕駛輔助。我國《汽車駕駛自動(dòng)化分級(jí)》（2）L1級(jí)（部分駕駛輔助）在這一階段中自動(dòng)駕駛系統(tǒng)僅可以獨(dú)立完成車輛在某一場(chǎng)景中某一方向上的控制，如車道居中控制、車輛自適應(yīng)巡航等功能都可以歸類到L1級(jí)中。在這一階段駕駛員與自動(dòng)駕駛系統(tǒng)可以同時(shí)執(zhí)行車輛的駕駛?cè)蝿?wù)，但是在自動(dòng)駕駛系統(tǒng)執(zhí)行自動(dòng)駕駛?cè)蝿?wù)的過程中，駕駛員需要充當(dāng)安全員的角色（3）L2級(jí)（組合駕駛輔助）在這一階段中自動(dòng)駕駛系統(tǒng)可以完成更多的駕駛場(chǎng)景，在L2級(jí)中，自動(dòng)駕駛系統(tǒng)可以完成車輛橫向或縱向運(yùn)動(dòng)控制中所有的駕駛場(chǎng)景，和L1級(jí)相同的是，在這一階段駕駛員與自動(dòng)駕駛系統(tǒng)可以同時(shí)執(zhí)行車輛的駕駛?cè)蝿?wù)，駕駛員需要充當(dāng)安全員的角色我國《汽車駕駛自動(dòng)化分級(jí)》（4）L3級(jí)（有條件自動(dòng)駕駛）在這一階段中自動(dòng)駕駛系統(tǒng)已經(jīng)可以獨(dú)立完成部分駕駛場(chǎng)景中的自動(dòng)駕駛的功能，駕駛員只需要完成安全員的角色，監(jiān)管自動(dòng)駕駛系統(tǒng)的駕駛行為。自動(dòng)駕駛系統(tǒng)只需要在遇到不能完成駕駛行為的場(chǎng)景或自動(dòng)駕駛系統(tǒng)功能失效時(shí)向安全員提出請(qǐng)求讓其介入駕駛行為，在請(qǐng)求安全員介入駕駛行為過程中，自動(dòng)駕駛系統(tǒng)還是可以獨(dú)立完成一段時(shí)間的駕駛，以便讓安全員做好接管的準(zhǔn)備。（5）L4級(jí)（高度自動(dòng)駕駛）在這一階段中自動(dòng)駕駛系統(tǒng)可以獨(dú)立完成規(guī)定的駕駛場(chǎng)景中的自動(dòng)駕駛功能，駕駛員依舊需要充當(dāng)安全員的角色，監(jiān)管自動(dòng)駕駛系統(tǒng)的駕駛行為。自動(dòng)駕駛系統(tǒng)在遇到不能完成駕駛行為的場(chǎng)景或自動(dòng)駕駛系統(tǒng)功能失效時(shí)，會(huì)向安全員提出請(qǐng)求讓其介入駕駛行為，如果安全員對(duì)請(qǐng)求不做響應(yīng)、安全員不滿足駕駛車輛能力或安全員要求自動(dòng)駕駛系統(tǒng)控制車輛到最小風(fēng)險(xiǎn)狀態(tài)時(shí)，自動(dòng)駕駛系統(tǒng)可以自行將車輛控制到最小風(fēng)險(xiǎn)狀態(tài)下。我國《汽車駕駛自動(dòng)化分級(jí)》（6）L5級(jí)（完全自動(dòng)駕駛）在這一階段自動(dòng)駕駛系統(tǒng)可以獨(dú)立完成所有駕駛場(chǎng)景中的自動(dòng)駕駛功能，駕駛員可以充當(dāng)安全員的角色，監(jiān)管自動(dòng)駕駛系統(tǒng)的駕駛行為。自動(dòng)駕駛系統(tǒng)已經(jīng)可以保障車內(nèi)乘客的安全，在遇到不能完成駕駛行為的場(chǎng)景或自動(dòng)駕駛系統(tǒng)功能失效時(shí)，會(huì)向安全員提出請(qǐng)求讓其介入駕駛行為，如果安全員對(duì)請(qǐng)求不做響應(yīng)或安全員要求自動(dòng)駕駛系統(tǒng)控制車輛到最小風(fēng)險(xiǎn)狀態(tài)時(shí)時(shí)，自動(dòng)駕駛系統(tǒng)可以自行將車輛控制到最小風(fēng)險(xiǎn)狀態(tài)下?？偟膩碚f，L0級(jí)別系統(tǒng)僅提供預(yù)警類功能，車輛控制完全由駕駛員掌控，因此屬于輔助預(yù)警。L1~L2級(jí)別系統(tǒng)可接管少部分的、不連續(xù)的車輛控制任務(wù)，屬于高級(jí)別輔助駕駛范圍（簡(jiǎn)稱“ADAS”或“輔助駕駛”）。而L3~L5級(jí)別系統(tǒng)可以在激活后的一定情況下執(zhí)行連續(xù)性駕駛?cè)蝿?wù)，因此屬于自動(dòng)駕駛范圍。但L5級(jí)別的完全自動(dòng)駕駛由于技術(shù)、法規(guī)、政策、標(biāo)準(zhǔn)和道德倫理等問題，其短時(shí)間內(nèi)的可行性較低，因此，目前L4為可行性較高且落地性較強(qiáng)的高級(jí)別自動(dòng)駕駛等級(jí)。6.4.2自動(dòng)駕駛發(fā)展歷史2009年，谷歌（Google）公司進(jìn)軍智能駕駛領(lǐng)域，并聯(lián)合斯坦福大學(xué)進(jìn)行智能駕駛的開發(fā)與研究。2009年，Prius完成了100英里的無人接管自動(dòng)駕駛?cè)蝿?wù)，成為谷歌公司自動(dòng)駕駛的里程碑；2010年，新聞界首次對(duì)谷歌公司自動(dòng)駕駛進(jìn)行了相關(guān)報(bào)道，當(dāng)時(shí)，谷歌公司的無人駕駛汽車已經(jīng)完成了14萬英里的測(cè)試?yán)锍蹋?011年，谷歌公司在政府游說專家的協(xié)助下使內(nèi)華達(dá)州成為美國第一個(gè)允許自動(dòng)駕駛汽車上路測(cè)試的州。隨著技術(shù)的不斷更新，2012年，谷歌公司第二代無人駕駛汽車Lexus誕生。與第一代相比，Lexus的空間更大，續(xù)航里程更長(zhǎng)。當(dāng)年，Lexus累計(jì)完成了超過30萬英里的測(cè)試?yán)锍獭?013年，谷歌公司確立了開發(fā)完全自動(dòng)駕駛的技術(shù)路線。隨后一年，谷歌公司借鑒Podcar原型，設(shè)計(jì)出第三代無人駕駛汽車——“螢火蟲（Firefly）”，該車進(jìn)一步增強(qiáng)了無人駕駛過程中的人機(jī)交互體驗(yàn)。自動(dòng)駕駛發(fā)展歷史2015年是國外自動(dòng)駕駛事件頻出的一年。2015年初，在美國拉斯維加斯舉辦的國際消費(fèi)電子展（簡(jiǎn)稱CES）上，梅賽德斯-奔馳（Mercedes-Benz）發(fā)布的無人駕駛豪華運(yùn)動(dòng)概念車F015驚艷亮相。10月特斯拉發(fā)布自動(dòng)駕駛系統(tǒng)（Autopilot），使得“未來已來”一時(shí)成為熱議詞匯。在國外無人駕駛風(fēng)起云涌的2015年，中國也留下具有時(shí)代意義的無人駕駛大事件。2015年8月，李德毅院士團(tuán)隊(duì)與宇通汽車集團(tuán)合作研發(fā)的無人駕駛大型客車，在全開放環(huán)境的鄭開大道上行駛33km，完成跟車行駛、定點(diǎn)?？康仍囼?yàn)科目，全程無人工干預(yù)，實(shí)現(xiàn)了中國商用車企業(yè)在自動(dòng)駕駛領(lǐng)域零的突破。2015年12月，百度公司宣布其與寶馬公司合作的無人駕駛汽車已經(jīng)在北京五環(huán)順利完成自動(dòng)駕駛測(cè)試，時(shí)速達(dá)100km/h。這三件事情讓人們意識(shí)到，在無人駕駛的高精尖領(lǐng)域，中國并沒有缺席。

自動(dòng)駕駛發(fā)展歷史2016年上半年，接連發(fā)生多起無人駕駛事故度過了2016年上半年的冷卻期，無人駕駛在8月迎來了新的曙光。第一起事故發(fā)生于2016年2月，谷歌公司的無人駕駛汽車正在以自動(dòng)駕駛模式進(jìn)行測(cè)試，一輛公交車從其后方駛近，由于判斷失誤，兩車發(fā)生輕微碰撞。隨后，谷歌公司發(fā)布聲明，解釋了事故原因，并承認(rèn)谷歌公司在事故中負(fù)有“一定的責(zé)任”。由于事故并未造成嚴(yán)重傷亡，事件很快平息下來。但在當(dāng)年5月發(fā)生的致命車禍?zhǔn)录s為自動(dòng)駕駛蒙上了一層陰霾。當(dāng)時(shí)，一輛特斯拉汽車正在以Autopilot模式高速運(yùn)行，但駕駛員卻在觀看視頻，并未關(guān)注周圍路況。車輛的Autopilot系統(tǒng)沒有檢測(cè)到一輛卡車正在橫穿馬路，兩車相撞，特斯拉駕駛員當(dāng)場(chǎng)身亡。悲劇發(fā)生后，特斯拉發(fā)布聲明，表示由于光線問題，自動(dòng)駕駛模式未發(fā)現(xiàn)卡車的白色面，因此未啟動(dòng)制動(dòng)功能。同時(shí)聲稱駕駛員“需要保持對(duì)車輛的控制，而且還要對(duì)行駛的車輛負(fù)責(zé)”，這場(chǎng)事故一時(shí)間引起熱議。線上租車服務(wù)公司Uber高調(diào)宣布以6.8億美元收購自動(dòng)駕駛技術(shù)公司Otto，雙方聯(lián)手致力于打造安全的無人駕駛貨運(yùn)體系。經(jīng)歷了2016年的悲喜交加，在2017年，創(chuàng)業(yè)公司紛紛入局，無人駕駛迎來了發(fā)展的小高峰，并表露出商業(yè)化跡象。2017年4月，英特爾公司以153億美元收購Mobileye公司。這次收購被業(yè)內(nèi)稱為“眼睛與大腦的融合”，它讓英特爾公司如虎添翼，增加了其與高通、英偉達(dá)的競(jìng)爭(zhēng)資本。與此同時(shí)，福特公司錦上添花。早在2016年，福特公司就推出了“2021自動(dòng)駕駛宣言”——在2021年實(shí)現(xiàn)無人駕駛的商業(yè)化運(yùn)營(yíng)，面向大眾推出自動(dòng)駕駛服務(wù)，占領(lǐng)市場(chǎng)份額。2017年7月百度AI技術(shù)首次公開，智能駕駛、人機(jī)交互等技術(shù)逐一亮相。其中，Apollo開放平臺(tái)專注于無人駕駛技術(shù)，這是全球范圍內(nèi)自動(dòng)駕駛技術(shù)的第一次系統(tǒng)級(jí)開放，也是全球自動(dòng)駕駛一個(gè)重要的里程碑。

6.4.3自動(dòng)駕駛原理與實(shí)現(xiàn)1.自動(dòng)駕駛系統(tǒng)結(jié)構(gòu)自動(dòng)駕駛汽車使用視頻攝像頭、雷達(dá)傳感器，以及激光雷達(dá)測(cè)距來了解周圍的交通狀況，并通過一個(gè)詳盡的地圖(通過有人駕駛汽車采集的地圖)對(duì)前方的道路進(jìn)行導(dǎo)航。1）激光雷達(dá)車頂?shù)?水桶"形裝置是自動(dòng)駕駛汽車的激光雷達(dá)，它能對(duì)半徑60米的周圍環(huán)境進(jìn)行掃描，并將結(jié)果以3D地圖的方式呈現(xiàn)出來，給予計(jì)算機(jī)最初步的判斷依據(jù)。自動(dòng)駕駛原理與實(shí)現(xiàn)2）視頻攝像頭自動(dòng)駕駛汽車前置攝像頭，用于識(shí)別交通信號(hào)燈，并在車載電腦的輔助下辨別移動(dòng)的物體，比如前方車輛、自行車或是行人。3）位置傳感器圖中標(biāo)出的微型傳感器實(shí)際上是自動(dòng)駕駛汽車的位置傳感器，它通過測(cè)定汽車的橫向移動(dòng)來幫助電腦給汽車定位，確定它在馬路上的正確位置。4）前后雷達(dá)自動(dòng)駕駛汽車的前后雷達(dá)用于測(cè)量汽車與前后左右各個(gè)物體間的距離。圖中的無人駕車汽車上分別安裝了4個(gè)雷達(dá)傳感器。5）主控電腦自動(dòng)駕駛汽車最重要的主控電腦被安排在后車廂，這里除了用于運(yùn)算外，還是一個(gè)綜合資料庫，例如精確標(biāo)明道路的限速標(biāo)準(zhǔn)以及出入口位置等，這套核心裝備將負(fù)責(zé)汽車的行駛路線、方式的判斷和執(zhí)行。

2.智能駕駛系統(tǒng)自動(dòng)駕駛系統(tǒng)包含自動(dòng)駕駛中的各個(gè)子系統(tǒng)以及子系統(tǒng)中的數(shù)據(jù)流和控制流的流程關(guān)系，具體來說，重要的核心子系統(tǒng)包括環(huán)境感知、車輛定位、路徑規(guī)劃、車輛控制4部分。（1）環(huán)境感知環(huán)境感知通過各類傳感器采集周邊和自身的信息，實(shí)時(shí)發(fā)送給處理器，形成對(duì)周邊環(huán)境的認(rèn)知模型，而且需要保證在行駛過程中對(duì)環(huán)境信息進(jìn)行獲取并處理過程的連續(xù)性和實(shí)時(shí)性。（2）車輛定位車輛定位是利用車輛的硬件測(cè)量結(jié)果，結(jié)合地圖軟件輸入比對(duì)得到車輛位置的過程。高精度地圖對(duì)無人駕駛至關(guān)重要。百度在中國繪制的高精度地圖達(dá)到了厘米級(jí)精度。

2.智能駕駛系統(tǒng)（3）路徑規(guī)劃路徑規(guī)劃是解決無人車從起點(diǎn)到終點(diǎn)，走怎樣的路徑的問題。規(guī)劃的總體要求是不要撞到障礙物，保證自身的安全和可能相遇的車輛和行人的安全。在此基礎(chǔ)上，再去依次追求下列目標(biāo)：車體平穩(wěn)、乘坐舒適、尋求路徑最短等。（4）車輛控制車輛控制技術(shù)是實(shí)現(xiàn)自動(dòng)駕駛的關(guān)鍵環(huán)節(jié)，通過精確的車輛控制技術(shù)，控制車輛的節(jié)氣門、制動(dòng)和轉(zhuǎn)向等駕駛動(dòng)作，調(diào)節(jié)車輛行駛速度、位置和方向等狀態(tài)，使自動(dòng)駕駛車輛按照規(guī)劃的軌跡運(yùn)行，并保證汽車的安全性、操縱性和穩(wěn)定性。拓展閱讀國內(nèi)首個(gè)無人駕駛商業(yè)化試點(diǎn)啟動(dòng)2021年11月25日，北京市高級(jí)別自動(dòng)駕駛示范區(qū)工作辦公室在亦莊創(chuàng)新發(fā)布活動(dòng)中，公布北京正式開放國內(nèi)首個(gè)自動(dòng)駕駛出行服務(wù)商業(yè)化試點(diǎn)，并宣布配套管理政策——《北京市智能網(wǎng)聯(lián)汽車政策先行區(qū)自動(dòng)駕駛出行服務(wù)商業(yè)化試點(diǎn)管理實(shí)施細(xì)則（試行）》同步出臺(tái)。百度和小馬智行成為首批獲許開展商業(yè)化試點(diǎn)服務(wù)的企業(yè)，現(xiàn)階段將在經(jīng)開區(qū)60平方公里范圍，投入不超過100輛自動(dòng)駕駛車輛開展商業(yè)化試點(diǎn)服務(wù)。

6.5文字識(shí)別計(jì)算機(jī)文字識(shí)別，又稱光學(xué)字符識(shí)別（OpticalCharacterRecognition，OCR）），是計(jì)算機(jī)視覺中最常用的方向之一，目的是讓計(jì)算機(jī)跟人一樣能夠看圖識(shí)字。OCR識(shí)別不僅可以用于印刷文字、票據(jù)、身份證、銀行卡等代替用戶輸入的場(chǎng)景，還能用于反作弊、街景標(biāo)注、視頻字幕識(shí)別、新聞標(biāo)題識(shí)別、教育行業(yè)等多種場(chǎng)景。

6.5.1OCR的概念OCR（光學(xué)字符識(shí)別）是指電子設(shè)備（例如掃描儀或數(shù)字照相機(jī)）檢查紙上打印的字符，通過檢測(cè)暗、亮的模式確定其形狀，然后用字符識(shí)別方法將形狀翻譯成計(jì)算機(jī)文字的過程。即，針對(duì)印刷體字符，采用光學(xué)的方式將紙質(zhì)文檔中的文字轉(zhuǎn)換成為黑白點(diǎn)陣的圖像文件，并通過識(shí)別軟件將圖像中的文字轉(zhuǎn)換成文本格式，供文字處理軟件進(jìn)一步編輯加工的技術(shù)。目前，百度、阿里、科大訊飛、華為等人工智能開放平臺(tái)都提供了OCR文字識(shí)別服務(wù)。其主要應(yīng)用有通用文字識(shí)別與垂直場(chǎng)景文字識(shí)別。通用文字識(shí)別：通用文字識(shí)別支持多場(chǎng)景下整體文字的檢測(cè)識(shí)別，支持任意場(chǎng)景、復(fù)雜背景、任意版面識(shí)別，支持10多種語言識(shí)別。在圖片文字清晰、小幅度傾斜、無明顯背光等情況下，目前，各大平臺(tái)的識(shí)別率高達(dá)90%以上。語種支持：中、英、日、韓、葡、德、法、意、西、俄等語言。垂直場(chǎng)景文字識(shí)別：在垂直場(chǎng)景文字識(shí)別中，只需要提供身份證、銀行卡、駕駛證、行駛證、車輛、營(yíng)業(yè)執(zhí)照、彩票、發(fā)票、打車票等即可在垂直場(chǎng)景下提供文字識(shí)別服務(wù)。

6.5.2OCR的發(fā)展歷程OCR的概念是在1929年由德國科學(xué)家Tausheck最先提出來的，后來美國科學(xué)家Handel也提出了利用技術(shù)對(duì)文字進(jìn)行識(shí)別的想法。早在60、70年代，世界各國就開始有OCR的研究，而研究的初期，多以文字的識(shí)別方法研究為主，且識(shí)別的文字僅為0至9的數(shù)字。中國在OCR技術(shù)方面的研究，在70年代才開始對(duì)數(shù)字、英文字母及符號(hào)的識(shí)別進(jìn)行研究，70年代末開始進(jìn)行漢字識(shí)別的研究，到1986年，我國提出“863”高新科技研究計(jì)劃，漢字識(shí)別的研究進(jìn)入一個(gè)實(shí)質(zhì)性的階段，清華大學(xué)和中科院分別開發(fā)研究，相繼推出了中文OCR產(chǎn)品。進(jìn)入20世紀(jì)90年代以后，隨著平臺(tái)式掃描儀的廣泛應(yīng)用，以及我國信息自動(dòng)化和辦公自動(dòng)化的普及，大大推動(dòng)了OCR技術(shù)的進(jìn)一步發(fā)展，使OCR的識(shí)別正確率、識(shí)別速度滿足了廣大用戶的要求。

6.5.3OCR識(shí)別系統(tǒng)一個(gè)OCR識(shí)別系統(tǒng)，從影像到結(jié)果輸出，須經(jīng)過影像輸入、影像前處理、文字特征抽取、比對(duì)識(shí)別、最后經(jīng)人工校正將認(rèn)錯(cuò)的文字更正，將結(jié)果輸出。1.影像輸入欲經(jīng)過OCR處理的標(biāo)的物須透過光學(xué)儀器，如影像掃描儀、傳真機(jī)或任何攝影器材，將影像轉(zhuǎn)入計(jì)算機(jī)。2.影像預(yù)處理影像預(yù)處理是OCR系統(tǒng)中，須解決問題最多的一個(gè)模塊。影像須先將圖片、表格及文字區(qū)域分離出來，甚至可將文章的編排方向、文章的提綱及內(nèi)容主體區(qū)分開，而文字的大小及文字的字體亦可如原始文件一樣的判斷出來。1）二值化：使圖像只包含黑色的前景信息和白色的背景信息，提升識(shí)別處理的效率和精確度。2）圖像降噪：根據(jù)噪聲的特征對(duì)待識(shí)別圖像進(jìn)行去噪處理，提升識(shí)別處理的精確度。3）傾斜校正：在對(duì)圖像中印刷體字符進(jìn)行識(shí)別處理前，就需要進(jìn)行圖像方向檢測(cè)，并校正圖像方向。6.5.3OCR識(shí)別系統(tǒng)3.文字特征抽取單以識(shí)別率而言，特征抽取可說是

OCR的核心，用什么特征、怎么抽取，直接影響識(shí)別的好壞，也所以在OCR研究初期，特征抽取的研究報(bào)告特別的多。而特征可簡(jiǎn)易的區(qū)分為兩類：一為統(tǒng)計(jì)的特征，如文字區(qū)域內(nèi)的黑/白點(diǎn)數(shù)比，當(dāng)文字區(qū)分成好幾個(gè)區(qū)域時(shí)，這一個(gè)個(gè)區(qū)域黑/白點(diǎn)數(shù)比之聯(lián)合，就成了空間的一個(gè)數(shù)值向量，在比對(duì)時(shí)，基本的數(shù)學(xué)理論就足以應(yīng)付了。而另一類特征為結(jié)構(gòu)的特征，如文字影像細(xì)線化后，取得字的筆劃端點(diǎn)、交叉點(diǎn)之?dāng)?shù)量及位置，或以筆劃段為特征，配合特殊的比對(duì)方法，進(jìn)行比對(duì)，市面上的線上手寫輸入軟件的識(shí)別方法多以此種結(jié)構(gòu)的方法為主。4.對(duì)比識(shí)別當(dāng)輸入文字算完特征后，不管是用統(tǒng)計(jì)或結(jié)構(gòu)的特征，都須有一比對(duì)數(shù)據(jù)庫或特征數(shù)據(jù)庫來進(jìn)行比對(duì)，數(shù)據(jù)庫的內(nèi)容應(yīng)包含所有欲識(shí)別的字集文字，根據(jù)與輸入文字一樣的特征抽取方法所得的特征群組。對(duì)比識(shí)別過程，根據(jù)不同的特征特性，選用不同的數(shù)學(xué)距離函數(shù)，較有名的比對(duì)方法有，歐式空間的比對(duì)方法、松弛比對(duì)法（Relaxation）、動(dòng)態(tài)程序比對(duì)法6.5.3OCR識(shí)別系統(tǒng)5.人工校正由于OCR的識(shí)別率并無法達(dá)到百分之百。一個(gè)好的OCR軟件，