汽車智能傳感器技術(shù)與應(yīng)用項(xiàng)目一知識(shí)準(zhǔn)備2：認(rèn)識(shí)智能網(wǎng)聯(lián)汽車環(huán)境感知技術(shù)

認(rèn)識(shí)智能網(wǎng)聯(lián)汽車環(huán)境感知技術(shù)智能汽車傳感器應(yīng)用技術(shù)一、課程導(dǎo)入環(huán)境感知技術(shù)是智能網(wǎng)聯(lián)汽車的關(guān)鍵技術(shù)之一，而傳感器又是智能網(wǎng)聯(lián)汽車環(huán)境感知的硬件基礎(chǔ)。智能網(wǎng)聯(lián)汽車的環(huán)境感知傳感器是區(qū)別于傳統(tǒng)汽車最主要的表觀特征，也占據(jù)了智能汽車成本增量的主要部分，主要包括激光雷達(dá)、毫米波雷達(dá)、視覺傳感器和超聲波雷達(dá)。課程導(dǎo)入環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)自動(dòng)駕駛技術(shù)思考討論題（2分鐘）一、課程導(dǎo)入你知道有哪些車企研發(fā)了自動(dòng)駕駛產(chǎn)品嗎？答：通用、福特、現(xiàn)代、特斯拉、蔚來、小鵬等?，F(xiàn)代福特通用課程導(dǎo)入環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)二、環(huán)境感知傳感器2.1激光雷達(dá)激光雷達(dá)在自動(dòng)駕駛車輛中有著非常重要的作用，它可以大范圍、大角度、高精度地對(duì)周圍環(huán)境進(jìn)行掃描，然后對(duì)掃描得到的點(diǎn)云進(jìn)行處理，實(shí)現(xiàn)對(duì)3D環(huán)境的實(shí)時(shí)建模。激光雷達(dá)在車輛定位、對(duì)象識(shí)別、對(duì)象追蹤、環(huán)境感知和高精地圖的創(chuàng)建等多個(gè)關(guān)鍵技術(shù)中都有著非常重要的作用。另一方面，激光雷達(dá)仍然面臨一些問題和挑戰(zhàn)。首先，目前其成本較高；其次，其工作時(shí)比較容易受到天氣的影響，在大雨、濃霧和濃煙的環(huán)境中，激光的衰減大，傳播的距離大受影響。第三，當(dāng)激光雷達(dá)遇到高反射率的表面時(shí)，其測(cè)量精度也會(huì)受到影響。另外，當(dāng)使用純機(jī)械式激光雷達(dá)時(shí)，其掃描旋轉(zhuǎn)頻率深受機(jī)械結(jié)構(gòu)的限制，最快的旋轉(zhuǎn)速率大約為10Hz，限制了數(shù)據(jù)流的刷新頻率，如果采用固態(tài)激光雷達(dá)，則需要配合使用多個(gè)激光雷達(dá)才能完成對(duì)周圍環(huán)境的感知。課程導(dǎo)入環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)激光雷達(dá)掃描周圍環(huán)境二、環(huán)境感知傳感器2.2毫米波雷達(dá)毫米波雷達(dá)在智能汽車中有著非常重要的作用，且無法被激光雷達(dá)、攝像頭等其他傳感器所取代，它的檢測(cè)距離遠(yuǎn)，能夠檢測(cè)物體的速度、距離和方位，其抗天氣干擾的能力強(qiáng)，價(jià)格便宜。雖然毫米波雷達(dá)檢測(cè)精度不如激光雷達(dá)，且不能檢測(cè)到物體具體的形狀，但它具有明顯的多普勒效應(yīng)，可以檢測(cè)其多普勒頻移來實(shí)現(xiàn)對(duì)移動(dòng)物體速度的測(cè)量；與相機(jī)相比其能夠提供深度信息，可以直接測(cè)得物體的距離。毫米波雷達(dá)探測(cè)前方物體距離課程導(dǎo)入環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)二、環(huán)境感知傳感器2.3車載視覺傳感器車載視覺傳感器（或稱車載攝像頭）是一種能夠獲取環(huán)境圖像信息的傳感器，也是智能汽車中最重要的傳感器之一。車載視覺傳感器獲取圖像后，將光信號(hào)轉(zhuǎn)化為圖像模擬信號(hào)，并傳送給專用圖像處理系統(tǒng)，轉(zhuǎn)變?yōu)閿?shù)字化信號(hào)。最后對(duì)這些數(shù)字信號(hào)進(jìn)行運(yùn)算，以抽取目標(biāo)特征，獲得相應(yīng)的識(shí)別信息。眾所周知，特斯拉Autopilot系統(tǒng)是相機(jī)在智能網(wǎng)聯(lián)汽車中應(yīng)用的成功典范，該系統(tǒng)以攝像頭為主傳感器，不采用激光雷達(dá)方案，靠攝像頭信息進(jìn)行道路識(shí)別、交通標(biāo)志識(shí)別以及車輛和行人的識(shí)別等。車載視覺傳感器按照構(gòu)成形式可分成單目攝像頭、雙目攝像頭和全景攝像頭等多種；按照其安裝在汽車上的位置可以分成前視攝像頭、后視攝像頭、全景攝像頭以及車內(nèi)監(jiān)控?cái)z像頭等。車載視覺傳感器獲取環(huán)境圖像信息課程導(dǎo)入不同ADAS功能的汽車傳感器布置方案環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)總結(jié)二、環(huán)境感知傳感器2.3超聲波雷達(dá)超聲波雷達(dá)（UltrasonicRadar）是通過發(fā)射、接收40kHz、48kHz或58kHz頻率的超聲波，根據(jù)時(shí)間差測(cè)算出障礙物距離的安全輔助裝置，能以聲音或者更為直觀的顯示器告知駕駛員周圍障礙物的情況，解除了駕駛員駐車、倒車和起動(dòng)車輛時(shí)前后左右探視所引起的困擾，并幫助駕駛員掃除了視野死角和視線模糊的缺陷。超聲波雷達(dá)探測(cè)周圍障礙物課程導(dǎo)入環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)三、多傳感器信息融合多傳感器信息融合的分類隨自動(dòng)駕駛程度的遞進(jìn)，對(duì)汽車的性能要求也越來越高，環(huán)境感知的能力也需要相應(yīng)的提高。單一的傳感器難以滿足自動(dòng)駕駛復(fù)雜行駛路況信息的采集，因此多傳感器信息的融合是實(shí)現(xiàn)自動(dòng)駕駛的必由之路。多傳感器信息融合的方式分為前融合和后融合。多傳感器信息融合前融合后融合課程導(dǎo)入環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)三、多傳感器信息融合不同類型傳感器都存在著不同的優(yōu)劣勢(shì)，單一的傳感器難以滿足復(fù)雜行駛路況信息的采集，因此多傳感器信息融合是必由之路。多傳感器信息融合的感知系統(tǒng)可以形成互補(bǔ)，有效應(yīng)對(duì)現(xiàn)實(shí)世界中的光照，天氣，路況各種復(fù)雜條件，以及在安全方面形成冗余設(shè)計(jì)。傳感器融合分成兩種：前融合和后融合。所謂的前融合，是指在原始層把各種傳感器的數(shù)據(jù)融合在一起，實(shí)現(xiàn)原始數(shù)據(jù)的同步，前融合只有一個(gè)感知算法。而后融合，是指每個(gè)傳感器各自獨(dú)立處理生成目標(biāo)數(shù)據(jù)，再由主處理器進(jìn)行數(shù)據(jù)融合，涉及多個(gè)感知算法。激光雷達(dá)與視覺傳感器的信息融合課程導(dǎo)入環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)三、多傳感器信息融合多傳感器信息融合的分類1、前融合前融合只有一個(gè)感知算法，在原始層把各種傳感器的數(shù)據(jù)融合在一起，實(shí)現(xiàn)原始數(shù)據(jù)的同步，包括空間同步和時(shí)間同步。前融合技術(shù)課程導(dǎo)入環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)三、多傳感器信息融合多傳感器信息融合的分類2、后融合有多個(gè)感知算法，每個(gè)傳感器首先各自獨(dú)立處理生成目標(biāo)數(shù)據(jù)，再由主處理器進(jìn)行數(shù)據(jù)融合。后融合技術(shù)課程導(dǎo)入環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)三、多傳感器信息融合3.1前融合的優(yōu)勢(shì)相較于后融合，前融合的優(yōu)勢(shì)在于以下兩點(diǎn)。（1）前融合將所有傳感器的原始數(shù)據(jù)進(jìn)行統(tǒng)一算法處理，降低了整個(gè)感知架構(gòu)的復(fù)雜度和系統(tǒng)延遲；（2）許多后融合感知中被過濾掉的無效和無用的信息，在前感知路線中通過與其他傳感器數(shù)據(jù)融合后進(jìn)行綜合識(shí)別，可以創(chuàng)建出一個(gè)更全面、更完整的環(huán)境感知信息，大大提高感知系統(tǒng)的穩(wěn)健性。課程導(dǎo)入環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)激光雷達(dá)與視覺傳感器的信息融合三、多傳感器信息融合3.2前融合的要求前融合對(duì)于提高感知系統(tǒng)的準(zhǔn)確性和穩(wěn)健性有不可比擬的優(yōu)勢(shì)，但是實(shí)現(xiàn)多傳感的前融合對(duì)于軟件、硬件、通信提出了更高的要求：（1）軟件算法需求：各個(gè)傳感器數(shù)據(jù)采集方式和周期相對(duì)獨(dú)立，后融合向前融合轉(zhuǎn)化需要實(shí)現(xiàn)數(shù)據(jù)空間和時(shí)間同步，控制時(shí)間誤差需要在1微秒以內(nèi)，100m外的物體距離精度要在3cm以內(nèi)，這樣需要主機(jī)廠在算法端給各個(gè)傳感器提供時(shí)間校準(zhǔn)和空間標(biāo)定的功能。（2）芯片算力需求：整車所有傳感器原始數(shù)據(jù)都匯集到中央計(jì)算平臺(tái)進(jìn)行處理，對(duì)于AI芯片的算力提出更高的要求。（3）數(shù)據(jù)通信需求：一是車載的傳感器如毫米波雷達(dá)、攝像頭、激光雷達(dá)等來自于不同硬件廠商，因?yàn)楫a(chǎn)品接口與商業(yè)協(xié)議等等問題，有些傳感器無法獲得原始數(shù)據(jù)；二是車內(nèi)通信帶寬需升級(jí)來支持多傳感器數(shù)據(jù)的并發(fā)。多傳感器前融合是長(zhǎng)周期目標(biāo)，目前還屬于智能駕駛發(fā)展初期，傳感器本身硬件升級(jí)還有長(zhǎng)足空間。多傳感器發(fā)展路徑會(huì)趨向冗余再融合，在傳感器搭載數(shù)量和性能升級(jí)的基礎(chǔ)上，逐漸實(shí)現(xiàn)多傳感器融合。課程導(dǎo)入環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)三、多傳感器信息融合3.2多傳感器信息融合的分類3、前后融合對(duì)比相較于后融合，前融合的優(yōu)勢(shì)在于：前融合將所有傳感器的原始數(shù)據(jù)進(jìn)行統(tǒng)一算法處理，降低了整個(gè)感知架構(gòu)的復(fù)雜度和系統(tǒng)延遲。后融合感知會(huì)過濾掉的無效和無用的信息，而前融合可通過這些信息與其他傳感器數(shù)據(jù)融合后進(jìn)行綜合識(shí)別，感知系統(tǒng)穩(wěn)健性更高。課程導(dǎo)入環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)四、環(huán)境感知技術(shù)環(huán)境感知技術(shù)是智能網(wǎng)聯(lián)汽車的關(guān)鍵技術(shù)，它通過安裝在車輛上的傳感器對(duì)道路、行人、車輛、信號(hào)燈、交通標(biāo)志等因素進(jìn)行識(shí)別。環(huán)境感知技術(shù)課程導(dǎo)入環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)四、環(huán)境感知技術(shù)4.1道路識(shí)別技術(shù)道路識(shí)別技術(shù)指提取車道的幾何結(jié)構(gòu)、確定車輛在車道中的位置及方向、確定車輛可行駛的區(qū)域。道路識(shí)別技術(shù)課程導(dǎo)入環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)四、環(huán)境感知技術(shù)4.2行人檢測(cè)技術(shù)行人檢測(cè)技術(shù)主要包括兩種常用的方式，一是基于視覺的行人檢測(cè)技術(shù)，通過一定的算法如方向梯度直方圖（HistogramofOrientedGradient，HOG）與支持向量機(jī)（SupportVectorMachines，SVM）配合檢測(cè)的方法實(shí)現(xiàn)行人識(shí)別；二是基于視覺和激光雷達(dá)融合的行人檢測(cè)技術(shù)，激光雷達(dá)可以獲得行人在二維平面的位置及其他狀態(tài)信息，可以對(duì)目標(biāo)進(jìn)行較為精準(zhǔn)的狀態(tài)估算。通過激光雷達(dá)和攝像頭數(shù)據(jù)的融合進(jìn)行綜合判斷，可以提高系統(tǒng)的檢測(cè)性能及檢測(cè)精度。行人檢測(cè)技術(shù)課程導(dǎo)入環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)四、環(huán)境感知技術(shù)4.3車輛檢測(cè)技術(shù)車輛檢測(cè)技術(shù)與行人檢測(cè)技術(shù)一樣包括兩種方式，基于視覺的車輛檢測(cè)技術(shù)可分為基于車輛外觀的檢測(cè)方法和基于車輛運(yùn)動(dòng)的檢測(cè)方法?；谲囕v外觀的檢測(cè)方法從單幀圖像中進(jìn)行車輛檢測(cè)，而基于車輛運(yùn)動(dòng)的檢測(cè)方法使用連續(xù)幀的圖像進(jìn)行車輛檢測(cè)。早期由于計(jì)算機(jī)和顯卡的處理速度較低，車輛使用圖像對(duì)稱性和邊緣特征進(jìn)行檢測(cè)。近年來，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法取得了很大的突破，如基于候選區(qū)域的R-CNN系列算法和YOLO算法等，基于視覺的車輛檢測(cè)技術(shù)得到長(zhǎng)足的發(fā)展。車輛檢測(cè)技術(shù)課程導(dǎo)入環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)四、環(huán)境感知技術(shù)4.3車輛檢測(cè)技術(shù)另一種車輛檢測(cè)技術(shù)是基于視覺和激光雷達(dá)融合的，是最近幾年發(fā)展起來的技術(shù)。激光雷達(dá)能夠快速掃描平面的距離信息，并獲得障礙物在掃描平面中的外輪廓，并且不受光照條件等因素的影響。兩種傳感器可以實(shí)現(xiàn)功能上的互補(bǔ)，在檢測(cè)過程中需要將車輛坐標(biāo)、激光雷達(dá)坐標(biāo)和攝像頭坐標(biāo)進(jìn)行數(shù)據(jù)統(tǒng)一融合并轉(zhuǎn)換到同一坐標(biāo)系下進(jìn)行處理，其檢測(cè)精度較高，是較為先進(jìn)的技術(shù)。車輛檢測(cè)技術(shù)課程導(dǎo)入環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)四、環(huán)境感知技術(shù)4.4交通信號(hào)燈識(shí)別技術(shù)課程導(dǎo)入環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)交通信號(hào)燈的檢測(cè)與識(shí)別是無人駕駛與輔助駕駛必不可少的一部分，其識(shí)別精度直接關(guān)乎智能駕駛的安全。從顏色來看，交通信號(hào)燈的顏色有紅色、黃色、綠色這三種顏色，而且三種顏色在交通信號(hào)燈中出現(xiàn)的位置都有一定的順序關(guān)系。從功能來看，交通信號(hào)燈有機(jī)動(dòng)車信號(hào)燈、閃光警告信號(hào)燈、道口信號(hào)燈、非機(jī)動(dòng)車信號(hào)燈、左轉(zhuǎn)非機(jī)動(dòng)車信號(hào)燈、人行橫道信號(hào)燈、車道信號(hào)燈、方向指示信號(hào)燈、掉頭信號(hào)燈等?？傮w來說，交通信號(hào)燈識(shí)別技術(shù)大多是基于傳統(tǒng)的圖像處理方法，雖然目前也有用強(qiáng)學(xué)習(xí)能力的卷積神經(jīng)網(wǎng)絡(luò)去進(jìn)行識(shí)別，但這類方法往往需要大量的訓(xùn)練樣本避免過擬合的風(fēng)險(xiǎn)。截至目前的大多數(shù)方法都是在各種顏色空間中利用信號(hào)燈顏色的先驗(yàn)進(jìn)行分割得到感興趣區(qū)域，然后再通過信號(hào)燈所特有的形狀特征和角點(diǎn)特征等進(jìn)行進(jìn)一步的判定。交通信號(hào)燈識(shí)別技術(shù)四、環(huán)境感知技術(shù)4.5交通標(biāo)志識(shí)別技術(shù)課程導(dǎo)入環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)交通標(biāo)志是用文字或符號(hào)傳遞引導(dǎo)、限制、警告或指示信息的道路設(shè)施，是實(shí)施交通管理，保證道路交通安全、順暢的重要標(biāo)志，因此，交通標(biāo)志的識(shí)別技術(shù)是智能網(wǎng)聯(lián)汽車實(shí)現(xiàn)無人駕駛的一項(xiàng)重要技術(shù)。當(dāng)前交通標(biāo)志的檢測(cè)方法主要有兩種，一種是基于顏色特征和圖形特征組合的識(shí)別技術(shù)，是目前較常用的技術(shù)，主要實(shí)現(xiàn)步驟包括圖像預(yù)處理、交通標(biāo)志分割、交通標(biāo)志提取和識(shí)別結(jié)果匹配等步驟；另外一種是基于深度學(xué)習(xí)的識(shí)別技術(shù)，該技術(shù)讓識(shí)別不再依靠具體固定的參數(shù)，而是通過一系列的條件判斷讓系統(tǒng)找到概率最大的目標(biāo)，以此提升識(shí)別的準(zhǔn)確度和靈活性，有效提高了交通標(biāo)志識(shí)別的準(zhǔn)確率及識(shí)別速度，是目前研究熱點(diǎn)。交通標(biāo)志識(shí)別技術(shù)五、智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)5.1集成化，微型化更進(jìn)一步利用微電子機(jī)械系統(tǒng)（MEMS）技術(shù)和計(jì)算機(jī)輔助設(shè)計(jì)技術(shù)將微m數(shù)量級(jí)的敏感元件、信號(hào)處理器、數(shù)據(jù)處理裝置封裝在同一芯片上，傳感器具有體積小、功能上的一體化、可靠性高等特點(diǎn)。課程導(dǎo)入環(huán)境感知傳感器多傳感器信息融合環(huán)境感知技術(shù)智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)集成化，微型化五、智能網(wǎng)聯(lián)汽車傳感器發(fā)展趨勢(shì)5.2智能化，多功能化更顯智能智能網(wǎng)聯(lián)汽車上的智能傳感器除了實(shí)現(xiàn)傳感的基本