智能網(wǎng)聯(lián)汽車環(huán)境感知系統(tǒng)課件

第1

頁(yè)第2章智能網(wǎng)聯(lián)汽車環(huán)境感知系統(tǒng)2.1環(huán)境感知的定義與組成2.2環(huán)境感知傳感器2.3道路識(shí)別2.4車輛識(shí)別2.5行人識(shí)別2.6交通標(biāo)志識(shí)別2.7交通信號(hào)燈識(shí)別第1頁(yè)第2章智能網(wǎng)聯(lián)汽車環(huán)境感知系統(tǒng)2.1

第2

頁(yè)第2頁(yè)

第3

頁(yè)第3頁(yè)

第4

頁(yè)2.1環(huán)境感知系統(tǒng)的定義與組成——定義環(huán)境感知就是利用車載超聲波傳感器、毫米波雷達(dá)、激光雷達(dá)、視覺傳感器，以及V2X通信技術(shù)等獲取道路、車輛位置和障礙物的信息，并將這些信息傳輸給車載控制中心，為智能網(wǎng)聯(lián)汽車提供決策依據(jù)，是ADAS實(shí)現(xiàn)的第一步第4頁(yè)2.1環(huán)境感知系統(tǒng)的定義與組成——定義2.1.1環(huán)境感知的定義2023/8/242.1.1環(huán)境感知的定義2023/8/52.1.1環(huán)境感知的定義2023/8/24環(huán)境感知的對(duì)象主要有道路、車輛、行人、各種障礙物、交通標(biāo)志、交通信號(hào)燈等2.1.1環(huán)境感知的定義2023/8/5環(huán)境感知的對(duì)象主要2.1.2環(huán)境感知的組成2023/8/242.1.2環(huán)境感知的組成2023/8/52.1.2環(huán)境感知的組成2023/8/242.1.2環(huán)境感知的組成2023/8/52.2環(huán)境感知傳感器2.2.1環(huán)境感知傳感器的類型與配置1.環(huán)境感知傳感器的類型超聲波傳感器毫米波雷達(dá)激光雷達(dá)視覺傳感器2023/8/242.2環(huán)境感知傳感器2.2.1環(huán)境感知傳感器的類型與配2.2.1環(huán)境感知傳感器的類型與配置2023/8/242.2.1環(huán)境感知傳感器的類型與配置2023/8/52.2.1環(huán)境感知傳感器的類型與配置2.環(huán)境感知傳感器的配置環(huán)境感知傳感器主要有超聲波傳感器、毫米波雷達(dá)、激光雷達(dá)、單/雙/三目攝像頭、環(huán)視攝像頭等2023/8/242.2.1環(huán)境感知傳感器的類型與配置2.環(huán)境感知傳感器的配2.2.1環(huán)境感知傳感器的類型與配置2023/8/242.2.1環(huán)境感知傳感器的類型與配置2023/8/52.2.1環(huán)境感知傳感器的類型與配置2023/8/242.2.1環(huán)境感知傳感器的類型與配置2023/8/52.2.1環(huán)境感知傳感器的類型與配置通用公司用于研究L4級(jí)自動(dòng)駕駛技術(shù)的Bolts5個(gè)16線束激光雷達(dá)21個(gè)毫米波雷達(dá)16個(gè)攝像頭2023/8/242.2.1環(huán)境感知傳感器的類型與配置通用公司用于研究L4級(jí)2.2.1環(huán)境感知傳感器的類型與配置2023/8/242.2.1環(huán)境感知傳感器的類型與配置2023/8/52.2.1環(huán)境感知傳感器的類型與配置3.環(huán)境感知傳感器的布局2023/8/242.2.1環(huán)境感知傳感器的類型與配置3.環(huán)境感知傳感器的布2.2.1環(huán)境感知傳感器的類型與配置4.環(huán)境感知傳感器的融合2023/8/242.2.1環(huán)境感知傳感器的類型與配置4.環(huán)境感知傳感器的融2.2.1環(huán)境感知傳感器的類型與配置2023/8/242.2.1環(huán)境感知傳感器的類型與配置2023/8/52.2.1環(huán)境感知傳感器的類型與配置2023/8/242.2.1環(huán)境感知傳感器的類型與配置2023/8/52.2.1環(huán)境感知傳感器的類型與配置圖像級(jí)融合——是以視覺傳感器為主體，將毫米波雷達(dá)輸出的整體信息進(jìn)行圖像特征轉(zhuǎn)化，然后與視覺系統(tǒng)的圖像輸出進(jìn)行融合目標(biāo)級(jí)融合——是對(duì)視覺傳感器和毫米波雷達(dá)輸出進(jìn)行綜合可信度加權(quán)，配合精度標(biāo)定信息進(jìn)行自適應(yīng)的搜索匹配后融合輸出信號(hào)級(jí)融合——是對(duì)視覺傳感器和毫米波雷達(dá)傳出的數(shù)據(jù)源進(jìn)行融合。信號(hào)級(jí)別的融合數(shù)據(jù)損失最小，可靠性最高，但需要大量的運(yùn)算2023/8/242.2.1環(huán)境感知傳感器的類型與配置圖像級(jí)融合——是以視覺2.2.2

超聲波傳感器——定義聲音以波的形式傳播稱為聲波頻率大于20

000Hz的聲波稱為超聲波頻率小于20Hz的聲波稱為次聲波頻率為20～20

000Hz的聲波就是人能夠聽見的聲波2023/8/242.2.2超聲波傳感器——定義聲音以波的形式傳播稱為聲波22.2.2

超聲波傳感器——特點(diǎn)探測(cè)距離短，有盲區(qū)對(duì)色彩、光照度不敏感對(duì)光線和電磁場(chǎng)不敏感簡(jiǎn)單，體積小，成本低2023/8/242.2.2超聲波傳感器——特點(diǎn)探測(cè)距離短，有盲區(qū)2023/2.2.2

超聲波傳感器——測(cè)距原理2023/8/242.2.2超聲波傳感器——測(cè)距原理2023/8/52.2.2

超聲波傳感器——類型駐車輔助傳感器（UPA，PDC）—15~250cm泊車輔助傳感器（APA，PLA）—30~500cm2023/8/242.2.2超聲波傳感器——類型駐車輔助傳感器（UPA，PD2.2.2

超聲波傳感器——主要參數(shù)測(cè)量范圍：15~500cm測(cè)量精度：測(cè)量值與真實(shí)值的偏差波束角：能量強(qiáng)度減小一半處的角度工作頻率：40kHz左右抗干擾性能：噪聲干擾反射回來(lái)的超聲波，2023/8/242.2.2超聲波傳感器——主要參數(shù)測(cè)量范圍：15~500c2.2.2

超聲波傳感器——應(yīng)用最常見的是自動(dòng)泊車輔助系統(tǒng)2023/8/242.2.2超聲波傳感器——應(yīng)用最常見的是自動(dòng)泊車輔助系統(tǒng)22.2.2

超聲波傳感器——應(yīng)用前視攝像頭、前置毫米波雷達(dá)和12個(gè)超聲波傳感器2023/8/242.2.2超聲波傳感器——應(yīng)用前視攝像頭、前置毫米波雷達(dá)和2.2.3

毫米波雷達(dá)——定義工作在毫米波頻段的雷達(dá)。毫米波是指長(zhǎng)度為1～10mm的電磁波，對(duì)應(yīng)的頻率為30～300GHz；主要用于自適應(yīng)巡航控制系統(tǒng)、自動(dòng)制動(dòng)輔助系統(tǒng)、盲區(qū)監(jiān)測(cè)系統(tǒng)、行人檢測(cè)等2023/8/242.2.3毫米波雷達(dá)——定義工作在毫米波頻段的雷達(dá)。毫米波2.2.3

毫米波雷達(dá)——特點(diǎn)探測(cè)距離遠(yuǎn)，250m以上探測(cè)性能好響應(yīng)速度快適應(yīng)能力強(qiáng)抗干擾能力強(qiáng)覆蓋區(qū)域呈扇形，有盲點(diǎn)區(qū)域無(wú)法識(shí)別交通標(biāo)志無(wú)法識(shí)別交通信號(hào)2023/8/242.2.3毫米波雷達(dá)——特點(diǎn)探測(cè)距離遠(yuǎn)，250m以上2022.2.3

毫米波雷達(dá)——類型按工作原理分類：脈沖式、調(diào)頻式連續(xù)毫米波雷達(dá)按探測(cè)距離分類：短程（<60m）、中程（100m左右）和遠(yuǎn)程（>200m）毫米波雷達(dá)按頻段分類：24GHz、60GHz、77GHz和79GHz毫米波雷達(dá)2023/8/242.2.3毫米波雷達(dá)——類型按工作原理分類：脈沖式、調(diào)頻式2.2.3

毫米波雷達(dá)——類型77GHz毫米波雷達(dá)與24GHz毫米波雷達(dá)相比具有以下不同（1）77GHz毫米波雷達(dá)探測(cè)距離更遠(yuǎn)（2）77GHz毫米波雷達(dá)的體積更小（3）77GHz毫米波雷達(dá)所需要的工藝更高（4）77GHz毫米波雷達(dá)的檢測(cè)精度更好（5）77GHz毫米波雷達(dá)的射頻芯片不容易獲取2023/8/242.2.3毫米波雷達(dá)——類型77GHz毫米波雷達(dá)與24GH2.2.3

毫米波雷達(dá)——測(cè)量原理調(diào)頻式連續(xù)毫米波雷達(dá)是利用多普勒效應(yīng)測(cè)量得出目標(biāo)的距離和速度2023/8/242.2.3毫米波雷達(dá)——測(cè)量原理調(diào)頻式連續(xù)毫米波雷達(dá)是利用2.2.3

毫米波雷達(dá)——工作過(guò)程2023/8/242.2.3毫米波雷達(dá)——工作過(guò)程2023/8/52.2.3

毫米波雷達(dá)——布置正向布置，與路面夾角的最大偏差不超過(guò)5°側(cè)向布置，前45°夾角，后30°夾角布置高度，500（滿載）～800mm（空載）2023/8/242.2.3毫米波雷達(dá)——布置正向布置，與路面夾角的最大偏差2.2.3

毫米波雷達(dá)——主要指標(biāo)2023/8/242.2.3毫米波雷達(dá)——主要指標(biāo)2023/8/52.2.3

毫米波雷達(dá)——主要指標(biāo)2023/8/242.2.3毫米波雷達(dá)——主要指標(biāo)2023/8/52.2.3

毫米波雷達(dá)——主要指標(biāo)2023/8/242.2.3毫米波雷達(dá)——主要指標(biāo)2023/8/52.2.3

毫米波雷達(dá)——應(yīng)用自適應(yīng)巡航控制系統(tǒng)（找網(wǎng)上相關(guān)視頻播放）2023/8/242.2.3毫米波雷達(dá)——應(yīng)用自適應(yīng)巡航控制系統(tǒng)（找網(wǎng)上相關(guān)2.2.3

毫米波雷達(dá)——應(yīng)用前向碰撞預(yù)警系統(tǒng)2023/8/242.2.3毫米波雷達(dá)——應(yīng)用前向碰撞預(yù)警系統(tǒng)2023/8/2.2.3

毫米波雷達(dá)——應(yīng)用自動(dòng)制動(dòng)輔助系統(tǒng)2023/8/242.2.3毫米波雷達(dá)——應(yīng)用自動(dòng)制動(dòng)輔助系統(tǒng)2023/8/2.2.3

毫米波雷達(dá)——應(yīng)用盲區(qū)監(jiān)測(cè)系統(tǒng)2023/8/242.2.3毫米波雷達(dá)——應(yīng)用盲區(qū)監(jiān)測(cè)系統(tǒng)2023/8/52.2.3

毫米波雷達(dá)——應(yīng)用自動(dòng)泊車輔助系統(tǒng)2023/8/242.2.3毫米波雷達(dá)——應(yīng)用自動(dòng)泊車輔助系統(tǒng)2023/8/2.2.3

毫米波雷達(dá)——應(yīng)用變道輔助系統(tǒng)：盲區(qū)監(jiān)測(cè)、變道預(yù)警、后向碰撞預(yù)警2023/8/242.2.3毫米波雷達(dá)——應(yīng)用變道輔助系統(tǒng)：盲區(qū)監(jiān)測(cè)、變道預(yù)2.2.3

毫米波雷達(dá)——應(yīng)用后向碰撞預(yù)警系統(tǒng)2023/8/242.2.3毫米波雷達(dá)——應(yīng)用后向碰撞預(yù)警系統(tǒng)2023/8/2.2.3

毫米波雷達(dá)2023/8/242.2.3毫米波雷達(dá)2023/8/52.2.4

激光雷達(dá)——定義激光雷達(dá)是工作在光波頻段的雷達(dá)，它利用光波頻段的電磁波先向目標(biāo)發(fā)射探測(cè)信號(hào)，然后將其接收到的同波信號(hào)與發(fā)射信號(hào)相比較，從而獲得目標(biāo)的位置（距離、方位和高度）、運(yùn)動(dòng)狀態(tài)（速度、姿態(tài)）等信息，實(shí)現(xiàn)對(duì)目標(biāo)的探測(cè)、跟蹤和識(shí)別2023/8/242.2.4激光雷達(dá)——定義激光雷達(dá)是工作在光波頻段的雷達(dá)，2.2.4

激光雷達(dá)——定義2023/8/242.2.4激光雷達(dá)——定義2023/8/52.2.4

激光雷達(dá)——特點(diǎn)探測(cè)范圍廣：可達(dá)300m以上。分辨率高：距離分辨率可達(dá)0.1m；速度分辨率能達(dá)到10m/s以內(nèi)；角度分辨率不低于0.1mard信息量豐富：探測(cè)目標(biāo)的距離、角度、反射強(qiáng)度、速度等信息，生成目標(biāo)多維度圖像可全天候工作：不依賴于外界條件或目標(biāo)本身的輻射特性與毫米波雷達(dá)相比，產(chǎn)品體積大，成本高。不能識(shí)別交通標(biāo)志和交通信號(hào)燈2023/8/242.2.4激光雷達(dá)——特點(diǎn)探測(cè)范圍廣：可達(dá)300m以上。22.2.4

激光雷達(dá)——組成激光雷達(dá)系統(tǒng)由收發(fā)天線、收發(fā)前端、信號(hào)處理模塊、汽車控制裝置和報(bào)警模塊組成2023/8/242.2.4激光雷達(dá)——組成激光雷達(dá)系統(tǒng)由收發(fā)天線、收發(fā)前端2.2.4

激光雷達(dá)——測(cè)距原理脈沖測(cè)距法2023/8/242.2.4激光雷達(dá)——測(cè)距原理脈沖測(cè)距法2023/8/52.2.4

激光雷達(dá)——測(cè)距原理干涉測(cè)距法2023/8/242.2.4激光雷達(dá)——測(cè)距原理干涉測(cè)距法2023/8/52.2.4

激光雷達(dá)——測(cè)距原理相位測(cè)距法2023/8/242.2.4激光雷達(dá)——測(cè)距原理相位測(cè)距法2023/8/52.2.4

激光雷達(dá)——類型機(jī)械激光雷達(dá)：帶有控制激光發(fā)射角度的旋轉(zhuǎn)部件，體積較大，價(jià)格昂貴，測(cè)量精度相對(duì)較高，一般置于汽車頂部2023/8/242.2.4激光雷達(dá)——類型機(jī)械激光雷達(dá)：帶有控制激光發(fā)射角2.2.4

激光雷達(dá)——類型固態(tài)激光雷達(dá)：依靠電子部件來(lái)控制激光發(fā)射角度，無(wú)須機(jī)械旋轉(zhuǎn)部件，故尺寸較小，可安裝于車體內(nèi)激光雷達(dá)公司Quanergy在2016年發(fā)布的號(hào)稱全球首款的固態(tài)激光雷達(dá)S3，可以達(dá)到厘米級(jí)精度，30Hz掃描頻率，0.1°的角分辨率2023/8/242.2.4激光雷達(dá)——類型固態(tài)激光雷達(dá)：依靠電子部件來(lái)控制2.2.4

激光雷達(dá)——類型混合固態(tài)激光雷達(dá)：沒有大體積旋轉(zhuǎn)結(jié)構(gòu)，采用固定激光光源，通過(guò)內(nèi)部玻璃片旋轉(zhuǎn)的方式改變激光光束方向，實(shí)現(xiàn)多角度檢測(cè)的需要，并且采用嵌入式安裝32線混合固態(tài)UltraPuckAuto；16線機(jī)械式VLP-162023/8/242.2.4激光雷達(dá)——類型混合固態(tài)激光雷達(dá)：沒有大體積旋轉(zhuǎn)2.2.4

激光雷達(dá)——類型單線束激光雷達(dá)2D數(shù)據(jù)只能測(cè)量距離2023/8/242.2.4激光雷達(dá)——類型單線束激光雷達(dá)2023/8/52.2.4

激光雷達(dá)——類型多線束激光雷達(dá)：4線束、8線束、16線束、32線束、64線束、128等，其細(xì)分可分為2.5D激光雷達(dá)及3D激光雷達(dá)2.5D：垂直視野范圍一般不超過(guò)10°3D：可達(dá)到30°甚至40°以上2023/8/242.2.4激光雷達(dá)——類型多線束激光雷達(dá)：4線束、8線束、2.2.4

激光雷達(dá)——類型奧迪A8為了實(shí)現(xiàn)L3級(jí)別的自動(dòng)駕駛，在汽車的進(jìn)氣格柵下布置了4線束激光雷達(dá)2023/8/242.2.4激光雷達(dá)——類型奧迪A8為了實(shí)現(xiàn)L3級(jí)別的自動(dòng)駕2.2.4

激光雷達(dá)——類型美國(guó)威力登（Velodyne）公司開發(fā)的128線束激光雷達(dá)的探測(cè)距離約是HDL-64E的3倍，達(dá)到300m，分辨率則是10倍，尺寸縮小了70%。該產(chǎn)品是為L(zhǎng)5級(jí)別自動(dòng)駕駛而開發(fā)的2023/8/242.2.4激光雷達(dá)——類型美國(guó)威力登（Velodyne）公2023/8/242023/8/52.2.4

激光雷達(dá)——主要指標(biāo)（1）距離分辨率：是指兩個(gè)目標(biāo)物體可區(qū)分的最小距離（2）最大探測(cè)距離：通常需要標(biāo)注基于某一個(gè)反射率下的測(cè)得值，例如白色反射體大概70%反射率，黑色物體7%～20%反射率（3）測(cè)距精度：是指對(duì)同一目標(biāo)進(jìn)行重復(fù)測(cè)量得到的距離值之間的誤差范圍（4）測(cè)量幀頻：測(cè)量幀頻與攝像頭的幀頻概念相同，刷新率越高，響應(yīng)速度越快2023/8/242.2.4激光雷達(dá)——主要指標(biāo)（1）距離分辨率：是指兩個(gè)目2.2.4

激光雷達(dá)——主要指標(biāo)（5）數(shù)據(jù)采樣率：是指每秒輸出的數(shù)據(jù)點(diǎn)數(shù)，等于幀率乘以單幅圖像的點(diǎn)云數(shù)目（6）角度分辨率：是指掃描的角度分辨率，等于視場(chǎng)角除以該方向所采集的點(diǎn)云數(shù)目（7）視場(chǎng)角：又分為垂直視場(chǎng)角和水平視場(chǎng)角，是激光雷達(dá)的成像范圍（8）波長(zhǎng)：波長(zhǎng)會(huì)影響雷達(dá)的環(huán)境適應(yīng)性和對(duì)人眼的安全性2023/8/242.2.4激光雷達(dá)——主要指標(biāo)（5）數(shù)據(jù)采樣率：是指每秒輸2.2.4

激光雷達(dá)——主要指標(biāo)6.激光雷達(dá)的主要指標(biāo)2023/8/242.2.4激光雷達(dá)——主要指標(biāo)6.激光雷達(dá)的主要指標(biāo)2022.2.4

激光雷達(dá)——應(yīng)用IBEOLUX（4線束）激光雷達(dá)是德國(guó)IBEO公司借助高分辨率激光測(cè)量技術(shù)，推出的第一款多功能的汽車智能傳感器。它擁有110°的寬視角，0.3～200m的探測(cè)距離，絕對(duì)安全的1等級(jí)激光2023/8/242.2.4激光雷達(dá)——應(yīng)用IBEOLUX（4線束）激光雷2.2.4

激光雷達(dá)——應(yīng)用（1）行人保護(hù)：能檢測(cè)0.3～30m視場(chǎng)范圍內(nèi)所有的行人（2）自適應(yīng)巡航控制系統(tǒng)的啟和停：可在0～200km/h的速度范圍內(nèi)實(shí)現(xiàn)自動(dòng)行駛（3）車道偏離預(yù)警：可以檢測(cè)車輛行駛前方的車道線標(biāo)識(shí)和潛在的障礙，同時(shí)也可以計(jì)算車輛在道路中的位置（4）自動(dòng)緊急制動(dòng)：實(shí)時(shí)檢測(cè)車輛行駛前方的所有靜止的和移動(dòng)的物體，并且判斷它們的外形，當(dāng)要發(fā)生危險(xiǎn)時(shí)，自動(dòng)緊急制動(dòng)2023/8/242.2.4激光雷達(dá)——應(yīng)用（1）行人保護(hù)：能檢測(cè)0.3～32.2.4

激光雷達(dá)——應(yīng)用（5）預(yù)碰撞處理：通過(guò)分析所有的環(huán)境掃描數(shù)據(jù)，不管即將發(fā)生什么樣的碰撞，會(huì)在碰撞發(fā)生前100ms發(fā)出警告（6）交通擁堵輔助：消除頻繁啟停，實(shí)現(xiàn)低速下的自動(dòng)跟車和車道保持（7）低速防碰撞功能：在30km/h下，LUX（4線束）激光雷達(dá)檢測(cè)并分析前方的路況，車輛會(huì)在發(fā)生碰撞前自動(dòng)停駛2023/8/242.2.4激光雷達(dá)——應(yīng)用（5）預(yù)碰撞處理：通過(guò)分析所有的2.2.4

激光雷達(dá)——應(yīng)用（1）高精度電子地圖和定位2023/8/242.2.4激光雷達(dá)——應(yīng)用（1）高精度電子地圖和定位2022.2.4

激光雷達(dá)——應(yīng)用（2）障礙物檢測(cè)與識(shí)別2023/8/242.2.4激光雷達(dá)——應(yīng)用（2）障礙物檢測(cè)與識(shí)別2023/2.2.4

激光雷達(dá)——應(yīng)用（3）可行空間檢測(cè)2023/8/242.2.4激光雷達(dá)——應(yīng)用（3）可行空間檢測(cè)2023/8/2.2.4

激光雷達(dá)——應(yīng)用（4）障礙物軌跡預(yù)測(cè)2023/8/242.2.4激光雷達(dá)——應(yīng)用（4）障礙物軌跡預(yù)測(cè)2023/82.2.5

視覺傳感器——定義視覺傳感器主要由光源、鏡頭、圖像傳感器、模/數(shù)轉(zhuǎn)換器、圖像處理器、圖像存儲(chǔ)器等組成，其主要功能是獲取足夠的機(jī)器視覺系統(tǒng)要處理的原始圖像2023/8/242.2.5視覺傳感器——定義視覺傳感器主要由光源、鏡頭、圖2.2.5

視覺傳感器——定義把光源、攝像機(jī)、圖像處理器、標(biāo)準(zhǔn)的控制與通信接口等集成一體的視覺傳感器，常稱為一個(gè)智能圖像采集與處理單元2023/8/242.2.5視覺傳感器——定義把光源、攝像機(jī)、圖像處理器、標(biāo)2.2.5

視覺傳感器——特點(diǎn)（1）信息量極為豐富：不僅包含有視野內(nèi)物體的距離信息，而且還有該物體的顏色、紋理、深度和形狀等信息（2）多任務(wù)檢測(cè)：在視野范圍內(nèi)可同時(shí)實(shí)現(xiàn)道路檢測(cè)、車輛檢測(cè)、行人檢測(cè)、交通標(biāo)志檢測(cè)、交通信號(hào)燈檢測(cè)等（3）實(shí)時(shí)獲取場(chǎng)景信息：提供的信息不依賴于先驗(yàn)知識(shí)，比如GPS導(dǎo)航依賴地圖信息，有較強(qiáng)的適應(yīng)環(huán)境的能力2023/8/242.2.5視覺傳感器——特點(diǎn)（1）信息量極為豐富：不僅包含2.2.5

視覺傳感器——特點(diǎn)（4）應(yīng)用廣泛：可以前視、后視、側(cè)視、內(nèi)視等2023/8/242.2.5視覺傳感器——特點(diǎn)（4）應(yīng)用廣泛：可以前視、后視2.2.5

視覺傳感器——類型單目雙目三目環(huán)視2023/8/242.2.5視覺傳感器——類型單目2023/8/52.2.5

視覺傳感器——類型3.視覺傳感器的類型2023/8/242.2.5視覺傳感器——類型3.視覺傳感器的類型2023/2.2.5

視覺傳感器——要求視覺傳感器工藝要求：在工藝上的首要特性是快速，以140km/h的速度為例，汽車每秒要移動(dòng)40m，為避免兩次圖像信息獲取間隔期間自動(dòng)駕駛的距離過(guò)長(zhǎng)，要求攝像機(jī)具有最慢不低于30幀/秒的影像捕捉率，在汽車制造商的規(guī)格中，甚至提出了60幀/秒和120幀/秒的要求2023/8/242.2.5視覺傳感器——要求視覺傳感器工藝要求：2023/2.2.5

視覺傳感器——要求視覺傳感器功能要求：（1）高動(dòng)態(tài)：在較暗環(huán)境和明暗差異較大下仍能實(shí)現(xiàn)識(shí)別（2）中低像素：為降低計(jì)算處理的負(fù)擔(dān)，攝像頭的像素并不需要非常高，目前30～120萬(wàn)像素已經(jīng)能滿足要求（3）角度要求：對(duì)于環(huán)視和后視攝像頭，一般采用135°以上的廣角鏡頭；前置攝像頭一般采用55°的范圍（4）安全性：相比工業(yè)級(jí)和生活級(jí)攝像頭，車載攝像頭在安全級(jí)別上要求更高，尤其是前置攝像頭安全級(jí)別要求更高。2023/8/242.2.5視覺傳感器——要求視覺傳感器功能要求：2023/2.2.5

視覺傳感器——要求（5）溫度要求：車載攝像頭溫度范圍為-40℃～80℃（6）防磁抗震：汽車啟動(dòng)時(shí)會(huì)產(chǎn)生極高的電磁，車載攝像頭必須具備極高的防磁抗震的可靠性（7）壽命長(zhǎng)：壽命至少要在8～10年才能滿足要求2023/8/242.2.5視覺傳感器——要求（5）溫度要求：車載攝像頭溫度2.2.5

視覺傳感器——主要指標(biāo)（1）像素：像素越多，代表著它能夠感測(cè)到更多的物體細(xì)節(jié)，從而圖像就越清晰（2）幀率：幀率代表單位時(shí)間所記錄或播放的圖片的數(shù)量（3）靶面尺寸：就是圖像傳感器感光部分的大小。一般用英寸來(lái)表示，通常這個(gè)數(shù)據(jù)指的是這個(gè)圖像傳感器的對(duì)角線長(zhǎng)度，如常見的有1/3英寸，靶面越大，意味著通光量越好，而靶面越小則比較容易獲得更大的景深2023/8/242.2.5視覺傳感器——主要指標(biāo)（1）像素：像素越多，代表2.2.5

視覺傳感器——主要指標(biāo)（4）感光度：代表入射光線的強(qiáng)弱。感光度越高，感光面對(duì)光的敏感度就越強(qiáng)，快門速度就越高（5）信噪比：是信號(hào)電壓對(duì)于噪聲電壓的比值，典型值為45～55dB，信噪比越大說(shuō)明對(duì)噪聲的控制越好（6）電子快門：用來(lái)控制圖像傳感器的感光時(shí)間，電子快門越快，感光度越低，因此適合在強(qiáng)光下拍攝

2023/8/242.2.5視覺傳感器——主要指標(biāo)（4）感光度：代表入射光線2.2.5

視覺傳感器——功能具有車道線識(shí)別、障礙物檢測(cè)、交通標(biāo)志和地面標(biāo)志識(shí)別、交通信號(hào)燈識(shí)別、可通行空間檢測(cè)等功能2023/8/242.2.5視覺傳感器——功能具有車道線識(shí)別、障礙物檢測(cè)、交2.2.5

視覺傳感器——應(yīng)用具有車道線識(shí)別障礙物識(shí)別交通標(biāo)志識(shí)別交通信號(hào)燈識(shí)別可行空間識(shí)別2023/8/242.2.5視覺傳感器——應(yīng)用具有車道線識(shí)別2023/8/52.2.5

視覺傳感器2023/8/242.2.5視覺傳感器2023/8/52.2.5

視覺傳感器——應(yīng)用根據(jù)不同ADAS功能的需要，安裝位置分為前視、后視、側(cè)視以及內(nèi)置攝像頭。實(shí)現(xiàn)自動(dòng)駕駛時(shí)將安裝6個(gè)以上攝像頭2023/8/242.2.5視覺傳感器——應(yīng)用根據(jù)不同ADAS功能的需要，安2.2.5

視覺傳感器2023/8/242.2.5視覺傳感器2023/8/52.2.5

視覺傳感器2023/8/242.2.5視覺傳感器2023/8/52.3

道路識(shí)別——定義真實(shí)的道路通過(guò)激光雷達(dá)轉(zhuǎn)換成汽車認(rèn)識(shí)的道路，供自動(dòng)駕駛汽車行駛；或通過(guò)視覺傳感器識(shí)別出車道線，提供車輛在當(dāng)前車道中的位置，幫助智能網(wǎng)聯(lián)汽車提高行駛的安全性。2023/8/242.3道路識(shí)別——定義真實(shí)的道路通過(guò)激光雷達(dá)轉(zhuǎn)換成汽車認(rèn)識(shí)2.3.1

道路識(shí)別的識(shí)別與分類道路識(shí)別的任務(wù)是提取車道的幾何結(jié)構(gòu)，如車道的寬度、車道線的曲率等；確定車輛在車道中的位置、方向；提取車輛可行駛的區(qū)域2023/8/242.3.1道路識(shí)別的識(shí)別與分類道路識(shí)別的任務(wù)是提取車道的幾2.3.1道路識(shí)別的定義與分類——分類依據(jù)道路類型的不同，道路分為結(jié)構(gòu)化道路和非結(jié)構(gòu)化道路2023/8/242.3.1道路識(shí)別的定義與分類——分類依據(jù)道路類型的不同，2.3.2

道路圖像的特點(diǎn)陰影條件下的道路圖像先對(duì)道路的陰影進(jìn)行檢測(cè)和去除2023/8/242.3.2道路圖像的特點(diǎn)陰影條件下的道路圖像2023/8/2.3.2

道路圖像的特點(diǎn)強(qiáng)弱光照條件下的道路圖像強(qiáng)光照射弱光照射2023/8/242.3.2道路圖像的特點(diǎn)強(qiáng)弱光照條件下的道路圖像2023/2.3.2

道路圖像的特點(diǎn)雨天條件下的道路圖像雨水對(duì)道路有覆蓋雨水能反光2023/8/242.3.2道路圖像的特點(diǎn)雨天條件下的道路圖像2023/8/2.3.2

道路圖像的特點(diǎn)彎道處的道路圖像建模上會(huì)有些復(fù)雜可近似看成直線模型2023/8/242.3.2道路圖像的特點(diǎn)彎道處的道路圖像2023/8/52.3.3

道路識(shí)別的流程和方法——流程采集原始圖像→圖像灰度化→圖像濾波→圖像二值化→車道線提取2023/8/242.3.3道路識(shí)別的流程和方法——流程采集原始圖像→圖像灰2.3.3

道路識(shí)別的流程和方法——流程2023/8/242.3.3道路識(shí)別的流程和方法——流程2023/8/52.3.3

道路識(shí)別的流程和方法——方法基于區(qū)域分割的識(shí)別方法基于道路特征的識(shí)別方法基于道路模型的識(shí)別方法基于道路特征與模型相結(jié)合的識(shí)別方法2023/8/242.3.3道路識(shí)別的流程和方法——方法基于區(qū)域分割的識(shí)別方車道線識(shí)別舉例1.

原始圖像I=imread('C:\桌面\t.jpg');figure(1)imshow(I)title('原始圖像')2023/8/24車道線識(shí)別舉例1.原始圖像2023/8/5車道線識(shí)別舉例2.

圖像灰度化I1=rgb2gray(I);figure(2)imshow(I1)title('灰度圖像')2023/8/24車道線識(shí)別舉例2.圖像灰度化2023/8/5車道線識(shí)別舉例3.

圖像濾波I21=medfilt2(I1);%高斯濾波I22=filter2(fspecial('average',3),I21)/255;%平滑濾波figure(3)imshow(I22)title('圖像濾波')2023/8/24車道線識(shí)別舉例3.圖像濾波2023/8/5車道線識(shí)別舉例4.

圖像二值化I3=im2bw(I22);figure(4)imshow(I3)title('圖像二值化')2023/8/24車道線識(shí)別舉例4.圖像二值化2023/8/5車道線識(shí)別舉例5.

圖像邊緣檢測(cè)I4=edge(I3,'canny');figure(5)imshow(I4)title('圖像邊緣檢測(cè)')2023/8/24車道線識(shí)別舉例5.圖像邊緣檢測(cè)2023/8/5車道線識(shí)別舉例6.霍夫變換[H,T,R]=hough(I4);figure(6)imshow(H,[],'XData',T,'YData',R,'InitialMagnification','fit')title('霍夫變換圖像')xlabel('\theta軸')ylabel('\rho軸')axison,axisnormalholdonP=houghpeaks(H,2,'threshold',ceil(0.3*max(H(:))));x=T(P(:,2));y=R(P(:,1));plot(x,y,‘s’,‘color’,‘white’)

2023/8/24車道線識(shí)別舉例6.霍夫變換2023/8/5車道線識(shí)別舉例6.霍夫變換

2023/8/24車道線識(shí)別舉例6.霍夫變換2023/8/5車道線識(shí)別舉例7.車道線檢測(cè)lines=houghlines(I4,T,R,P,'FillGap',50,'MinLength',50); figure(7)imshow(I4)title('車道線檢測(cè)')

2023/8/24車道線識(shí)別舉例7.車道線檢測(cè)2023/8/52.4

車輛識(shí)別——定義車牌識(shí)別就是利用攝像頭對(duì)監(jiān)控路面過(guò)往車輛的特征圖像和車輛全景圖像進(jìn)行實(shí)時(shí)拍攝，利用圖像處理的分析方法，提取出車牌區(qū)域，進(jìn)而對(duì)車牌區(qū)域進(jìn)行字符分割和識(shí)別，從而對(duì)車輛進(jìn)行管理2023/8/242.4車輛識(shí)別——定義車牌識(shí)別就是利用攝像頭對(duì)監(jiān)控路面過(guò)往2.4.1

車牌識(shí)別——組成攝像機(jī)專用控制器顯示屏快速閘機(jī)計(jì)算機(jī)軟硬件等2023/8/242.4.1車牌識(shí)別——組成攝像機(jī)2023/8/52.4.1

車牌識(shí)別——流程圖像采集→視頻車輛檢測(cè)→車牌定位→字符分割→字符識(shí)別→結(jié)果輸出2023/8/242.4.1車牌識(shí)別——流程圖像采集→視頻車輛檢測(cè)→車牌定位2.4.1

車牌識(shí)別——方法基于模板匹配的字符識(shí)別算法：速度快，實(shí)時(shí)性好基于特征的統(tǒng)計(jì)匹配法：應(yīng)用效果不理想，抗干擾性不強(qiáng)基于邊緣檢測(cè)和水平灰度變化特征的方法：使用多基于顏色相似度及彩色邊緣的算法：一般不單獨(dú)使用2023/8/242.4.1車牌識(shí)別——方法基于模板匹配的字符識(shí)別算法：速度2.4.1

車牌識(shí)別2023/8/242.4.1車牌識(shí)別2023/8/5車牌識(shí)別舉例1-1.讀取原始圖像2023/8/24車牌識(shí)別舉例1-1.讀取原始圖像2023/8/5車牌識(shí)別舉例1-2.轉(zhuǎn)換成灰度圖像2023/8/24車牌識(shí)別舉例1-2.轉(zhuǎn)換成灰度圖像2023/8/5車牌識(shí)別舉例1-3.邊緣檢測(cè)2023/8/24車牌識(shí)別舉例1-3.邊緣檢測(cè)2023/8/5車牌識(shí)別舉例1-4.圖像腐蝕2023/8/24車牌識(shí)別舉例1-4.圖像腐蝕2023/8/5車牌識(shí)別舉例1-5.圖像膨脹2023/8/24車牌識(shí)別舉例1-5.圖像膨脹2023/8/5車牌識(shí)別舉例1-6.提取車牌區(qū)域2023/8/24車牌識(shí)別舉例1-6.提取車牌區(qū)域2023/8/5車牌識(shí)別舉例1-7.原始圖像切割2023/8/24車牌識(shí)別舉例1-7.原始圖像切割2023/8/5車牌識(shí)別舉例2-1.切割后的圖像轉(zhuǎn)換成灰度圖像2023/8/24車牌識(shí)別舉例2-1.切割后的圖像轉(zhuǎn)換成灰度圖像2023/8/車牌識(shí)別舉例2-2.對(duì)灰度圖像進(jìn)行直方圖均衡化2023/8/24車牌識(shí)別舉例2-2.對(duì)灰度圖像進(jìn)行直方圖均衡化2023/8/車牌識(shí)別舉例2-3.灰度圖像二值化2-4.中值濾波2023/8/24車牌識(shí)別舉例2-3.灰度圖像二值化2023/8/5車牌識(shí)別舉例2-5.計(jì)算每個(gè)字符的位置，并逐一進(jìn)行切割后得到只儲(chǔ)存單一字符的圖像2023/8/24車牌識(shí)別舉例2-5.計(jì)算每個(gè)字符的位置，并逐一進(jìn)行切割后得到車牌識(shí)別舉例3.字符識(shí)別2023/8/24車牌識(shí)別舉例3.字符識(shí)別2023/8/52.4.2運(yùn)動(dòng)車輛識(shí)別基于特征的識(shí)別方法基于機(jī)器學(xué)習(xí)的識(shí)別方法基于光流場(chǎng)的識(shí)別方法基于模型的識(shí)別方法2023/8/242.4.2運(yùn)動(dòng)車輛識(shí)別基于特征的識(shí)別方法2023/8/52.5行人識(shí)別——定義行人識(shí)別是采用安裝在車輛前方的視覺傳感器采集前方場(chǎng)景的圖像信息，通過(guò)一系列復(fù)雜的算法分析處理這些圖像信息，實(shí)現(xiàn)對(duì)行人的識(shí)別2023/8/242.5行人識(shí)別——定義行人識(shí)別是采用安裝在車輛前方的視覺2.5.1行人識(shí)別的定義與類型——類型可見光行人的檢測(cè)：采用的視覺傳感器為普通的光學(xué)攝像頭，非常符合人的正常視覺習(xí)慣，而且硬件成本十分低廉。但是受到光照條件的限制，該方法只能應(yīng)用在白天，在光照條件很差的陰雨天或夜間則無(wú)法使用紅外行人的檢測(cè)：采用紅外熱成像攝像頭，利用物體發(fā)出的熱紅外線進(jìn)行成像，不依賴于光照，具有很好的夜視功能，在白天和晚上都適用，尤其是在夜間以及光線較差的陰雨天具有無(wú)可替代的優(yōu)勢(shì)2023/8/242.5.1行人識(shí)別的定義與類型——類型可見光行人的檢測(cè)：2.5.2行人識(shí)別系統(tǒng)的組成預(yù)處理：通過(guò)傳感器獲得行人圖像信息，做預(yù)處理，如降噪、增強(qiáng)等分類檢測(cè)：采用圖像分割、模型提取等一些圖像處理技術(shù)，在圖像中選取一些感興趣的區(qū)域，即行人的候選區(qū)域，用分類等技術(shù)方法判斷候選區(qū)域中是否包含行人。決策報(bào)警：對(duì)可能發(fā)生碰撞的情況進(jìn)行報(bào)警或其他避免碰撞的操作2023/8/242.5.2行人識(shí)別系統(tǒng)的組成預(yù)處理：通過(guò)傳感器獲得行人圖2.5.3

行人識(shí)別方法基于特征分類的行人識(shí)別方法基于模型的行人識(shí)別方法基于運(yùn)動(dòng)特性的行人識(shí)別方法基于形狀模型的行人識(shí)別方法小波變換和支持向量機(jī)神經(jīng)網(wǎng)絡(luò)方法2023/8/242.5.3行人識(shí)別方法基于特征分類的行人識(shí)別方法2023/2.6

交通標(biāo)志識(shí)別2.6.1交通標(biāo)志介紹警告標(biāo)志2023/8/242.6交通標(biāo)志識(shí)別2.6.1交通標(biāo)志介紹2023/8/52.6.1

交通標(biāo)志介紹禁令標(biāo)志2023/8/242.6.1交通標(biāo)志介紹禁令標(biāo)志2023/8/52.6.1

交通標(biāo)志介紹指示標(biāo)志2023/8/242.6.1交通標(biāo)志介紹指示標(biāo)志2023/8/52.6.1

交通標(biāo)志介紹交通標(biāo)志的顏色與形狀之間也有著一定的關(guān)系2023/8/242.6.1交通標(biāo)志介紹交通標(biāo)志的顏色與形狀之間也有著一定的2.6.2

交通標(biāo)志識(shí)別系統(tǒng)首先使用車載攝像機(jī)獲取目標(biāo)圖像，然后進(jìn)行圖像分割和特征提取，通過(guò)與交通標(biāo)志標(biāo)準(zhǔn)特征庫(kù)比較進(jìn)行交通標(biāo)志識(shí)別，識(shí)別結(jié)果可以與其他智能網(wǎng)聯(lián)汽車共享2023/8/242.6.2交通標(biāo)志識(shí)別系統(tǒng)首先使用車載攝像機(jī)獲取目標(biāo)圖像，2.6.3

交通標(biāo)志識(shí)別的流程與方法原始圖像采集→圖像預(yù)處理→圖像分割檢測(cè)→圖像特征提取→交通標(biāo)志識(shí)別2023/8/242.6.3交通標(biāo)志識(shí)別的流程與方法原始圖像采集→圖像預(yù)處理交通標(biāo)志識(shí)別舉例1.讀取原始圖像2023/8/24交通標(biāo)志識(shí)別舉