智聯(lián)網(wǎng)汽車(chē)技術(shù) 課件 4.5車(chē)載攝像頭傳感器

項(xiàng)目二

汽車(chē)信息感知系統(tǒng)任務(wù)4環(huán)境感知技術(shù)

主講人：曾鑫智能網(wǎng)聯(lián)汽車(chē)技術(shù)車(chē)載攝像頭傳感器課程導(dǎo)入學(xué)習(xí)目標(biāo)了解車(chē)載攝像頭的基礎(chǔ)知識(shí)01理解其工作原理和類(lèi)型02并掌握各型號(hào)的應(yīng)用場(chǎng)景03學(xué)習(xí)任務(wù)把此類(lèi)知識(shí)應(yīng)用到實(shí)際的汽車(chē)選擇和銷(xiāo)售中去01激活舊知你知道攝像頭的主要部件嗎？圖像傳感器透鏡攝像頭ADAS系統(tǒng)、汽車(chē)自動(dòng)駕駛領(lǐng)域的核心傳感設(shè)備。主要通過(guò)鏡頭和圖像傳感器實(shí)現(xiàn)圖像信息的采集功能，可實(shí)現(xiàn)360°視覺(jué)感知，并彌補(bǔ)雷達(dá)在物體識(shí)別上的缺陷，是最接近人類(lèi)視覺(jué)的傳感器。車(chē)載攝像頭探索新知單目攝像頭雙目攝像頭三目攝像頭環(huán)視攝像頭車(chē)載攝像頭的類(lèi)型探索新知探索新知小貼士從目前統(tǒng)計(jì)情況來(lái)看，L3級(jí)別的奧迪A8和奔馳S配備攝像頭分別為5及6個(gè)，而“造車(chē)新勢(shì)力”特斯拉、蔚來(lái)、理想、小鵬的L2+級(jí)別自動(dòng)駕駛汽車(chē)配備攝像頭數(shù)量大都在8個(gè)以上，蔚來(lái)最新發(fā)布的L4級(jí)別豪華車(chē)型ET7更是搭載11顆800萬(wàn)像素?cái)z像頭。自動(dòng)駕駛技術(shù)升級(jí)需要更高、更全面的感知力，車(chē)輛對(duì)于車(chē)載攝像頭的需求量將隨等級(jí)升高而不斷增加，未來(lái)單車(chē)配備攝像頭數(shù)量有望達(dá)到11-15目，需求持續(xù)提升。車(chē)載攝像頭實(shí)車(chē)應(yīng)用情況車(chē)載攝像頭的特點(diǎn)具備高動(dòng)態(tài)性較高的防磁抗震性能像素要求較低探索新知環(huán)視和后視一般采用135度以上的廣角鏡頭，前視攝像頭鏡頭范圍為40-70度。探索新知通過(guò)一臺(tái)相機(jī)獲取車(chē)身周?chē)鷪?chǎng)景的圖像信息，再對(duì)這些圖像進(jìn)行處理和分析，實(shí)現(xiàn)自動(dòng)駕駛、駕駛輔助、車(chē)道保持、前車(chē)碰撞預(yù)警、交通標(biāo)志識(shí)別等功能的一種常見(jiàn)的車(chē)載傳感器。車(chē)載單目視覺(jué)傳感器通過(guò)圖像處理技術(shù)可以為自動(dòng)駕駛汽車(chē)提供高精度、高識(shí)別率的環(huán)境感知能力。車(chē)載單目視覺(jué)傳感器車(chē)載單目視覺(jué)傳感器的定義探索新知車(chē)載單目視覺(jué)傳感器的優(yōu)缺點(diǎn)缺點(diǎn)夜間視覺(jué)表現(xiàn)不佳，對(duì)光線、天氣等干擾比較敏感。優(yōu)點(diǎn)低成本，視覺(jué)信息豐富，方向控制靈活，高度可定制化，多功能性。車(chē)載單目視覺(jué)傳感器的定義探索新知車(chē)載單目視覺(jué)傳感器的系統(tǒng)構(gòu)成攝像頭模塊01圖像處理模塊02控制電路03算法庫(kù)04探索新知車(chē)載單目視覺(jué)傳感器的工作原理探索新知

通過(guò)鏡頭獲取車(chē)輛周?chē)膱?chǎng)景信息，然后將這些信息轉(zhuǎn)換為數(shù)字信號(hào)，再通過(guò)圖像處理技術(shù)對(duì)這些信號(hào)進(jìn)行分析和計(jì)算，從而實(shí)現(xiàn)車(chē)輛周?chē)h(huán)境的感知和識(shí)別。車(chē)載單目視覺(jué)傳感器的系統(tǒng)工作過(guò)程探索新知圖像采集圖像預(yù)處理特征提取目標(biāo)識(shí)別和跟蹤決策和執(zhí)行圖像分割目標(biāo)識(shí)別過(guò)程利用單目攝像頭識(shí)別行人和車(chē)道線車(chē)載單目視覺(jué)傳感器的測(cè)距基本原理探索新知準(zhǔn)確的相機(jī)標(biāo)定02強(qiáng)大的圖像識(shí)別算法03龐大的樣本特征庫(kù)01單目攝像頭的測(cè)距原理是先通過(guò)圖像匹配進(jìn)行目標(biāo)識(shí)別（各種車(chē)型、行人、物體等），再通過(guò)目標(biāo)在圖像中的大小去估算目標(biāo)距離。車(chē)載雙目視覺(jué)傳感器的定義探索新知車(chē)載雙目視覺(jué)傳感器由兩個(gè)攝像頭組成，利用人眼的雙眼立體視覺(jué)原理，通過(guò)拍攝同一場(chǎng)景的兩幅圖像來(lái)獲取3D信息，提供立體視覺(jué)和深度感知能力。它可以通過(guò)對(duì)兩個(gè)攝像頭的圖像進(jìn)行處理和分析，為自動(dòng)駕駛系統(tǒng)提供更加精準(zhǔn)和全面的環(huán)境感知信息，并在決策和執(zhí)行方面做出更加準(zhǔn)確和高效的處理。車(chē)載雙目視覺(jué)傳感器車(chē)載雙目視覺(jué)傳感器的工作原理探索新知測(cè)量?jī)蓚€(gè)攝像頭之間的距離及像素間的視差差異，計(jì)算物體距離和深度，并結(jié)合車(chē)載計(jì)算機(jī)的實(shí)時(shí)計(jì)算和處理能力，實(shí)現(xiàn)對(duì)道路環(huán)境的全方位感知和深度識(shí)別。車(chē)載雙目視覺(jué)傳感器的工作原理探索新知雙目視覺(jué)傳感器的左右兩個(gè)攝像頭被安裝在固定的距離范圍內(nèi)，形成一個(gè)相對(duì)線性的視線基線，從而能夠建立一個(gè)基礎(chǔ)坐標(biāo)系。1.兩個(gè)攝像頭建立坐標(biāo)系車(chē)載雙目視覺(jué)傳感器通過(guò)左右兩個(gè)攝像頭同時(shí)（或近乎同時(shí)）拍攝前方相同的場(chǎng)景，每個(gè)攝像頭會(huì)產(chǎn)生一幅相應(yīng)的圖像。2.圖像采集車(chē)載雙目視覺(jué)傳感器的工作原理探索新知車(chē)載雙目視覺(jué)傳感器會(huì)通過(guò)圖像預(yù)處理的方式，對(duì)兩張圖像進(jìn)行消噪處理、增強(qiáng)圖像對(duì)比度等操作，以提高后續(xù)的圖像處理的準(zhǔn)確性。3.圖像預(yù)處理車(chē)載雙目視覺(jué)傳感器需要在制造時(shí)進(jìn)行參數(shù)標(biāo)定，標(biāo)定攝像機(jī)內(nèi)外參以及攝像機(jī)系統(tǒng)的畸變系數(shù)等信息，如圖4-43所示，以后會(huì)用于立體匹配和深度測(cè)量。4.標(biāo)定相機(jī)標(biāo)定車(chē)載雙目視覺(jué)傳感器的工作原理探索新知通過(guò)立體匹配算法，將兩個(gè)視野中重疊的區(qū)域進(jìn)行匹配，找出兩張圖像中同一點(diǎn)之間對(duì)應(yīng)的位置，通過(guò)這些點(diǎn)的視差來(lái)計(jì)算物體到攝像頭的距離，繼而通過(guò)測(cè)量視差的大小計(jì)算物體到攝像頭的深度。5.立體匹配車(chē)載雙目視覺(jué)傳感器的工作原理探索新知車(chē)載雙目視覺(jué)傳感器通過(guò)計(jì)算機(jī)進(jìn)行實(shí)時(shí)處理，在幾乎瞬間完成圖像處理和決策執(zhí)行。利用計(jì)算機(jī)視覺(jué)技術(shù)從圖像中監(jiān)測(cè)運(yùn)動(dòng)及運(yùn)動(dòng)物體并對(duì)其及進(jìn)行運(yùn)動(dòng)分析、跟蹤或識(shí)別。常用的方法有背景刪除法和時(shí)間差分法。6.圖像分析處理車(chē)載雙目視覺(jué)傳感器與車(chē)載單目視覺(jué)系統(tǒng)的差異探索新知小貼士單目攝像頭需要對(duì)目標(biāo)進(jìn)行識(shí)別，也就是說(shuō)在測(cè)距前先識(shí)別障礙物是車(chē)、人還是別的什么，在此基礎(chǔ)上再進(jìn)行測(cè)距；而雙目攝像頭則更加像人類(lèi)的雙眼，主要通過(guò)兩幅圖像的視差計(jì)算來(lái)確定距離，也就是說(shuō)，雙目攝像頭不需要知道障礙物是什么，可以在不識(shí)別目標(biāo)的情況下通過(guò)計(jì)算獲得深度距離數(shù)據(jù)。單目攝像頭的缺點(diǎn)在于需要大量數(shù)據(jù)，并且不斷更新和維護(hù)，而且針對(duì)一些特殊地區(qū)特殊情況，還需要不斷優(yōu)化。例如大草原上經(jīng)常有牛羊橫穿公路，那你就需要更新數(shù)據(jù)，讓機(jī)器知道這是牛，那是羊，數(shù)據(jù)收集、標(biāo)簽的難度確實(shí)有些大。雙目攝像頭當(dāng)然也不是十全十美，因?yàn)樾枰坑?jì)算來(lái)進(jìn)行測(cè)距，其最大的難點(diǎn)就在于計(jì)算量巨大，小型化難度很大。單、雙目視覺(jué)傳感器的對(duì)比三目視覺(jué)傳感器的定義探索新知三目視覺(jué)傳感器是一種三個(gè)攝像頭組成的成像系統(tǒng)。三個(gè)攝像頭朝向同一個(gè)方向，擺放在一個(gè)三角形的框架上，攝像頭之間的距離和相對(duì)角度已經(jīng)事先確定好。它可以同時(shí)獲取不同角度的視角信息，提供更為精確的三維圖像，從而可以用于物體的距離測(cè)量、障礙物識(shí)別和目標(biāo)定位等應(yīng)用領(lǐng)域。三目視覺(jué)傳感器三目視覺(jué)傳感器的工作原理探索新知由于單目視覺(jué)傳感器和雙目視覺(jué)傳感器都存在某些缺陷，因此，很多智能網(wǎng)聯(lián)汽車(chē)采用了三目視覺(jué)傳感器方案。三目視覺(jué)傳感器是三個(gè)不同焦距單目視覺(jué)傳感器的組合。三目視覺(jué)傳感器同時(shí)獲取同一目標(biāo)的三個(gè)角度不同的圖像。三目視覺(jué)傳感器的工作原理探索新知距離測(cè)量01障礙物識(shí)別02目標(biāo)定位03通過(guò)計(jì)算機(jī)視覺(jué)算法，根據(jù)三張圖像中的幾何關(guān)系，計(jì)算出目標(biāo)在三個(gè)攝像頭坐標(biāo)系下的三維坐標(biāo)。三目視覺(jué)傳感器的實(shí)際應(yīng)用探索新知25°視場(chǎng)用于檢測(cè)前車(chē)道線、交通燈。50°視場(chǎng)負(fù)責(zé)道路狀況監(jiān)測(cè)。150°視場(chǎng)用于監(jiān)測(cè)平行車(chē)道道路狀況以及行人和非機(jī)動(dòng)車(chē)的行駛狀況。環(huán)視視覺(jué)傳感器的定義探索新知環(huán)視視覺(jué)傳感器（OmnidirectionalVisionSensor）是一種全方位視野感知設(shè)備，可以獲得完整的環(huán)視圖像，堪稱(chēng)“天眼”。環(huán)視視覺(jué)傳感器由多個(gè)攝像機(jī)組成，可以同時(shí)實(shí)現(xiàn)全景拍攝、環(huán)景立體視覺(jué)以及對(duì)車(chē)身周?chē)h(huán)境的動(dòng)態(tài)分析等。環(huán)視視覺(jué)傳感器環(huán)視視覺(jué)傳感器的定義探索新知自主駕駛安防監(jiān)控?zé)o人機(jī)應(yīng)用場(chǎng)景環(huán)視視覺(jué)傳感器的定義探索新知四個(gè)魚(yú)眼環(huán)視鏡頭采集圖像車(chē)輛360°全景視圖環(huán)視視覺(jué)傳感器的工作原理探索新知每個(gè)攝像頭捕捉自己方向的影像，并將其傳送到中央處理單元進(jìn)行處理。1.多攝像頭實(shí)時(shí)捕捉影像中央處理單元計(jì)算每個(gè)攝像頭視野中的同一場(chǎng)景的共同點(diǎn)，并根據(jù)自身的算法將它們從多個(gè)攝像頭捕捉到的魚(yú)眼圖像中進(jìn)行拼接，生成完整的全景圖像。2.構(gòu)建魚(yú)眼鏡頭的全景影像并拼接環(huán)視視覺(jué)傳感器的工作原理探索新知中央處理單元可以根據(jù)需要將全景圖像處理為立體視圖或者鳥(niǎo)瞰圖，以輔助駕駛員做出更為精確的決策。3.根據(jù)全景圖像，，生成立體視圖或鳥(niǎo)瞰圖中央處理單元可以通過(guò)算法對(duì)全景圖像進(jìn)行處理，實(shí)現(xiàn)車(chē)輛周?chē)h(huán)境的實(shí)時(shí)監(jiān)測(cè)和物體識(shí)別功能。4.圖像識(shí)別和目標(biāo)檢測(cè)中央處理單元將環(huán)視視覺(jué)圖像或視頻輸出給駕駛員或其他系統(tǒng)進(jìn)行使用。5.輸出環(huán)視視覺(jué)圖像或