智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集 課件 模塊1-3 智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集與數(shù)據(jù)應(yīng)用-攝像頭數(shù)據(jù)接入技術(shù)與工程實踐

智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集CONTENTS目錄PARTONE模塊一：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集與數(shù)據(jù)應(yīng)用PARTTWO模塊二：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集系統(tǒng)開發(fā)與運行環(huán)境準備PARTTHREE模塊三：攝像頭數(shù)據(jù)接入技術(shù)與工程實踐PARTFOUR模塊四：激光雷達數(shù)據(jù)接入技術(shù)與工程實踐PARTFIVE模塊五：毫米波雷達數(shù)據(jù)接入技術(shù)與工程實踐PARTSIX模塊六：智能視覺傳感器及其數(shù)據(jù)采集PARTSEVEN模塊七：智能網(wǎng)聯(lián)車載通信接入技術(shù)與工程實踐PARTEIGHT模塊八：高精度定位技術(shù)及其數(shù)據(jù)采集PARTNINE模塊九：系統(tǒng)集成、系統(tǒng)調(diào)試、系統(tǒng)測試驗證工程實踐模塊一：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集與數(shù)據(jù)應(yīng)用1一、智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集系統(tǒng)二、多源數(shù)據(jù)的采集與應(yīng)用三、數(shù)據(jù)采集與數(shù)據(jù)應(yīng)用的相關(guān)標準與規(guī)范崗位任務(wù)一收集補充數(shù)據(jù)采集與數(shù)據(jù)應(yīng)用的相關(guān)標準與規(guī)范010203學(xué)習(xí)目標●能描述智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集系統(tǒng)的概念?！衲苊枋鲋悄芫W(wǎng)聯(lián)汽車數(shù)據(jù)采集系統(tǒng)的基本架構(gòu)?！衲苊枋鰝鞲衅魅诤系姆N類?！衲苊枋鲋悄芫W(wǎng)聯(lián)汽車駕駛場景規(guī)范體系的相關(guān)內(nèi)容。知識目標ONE模塊一：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集與數(shù)據(jù)應(yīng)用●能根據(jù)具體應(yīng)用需求確定智能網(wǎng)聯(lián)汽車駕駛場景的形態(tài)。●能根據(jù)智能網(wǎng)聯(lián)汽車駕駛場景規(guī)范體系中的具體規(guī)范指導(dǎo)駕駛場景采集、數(shù)據(jù)存儲、同步、處理、應(yīng)用和數(shù)據(jù)庫建設(shè)等工作。技能目標●養(yǎng)成查閱資料、勤于思考、聯(lián)系實際的習(xí)慣，增強學(xué)習(xí)能力。●通過了解我國在智能網(wǎng)聯(lián)汽車駕駛場景方面取得的成績，提升民族自信心。素質(zhì)目標自動駕駛汽車需要在真實或者虛擬環(huán)境中至少進行177億km的里程測試，才能證明智能網(wǎng)聯(lián)汽車自動駕駛系統(tǒng)比駕駛?cè)烁煽俊５?，基于里程的測試方法具有測試周期長、效率低、成本高等弊端。里程測試弊端明顯自然駕駛數(shù)據(jù)作為智能網(wǎng)聯(lián)汽車自動駕駛典型場景和邊角場景來源的主要基礎(chǔ)，代表了約80%的道路交通狀況，必須進行自然駕駛場景數(shù)據(jù)采集并不斷完善場景庫。仿真場景不可或缺智能網(wǎng)聯(lián)自動駕駛汽車數(shù)據(jù)采集系統(tǒng)是指能夠同步采集自動駕駛中所有傳感器及控制器的相關(guān)數(shù)據(jù)，由數(shù)據(jù)采集主機、數(shù)據(jù)采集接口設(shè)備、數(shù)據(jù)采集和處理軟件等組成的有機體。同步采集的有機體1．數(shù)據(jù)采集系統(tǒng)的概念TWO模塊一：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集與數(shù)據(jù)應(yīng)用一、智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集系統(tǒng)智能網(wǎng)聯(lián)汽車駕駛場景來源一般包含標準法規(guī)、自然駕駛數(shù)據(jù)、交通事故數(shù)據(jù)、仿真衍生數(shù)據(jù)等。駕駛場景來源的構(gòu)成主要包含兩部分內(nèi)容：一是駕駛場景數(shù)據(jù)采集平臺的搭建和工具鏈的設(shè)計；二是需要設(shè)計合理的采集方案和采集需求駕駛場景數(shù)據(jù)采集的組成測試場景數(shù)據(jù)來源一般包括自然駕駛場景、危險工況場景、標準法規(guī)場景、參數(shù)重組場景。測試場景數(shù)據(jù)來源的構(gòu)成2．數(shù)據(jù)采集系統(tǒng)的基本架構(gòu)TWO模塊一：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集與數(shù)據(jù)應(yīng)用一、智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集系統(tǒng)為保證更高的可靠性、冗余性以及最終的安全性，在智能網(wǎng)聯(lián)汽車中，融合來自多個傳感器數(shù)據(jù)的過程，是強制的。由于傳感器是有噪聲的，因此需要傳感器融合算法來處理這些噪聲，并盡可能進行最精確的估計。1．按抽象級別的傳感器融合：低級別（Low-Level）、中級別（Mid-Level）和高級別（High-Level）傳感器融合。構(gòu)建數(shù)據(jù)融合的算法，可以分為三大類，分別是按抽象級別的傳感器融合、按中心化級別的傳感器融合和按競爭級別的傳感器融合。每一大類又分為三個小類，一共九種。ONE模塊一：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集與數(shù)據(jù)應(yīng)用二、多源數(shù)據(jù)的采集與應(yīng)用2．按中心化級別的傳感器融合：中心化、去中心化、分布式。3．按競爭級別的傳感器融合：競爭融合、互補融合、協(xié)同融合。兩種傳感器的好處（以檢測行人為例）：1、如果兩個傳感器中的一個沒有檢測到行人，我們將使用另一個傳感器作為冗余來增加檢測到行人的機會。

2、如果兩個傳感器都檢測到了行人，傳感器融合技術(shù)將使我們更準確地知道行人的位置。1．智能網(wǎng)聯(lián)車駕駛場景規(guī)范體系概述場景采集、算法開發(fā)、產(chǎn)品驗證等對智能網(wǎng)聯(lián)汽車駕駛場景的需求是不同的，需要根據(jù)具體應(yīng)用需求確定自動駕駛場景的形態(tài)。ONE模塊一：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集與數(shù)據(jù)應(yīng)用三、數(shù)據(jù)采集與數(shù)據(jù)應(yīng)用的相關(guān)標準與規(guī)范駕駛場景相關(guān)規(guī)范體系涉及通用類規(guī)范、基礎(chǔ)類規(guī)范、技術(shù)類規(guī)范和應(yīng)用類規(guī)范四個大類，從駕駛場景的基本定義、分類方法、采集、存儲、數(shù)據(jù)傳輸和處理到場景庫建設(shè)和應(yīng)用整個流程分別作出詳細的要求和方法指導(dǎo)。2．駕駛場景規(guī)范ONE模塊一：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集與數(shù)據(jù)應(yīng)用三、數(shù)據(jù)采集與數(shù)據(jù)應(yīng)用的相關(guān)標準與規(guī)范現(xiàn)有24項規(guī)范，具體指導(dǎo)中國駕駛場景采集、數(shù)據(jù)存儲、同步、處理、應(yīng)用和數(shù)據(jù)庫建設(shè)等工作。課后作業(yè)：收集補充數(shù)據(jù)采集與數(shù)據(jù)應(yīng)用的相關(guān)標準與規(guī)范，并思考以下兩個問題：1、新增了哪些標準與規(guī)范？2、與之前的標準與規(guī)范相比，新增的標準與規(guī)范有哪些不同？模塊二：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集系統(tǒng)開發(fā)與運行環(huán)境準備2一、Ubuntu系統(tǒng)崗位任務(wù)二Ubuntu的安裝與使用二、ROS崗位任務(wù)三ROS的安裝與使用010203學(xué)習(xí)目標●能列舉Ubuntu的特點?！衲苊枋鯱buntu誕生與發(fā)展歷史?！衲苊枋鯱buntu的版本劃分。●能熟練運用Ubuntu的常用命令?！衲芰信eROS的特點?！衲苊枋鯮OS的分級。知識目標TWO模塊二：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集系統(tǒng)開發(fā)與運行環(huán)境準備●能安裝和使用Ubuntu軟件?！衲馨惭b和使用ROS軟件。技能目標●養(yǎng)成查閱資料、勤于思考、聯(lián)系實際的習(xí)慣，增強學(xué)習(xí)能力?！裢ㄟ^了解Ubuntu和ROS在智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集中的主要作用，加深對自動駕駛命令的了解。素質(zhì)目標由南非人馬克·沙特爾沃思（MarkShuttleworth）創(chuàng)辦。Ubuntu是一個以桌面應(yīng)用為主的Linux操作系統(tǒng)。誕生通過開源協(xié)作、分享、互助等方式，探索創(chuàng)新、共同發(fā)展。用戶下載、使用、分享Ubuntu系統(tǒng)，以及獲得技術(shù)支持與服務(wù)，無須支付任何許可費用。精神通過Ubuntu龐大的社區(qū)組織，Ubuntu用戶可以獲得很多幫助和支持，使得Ubuntu用起來更加得心應(yīng)手。社區(qū)Ubuntu系統(tǒng)TWO模塊二：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集系統(tǒng)開發(fā)與運行環(huán)境準備一、Ubuntu系統(tǒng)TWO模塊二：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集系統(tǒng)開發(fā)與運行環(huán)境準備崗位任務(wù)二Ubuntu的安裝與使用1．Ubuntu系統(tǒng)的安裝

（1）獲取Ubuntu鏡像

（2）制作Ubuntu的U盤啟動盤1）下載并安裝UltraISO軟件。2）打開UltraISO，選擇“文件”中的“打開”，選中下載好的Ubuntu鏡像文件3）單擊“啟動”→寫入硬盤映像4）寫入方式選擇“USB-HDD+”或者“USB-HDD”均可5）單擊“便捷啟動”→“寫入新的驅(qū)動器引導(dǎo)扇區(qū)”→“Syslinux”，然后單擊“寫入”6）將Syslinux引導(dǎo)扇區(qū)寫入設(shè)備的確定界面，單擊“是”。7）完成后單擊“確定”8）單擊“寫入”，單擊“是”9）成功后，會有“刻錄成功”打印信息TWO模塊二：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集系統(tǒng)開發(fā)與運行環(huán)境準備崗位任務(wù)二Ubuntu的安裝與使用1．Ubuntu系統(tǒng)的安裝

（3）安裝Ubuntu系統(tǒng)1）選擇U盤啟動方式。2）進入Ubuntu安裝界面，3）選擇語言環(huán)境，如果選擇中文，則系統(tǒng)顯示字體會對應(yīng)變成中文，單擊“安裝Ubuntu”，進入下一步。4）安裝時，可以不勾選第一項，以提高安裝速度5）清理磁盤并安裝Ubuntu，進入下一步6）選擇默認分區(qū)模式即可，將改動寫入磁盤7）自行設(shè)置時區(qū)。8）設(shè)置登錄賬號和密碼。9）安裝結(jié)束，等待重新啟動TWO模塊二：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集系統(tǒng)開發(fā)與運行環(huán)境準備崗位任務(wù)二Ubuntu的安裝與使用2．Ubuntu系統(tǒng)的應(yīng)用

（1）顯示當前路徑pwd

（2）跳轉(zhuǎn)目錄命令TWO模塊二：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集系統(tǒng)開發(fā)與運行環(huán)境準備崗位任務(wù)二Ubuntu的安裝與使用2．Ubuntu系統(tǒng)的應(yīng)用

（3）顯示當前目錄所有文件夾或文件TWO模塊二：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集系統(tǒng)開發(fā)與運行環(huán)境準備崗位任務(wù)二Ubuntu的安裝與使用2．Ubuntu系統(tǒng)的應(yīng)用

（4）創(chuàng)建名為file的空文件touchfile（5）打開名為file的文件并將文件中內(nèi)容顯示在終端catfile（6）打開名為file的文件并進行編輯geditfile（7）創(chuàng)建新的目錄path2mkdir-p/path1/path2（其中，-p是遞歸創(chuàng)建目錄。）

（8）刪除目錄/path1rm-r/path1（其中，-r參數(shù)是指當目錄中有文件的時候，先刪除文件，再刪除目錄。）（9）刪除文件filerm/fileTWO模塊二：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集系統(tǒng)開發(fā)與運行環(huán)境準備崗位任務(wù)二Ubuntu的安裝與使用2．Ubuntu系統(tǒng)的應(yīng)用

（10）搜索命令最為優(yōu)秀的軟件框架之一就是機器人操作系統(tǒng)（RobotOperatingSystem，ROS）。ROS起源于2007年斯坦福大學(xué)人工智能實驗室與機器人技術(shù)公司W(wǎng)illowGarage的個人機器人項目。誕生（1）點對點設(shè)計（2）多語言支持（3）精簡與集成（4）工具包豐富（5）免費開源主要特點ROS主要可分為三個級別：計算圖級（節(jié)點、消息、主題、服務(wù)）、文件系統(tǒng)級（包、堆）、社區(qū)級?？傮w框架ROSTWO模塊二：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集系統(tǒng)開發(fā)與運行環(huán)境準備二、ROSTWO模塊二：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集系統(tǒng)開發(fā)與運行環(huán)境準備崗位任務(wù)三ROS的安裝與使用1．ROS的安裝

（1）操作系統(tǒng)與ROS的選擇。ROS的安裝方法主要有兩種：軟件源安裝和源碼編譯安裝。

（2）配置系統(tǒng)軟件源首先打開“軟件和更新”對話框，具體單擊Ubuntu搜索按鈕進行搜索。確保勾選“restricted”“universe”“multiverse”

（3）設(shè)置安裝源官方默認安裝源/或來自清華大學(xué)的安裝源/或來自中國科學(xué)技術(shù)大學(xué)的安裝源注意：1）按Enter鍵后，可能需要輸入管理員密碼。2）建議使用國內(nèi)資源，安裝速度更快。（4）設(shè)置key（5）安裝。

首先需要更新aptsudoaptupdate推薦安裝kinetic桌面完整版sudoapt-getinstallros-kinetic-desktop-fullTWO模塊二：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集系統(tǒng)開發(fā)與運行環(huán)境準備崗位任務(wù)三ROS的安裝與使用1．ROS的安裝

（6）初始化rosdepsudorosdepinitrosdepupdate（7）配置環(huán)境變量echo“source/opt/ros/noetic/setup.bash”>>~/.bashrcsource~/.bashrcTWO模塊二：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集系統(tǒng)開發(fā)與運行環(huán)境準備崗位任務(wù)三ROS的安裝與使用2．ROS的使用

ROS安裝成功以后，可以運行小海龜程序進行測試。窗口1，啟動roscore。Roscore窗口2，啟動小海龜node節(jié)點。rosrunturtlesimturtlesim_nodeTWO模塊二：智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集系統(tǒng)開發(fā)與運行環(huán)境準備崗位任務(wù)三ROS的安裝與使用2．ROS的使用

窗口3，啟動鍵盤控制節(jié)點。

rosrunturtlesimturtle_teleop_key在該窗口下，控制方向鍵就可以控制小海龜運動了。模塊三：攝像頭數(shù)據(jù)接入技術(shù)與工程實踐3一、攝像頭二、攝像頭通信接口與協(xié)議崗位任務(wù)四攝像頭數(shù)據(jù)接入與調(diào)試010203學(xué)習(xí)目標●熟悉攝像頭的結(jié)構(gòu)、類型及其優(yōu)缺點?！袷煜z像頭通信接口與協(xié)議?！袷煜すI(yè)攝像頭實踐開發(fā)的設(shè)備?！裾莆哲囕d攝像頭的類型和功能。●掌握工業(yè)攝像頭實踐開發(fā)技術(shù)。知識目標Three模塊三：攝像頭數(shù)據(jù)接入技術(shù)與工程實踐●能熟練運用攝像頭數(shù)據(jù)采集相關(guān)專業(yè)術(shù)語?！衲苊枋鰯z像頭在自動駕駛汽車上的運用?！衲苓M行工業(yè)攝像頭的實踐開發(fā)。技能目標●養(yǎng)成查閱資料、聯(lián)系實際的習(xí)慣，增強學(xué)習(xí)能力?！裢ㄟ^了解我國智能網(wǎng)聯(lián)汽車中攝像頭的數(shù)據(jù)采集，提升民族自信心。素質(zhì)目標Three模塊三：攝像頭數(shù)據(jù)接入技術(shù)與工程實踐一、攝像頭攝像頭是自動駕駛核心傳感器之一，最大的優(yōu)勢在于可以識別車輛周邊的環(huán)境信息和紋理信息，能夠“看到”目標的類型、信號燈的顏色等，類似于人類的眼睛。攝像頭一般具有視頻攝像和靜態(tài)圖像捕捉等基本功能。1．攝像頭的結(jié)構(gòu)攝像頭的主要組件有：鏡頭組、圖像傳感器（ImageSensor）、DSP（DigitalSignalProcessing，數(shù)字信號處理）芯片等。圖像傳感器可以分為兩類：CCD與CMOS傳感器。2．攝像頭的類型攝像頭有單目攝像頭、雙目攝像頭和多目攝像頭。攝像頭有紅外攝像頭和普通攝像頭目前智能網(wǎng)聯(lián)汽車使用的主要是紅外攝像頭。Three模塊三：攝像頭數(shù)據(jù)接入技術(shù)與工程實踐一、攝像頭3．攝像頭的功能攝像頭的功能應(yīng)用可分為行車輔助類、駐車輔助類與車內(nèi)駕駛?cè)吮O(jiān)控三大部分。攝像頭的安裝位置可在前視、側(cè)視、后視和內(nèi)置四個部分。Three模塊三：攝像頭數(shù)據(jù)接入技術(shù)與工程實踐二、攝像頭通信接口與協(xié)議1．攝像頭通信接口攝像頭接口包括長程類接口（如GMSL、FPD-Link、以太網(wǎng)、USB等），短程類接口（如MIPICSI2、HiSPI、DVP并口、自定義LVDS等）。（1）GMSL接口。GMSL（GigabitMultimediaSerialLink），是美信推出的一種針對車用的串行傳輸接口標準，可以支持的最高串行速率為3.125Gbit/s，支持同軸電纜傳輸、支持同軸電纜POC供電，成對使用。（2）LVDS。LVDS（低電壓差分信號）是一種高速串行信號傳輸電平，具有傳輸速度快、功耗低、抗干擾能力強、傳輸距離遠、易于匹配等優(yōu)點，非常適合在MIPI輸入輸出端口使用。在它的基礎(chǔ)上有很多通信層標準，例如FPD-Link。Three模塊三：攝像頭數(shù)據(jù)接入技術(shù)與工程實踐二、攝像頭通信接口與協(xié)議2．攝像頭通信協(xié)議UVC（USBVideoClass，USB視頻類），是一種為USB視頻捕獲設(shè)備定義的協(xié)議標準，是微軟公司與另外幾家設(shè)備廠商聯(lián)合推出的定義USB視頻捕獲設(shè)備的協(xié)議標準，已成為USB協(xié)會標準之一。UVC是屬于USB行業(yè)規(guī)范中的USB設(shè)備類規(guī)范，用于USB接口的視頻設(shè)備的一個統(tǒng)一的數(shù)據(jù)交換規(guī)范。具有實際UVC功能的視頻設(shè)備只需要兩種接口：一種為VCInterface（視頻控制接口），另一種為VSInterface（視頻流接口）。其中VC接口用于對UVC設(shè)備進行配置操控，而VS接口則用于負責(zé)傳輸視頻數(shù)據(jù)流，兩者相互配合完成UVC設(shè)備功能。Three模塊三：攝像頭數(shù)據(jù)接入技術(shù)與工程實踐二、攝像頭通信接口與協(xié)議1．攝像頭通信接口（3）MIPICSI2。MIPICSI2（CameraSerialInterface）協(xié)議是MIPI（移動行業(yè)處理器接口）聯(lián)盟協(xié)議的子協(xié)議，專門針對攝像頭芯片的接口而設(shè)計，應(yīng)用非常廣泛，具有高速、低功耗的特點。（4）DVP接口。DVP是并口，所占用的數(shù)據(jù)線較多，邏輯設(shè)計上比較復(fù)雜。在高速傳輸?shù)倪^程中，直接使用數(shù)字信號作為數(shù)據(jù)容易被其他外部信號干擾。（5）USB接口。USB是串行通用串行總線（UniversalSerialBus）的簡稱。USB由英特爾聯(lián)合多家公司在1996年推出，已成功替代串口和并口，已成為當今計算機與大量智能設(shè)備的必配接口。USB攝像頭有很多優(yōu)點。Three模塊三：攝像頭數(shù)據(jù)接入技術(shù)與工程實踐崗位任務(wù)四攝像頭數(shù)據(jù)接入與調(diào)試參數(shù)類別參數(shù)說明感光器件200萬1/2.7CMOS傳感器像素尺寸3.0umx3.0um像素面積5808umx3288um分辨率默認1920x1080幀速率MJPG30幀YUY2約5幀曝光時間33.33ms/fps信噪比>39db電壓功耗USB5V約100-120ma設(shè)備接口USB2.0即插即用；國際標準UVC協(xié)議，兼容3.0接口Three模塊三：攝像頭數(shù)據(jù)接入技術(shù)與工程實踐崗位任務(wù)四攝像頭數(shù)據(jù)接入與調(diào)試1、ROS環(huán)境下調(diào)試Three模塊三：攝像頭數(shù)據(jù)接入技術(shù)與工程實踐崗位任務(wù)四攝像頭數(shù)