汽車智能座艙系統(tǒng)與應(yīng)用 課件 5-4 完成深度學(xué)習(xí)智能座艙開發(fā)流程的認(rèn)知與實(shí)現(xiàn)

能力模塊五

掌握智能座艙中數(shù)據(jù)采集與處理技術(shù)的應(yīng)用任務(wù)四

完成深度學(xué)習(xí)智能座艙開發(fā)流程的認(rèn)知與實(shí)現(xiàn)作為智能座艙開發(fā)助理，在某次項(xiàng)目中，主管要求你根據(jù)項(xiàng)目開發(fā)要求去制定一個(gè)初版的數(shù)據(jù)開發(fā)流程，便于考核你對(duì)數(shù)據(jù)開發(fā)流程的熟悉程度。根據(jù)要求，在完成一些初步的數(shù)據(jù)處理和數(shù)據(jù)訓(xùn)練后，你需要根據(jù)制定的開發(fā)流程，獨(dú)立完成一個(gè)小型的完整的本地部署任務(wù)。任務(wù)引入Tasktointroduce01智能座艙開發(fā)流程介紹02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測(cè)系統(tǒng)流程的分析與實(shí)現(xiàn)目錄

CONTENTS03駕駛員狀態(tài)監(jiān)控本地訓(xùn)練部署智能座艙開發(fā)流程介紹PART0101智能座艙開發(fā)流程介紹智能座艙開發(fā)流程涉及：利用新場(chǎng)景、場(chǎng)景庫(kù)進(jìn)行場(chǎng)景定義；利用HMI設(shè)計(jì)工具進(jìn)行UI/UE設(shè)計(jì)（包含界面及交互邏輯設(shè)計(jì)）；利用HMI框架構(gòu)建工具搭建整個(gè)交互設(shè)計(jì)平臺(tái)；由開發(fā)人員基于搭建的交互設(shè)計(jì)平臺(tái)進(jìn)行軟硬件開發(fā)；測(cè)試人員深入貫穿于整個(gè)開發(fā)過(guò)程進(jìn)行階段性單元測(cè)試和集成測(cè)試。測(cè)試結(jié)果部署于車端進(jìn)行搭載。整個(gè)過(guò)程由開發(fā)設(shè)計(jì)人員進(jìn)行全方面維護(hù)。

01智能座艙開發(fā)流程介紹數(shù)據(jù)開發(fā)框架

整個(gè)開發(fā)數(shù)據(jù)平臺(tái)是一個(gè)全閉環(huán)流程，該閉環(huán)流程涉及四大數(shù)據(jù)處理過(guò)程，最終形成可用于訓(xùn)練的有效模型。01智能座艙開發(fā)流程介紹數(shù)據(jù)開發(fā)框架

查找數(shù)據(jù)缺陷重新進(jìn)行數(shù)據(jù)采集進(jìn)行數(shù)據(jù)標(biāo)注訓(xùn)練數(shù)據(jù)模型數(shù)據(jù)開發(fā)框架流程01智能座艙開發(fā)流程介紹（1）數(shù)據(jù)缺陷

這一過(guò)程中，首先需要從已量產(chǎn)的產(chǎn)品中提取數(shù)據(jù)缺陷DATA-Failure；數(shù)據(jù)缺陷包含數(shù)據(jù)漏檢，虛假數(shù)據(jù)，數(shù)據(jù)校驗(yàn)不通過(guò)部分等。（2）數(shù)據(jù)采集

針對(duì)數(shù)據(jù)缺陷需要重新進(jìn)行數(shù)據(jù)采集DATA-Collection，該采集過(guò)程包含在開發(fā)階段通過(guò)搭建的數(shù)據(jù)采集平臺(tái)進(jìn)行數(shù)據(jù)采集（比如可以是實(shí)車在駕駛過(guò)程中用到的駕駛艙內(nèi)外行車記錄儀、全景影像、前視或后視攝像頭等），也包含在已經(jīng)量產(chǎn)的車型中設(shè)置的數(shù)據(jù)埋點(diǎn)或影子模式方式進(jìn)行。數(shù)據(jù)開發(fā)框架01智能座艙開發(fā)流程介紹（3）數(shù)據(jù)標(biāo)注

采集數(shù)據(jù)進(jìn)行數(shù)據(jù)標(biāo)注DATA-Label，這里需要注意的是智能座艙和智能駕駛的標(biāo)注方式上有所不同；如座艙主要設(shè)計(jì)圖片、語(yǔ)音等標(biāo)注，ADAS主要涉及道路環(huán)境語(yǔ)義（如車道線、護(hù)欄、錐桶等標(biāo)注類型）等標(biāo)注。（4）數(shù)據(jù)模型

對(duì)于智能座艙算法而言，最重要的是進(jìn)行人工智能的機(jī)器視覺算法訓(xùn)練，該過(guò)程設(shè)計(jì)形成較為精準(zhǔn)的數(shù)據(jù)模板，將標(biāo)注后的數(shù)據(jù)用于進(jìn)行數(shù)據(jù)模型訓(xùn)練DATA-Model。數(shù)據(jù)開發(fā)框架AI算法倉(cāng)庫(kù)主要是對(duì)數(shù)據(jù)平臺(tái)中的數(shù)據(jù)模型進(jìn)行有效訓(xùn)練，模型訓(xùn)練主要高中低三種漸進(jìn)開發(fā)模式。高級(jí)模式：該AI算法倉(cāng)庫(kù)中訓(xùn)練模型復(fù)雜，需要耗費(fèi)較多的AI算力用于權(quán)值監(jiān)測(cè)、關(guān)鍵點(diǎn)檢測(cè)、圖像語(yǔ)義分割，圖形骨架提取等。中級(jí)模式：算法倉(cāng)庫(kù)都是一些標(biāo)準(zhǔn)化模型，如安全帶、座椅識(shí)別等標(biāo)準(zhǔn)件的識(shí)別等；這種類型的識(shí)別過(guò)程都是一些標(biāo)準(zhǔn)化的識(shí)別過(guò)程，甚至不包含浮點(diǎn)運(yùn)算，都是整型運(yùn)算，算法耗費(fèi)算力小，效率高。低級(jí)模式：算法倉(cāng)庫(kù)中復(fù)雜度一般，分類較多，嵌入多模型組合進(jìn)行分類，可實(shí)現(xiàn)諸如抽煙、打電話等駕駛員基本的操作過(guò)程識(shí)別。需要說(shuō)明的是該模型對(duì)于開發(fā)團(tuán)隊(duì)的能力建設(shè)要求較高。01智能座艙開發(fā)流程介紹應(yīng)用開發(fā)框架01智能座艙開發(fā)流程介紹應(yīng)用集成框架應(yīng)用集成框架平臺(tái)包含利用AI應(yīng)用開發(fā)中間件集成模型框架，搭建通信及底層組件開發(fā)集成過(guò)程中包含模型轉(zhuǎn)換（即浮點(diǎn)轉(zhuǎn)定點(diǎn)）與編譯，生成標(biāo)準(zhǔn)化模型，隨后通過(guò)加載模型跟配置（配置可以放到固定的地方）定義輸入輸出：編寫過(guò)程代碼（包含處理邏輯），接收函數(shù)框架，定義消息類型（自動(dòng)反序列化與序列化），釋放軟件等過(guò)程釋放軟件等過(guò)程。后續(xù)可編譯生成.so文件，并加載到感知管道Pipeline中案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測(cè)系統(tǒng)流程的分析與實(shí)現(xiàn)PART02

根據(jù)各框架的優(yōu)缺點(diǎn)，結(jié)合應(yīng)用實(shí)際我們選擇paddlepaddle，paddlepaddle提供直接的生產(chǎn)途徑。02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測(cè)系統(tǒng)流程的分析與實(shí)現(xiàn)深度學(xué)習(xí)框架選擇不管是在服務(wù)器、邊緣設(shè)備還是網(wǎng)絡(luò)上，paddlepaddle都可以幫助我們輕松地訓(xùn)練和部署模型，無(wú)論您使用何種語(yǔ)言或平臺(tái)。一、下載anaconda Anaconda是一個(gè)開源的Python發(fā)行版本，其包含了conda、Python等180多個(gè)科學(xué)包及其依賴項(xiàng)。使用Anaconda可以通過(guò)創(chuàng)建多個(gè)獨(dú)立的Python環(huán)境，避免用戶的Python環(huán)境安裝太多不同版本依賴導(dǎo)致沖突。官網(wǎng)地址：/download/官方地址：/archive/清華大學(xué)鏡像：/anaconda/archive/訓(xùn)練主機(jī)環(huán)境搭建02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測(cè)系統(tǒng)流程的分析與實(shí)現(xiàn)二、安裝anaconda

訓(xùn)練主機(jī)環(huán)境搭建02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測(cè)系統(tǒng)流程的分析與實(shí)現(xiàn)數(shù)據(jù)集采集與制作

圖像數(shù)據(jù)采集圖像預(yù)處理圖像標(biāo)注數(shù)據(jù)集預(yù)劃分?jǐn)?shù)據(jù)集采集與制作流程02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測(cè)系統(tǒng)流程的分析與實(shí)現(xiàn)（1）圖像數(shù)據(jù)采集

由于我們的應(yīng)用為駕駛員抽煙狀態(tài)檢測(cè)，而網(wǎng)絡(luò)上沒有免費(fèi)公開的駕駛員抽煙面部姿態(tài)數(shù)據(jù)集，所以我們將利用攝像頭或者網(wǎng)上爬蟲來(lái)獲取數(shù)據(jù)。（2）圖像預(yù)處理

利用OpenCV對(duì)采集到的視頻以每秒10幀進(jìn)行面部截取，并將截取到的圖片保存至相應(yīng)文件夾中。數(shù)據(jù)集采集與制作02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測(cè)系統(tǒng)流程的分析與實(shí)現(xiàn)（3）圖像標(biāo)注

目標(biāo)檢測(cè)數(shù)據(jù)的標(biāo)注推薦使用LabelMe標(biāo)注工具，具體方法可以查看能力模塊五任務(wù)二“實(shí)現(xiàn)數(shù)據(jù)的采集與標(biāo)注”。（4）數(shù)據(jù)集劃分

轉(zhuǎn)換完數(shù)據(jù)后，為了進(jìn)行訓(xùn)練，還需要將數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，我們可以使用數(shù)據(jù)集劃分工具將數(shù)據(jù)劃分為70%訓(xùn)練集，20%驗(yàn)證集和10%的測(cè)試集。數(shù)據(jù)集采集與制作02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測(cè)系統(tǒng)流程的分析與實(shí)現(xiàn)PaddleX目前提供了FasterRCNN和YOLOv3兩種檢測(cè)結(jié)構(gòu)，多種backbone模型，可滿足開發(fā)者不同場(chǎng)景和性能的需求。我們選擇YOLOv3-MobileNetV3，優(yōu)點(diǎn)是模型小，移動(dòng)端上預(yù)測(cè)速度有優(yōu)勢(shì)。模型訓(xùn)練02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測(cè)系統(tǒng)流程的分析與實(shí)現(xiàn)

定義訓(xùn)練和驗(yàn)證時(shí)的transforms #API說(shuō)明 https://paddlex.readthedocs.io/zh_CN/develop/apis/transforms/det_transforms.html模型訓(xùn)練02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測(cè)系統(tǒng)流程的分析與實(shí)現(xiàn)

定義訓(xùn)練和驗(yàn)證所用的數(shù)據(jù)集 #API說(shuō)明： https://paddlex.readthedocs.io/zh_CN/develop/apis/datasets.html#paddlex-datasets-vocdetection模型訓(xùn)練02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測(cè)系統(tǒng)流程的分析與實(shí)現(xiàn)#初始化模型，并進(jìn)行訓(xùn)練 #可使用VisualDL查看訓(xùn)練指標(biāo)，參考 https://paddlex.readthedocs.io/zh_CN/develop/train/visualdl.html模型訓(xùn)練02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測(cè)系統(tǒng)流程的分析與實(shí)現(xiàn) #API說(shuō)明: https://paddlex.readthedocs.io/zh_CN/develop/apis/models/detection.html#paddlex-det-yolov3模型訓(xùn)練02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測(cè)系統(tǒng)流程的分析與實(shí)現(xiàn)模型訓(xùn)練02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測(cè)系統(tǒng)流程的分析與實(shí)現(xiàn) #API說(shuō)明: https://paddlex.readthedocs.io/zh_CN/develop/apis/models/detection.html#paddlex-det-yolov3 #API說(shuō)明: https://paddlex.readthedocs.io/zh_CN/develop/apis/models/detection.html#id1模型訓(xùn)練02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測(cè)系統(tǒng)流程的分析與實(shí)現(xiàn) #各參數(shù)介紹與調(diào)整說(shuō)明： https://paddlex.readthedocs.io/zh_CN/develop/appendix/parameters.html模型裁剪

02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測(cè)系統(tǒng)流程的分析與實(shí)現(xiàn)模型裁剪可以更好地滿足在端側(cè)、移動(dòng)端上部署場(chǎng)景下的性能需求，可以有效地降低模型的體積，以及計(jì)算量，加速預(yù)測(cè)性能。PaddleX集成了PaddleSlim的基于敏感度的通道裁剪算法，開發(fā)者可以在PaddleX的訓(xùn)練代碼里輕松使用起來(lái)。模型裁剪訓(xùn)練

02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測(cè)系統(tǒng)流程的分析與實(shí)現(xiàn)在前兩步，我們得到了正常訓(xùn)練保存的模型output/yolov3_mobilenetv3/best_model和基于該保存模型得到的參數(shù)敏感度信息文件yolov3_mobilenetv3.sensi.data，接下來(lái)則是進(jìn)行模型裁剪訓(xùn)練。模型部署導(dǎo)出

02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測(cè)系統(tǒng)流程的分析與實(shí)現(xiàn)

檢查你的模型文件夾，如果里面是model.pdparams、model.pdopt和model.yml3個(gè)文件時(shí)，那么就可以使用下列命令進(jìn)行模型導(dǎo)出。視頻預(yù)測(cè)

02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測(cè)系統(tǒng)流程的分析與實(shí)現(xiàn)視頻預(yù)測(cè)

02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測(cè)系統(tǒng)流程的分析與實(shí)現(xiàn)駕駛員狀態(tài)監(jiān)控本地訓(xùn)練部署PART03一、軟件連通

點(diǎn)擊汽車智能座艙系統(tǒng)實(shí)訓(xùn)臺(tái)中的教學(xué)系統(tǒng)，選擇“駕駛員狀態(tài)監(jiān)控單元”，進(jìn)入模塊頁(yè)面后，點(diǎn)擊實(shí)例測(cè)試，選擇模型為默認(rèn)模型（256_best_Reset50_model.h5），打開攝像頭，點(diǎn)擊“建立通訊連接”，將軟件與python進(jìn)行通訊連接。軟件連接與內(nèi)置數(shù)據(jù)集實(shí)例測(cè)試03駕駛員狀態(tài)監(jiān)控本地訓(xùn)練部署二、內(nèi)置數(shù)據(jù)集實(shí)例測(cè)試

在軟件內(nèi)部，已經(jīng)嵌入與駕駛員狀態(tài)監(jiān)控相關(guān)的10類常見行為的數(shù)據(jù)集，具體包括：與乘客說(shuō)話，右手發(fā)短信，右手打電話，喝水，安全駕駛，左手發(fā)短信，左手打電話，手伸向后座，操作收音機(jī)，調(diào)整臉部。在連通成功后可以直接點(diǎn)擊“運(yùn)行”按鈕進(jìn)行測(cè)試。軟件連接與內(nèi)置數(shù)據(jù)集實(shí)例測(cè)試03駕駛員狀態(tài)監(jiān)控本地訓(xùn)練部署一、制作數(shù)據(jù)集

單個(gè)行為數(shù)據(jù)集的制作過(guò)程是：①打開攝像頭②填寫該行為的名稱（如打哈欠）③對(duì)展示行為進(jìn)行拍照，截取該照片，截圖將顯示在右側(cè)④數(shù)據(jù)類別默認(rèn)放置在train中⑤點(diǎn)擊“確認(rèn)使用改數(shù)據(jù)”。自主創(chuàng)建與訓(xùn)練模型03駕駛員狀態(tài)監(jiān)控本地訓(xùn)練部署二、數(shù)據(jù)集管理

新創(chuàng)建的圖片數(shù)據(jù)可以在“數(shù)據(jù)集管理”頁(yè)面中觀察到，新增的圖片數(shù)據(jù)存儲(chǔ)默認(rèn)路徑：DataBase->DNS->train->（新創(chuàng)建的行為名稱）->圖片名稱。三、訓(xùn)練模型

與手勢(shì)識(shí)別自主訓(xùn)練相似，駕駛員狀態(tài)監(jiān)控自主訓(xùn)練模型也是需要進(jìn)行如圖所示的參數(shù)配置：①選擇優(yōu)化器位adam；②確定訓(xùn)練次數(shù)為100；③填寫數(shù)據(jù)種類數(shù)量（默認(rèn)10，若有自主新增行為類型N類，實(shí)際種類數(shù)量為10+N）；④建立通訊連接；⑤點(diǎn)擊運(yùn)行。點(diǎn)擊運(yùn)行后就進(jìn)入到自主訓(xùn)練模型的過(guò)程。自主創(chuàng)建與訓(xùn)練模型03駕駛員狀態(tài)監(jiān)控本地訓(xùn)練部署自主創(chuàng)建與訓(xùn)練模型03駕駛員狀態(tài)監(jiān)控本地訓(xùn)練部署四、模型訓(xùn)練測(cè)試

測(cè)試環(huán)節(jié)與內(nèi)置的數(shù)據(jù)集測(cè)試的操作