智能駕駛深度學(xué)習(xí)初探

智能駕駛深度學(xué)習(xí)初探從長(zhǎng)期調(diào)試中的困惑談起……人調(diào)車？車調(diào)人？如何做自主決策？每個(gè)傳感器負(fù)責(zé)任地給出自己的三種算法的結(jié)果導(dǎo)航信息障礙物信息SLAM信息如何將信息有效地融合到駕駛態(tài)勢(shì)圖中？如何根據(jù)駕駛態(tài)勢(shì)圖做路徑規(guī)劃，以及精準(zhǔn)導(dǎo)航和車輛控制？如何讓車輛在保證速度的情況下，在各種任務(wù)模式下都做出最切合中心線的精準(zhǔn)控制？進(jìn)一步考慮面臨越來(lái)越多的駕駛行為模型，如何有效地判斷和切換模式？決策規(guī)則、決策方法如何才能做到以不變應(yīng)萬(wàn)變？如何才能讓車開(kāi)得讓人舒心、放心？無(wú)人駕駛決策如何做決策系統(tǒng)的本質(zhì)是一個(gè)行為轉(zhuǎn)換的狀態(tài)遷移系統(tǒng)規(guī)則：三元組Aconditions

B超車進(jìn)行中緊急停車超車完成放棄超車初始狀態(tài)局限性人工編寫(xiě)代碼開(kāi)銷太大程序規(guī)模邏輯龐大無(wú)人駕駛安全性無(wú)法得到保障一種能夠自主完成這個(gè)調(diào)試過(guò)程的系統(tǒng)人調(diào)車？車調(diào)車無(wú)人駕駛自學(xué)習(xí)ALVINN——CMU的NavLabALVINN一張圖片

一個(gè)車輛轉(zhuǎn)角缺陷：對(duì)于不同的人有著不同的架勢(shì)行為，難以進(jìn)行統(tǒng)一量化的學(xué)習(xí)這種低層次的駕駛行為決策難以抽象描述一些人類駕駛行為，比如換道學(xué)習(xí)算法需要考慮到圖像中哪些部分是關(guān)聯(lián)的，而僅僅有著轉(zhuǎn)角的這種行為反射模型，無(wú)法做到這一點(diǎn)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的潮流Feature:SIFT,HOG...Detection,ClassificationRecognitionCNN,RNNSoftmaxOutputTheanoKerasLasagneDeepDrivingGameTORCS(TheOpenRacingCarSimulator)Angleofthecarrelativetotheroad,Distancetothelanemarkings,Distancetocarsinthecurrentandadjacentlanes.安全場(chǎng)決策規(guī)則復(fù)雜擬人化決策駕駛特性學(xué)習(xí)基于駕駛?cè)颂匦缘膮?shù)在線學(xué)習(xí)基于量化安全場(chǎng)的擬人化決策智能決策決策方法單一不符合駕駛?cè)肆?xí)慣難題方法+基于安全場(chǎng)理論，提出自動(dòng)駕駛車輛的決策訓(xùn)練方法。擬人化決策駕駛特性學(xué)習(xí)+智能決策機(jī)器學(xué)習(xí)安全場(chǎng)半對(duì)數(shù)量化訓(xùn)練集圖片擬人化決策并通過(guò)安全場(chǎng)參數(shù)的調(diào)節(jié)，學(xué)習(xí)并適應(yīng)不同駕駛員的駕駛特性。擬人化決策駕駛特性學(xué)習(xí)+智能決策駕駛特性分析不同駕駛特性端到端自動(dòng)駕駛CNN可從原始輸入圖像自動(dòng)學(xué)習(xí)車輛控制變量融合感知、決策與控制任務(wù)，實(shí)現(xiàn)端到端的自動(dòng)駕駛回到雙總線架構(gòu)我們希望實(shí)現(xiàn)怎樣的自學(xué)習(xí)呢？駕駛態(tài)勢(shì)融合雙駕雙控自學(xué)習(xí)/調(diào)試總線CAN總線認(rèn)知板塊雷達(dá)數(shù)據(jù)預(yù)處理圖像數(shù)據(jù)預(yù)處理導(dǎo)航數(shù)據(jù)預(yù)處理控制板塊執(zhí)行板塊自主決策感知板塊駕駛員干預(yù)和自學(xué)習(xí)/調(diào)試總線相連的軟件模塊1KMbps進(jìn)程監(jiān)控2虛擬交換2自學(xué)習(xí)板塊駕駛記憶棒生成搜索匹配引擎比對(duì)庫(kù)生成交互板塊程序員調(diào)試模塊遠(yuǎn)端車主干預(yù)日志管理交互控制遠(yuǎn)端服務(wù)響應(yīng)乘員交互輪式機(jī)器人向經(jīng)驗(yàn)駕駛員學(xué)習(xí)開(kāi)車的過(guò)程經(jīng)驗(yàn)駕駛員通過(guò)視覺(jué)等形成的當(dāng)前駕駛態(tài)勢(shì)圖3路機(jī)器視覺(jué)綜合形成的當(dāng)前駕駛態(tài)勢(shì)圖駕駛員操控油門(mén)制動(dòng)方向盤(pán)駕駛態(tài)勢(shì)——認(rèn)知箭頭圖對(duì)庫(kù)生成駕駛態(tài)勢(shì)認(rèn)知箭頭抽象當(dāng)前的認(rèn)知3路機(jī)器視覺(jué)綜合形成的當(dāng)前駕駛態(tài)勢(shì)圖駕駛態(tài)勢(shì)駕駛記憶棒搜索匹配引擎認(rèn)知箭頭機(jī)器人操控油門(mén)制動(dòng)方向盤(pán)自學(xué)習(xí)過(guò)程過(guò)去經(jīng)歷的場(chǎng)景宇通客車實(shí)驗(yàn)數(shù)據(jù)每一天車輛產(chǎn)生數(shù)據(jù)：10.0GB(10,786,856,759字節(jié))Can總線車身數(shù)據(jù)：59.2MbLux雷達(dá)數(shù)據(jù)：588MbMobileEye數(shù)據(jù)：30.4MbNavigation數(shù)據(jù)：54.0Mb3個(gè)Sick數(shù)據(jù)：1482Mb圖像數(shù)據(jù)：8.21GB(8,823,053,329字節(jié))每天可以采集4小時(shí)的數(shù)據(jù)每天采集數(shù)據(jù)一共提取了153,924幀圖對(duì)圖對(duì)信息：態(tài)勢(shì)圖：導(dǎo)航軌跡、道路邊沿、車道線、障礙物車輛行駛軌跡認(rèn)知箭頭：車輛底層數(shù)據(jù)如何進(jìn)行自學(xué)習(xí)用深度學(xué)習(xí)生成駕駛記憶棒通過(guò)CNN、RNN設(shè)計(jì)特有的學(xué)習(xí)網(wǎng)絡(luò)駕駛態(tài)勢(shì)圖-CNN提取隱含層特征，通過(guò)RNN得到車輛規(guī)劃路徑交叉驗(yàn)證：用已有駕駛態(tài)勢(shì)圖計(jì)算搜索認(rèn)知箭頭參數(shù)調(diào)整LossFunction如何設(shè)計(jì)，通過(guò)什么輸出實(shí)現(xiàn)決策模式指令/車輛行駛軌跡/車輛控制參數(shù)Optimize