汽車智能座艙系統(tǒng)與應(yīng)用 課件 模塊三 掌握智能座艙中機器視覺技術(shù)的應(yīng)用

能力模塊三

掌握智能座艙中機器視覺技術(shù)的應(yīng)用任務(wù)一

了解機器視覺數(shù)字圖像處理技術(shù)智聯(lián)駕駛平臺提供的人臉識別、融合多類攝像頭與傳感器實現(xiàn)的ADAS功能與圖像處理技術(shù)密不可分。在開發(fā)任務(wù)中，主管要求你在熟悉座艙視覺傳感器拆裝之后，了解跟圖像相關(guān)的理論知識補充，熟悉圖像化預(yù)處理以及深度學(xué)習(xí)在圖像應(yīng)用，整理資料完成傳統(tǒng)淺層學(xué)習(xí)和深度學(xué)習(xí)的對比分析表與圖像處理技術(shù)文檔。任務(wù)引入Tasktointroduce01圖像處理的發(fā)展過程認知02視覺處理結(jié)束認知目錄

CONTENTS03特征檢測與匹配技術(shù)應(yīng)用與測試04深度學(xué)習(xí)在自動駕駛中的應(yīng)用認知圖像處理的發(fā)展過程認知PART0101圖像處理的發(fā)展過程認知在當時那個年代如果不采用數(shù)字圖像處理，一張圖像傳達的時間需要7天，而借助數(shù)字圖像處理技術(shù)僅耗費3小時。

上個世紀20年代，數(shù)字圖像處理最早應(yīng)用于報紙行業(yè)。由于報紙行業(yè)信息傳輸?shù)男枰桓５纂娎|從英國倫敦連輸?shù)矫绹~約，實現(xiàn)了第一幅數(shù)字照片的傳送。01圖像處理的發(fā)展過程認知1972年10月芝加哥北美放射年會上展出了讓整個醫(yī)學(xué)界震驚的腦部以及完成該圖像的計算機輻射X線頭部成像設(shè)備，向世界隆重展示了CT，引起了醫(yī)學(xué)界的轟動，這是當時圖像處理在醫(yī)學(xué)診斷應(yīng)用中最重要的事件之一。

隨著計算機技術(shù)的發(fā)展，計算機技術(shù)與數(shù)字圖像處理兩者之間結(jié)合得越來越緊密，從而促進了數(shù)字圖像處理技術(shù)的發(fā)展。01圖像處理的發(fā)展過程認知20世紀70年代，借助計算機、人工智能等方面的快速發(fā)展，數(shù)字圖像處理技術(shù)實現(xiàn)了更高層次的發(fā)展。相關(guān)工作人員已經(jīng)著手研究如何使用計算機進行圖像解釋。到70年代中期，麻省理工學(xué)院（MIT）人工智能（AI）實驗室：CSAIL正式開設(shè)計算機視覺課程。01圖像處理的發(fā)展過程認知

上個世紀80年代，研究人員將數(shù)字圖像處理應(yīng)用于地理信息系統(tǒng)。從這個階段開始數(shù)字圖像處理技術(shù)的應(yīng)用領(lǐng)域不斷擴大，在工業(yè)檢測、遙感等方面也得到了廣泛應(yīng)用，在遙感方面實現(xiàn)了對衛(wèi)星傳送回來的圖像的處理。01圖像處理的發(fā)展過程認知

到20世紀90年代，數(shù)字圖像處理技術(shù)得到了一個快速發(fā)展，其中特別是小波理論和變換方法的誕生，更好地實現(xiàn)了數(shù)字圖像的分解與重構(gòu)。01圖像處理的發(fā)展過程認知從目前數(shù)字圖像處理技術(shù)的特點進行分析，可以發(fā)現(xiàn)圖像信息量巨大，在圖像處理綜合性方面顯示出十分明顯的優(yōu)勢，其中就借助了圖像信息理論與通信理論的緊密聯(lián)系。加上數(shù)字圖像處理技術(shù)具有處理精度高、靈活性強、再現(xiàn)性好、適用面廣、信息壓縮的潛力大等特點，因此已經(jīng)成功地應(yīng)用在各個領(lǐng)域。

進入到21世紀，借助計算機技術(shù)的飛速發(fā)展與各類理論的不斷完善，數(shù)字圖像處理技術(shù)的應(yīng)用范圍被拓寬，甚至已經(jīng)在某些領(lǐng)域取得突破。視覺預(yù)處理技術(shù)認知PART0202視覺預(yù)處理技術(shù)認知圖像預(yù)處理的目的一方面，圖像在采集中有可能發(fā)生幾何失真，為恢復(fù)場景和圖像的空間對應(yīng)關(guān)系，需要進行坐標變換。為了更方便有效地獲取其中的信息，提高后續(xù)加工的效率，常需對圖像進行一定的預(yù)處理。另一方面，對圖像的幅度也需要進行一定的調(diào)整，以改善圖像的視覺質(zhì)量。02視覺預(yù)處理技術(shù)認知坐標變換

對圖像進行坐標變換實際上是對像素坐標的空間位置進行變換，變換的結(jié)果是改變了像素在圖像中的分布和關(guān)系，不改變圖像的像素值。在坐標變換中，主要包括三類：圖像平移、尺度變換和圖像旋轉(zhuǎn)。坐標變換圖像平移尺度變換圖像旋轉(zhuǎn)02視覺預(yù)處理技術(shù)認知坐標變換

一、圖像平移

圖像中的所有像素點按照給定的平移量進行水平或垂直方向上的移動。如圖所示，假設(shè)原始像素的位置坐標為（x0，y0），經(jīng)過平移量（△x，△y）后，坐標變?yōu)椋▁1,y1）。一張圖像中的所有像素點均按照平移量進行整體移動，圖像就能夠?qū)崿F(xiàn)平移效果。02視覺預(yù)處理技術(shù)認知坐標變換

二、尺度變換

尺度變換也稱放縮變換，它改變像素間的距離，對物體來說則改變了物體的尺度。尺度變換一般是沿坐標軸方向進行的，或可分解為沿坐標軸方向進行的變換；簡單來說，尺度變換是對數(shù)字圖像的大小進行調(diào)整的過程。02視覺預(yù)處理技術(shù)認知坐標變換

三、圖像旋轉(zhuǎn)

圖像旋轉(zhuǎn)是指圖像以某一點為中心旋轉(zhuǎn)一定的角度，形成一幅新的圖像的過程。圖像旋轉(zhuǎn)變換會有一個旋轉(zhuǎn)中心，這個旋轉(zhuǎn)中心一般為圖像的中心，旋轉(zhuǎn)之后圖像的大小一般會發(fā)生改變。如圖圖表示原始圖像的坐標（x0,y0）旋轉(zhuǎn)至（x1,y1）的過程。02視覺預(yù)處理技術(shù)認知幾何失真較正

在許多實際的圖像采集處理過程中，圖像中像素之間的空間關(guān)系會發(fā)生變化，這時可以說圖像產(chǎn)生了幾何失真或幾何畸變。這時需要通過幾何變換來校正失真圖像中的各像素位置，以重新得到像素間原來應(yīng)有的空間關(guān)系。實現(xiàn)畸變矯正之前我們需要知道兩個重要參數(shù)，一個是相機內(nèi)參，另一個是畸變參數(shù)。02視覺預(yù)處理技術(shù)認知灰度化處理

灰度化處理是一種基于圖像像素的操作，通過對原始圖像中的每個像素賦予一個新的灰度值來增強圖像，對原始圖像中的每個像素都用這個映射函數(shù)將其原來的灰度值s轉(zhuǎn)化成另一灰度值t再進行輸出。簡單來說就是輸入一幅圖像，將產(chǎn)生一幅輸出圖像，輸出圖像的每個像素點的灰度值由輸入像素點決定。02視覺預(yù)處理技術(shù)認知

色圖像通常包括R、G、B三個分量，分別顯示出紅綠藍等各種顏色，灰度化就是使彩色圖像的R、G、B三個分量相等的過程，灰度圖像中每個像素僅具有一種樣本顏色，其灰度是位于黑色與白色之間的多級色彩深度，灰度值大的像素點比較亮，反之比較暗，像素值最大為255（表示白色），像素值最小為0（表示黑色）?；叶然幚?2視覺預(yù)處理技術(shù)認知直方圖修正

假設(shè)存在一幅6×6像素的圖像，接著統(tǒng)計其1至6灰度級的出現(xiàn)頻率，并繪制如所示的柱狀圖，其中橫坐標表示灰度級，縱坐標表示灰度級出現(xiàn)的頻率。借助對圖像直方圖的修改或變換，可以改變圖像像素的灰度分布，從而達到對圖像進行增強的目的。直方圖修正以概率論為基礎(chǔ)，常用的方法主要有直方圖均衡化和直方圖規(guī)定化。02視覺預(yù)處理技術(shù)認知

一、均衡化

直方圖均衡化是一種典型的通過對圖像的直方圖進行修正來獲得圖像增強效果的自動方法，主要用于增強動態(tài)范圍偏小的圖像的反差。這個方法的基本思想是把原始圖像的直方圖變換為在整個灰度范圍內(nèi)均勻分布的形式，這樣就增加了像素灰度值的動態(tài)范圍，從而達到增強圖像整體對比度的效果。直方圖修正02視覺預(yù)處理技術(shù)認知

二、規(guī)定化

直方圖規(guī)定化方法，用戶可以指定需要的規(guī)定化函數(shù)來得到特殊的增強功能。一般來說正確地選擇規(guī)定化的函數(shù)常有可能獲得比進行直方圖均衡化所能獲得的更好的效果。簡單來說就是按照給定的直方圖形狀調(diào)整原先圖像的直方圖信息。直方圖匹配使用到了直方圖變換以及均衡化的思想，通過建立映射關(guān)系，使期望圖像的直方圖達到一種特定的形態(tài)。直方圖修正特征檢測與匹配技術(shù)應(yīng)用PART0303特征檢測與匹配技術(shù)應(yīng)用特征檢測算法一、Harris角點檢測

角點檢測是最早提出的特征點檢測之一；角點沒有嚴格的定義，通常認為角點是二維圖像亮度變化劇烈的點，或圖像邊緣曲線的曲率局部極大值點或多條邊緣曲線交匯點。

這種方法的缺點是響應(yīng)值非各向同性，對噪聲和邊緣敏感，對旋轉(zhuǎn)不具備不變性。03特征檢測與匹配技術(shù)應(yīng)用特征檢測算法二、尺度不變特征變換（SIFT） SIFT算法的不變特征提取具有無與倫比的優(yōu)勢，但其仍然存在實時性不高、有時特征點少、對邊緣模糊的目標無法準確提取特征點等缺陷。事實上，SIFT描述子最大的問題在于計算量大、效率不高，不利于后面的特征點匹配。03特征檢測與匹配技術(shù)應(yīng)用特征檢測算法

特征匹配就像比較兩個圖像的特征，這兩個圖像可能在方向、視角、亮度上不同，甚至大小和顏色也不同。深度學(xué)習(xí)在自動駕駛中的應(yīng)用認知PART0404深度學(xué)習(xí)在自動駕駛中的應(yīng)用認知深度學(xué)習(xí)（DeepLearning）是源于人工神經(jīng)網(wǎng)絡(luò)的一種機器學(xué)習(xí)方法，是對人類神經(jīng)系統(tǒng)識別過程的模擬。深度學(xué)習(xí)簡述通過搭建用于學(xué)習(xí)分析的神經(jīng)元網(wǎng)絡(luò)，對底層選取特征形成抽象的數(shù)字化屬性，以大規(guī)模數(shù)據(jù)為輸入基礎(chǔ)，將復(fù)雜的信息提取并精簡表示。深度學(xué)習(xí)算法采用了由輸入層、隱含層、輸出層組成的多層網(wǎng)絡(luò)結(jié)構(gòu)。04深度學(xué)習(xí)在自動駕駛中的應(yīng)用認知輔助駕駛技術(shù)最大的作用就是提高汽車在駕駛過程中的安全性，是一種減少交通事故的有效手段。深度學(xué)習(xí)在輔助駕駛中的應(yīng)用針對傳感器技術(shù)、大數(shù)據(jù)分析、深度學(xué)習(xí)等方面進行改進優(yōu)化，使得硬件設(shè)備可以更快地感知到目標信息，核心處理器算法能夠更快地計算控制。04深度學(xué)習(xí)在自動駕駛中的應(yīng)用認知傳統(tǒng)行人識別方法：主要通過人工設(shè)計特征和結(jié)合分類器來實現(xiàn)。比較經(jīng)典的方法有HOG+SVM、HOG+LBP等。這種方法可以避免行人遮擋的影響，但泛化能力和精度較低?；谏疃葘W(xué)習(xí)方法:通過多層卷積神經(jīng)網(wǎng)絡(luò)（CNN）對行人進行分類定位?；谳斎雸D像獨立學(xué)習(xí)特征，提取的特征更加豐富。

行人檢測是車輛輔助駕駛系統(tǒng)中不可或缺的一部分。行人檢測需要及時檢測出車輛前方的行人并由系統(tǒng)或者駕駛員針對實際狀況采取相應(yīng)的措施。目前行人檢測方法主要分為兩類：深度學(xué)習(xí)算法在行人檢測中的應(yīng)用04深度學(xué)習(xí)在自動駕駛中的應(yīng)用認知

車道線是汽車行駛過程中道路上一種重要的交通標志，用于約束車輛的基本行駛行為。對車道線的檢測和識別是影響輔助駕駛系統(tǒng)的基礎(chǔ)和關(guān)鍵。深度學(xué)習(xí)算法在車道檢測中的應(yīng)用基于深度學(xué)習(xí)算法的基本思路是通過已有或改進的深度學(xué)習(xí)框架來實現(xiàn)檢測。通過使用大規(guī)模標記數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使其對于提取車道線特征具有良好特性，實現(xiàn)對車道線的檢測。1、簡單描述深度學(xué)習(xí)在自動駕駛中有哪些應(yīng)用。1、各組派代表闡述資料查詢結(jié)果。2、各組就各自的查詢結(jié)果進行交流，并分享技巧。隨堂討論查閱資料，了解機器視覺數(shù)字圖像處理技術(shù)完成教材所示工單。任務(wù)實施感謝觀看能力模塊三

掌握智能座艙中機器視覺技術(shù)的應(yīng)用任務(wù)二實現(xiàn)手勢交互技術(shù)的應(yīng)用作為一名智能座艙方向的開發(fā)助理，在智能控制板塊的開發(fā)過程中，主管需要你完成手勢識別功能，因此你的工作是制作一份PPT進行手勢交互應(yīng)用實例展示，同時完成云端調(diào)用API實現(xiàn)手勢識別。任務(wù)引入Tasktointroduce01手勢交互的應(yīng)用場景02云端調(diào)用API實現(xiàn)目錄

CONTENTS03本地model部署手勢交互的應(yīng)用場景PART0101手勢交互的應(yīng)用場景

人機交互種類多樣化，常見的人機交互技術(shù)有基于鍵盤和鼠標的輸入、基于聲音和面部表情以及手勢識別技術(shù)，其中手勢是一種具有特定意義的語言，具有自然、直觀以及靈活等優(yōu)點，手勢識別在模式識別和人機交互領(lǐng)域逐漸成為熱點研究。萬物互聯(lián)，人機交互技術(shù)越來越貼近于我們的生活，人機交互是計算機領(lǐng)域中的一項重要技術(shù)。01手勢交互的應(yīng)用場景VR手勢

VR是利用計算機技術(shù)來創(chuàng)建模擬環(huán)境。與傳統(tǒng)的用戶界面不同，VR通過模擬盡可能多的感官（例如視覺，聽覺，觸覺甚至氣味），將用戶帶入一種看似真實的體驗，讓用戶沉浸在其中并能夠與3D世界互動。在汽車行業(yè)內(nèi)，VR應(yīng)用于汽車駕駛、選款定制汽車內(nèi)飾、模擬駕駛、汽車設(shè)計制造等方面。01手勢交互的應(yīng)用場景VR手勢

得益于計算機視覺和深度學(xué)習(xí)技術(shù)的發(fā)展，現(xiàn)在能夠在普通攝像頭上實現(xiàn)精度較高的手勢識別。VR強調(diào)沉浸感，而手勢交互可以極大地提升VR使用中的沉浸感。所以VR+手勢這個落地方向很有前景，等VR得到普及后，定會改變?nèi)祟惖膴蕵贩绞?。此類代表產(chǎn)品：LeapMotion、uSens、極魚科技等。01手勢交互的應(yīng)用場景

AR，即增強現(xiàn)實（AugmentedReality，簡稱AR），可以簡單理解為，將一些很難體驗到的實體信息（視覺信息、聲音、味道、觸覺等）模擬仿真疊加放在真實世界空間內(nèi)，被人類感官所感知。AR手勢01手勢交互的應(yīng)用場景

AR手勢技術(shù)，原理是輸入雙目灰度圖像，輸出雙手23關(guān)鍵點的3D位置和旋轉(zhuǎn)信息、手勢類別。以HoloLens為代表的很多公司都在做AR眼鏡。AR眼鏡可能會脫離實體的觸屏和鼠標鍵盤這些輸入工具，取而代之的輸入是圖像和語音等。AR手勢01手勢交互的應(yīng)用場景這里用到的手勢識別比較簡單，基本只要識別單點多點。但在使用過程中手很容易擋住投影儀顯示的屏幕，而且還有顯示清晰度的問題。桌面手勢此場景可能更多的是一種探索，落地的可能性較小。以SonyXperiaTouch為代表的投影儀+手勢識別，將屏幕投影到任何平面上，再通過手勢識別模擬觸屏操作。01手勢交互的應(yīng)用場景車載手勢識別是指計算機能夠識別人的不同手勢，并判斷不同手勢的相應(yīng)含義，從而實現(xiàn)對應(yīng)的功能。車載手勢手勢識別對人的限制非常小，并且自然、直觀，這令其在人機交互方式中脫穎而出。人和計算機之間的通信逐漸不再依賴中間媒介，人手成了終端設(shè)備的中間輸入工具，計算機被用戶預(yù)先定義的各類手勢加以操縱。云端調(diào)用API實現(xiàn)PART0202云端調(diào)用API實現(xiàn)調(diào)用百度云實現(xiàn)手勢識別API

云API的主要功能有：識別圖片中的手勢類型，返回手勢名稱、手勢矩形框、概率分數(shù)，可識別24種常見手勢，適用于手勢特效、智能家居手勢交互等場景。

手勢識別的場景要求：主要適用于3米以內(nèi)的自拍、他人拍攝，1米內(nèi)識別效果最佳，拍攝距離太遠時，手部目標太小，無法準確定位和識別。02云端調(diào)用API實現(xiàn)一、注冊API密鑰操作步驟

（一）登錄百度智能云

百度智能云的頁面網(wǎng)址為：/創(chuàng)建賬號登錄，進行實名認證。百度智能云的登錄頁面如圖所示。調(diào)用百度云實現(xiàn)手勢識別API02云端調(diào)用API實現(xiàn)（二）選擇圖像識別在產(chǎn)品服務(wù)內(nèi)的人工智能模塊，選擇“圖像識別”功能。調(diào)用百度云實現(xiàn)手勢識別API02云端調(diào)用API實現(xiàn)

（三）創(chuàng)建應(yīng)用

在應(yīng)用列表內(nèi)，點擊“創(chuàng)建應(yīng)用”，填寫應(yīng)用名稱為“手勢識別”，端口選擇：勾選“人體分析”內(nèi)的“手勢識別”，應(yīng)用歸屬選擇“個人”，應(yīng)用描述為“手勢識別”，點擊立即創(chuàng)建。創(chuàng)建過程如下所示。調(diào)用百度云實現(xiàn)手勢識別API02云端調(diào)用API實現(xiàn)調(diào)用百度云實現(xiàn)手勢識別API接上一頁02云端調(diào)用API實現(xiàn)

（四）查看API密鑰和Secret密鑰

創(chuàng)建完畢后返回到應(yīng)用列表，可查看到已經(jīng)創(chuàng)建好的應(yīng)用，在右側(cè)可查看該應(yīng)用對應(yīng)的API密鑰和Secret密鑰。調(diào)用百度云實現(xiàn)手勢識別API02云端調(diào)用API實現(xiàn)（五）調(diào)用代碼調(diào)用百度云實現(xiàn)手勢識別API02云端調(diào)用API實現(xiàn)（六）返回結(jié)果調(diào)用百度云實現(xiàn)手勢識別API02云端調(diào)用API實現(xiàn)百度智能云實現(xiàn)手勢識別實例測試

在熟悉創(chuàng)建手勢識別應(yīng)用的步驟之后，我們可以利用汽車智能座艙實訓(xùn)軟件系統(tǒng)來進行實例測試。在汽車智能座艙系統(tǒng)實訓(xùn)臺上，打開教學(xué)系統(tǒng)屏幕，在軟件系統(tǒng)頁面點擊“手勢識別控制單元（AGR)”。02云端調(diào)用API實現(xiàn)百度智能云實現(xiàn)手勢識別實例測試

在手勢識別控制單元頁面中，點擊“百度智能云實現(xiàn)方法”，點擊“實例測試”，可觀察到中間開啟了攝像頭，將對拍攝到的畫面進行手勢識別，右上側(cè)為信息輸入（上下框內(nèi)分別輸入創(chuàng)建應(yīng)用環(huán)節(jié)中獲取到的APIKey和SecretKey信息），信息輸入后點擊運行按鈕，攝像頭捕捉到的畫面進行手勢識別，識別結(jié)果將返回到“識別結(jié)果”這一空白框內(nèi)。本地model部署PART0303

本地model部署TensorRT框架TensorRT是可以在NVIDIA各種GPU硬件平臺下運行的一個C++推理框架。我們利用Pytorch、TF或者其他框架訓(xùn)練好的模型，可以轉(zhuǎn)化為TensorRT的格式，然后利用TensorRT推理引擎去運行我們這個模型，從而提升這個模型在英偉達GPU上運行的速度。03本地model部署OpenVINO框架

在英特爾CPU端（也就是我們常用的x86處理器）部署，首先OpenVINO，同時借助TensorFlow、PyTorch和Caffe*等熱門框架轉(zhuǎn)換和優(yōu)化訓(xùn)練后模型。在多種英特爾硬件和環(huán)境、本地、設(shè)備、瀏覽器或云中部署。03

本地model部署TensorRT框架

飛槳（PaddlePaddle）以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，是中國首個自主研發(fā)、功能完備、開源開放的產(chǎn)業(yè)級深度學(xué)習(xí)平臺，集深度學(xué)習(xí)核心訓(xùn)練和推理框架、基礎(chǔ)模型庫、端到端開發(fā)套件和豐富的工具組件于一體。1、根據(jù)教學(xué)視頻，完成云端調(diào)用API的實現(xiàn)，填寫如教材所示的工單，進行步驟確認。1、各組派代表闡述資料查詢結(jié)果。2、各組就各自的查詢結(jié)果進行交流，并分享技巧。隨堂討論利用互聯(lián)網(wǎng)搜索，手勢交互在VR、AR、桌面手勢、車載手勢應(yīng)用里，分別有哪些應(yīng)用實例？以小組為單位，查詢資料，制作一份PPT進行應(yīng)用實例展示。任務(wù)實施感謝觀看能力模塊三

掌握智能座艙中機器視覺技術(shù)的應(yīng)用任務(wù)三

完成DMS狀態(tài)監(jiān)測系統(tǒng)的調(diào)試圖像處理技術(shù)在智能座艙領(lǐng)域的另一個應(yīng)用是駕駛員監(jiān)測，通過在危險情境下向駕駛員發(fā)出警示，幫助駕駛員改善駕駛行為，并根據(jù)駕駛員狀態(tài)進行相應(yīng)干預(yù)，從而提高行車安全。主管需要你熟悉駕駛員監(jiān)測系統(tǒng)主要預(yù)警功能，根據(jù)實際開發(fā)案例整理一份算法流程圖進行展示匯報，并基于前期理論基礎(chǔ)，完成DMS狀態(tài)監(jiān)測系統(tǒng)的應(yīng)用測試。任務(wù)引入Tasktointroduce01駕駛員檢測應(yīng)用場景簡介02常見智能座艙算法開發(fā)認知目錄

CONTENTS03案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)04百度智能云實現(xiàn)駕駛員狀態(tài)監(jiān)控駕駛員檢測應(yīng)用場景簡介PART0101駕駛員檢測應(yīng)用場景簡介通常檢測人臉眼睛和其他臉部特征以及行為，同時跟蹤變化，實現(xiàn)駕駛員疲勞、分神等不規(guī)范駕駛檢測，從而保障駕駛員的生命財產(chǎn)安全。

駕駛員監(jiān)測系統(tǒng)（DMS，Drivermonitoringsystem），是智能網(wǎng)聯(lián)汽車中很重要的一個人機交互系統(tǒng)。主要是通過一個面向駕駛員的攝像頭來實時監(jiān)測頭部、眼部、面部、手部等細節(jié)，可以從眼睛閉合、眨眼、凝視方向、打哈欠和頭部運動等檢測駕駛員狀態(tài)。01駕駛員檢測應(yīng)用場景簡介主要預(yù)警功能有以下幾大類：1.疲勞駕駛：主要包括閉眼，打哈欠，檢測到駕駛員有此行為觸發(fā)報警。2.分神駕駛：主要包括低頭，左顧右盼，檢測到駕駛員視線偏移超過1.0秒，可觸發(fā)報警。01駕駛員檢測應(yīng)用場景簡介主要預(yù)警功能有以下幾大類：3.接打電話：檢測到駕駛員有打電話行為時，觸發(fā)報警。4.抽煙：檢測到駕駛員有抽煙行為時，觸發(fā)報警。01駕駛員檢測應(yīng)用場景簡介

除了上述所列的行為狀態(tài)外，在DMS研究中還有情緒激動，醉酒駕駛等狀態(tài)檢測等。除此之外，智能汽車艙內(nèi)攝像頭不僅僅是識別到駕駛員的行為，還能夠根據(jù)不同的駕乘人員，學(xué)習(xí)并記憶他們的操作習(xí)慣，并在不同的駕乘人員乘車時，做出個性化的推薦，打造個性化駕駛模式。常見智能座艙算法開發(fā)認知PART0202常見智能座艙算法開發(fā)認知算法開發(fā)流程

在AI算法開發(fā)之前，我們必須要分析算法的應(yīng)用場景是什么？要解決什么問題？基于場景需要進行理解，整理AI開發(fā)框架和思路。不同的項目對數(shù)據(jù)的要求，開發(fā)手段也是不一樣的。02常見智能座艙算法開發(fā)認知算法開發(fā)流程場景明確：在這個步驟中，我們需要對正常場景設(shè)計的流程進行梳理，明確要求。例如，我們需要開發(fā)一個抽煙檢測的算法模型，那我們需要明確抽煙的動作有哪些，行為是什么。數(shù)據(jù)準備：主要是指收集和預(yù)處理數(shù)據(jù)的過程。按照確定的場景和目的，有目的性地收集、整合相關(guān)數(shù)據(jù)，數(shù)據(jù)準備是AI開發(fā)的一個基礎(chǔ)。此時最重要的是保證獲取數(shù)據(jù)的真實可靠性。而事實上，不能一次性將所有數(shù)據(jù)都采集全，因此，在數(shù)據(jù)標注階段你可能會發(fā)現(xiàn)還缺少某一部分數(shù)據(jù)源，反復(fù)調(diào)整優(yōu)化。02常見智能座艙算法開發(fā)認知算法開發(fā)流程模型選擇：不僅要考慮精度與效率，還要考慮座艙內(nèi)的芯片能力。與通用芯片不同，智能座艙屬于端側(cè)處理，端側(cè)支持的算子有限。我們要對場景選擇合適的預(yù)訓(xùn)練模型或者網(wǎng)絡(luò)進行訓(xùn)練。訓(xùn)練模型：訓(xùn)練模型的結(jié)果通常是一個或多個機器學(xué)習(xí)或深度學(xué)習(xí)模型，模型可以應(yīng)用到新的數(shù)據(jù)中，得到預(yù)測、評價等結(jié)果。02常見智能座艙算法開發(fā)認知算法開發(fā)流程評估模型：模型選擇我們不僅要考慮精度與效率，還要考慮座艙內(nèi)的芯片能力。與通用芯片不同，智能座艙屬于端側(cè)處理，端側(cè)支持的算子有限。我們要對場景選擇合適的預(yù)訓(xùn)練模型或者網(wǎng)絡(luò)進行訓(xùn)練。部署模型：模型部署是模型在實際項目中的落地應(yīng)用，模型部署包括了各種不同的編程語言的部署，比如常見的C/C++、JAVA、Python，以及其他語言，各種語言由于其自身的特性，在部署的時候部署方法也不大一樣，比如按照某些定義而言，C/C++屬于編譯型語言，Python屬于解釋型語言，總之兩者的程序執(zhí)行過程的差異導(dǎo)致它們在部署的時候要考慮跨平臺性的問題。02常見智能座艙算法開發(fā)認知常見算法簡介

一、三維實現(xiàn)估計

廣義的視線估計泛指與眼球、眼動、視線等相關(guān)的研究。我們將介紹的主要以眼睛圖像或人臉圖像為處理對象，估算人的視線方向或注視點位置。（一）算法目標

三維視線估計的目標是從眼睛圖片或人臉圖片中推導(dǎo)出人的視線方向。通常，這個視線方向是由兩個角度，pitch（垂直方向）和yaw（水平方向）來表示的，在相機坐標系下，視線的方向（gaze）不僅取決于眼睛的狀態(tài)（眼珠位置，眼睛開合程度等），還取決于頭部姿態(tài)。02常見智能座艙算法開發(fā)認知常見算法簡介（二）評價指標

在模型估計出pitch角（垂直角）和yaw角（水平角）之后，可以計算出代表視線方向的三維向量，該向量與真實的方向向量（groundtruth）之間的夾角即是視線方向領(lǐng)域最常用的評價指標。（三）實現(xiàn)方法介紹

一般來說，視線估計方法可以分為基于幾何的方法（GeometryBasedMethods）和基于外觀的方法（AppearanceBasedMethods）兩大類?；趲缀蔚姆椒ǖ幕舅枷胧菣z測眼睛的一些特征（例如眼角、瞳孔位置等關(guān)鍵點），然后根據(jù)這些特征來計算視線方向（gaze）。而基于外觀的方法則是直接學(xué)習(xí)一個將外觀映射到gaze的模型。02常見智能座艙算法開發(fā)認知常見算法簡介（四）單眼/雙眼視線估計

德國馬普所XucongZhang博士等最早嘗試使用神經(jīng)網(wǎng)絡(luò)來做視線估計，其成果發(fā)表在CVPR2015上。這個工作以單眼圖像為輸入，所使用的網(wǎng)絡(luò)架構(gòu)。02常見智能座艙算法開發(fā)認知常見算法簡介02常見智能座艙算法開發(fā)認知常見算法簡介

二、手勢檢測算法

隨著深度學(xué)習(xí)的研究與發(fā)展，基于深度學(xué)習(xí)的方法識別速度快，準確率高，成為主流的手勢識別算法。

但深度學(xué)習(xí)的大多算法精度和速度不能兼得，造成很多模型在嵌入式端難以實現(xiàn)。在經(jīng)典算法YOLO系列算法中，2020年6月發(fā)布的YOLOv4-tiny算法，具有更快的目標檢測速度，適合在移動端和嵌入式等運算能力不強的設(shè)備開發(fā)，能夠很好地解決上述的這個難題。

二、手勢檢測算法 YOLO是YouOnlyLookOnce的縮寫，意思是神經(jīng)網(wǎng)絡(luò)只需要看一次圖片，就能輸出結(jié)果。YOLOv4-tiny算法是在YOLOv4（YOLO第四代算法）的基礎(chǔ)上設(shè)計的，預(yù)測過程與YOLOv4相同，檢測速度得到大幅提升。02常見智能座艙算法開發(fā)認知常見算法簡介

我們采用的是公開手勢數(shù)據(jù)集NUS-II對YOLOv4-tiny進行再次訓(xùn)練，NUS-II是一個10類手勢數(shù)據(jù)集。02常見智能座艙算法開發(fā)認知常見算法簡介02常見智能座艙算法開發(fā)認知常見算法簡介三、分心行為檢測算法

基于深度學(xué)習(xí)的駕駛員分心行為識別方法的整體過程如圖所示。02常見智能座艙算法開發(fā)認知常見算法簡介

模型以彩色圖像作為輸入，直接輸出駕駛員行為信息，是一種端到端的、非侵入式的駕駛員行為檢測算法。

設(shè)計搭建一個級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由2個部分組成： 1）利用目標檢測算法預(yù)測駕駛員位置信息，確定候選區(qū)域； 2）采用卷積神經(jīng)網(wǎng)絡(luò)模型對候選區(qū)域內(nèi)的駕駛員分心行為進行精確識別

四、疲勞檢測算法

隨著我國高速道路系統(tǒng)的不斷完善，各地方連接越發(fā)緊密，來自全國各地的車輛晝夜不停地行駛，長時間的長途跋涉讓駕駛?cè)藛T變得疲憊打瞌睡、注意力不集中、反應(yīng)遲鈍等等，這種情況是造成交通事故的主要原因之一，因此對駕駛員疲勞出現(xiàn)危險行為時的預(yù)警系統(tǒng)是極其必要的。02常見智能座艙算法開發(fā)認知常見算法簡介

（一）疲勞檢測算法分類

1.基于駕駛員的生理信號的檢測：通過檢測駕駛員的生理信號包括腦電圖信號EEG、眼電圖信號EOG、呼吸頻率等來判斷駕駛員此時的駕駛狀態(tài)，此方法的缺點是駕駛員要穿戴厚重的檢測儀器，不僅阻礙了駕駛員的行車視線，還容易發(fā)生交通事故。02常見智能座艙算法開發(fā)認知常見算法簡介

（一）疲勞檢測算法分類

2.基于車道線及方向盤偏移角度的檢測：此方法是通過測量方向盤偏移角度或者車道偏離來判斷駕駛員此時的行駛狀態(tài)，但是缺點是得到結(jié)果的時間長且精度低。02常見智能座艙算法開發(fā)認知常見算法簡介

（一）疲勞檢測算法分類

3.基于機器視覺和圖像處理的疲勞檢測：這類方法通過攝像頭實時采集駕駛員的行為表情狀態(tài)，判斷駕駛員的頭部姿態(tài)，眼睛閉合頻率和單位時間打哈欠的次數(shù)來判斷駕駛員的疲勞程度，我們接下來將介紹這種方法來判斷駕駛員的行駛狀態(tài)的使用方法。02常見智能座艙算法開發(fā)認知常見算法簡介02常見智能座艙算法開發(fā)認知常見算法簡介（二）基于機器視覺和圖像處理的疲勞檢測算法

1.通過面部特征檢測駕駛員疲勞狀態(tài)一般分為三個類型：眨眼（眨眼次數(shù)增多、眨眼速度明顯變慢、眼睛微瞇）、打哈欠（單位時間打哈欠次數(shù)增加）、點頭（單位時間瞌睡點頭次數(shù)增加），通過單目攝像頭實時拍攝駕駛員的行車狀態(tài)，獲取到駕駛員的行車視頻流，對視頻流進行循環(huán)讀取幀圖片。02常見智能座艙算法開發(fā)認知常見算法簡介2.進行人臉關(guān)鍵點檢測之前需要得到人臉區(qū)域，我們采用MTCNN（多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)）算法進行人臉檢測。MTCNN算法是一種使用卷積網(wǎng)絡(luò)的人臉檢測與對齊的方法。算法采用級聯(lián)CNN結(jié)構(gòu)，將三個卷積神經(jīng)網(wǎng)絡(luò)P-Net、R-Net與O-Net級聯(lián)到一起構(gòu)成強分類器。（二）基于機器視覺和圖像處理的疲勞檢測算法（二）基于機器視覺和圖像處理的疲勞檢測算法

3.基于卷積神經(jīng)網(wǎng)絡(luò)的MTCNN算法消耗的算力資源較大，對硬件要求較高，難以做到跟隨攝像頭輸入進行實時檢測。

機動車正常行駛途中駕駛員不會發(fā)生變更且頭部姿態(tài)變化不大，人臉在每幀之間的移動幅度小，在獲取人臉區(qū)域后，采用KCF跟蹤算法對人臉區(qū)域進行追蹤，從而減少算力消耗。02常見智能座艙算法開發(fā)認知常見算法簡介（二）基于機器視覺和圖像處理的疲勞檢測算法

4.PERCLOS(PercentageofEyelidClosureoverthePupilOverTime)指的是在一段時間內(nèi)眼睛閉合時間占總時間的比值，是在疲勞檢測中被廣泛使用的判斷指標，計算公式如下：02常見智能座艙算法開發(fā)認知常見算法簡介（二）基于機器視覺和圖像處理的疲勞檢測算法

5.MAR（MouthAspectRatio，嘴部縱橫比），仿照EAR的原理，通過對嘴部縱橫比的檢測來判斷嘴張開的大小。

6.我們通過MTCNN算法檢測人臉，再通過KCF算法跟蹤人臉區(qū)域，最后通過人臉特征點檢測算法ERT得到EAR與MAR值，由此計算PERCLOS值與判斷是否哈欠，最后通過多特征融合判斷方法得到駕駛員疲勞信息。02常見智能座艙算法開發(fā)認知常見算法簡介案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)PART0303案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)建立吸煙圖像數(shù)據(jù)集一、圖像采集

在采集圖像前，首先要先對目標特征進行分析，以確保采集的圖像具有代表性。通過對大量包含吸煙者的圖像分析，總結(jié)出以下幾種類型的吸煙動作。03案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)建立吸煙圖像數(shù)據(jù)集二、圖像預(yù)處理

采集圖像數(shù)據(jù)的渠道為網(wǎng)絡(luò)和VOC2007通用目標檢測數(shù)據(jù)集，采集到的圖像數(shù)據(jù)不能直接用于深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練，還需要一些預(yù)處理工作，如統(tǒng)一圖像數(shù)據(jù)格式，對圖像重命名。03案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)建立吸煙圖像數(shù)據(jù)集三、圖像標注

經(jīng)過預(yù)處理的圖像數(shù)據(jù)還不能直接輸入深度學(xué)習(xí)網(wǎng)絡(luò)，需要經(jīng)過標注等處理，同時由以上分析可知，吸煙者圖像較為復(fù)雜，若不加篩選地采集任意吸煙者圖像，將對后續(xù)圖像標注工作造成困擾。為圖像打標簽的工作被稱為圖像標注。03案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)建立吸煙圖像數(shù)據(jù)集四、標注格式轉(zhuǎn)換 YOLOv5不能直接讀取XML文件，需要將XML文件轉(zhuǎn)化為TXT文件，其轉(zhuǎn)化思路為提取XML文件中重點關(guān)注的信息，并將其寫入TXT文本中。五、數(shù)據(jù)集劃分 YOLOv5不能直接讀取XML文件，需要將XML文件轉(zhuǎn)化為TXT文件，其轉(zhuǎn)化思路為提取XML文件中重點關(guān)注的信息，并將其寫入TXT文本中。03案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)吸煙檢測算法訓(xùn)練常用參數(shù)說明weights權(quán)重文件路徑cfg存儲模型結(jié)構(gòu)的配置文件data存儲訓(xùn)練、測試數(shù)據(jù)的文件epochs指的就是訓(xùn)練過程中整個數(shù)據(jù)集將被迭代（訓(xùn)練）了多少次batch-size訓(xùn)練完多少張圖片才進行權(quán)重更新img-size輸入圖片寬高點devicecudadevice,i.e.0or0,1,2,3orcpu。選擇使用GPU還是CPUworkers線程數(shù)，默認是8

訓(xùn)練是將深度學(xué)習(xí)網(wǎng)絡(luò)投入使用的關(guān)鍵步驟，接下來我們將進行訓(xùn)練參數(shù)配置。當損失函數(shù)不斷減小直至最后收斂，整體呈下降趨勢，且下降速度由快到慢，逐漸逼近最優(yōu)解。訓(xùn)練初始時，損失函數(shù)較大，經(jīng)過5000次的訓(xùn)練，損失函數(shù)降至0.1以下，此時基本可以認定深度學(xué)習(xí)模型訓(xùn)練結(jié)束。03案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)吸煙檢測算法訓(xùn)練03案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)吸煙檢測算法訓(xùn)練常用的部署工具有：TensorRT與OpenVINO。這兩個工具支持的模型框架都十分豐富。若在GPU環(huán)境上部署的話，優(yōu)先選擇TensorRT，轉(zhuǎn)化模型為TensorRT格式，利用TensorRT推理引擎去運行我們這個模型，從而提升模型在英偉達GPU上運行的速度。速度提升的比例是比較可觀的。

模型訓(xùn)練完成后，并且模型的精度和速度達到我們的項目要求后，我們就可以根據(jù)生產(chǎn)環(huán)境選擇部署導(dǎo)出。百度智能云實現(xiàn)駕駛員狀態(tài)監(jiān)測PART0404百度智能云實現(xiàn)駕駛員狀態(tài)監(jiān)測深度學(xué)習(xí)（DeepLearning）是源于人工神經(jīng)網(wǎng)絡(luò)的一種機器學(xué)習(xí)方法，是對人類神經(jīng)系統(tǒng)識別過程的模擬。實例測試在實例測試中，將獲取到的APIKey（API密碼）填入右側(cè)的id欄中，將獲取到的SecretKey（密鑰）填入到Secret欄中。點擊“打開攝像頭”，點擊“運行”，對拍攝的畫面開始進行駕駛員狀態(tài)監(jiān)控識別，識別結(jié)果將返回至識別結(jié)果欄中。1、查閱資料，完成教材所示工單。1、各組派代表闡述資料查詢結(jié)果。2、各組就各自的查詢結(jié)果進行交流，并分享技巧。隨堂討論從互聯(lián)網(wǎng)搜索，結(jié)合教材，總結(jié)駕駛員監(jiān)測系統(tǒng)主要預(yù)警功能。任務(wù)實施感謝觀看能力模塊三

掌握智能座艙中機器視覺技術(shù)的應(yīng)用任務(wù)四

實現(xiàn)機器視覺在安全輔助駕駛中的應(yīng)用安全輔助駕駛系統(tǒng)一直以來都是主動駕駛領(lǐng)域的重點技術(shù)，能夠很大程度上提高車輛的安全性、經(jīng)濟性、駕乘舒適性。作為智能座艙的開發(fā)技術(shù)人員，主管要求你在理解常見的安全輔助駕駛技術(shù)應(yīng)用之后，能夠?qū)崿F(xiàn)智能座艙所涉及到的機器視覺在安全輔助駕駛上的具體應(yīng)用，完成智能座艙全景相機標定工作。任務(wù)引入Tasktointroduce01360全景環(huán)視系統(tǒng)發(fā)展歷程02實現(xiàn)360全景相機標定目錄

CONTENTS03常見安全輔助駕駛技術(shù)應(yīng)用04艙內(nèi)預(yù)警技術(shù)認知360全景環(huán)視系統(tǒng)發(fā)展歷程PART0101360全景環(huán)視系統(tǒng)發(fā)展歷程2007年，日產(chǎn)公司發(fā)布了首款全景行車安全系統(tǒng)“環(huán)境監(jiān)視系統(tǒng)AVM”，2008年本田推出了mulTI-viewcamerasystem，2009年阿爾派推出TOPVIEW系統(tǒng)，2010年Fujitsu公司開發(fā)了MulTI-AngleVision系統(tǒng)。全景環(huán)視概念最早是由K.Kate，M.Suzuki，Y.Fujita，Y.Hirama等四人于2006年首先提出。這一概念提出后，馬上引起了國內(nèi)外眾多汽車生產(chǎn)廠商和相關(guān)科研單位的注意，隨著中國汽車工業(yè)的發(fā)展，以及全景環(huán)視系統(tǒng)技術(shù)的日漸成熟，國內(nèi)的大部分汽車廠家在乘用車、商用車、工程車上已布局360全景環(huán)視系統(tǒng)。01360全景環(huán)視系統(tǒng)發(fā)展歷程

在后裝市場，全景影像系統(tǒng)和當年導(dǎo)航的發(fā)展軌跡是一樣的。只要一個功能是實用的，能被消費者認可，整合就是個必然結(jié)果。將來360全景系統(tǒng)和導(dǎo)航的結(jié)合也是一個必然趨勢。全景影像系統(tǒng)從分屏顯示到有縫拼接再到無縫全景，再到2D+3D全景，逐步擴大視野范圍及安全性。實現(xiàn)360全景相機標定PART0202實現(xiàn)360全景相機標定啟動應(yīng)用1.點擊Launcher頁面中的SDCalibrator應(yīng)用圖標。02實現(xiàn)360全景相機標定啟動應(yīng)用2.進入應(yīng)用以后，就可以看到如圖所示的頁面；該頁面主要功能包括：切換攝像頭預(yù)覽圖像、選擇標定范圍、標定狀態(tài)顯示。切換攝像頭預(yù)覽圖像1.預(yù)覽畫面的右側(cè)，有一個汽車圖標和4塊藍色區(qū)域，點擊藍色區(qū)域可以切換預(yù)覽圖像，對應(yīng)的分別是汽車的前后左右四個方向的圖像；通過切換四個方向的圖像來確認攝像頭位置和標定布的位置是否正確。標定布的位置按照圖所示的方式擺放。汽車擺放在標定布中間，攝像頭圖像應(yīng)該是靠近汽車的位置在預(yù)覽圖像的下方，每個攝像頭的圖像都可以看到標定布。02實現(xiàn)360全景相機標定切換攝像頭預(yù)覽圖像2.預(yù)覽畫面左側(cè)，有八個綠色加號圖標，可以拖動綠色加號圖標來選擇標定范圍。標定范圍是標定布在圖像中的位置。02實現(xiàn)360全景相機標定切換攝像頭預(yù)覽圖像

點擊預(yù)覽頁面中右下角的設(shè)置按鈕即可彈出設(shè)置對話框，現(xiàn)在有表所示的標定參數(shù)可以進行設(shè)置。具體參數(shù)需要通過實際測量獲取。02實現(xiàn)360全景相機標定參數(shù)說明CarWidth車輛擺放后，所占用的標定布的橫寬，單位毫米CarLength車輛擺放后，所占用的標定布的縱長，單位毫米Chesshorizontalcount標定布內(nèi)橫向的棋盤格數(shù)量，現(xiàn)選個數(shù)為4Chessverticalcount標定布內(nèi)縱向的棋盤格數(shù)量，現(xiàn)選個數(shù)為4Chesshorizontaloffset棋盤格水平偏移量，指標定布上黑白格到標定布邊緣的橫向距離，單位毫米Chessverticaloffset盤格垂直偏移量，指標定布上黑白格到標定布邊緣的縱向距離，單位毫米CarImageWidth車輛圖像寬度，單位毫米CarImageHeight車輛圖像高度，單位毫米Chessitemlength棋盤格單位長度標定狀態(tài)顯示1.標定結(jié)束后，藍色區(qū)域會改變顏色反饋標定結(jié)果。紅色表示該方向標定失敗，綠色表示標定成功。如下圖所示為前方標定失敗，