汽車智能座艙系統(tǒng)與應(yīng)用 課件 2-1 了解智能座艙的技術(shù)架構(gòu)

能力模塊二

對(duì)智能座艙硬件的基本認(rèn)知任務(wù)一

了解智能座艙的技術(shù)架構(gòu)作為一名智能座艙測試崗位實(shí)習(xí)生，在培訓(xùn)期間，上級(jí)要求你快速熟悉架構(gòu)體系，對(duì)今后的開發(fā)測試工作整體模塊有更清晰的認(rèn)知，你需要整理一份智能座艙整理架構(gòu)體系的思維導(dǎo)圖，并整理目前常見的智能網(wǎng)聯(lián)汽車車型的技術(shù)架構(gòu)。任務(wù)引入Tasktointroduce01智能座艙的整體架構(gòu)簡介02智能座艙基礎(chǔ)平臺(tái)架構(gòu)的核心目錄

CONTENTS03目前座艙技術(shù)架構(gòu)及算法分析智能座艙的整體架構(gòu)簡介PART0101智能座艙的整體架構(gòu)簡介例如：導(dǎo)航主機(jī)是一家，液晶儀表是一家，同時(shí)還有一個(gè)AVM系統(tǒng)（全景式監(jiān)控影像系統(tǒng)）是一家，線束連接就非常復(fù)雜。

在傳統(tǒng)座艙中，儀表、娛樂、中控等系統(tǒng)相互獨(dú)立，主要由單一芯片驅(qū)動(dòng)單個(gè)功能/系統(tǒng)，通信開銷大。01智能座艙的整體架構(gòu)簡介

隨著技術(shù)發(fā)展，座艙相關(guān)的系統(tǒng)也在往集成式的路線進(jìn)行發(fā)展?，F(xiàn)在智能座艙的車內(nèi)軟硬件一體化聚合，實(shí)現(xiàn)車輛感知精細(xì)化，車輛可在上車-行駛-下車的整個(gè)用車周期中，為駕乘人主動(dòng)提供場景化的服務(wù)，實(shí)現(xiàn)機(jī)器自主/半自主決策。01智能座艙的整體架構(gòu)簡介AI單元：接觸最多的單元，主要用于處理各類傳感器的感知結(jié)果(音、頻或其他信號(hào)),并且將處理后的結(jié)果傳入處理器進(jìn)行推理計(jì)算。通信單元：實(shí)現(xiàn)互通互聯(lián)，包含GSM(全球移動(dòng)通信系統(tǒng))/GPRS(通用分組無線服務(wù)技術(shù))/C-V2X(基于蜂窩網(wǎng)的車載通信技術(shù))、GPS、WiFi以及藍(lán)牙等的無線連接。網(wǎng)關(guān)單元：用于保障座艙域內(nèi)安全可靠的數(shù)據(jù)傳輸、內(nèi)置存儲(chǔ)和常用網(wǎng)關(guān)接口，包括車載以太網(wǎng)(ETH)、控制器局域網(wǎng)(CAN.CANFD)、本地聯(lián)網(wǎng)(LIN)和車內(nèi)聯(lián)網(wǎng)(FlexRay)等接口。硬件平臺(tái)包含了A單元、通信計(jì)算以及網(wǎng)關(guān)3個(gè)單元。硬件平臺(tái)01智能座艙的整體架構(gòu)簡介系統(tǒng)層先是通過虛擬機(jī)監(jiān)視器(Hypervisor)+板級(jí)支持包(BoardSupportPackage，BSP)的方式實(shí)現(xiàn)硬件平臺(tái)的虛擬化，使得系統(tǒng)軟件可以更方便地與不同硬件平臺(tái)對(duì)接。由于底層操作系統(tǒng)開發(fā)周期長，投入資金大，因此當(dāng)前汽車座艙底層操作系統(tǒng)均在QNX、Linux和Android的基礎(chǔ)上定制開發(fā)，因此當(dāng)前座艙底層操作系統(tǒng)以QNX和Linux為主。系統(tǒng)層直接運(yùn)行在硬件之上，用于提供底層的算法、通信、狀態(tài)管理等服務(wù)。系統(tǒng)層01智能座艙的整體架構(gòu)簡介目前解決異構(gòu)分布式系統(tǒng)之間的互聯(lián)和操作問題通常采用中間件技術(shù)。數(shù)據(jù)分布服務(wù)DDS(DataDistributionService)滿足多種分布式實(shí)時(shí)通信要求。車載操作系統(tǒng)需要建立跨多單元、高速、高效的DDS機(jī)制，DDS可采用發(fā)布/訂閱架構(gòu)?；谙到y(tǒng)層提供的感知、通信及管理等基礎(chǔ)服務(wù)，中間件技術(shù)主要是實(shí)現(xiàn)座艙不同功能的模塊化，用于上層座艙場景的開發(fā)。在智能基礎(chǔ)平臺(tái)里，多個(gè)分布的信息源與多個(gè)接收這些源的分布網(wǎng)絡(luò)節(jié)點(diǎn)構(gòu)成了異構(gòu)分布式網(wǎng)絡(luò)。中間件01智能座艙的整體架構(gòu)簡介該層就是座艙用戶直接體驗(yàn)到的各類場景及功能。包含：感知模塊，如情緒感知、行為動(dòng)作感知、疲勞感知等。場景開發(fā)平臺(tái)可以根據(jù)這些感知結(jié)果進(jìn)行具體的場景開發(fā)，例如，檢測到駕駛員打電話時(shí)會(huì)進(jìn)行語音提醒，檢測到疲勞時(shí)，會(huì)播放音樂等。應(yīng)用層智能座艙基礎(chǔ)平臺(tái)架構(gòu)的核心PART02其核心為：用抽象層分離軟件與硬件，用一套基礎(chǔ)軟件平臺(tái)承載獨(dú)立的功能，實(shí)現(xiàn)即插即用，價(jià)值高的將從硬件轉(zhuǎn)移到軟件；用功能集的方式增加軟件復(fù)用率，允許跨車輛和汽車線路增加軟件模塊的再使用。SOA架構(gòu)可以實(shí)現(xiàn)多功能、多終端的無縫連接

在軟件部分，智能座艙的核心架構(gòu)為SOA架構(gòu)，其中域控制器能夠?qū)崿F(xiàn)軟硬件解耦。應(yīng)用層功能獨(dú)立，基礎(chǔ)軟件平臺(tái)創(chuàng)造新的機(jī)遇。架構(gòu)需從“信號(hào)導(dǎo)向”轉(zhuǎn)變?yōu)椤胺?wù)導(dǎo)向”（SOA）。02智能座艙基礎(chǔ)平臺(tái)架構(gòu)的核心SOA架構(gòu)可以實(shí)現(xiàn)多功能、多終端的無縫連接。02智能座艙基礎(chǔ)平臺(tái)架構(gòu)的核心

在硬件部分，SoC芯片成為目前智能座艙技術(shù)的核心硬件。SoC（SystemonChip）又稱系統(tǒng)級(jí)芯片，是一種集成電路的芯片，可以有效地降低電子/信息系統(tǒng)產(chǎn)品的開發(fā)成本，縮短開發(fā)周期，提高產(chǎn)品的競爭力。02智能座艙基礎(chǔ)平臺(tái)架構(gòu)的核心SoC芯片瑞薩NXP德州儀器高通聯(lián)發(fā)科英特爾型號(hào)R-CARH3I.mxBQMJacinto7820ASA8155PMT2712A3960制造工藝16納米28納米16納米14納米7納米28納米14納米內(nèi)核8664864CPU算力40k26k22k45.2k85k22k42kGPU頻率600MHZ850MHZ750MHZ624MHZ700MHZ900MHZ650MHZGPU算力288128166.45881142133216車規(guī)級(jí)AEC-Q100ASIL-BAEC-Q100ASIL-BAEC-Q100ASIL-BAEC-Q100AEC-Q100AEC-Q100目前座艙技術(shù)架構(gòu)及算法分析PART0303目前座艙技術(shù)架構(gòu)及算法分析座艙技術(shù)架構(gòu)分析目前市面上主流車型座艙架構(gòu)組成大多是這七個(gè)部分：硬件、底層芯片、系統(tǒng)平臺(tái)、車機(jī)服務(wù)、決策中心、交互應(yīng)用以及云端服務(wù)，整個(gè)智能座艙系統(tǒng)按照這個(gè)架構(gòu)的形式進(jìn)行信息交互。03目前座艙技術(shù)架構(gòu)及算法分析座艙技術(shù)架構(gòu)分析硬件組成：主要是原始感光或應(yīng)聲部件，用于接收DMS攝像頭輸入的駕駛員面部或手部信息及OMS輸入的乘員信息。同時(shí)，接收車內(nèi)乘員輸入的相關(guān)語音信息，車載音響、顯示等硬件單元。底層芯片：主要是圖像或語音處理芯片功能包含對(duì)人臉識(shí)別、情緒識(shí)別、手勢識(shí)別、危險(xiǎn)行為識(shí)別、多模語音、功能算法等應(yīng)用。系統(tǒng)平臺(tái)：與智能駕駛類似,智能座艙在系統(tǒng)平臺(tái)層面需要建立硬件適配及驅(qū)動(dòng)控制,包含進(jìn)行安全數(shù)字輸入輸出單元、電源能量分配、編解碼、音頻輸出、顯示、can通信等單元。車機(jī)服務(wù)：智能座艙的核心服務(wù)，則更加依賴于車機(jī)服務(wù)進(jìn)行相應(yīng)的能力控制。整個(gè)車機(jī)服務(wù)包括系統(tǒng)控制、車身控制、數(shù)據(jù)服務(wù)、OTA(汽車遠(yuǎn)程升級(jí)技術(shù))、底盤狀態(tài)及車身數(shù)據(jù)等內(nèi)容。03目前座艙技術(shù)架構(gòu)及算法分析座艙技術(shù)架構(gòu)分析決策中心：主要是通過感知SDK(軟件開發(fā)工具包)建立場景SDK，從而構(gòu)建定制化場景及圖像/語音感知能力。多模態(tài)座艙交互技術(shù)總體包含:語音+手勢+視線智能人機(jī)交互系統(tǒng)。這里我們把圖像和語音感知處理能力統(tǒng)稱為多模態(tài)交互應(yīng)用技術(shù)框架。交互應(yīng)用：包括車身控制、系統(tǒng)控制、第三方APP交互控制、語音播報(bào)、用戶界面等幾個(gè)方面。同時(shí)，對(duì)于第三方應(yīng)用中的地圖、天氣、音樂等也有一定要求。云端服務(wù)：由于大量的數(shù)據(jù)涉及遠(yuǎn)程傳輸和監(jiān)控，且智能座艙的大算力算法模塊處理也更加依賴云端管理和計(jì)算能力。智能座艙云端服務(wù)包括算法模型訓(xùn)練、在線場景仿真、數(shù)據(jù)安全、OTA管理數(shù)據(jù)倉儲(chǔ)、賬號(hào)服務(wù)等。03目前座艙技術(shù)架構(gòu)及算法分析智能座艙算法分類介紹駕駛員面部識(shí)別類：包含人頭識(shí)別、人眼識(shí)別、眼睛識(shí)別等;駕駛員動(dòng)作識(shí)別類：手勢動(dòng)作識(shí)別、身體動(dòng)作識(shí)別、嘴唇識(shí)別等;座艙聲音識(shí)別類：前排雙音區(qū)檢測、聲紋識(shí)別、語音性別識(shí)別/年齡識(shí)別等；座艙光線識(shí)別類：座艙氛圍燈、座艙主體背景、座艙內(nèi)飾等。目前，智能座艙算法模塊大致分為以下四大類:03