自動(dòng)駕駛控制器芯片選型設(shè)計(jì)方案詳解

1、自動(dòng)駕駛控制器芯片選型設(shè)計(jì)方案詳解中央控制器作為自動(dòng)駕駛核心部件，作為自動(dòng)駕駛的大腦”端，通常需要外接多個(gè)攝像頭、毫米波雷達(dá)、激光雷達(dá)，以及 IMU等設(shè)備，完成的 功能包含圖像識(shí)別、數(shù)據(jù)處理等。因此，其需要具備多傳感器融合、定 位、路徑規(guī)劃、決策控制、無(wú)線通訊、高速通訊的能力，因而從始至終 牽動(dòng)著整個(gè)處理及控制命脈。這里需要注意的是，由于自動(dòng)駕駛傳感器 對(duì)于駕駛輔助系統(tǒng)的復(fù)雜度影響力（主要表現(xiàn)在計(jì)算能力、傳輸帶寬、 存儲(chǔ)能力等）幾乎是成倍的增加，特別是側(cè)視攝像頭的加入導(dǎo)致需要預(yù) 處理的視頻數(shù)據(jù)成倍的增加，同時(shí)，激光雷達(dá)的加入又不斷地生成千萬(wàn) 級(jí)的待處理點(diǎn)云信息，這就對(duì)其自動(dòng)駕駛控制器計(jì)算性能及

2、算法能力提 出了比較大的需求，這也使得我們需要對(duì)自動(dòng)駕駛控制器芯片選型單獨(dú) 提出的需求。由于要完成大量運(yùn)算，域控制器一般都要匹配一個(gè)核心運(yùn)算力強(qiáng)的處理 器，能夠提供自動(dòng)駕駛不同級(jí)別算力的支持，其運(yùn)行時(shí)期的信息交換速 度、算法計(jì)算速度、存儲(chǔ)能力等均受到其內(nèi)部控制芯片的影響。對(duì)于自動(dòng)駕駛控制器芯片選型而言，主要考慮如下一些技術(shù)要求參數(shù)信 息來(lái)進(jìn)行方案設(shè)計(jì)。a）Core :內(nèi)核通常是空間中心。一方面便于自動(dòng)駕駛控制器和外圍傳感 器、執(zhí)行器通訊，同時(shí)也用外圍來(lái)保護(hù)它。core強(qiáng)調(diào)運(yùn)行態(tài)，通常出現(xiàn)的core-down ,是指cpu計(jì)算上出現(xiàn)問(wèn)題了，core強(qiáng)調(diào)的是自動(dòng)駕駛控制器整體對(duì)外功能中的核心功能。

3、b）DMIPS :主要用于測(cè)整數(shù)計(jì)算能力。包含每秒鐘能夠執(zhí)行的指令集數(shù) 量，以及其這些指令集在實(shí)現(xiàn)我的測(cè)試程序的時(shí)候，每秒鐘能夠?qū)崿F(xiàn)的 工作數(shù)量，這個(gè)能力由cpu的架構(gòu)，內(nèi)存memory的訪問(wèn)速度等硬件特性來(lái)決定。它是一個(gè)測(cè)量CPU運(yùn)行相應(yīng)測(cè)試程序時(shí)表現(xiàn)出來(lái)的相對(duì)性能高低的一個(gè)單位（很多自動(dòng)駕駛芯片評(píng)估場(chǎng)合，人們習(xí)慣用MIPS作為這個(gè)性能指標(biāo)的單位）。c）Memory :存儲(chǔ)器管理單元的主要功能包括：虛擬地址到物理地址映 射、存儲(chǔ)器訪問(wèn)權(quán)限控制、高速緩存支持等；d）DataFlash : DataFlash是美國(guó) ATMEL 公司推出的大容量串行Flash存儲(chǔ)器產(chǎn)品，采用Nor技術(shù)制造，可用于

4、存儲(chǔ)數(shù)據(jù)和程序代碼。與并行Flash存儲(chǔ)器相比，所需引腳少，體積小，易于擴(kuò)展，與單片機(jī)或控制器 連接簡(jiǎn)單，工作可靠，所以類似 DataFlash的串行Flash控制器越來(lái)越多 的用在自動(dòng)駕駛控制器產(chǎn)品和測(cè)控系統(tǒng)評(píng)估中。e）ISP : ISP作為視覺(jué)處理芯片核心，其主要功能包括AE （自動(dòng)曝光）、AF （自動(dòng)對(duì)焦）、 AWB （自動(dòng)白平衡）、去除圖像噪聲、 LSC（Lens Shading Correction） 、BPC（Bad PixelCorrection） ,最后把 Raw Data 保存起來(lái)，傳給 videocodec 或CV 等。通過(guò)ISP可以得到更 好的圖像效果，因此在自動(dòng)駕駛汽車

5、上對(duì)ISP的要求很高，比如開(kāi)始集成雙通道甚至三通道的ISP。一般來(lái)說(shuō)ISP是集成在AP里面（對(duì)很多AP芯片廠商來(lái)說(shuō)，這是差異化競(jìng)爭(zhēng)的關(guān)鍵部分），但是隨著需求的變化 也出現(xiàn)了獨(dú)立的ISP,主要原因是可以更靈活的配置，同時(shí)彌補(bǔ)及配合 AP芯片內(nèi)ISP功能的不足。f）算力：自動(dòng)駕駛的實(shí)現(xiàn)，需要依賴環(huán)境感知傳感器對(duì)道路環(huán)境的信息進(jìn) 行采集，將采集到的數(shù)據(jù)傳送到汽車中央處理器進(jìn)行處理，用來(lái)識(shí)別障 礙物、可行道路等，依據(jù)識(shí)別結(jié)果，規(guī)劃路徑、制定車速，自動(dòng)控制汽 車行駛。整個(gè)過(guò)程需要在一瞬間完成，延時(shí)必須要控制在毫秒甚至微秒級(jí)別，才能保證自動(dòng)駕駛的行駛安全。要完成瞬時(shí)處理、反饋、決策規(guī) 劃、執(zhí)行的效果，對(duì)中

6、央處理器的算力要求非常高。在自動(dòng)駕駛中，最 耗費(fèi)算力的當(dāng)屬視覺(jué)處理，占到全部算力需求的一半以上，且自動(dòng)駕駛 級(jí)別每升高一級(jí)，對(duì)計(jì)算力的需求至少增加十倍。L2級(jí)別需要2個(gè)TOPS的算力,L3需要24個(gè)TOPS的算力,L4為320TOPS , L5為 4000+TOPS 。gHI交互通同交互/祝覺(jué)好三位一體的控制體驗(yàn)E3自2*加同視城密爾 火盤(pán)*牌4也就整劉 rn(r:Tterl鼻施公司光有算力還不夠，考慮汽車應(yīng)用的復(fù)雜性，汽車處理器還需要同時(shí)考慮 算力利用率、是否通過(guò)車規(guī)和安全標(biāo)準(zhǔn)等。算力理論值取決于運(yùn)算精 度、MAC的數(shù)量和運(yùn)行頻率。如下表示了一種典型的單幀算力計(jì)算方理論算力是根據(jù) Net卷積

7、層的乘法運(yùn)算累加得出，卷積層中的每次乘加(MAC )算成兩個(gè) OPS,卷積運(yùn)算量占 DL NET的90%以上，其它輔助運(yùn)算或其它層的運(yùn)算忽略不計(jì)，SSD所有卷積層乘法運(yùn)算總數(shù)是40GMACs ,所以理論算力是 80GOPS 。其中,聲測(cè)巾貞率 謂正巾質(zhì)率真實(shí)值和理論值差異極大，考慮其它運(yùn)算層，硬件實(shí)際利用率要高一 些。決定算力真實(shí)值最主要因素是內(nèi)存( SRAM和DRAM)帶寬，還有 實(shí)際運(yùn)行頻率(即供電電壓或溫度)，還有算法的batch尺寸。g)功耗：在最高性能模式下，如果自動(dòng)駕駛控制器的芯片功耗級(jí)別較 高，即使其自身性能強(qiáng)勁，但也會(huì)引發(fā)某些未可預(yù)知的隱患，如發(fā)熱量 成倍增加，耗電率成倍增加，

8、這些結(jié)果尤其對(duì)于新能源車型來(lái)說(shuō)也毫無(wú) 疑問(wèn)是顆 核彈工因此，我們?cè)谇捌谧詣?dòng)駕駛芯片設(shè)計(jì)中需要充分考慮 其功耗指標(biāo)。h)CSI : CSI作為前端-配置邏輯接口，可以支持大多數(shù)通用的可用的 CMOS攝像頭接口，支持方便YCC,YUV,Bayer 或者是RGB的數(shù)據(jù)格式輸入，完全可控的 8-bit或16-bit數(shù)據(jù)到32-bit的FIFO進(jìn)行打包， 32*32大小的FIFO存儲(chǔ)接受到的的圖像像素?cái)?shù)據(jù)，該 FIFO可以通過(guò)可 編程的IO或者是DMA進(jìn)行讀取。后端-提供了直接到 eMMA的預(yù)處理 PrP塊接口(PrP和PP組成了 MX27圖形加速器 eM MA , PrP和PP能夠 用來(lái)給視頻做預(yù)處理

9、和后期處理，例如，放大，縮小，顏色轉(zhuǎn)換)。提供sensor的可屏蔽中斷源，該中斷源也是中斷可控的，提供給外部sensor用的，可配置的主時(shí)鐘頻率，由統(tǒng)計(jì)數(shù)據(jù)產(chǎn)生的自動(dòng)曝光(AE)和自動(dòng)白平衡(AWB)控制。i)3D GPU : GPU是基于大的吞吐量設(shè)計(jì)，用來(lái)處理大規(guī)模的并行計(jì)算。GPU的控制單元可以把多個(gè)的訪問(wèn)合并成少的訪問(wèn)。GPU將更多的晶體管用于執(zhí)行單元，而非像CPU那樣用作復(fù)雜的數(shù)據(jù)cache和指令控制。由于GPU具有超強(qiáng)的浮點(diǎn)計(jì)算能力，可用于在智能汽車前端的圖像或視 頻處理領(lǐng)域的應(yīng)用，也越來(lái)越多地應(yīng)用在中央控制器高性能計(jì)算的主流 設(shè)計(jì)中。j)ETH和CAN :中央控制器芯片設(shè)計(jì)中需要

10、充分考慮其連接接口是否支 持以太網(wǎng)和CANFD等高級(jí)數(shù)據(jù)連接傳輸方式，這是接收并有效處理數(shù) 據(jù)的前提。k)PCIe :作為CPU的局部總線，最大的特點(diǎn)在于數(shù)據(jù)傳輸吞吐量大和延 遲低。l）SaftyGoal :功能安全目標(biāo)是整個(gè)自動(dòng)駕駛中央控制器的核心設(shè)計(jì)需求，由于其影響對(duì)整個(gè)自動(dòng)駕駛功能設(shè)計(jì)中的單點(diǎn)失效分析結(jié)果，因此，在前期硬件設(shè)計(jì)中就需要充分考慮其是否能夠完全滿足系統(tǒng)對(duì)于硬件的功能安全設(shè)計(jì)需求。m）OTA :遠(yuǎn)程升級(jí)為用戶修復(fù)軟件故障，大幅度縮短中間步驟的時(shí)間，使軟件快速到達(dá)用戶，同時(shí)可以為車輛增加新功能，拓寬服務(wù)”和運(yùn)營(yíng)”的范疇。因此，中央控制器芯片是否支持OTA對(duì)于減少汽車制造產(chǎn)商和用戶

11、的成本，包括汽車制造產(chǎn)商的召回成本，用戶的時(shí)間成本，增加用戶的新鮮感，增加車輛的附加價(jià)值顯得不可或缺。n）封裝類型：控制器封裝尺寸的大小、引腳定義等影響整體駕駛控制器 對(duì)安裝形式的影響，同時(shí)影響對(duì)外圍部件的連接情況分布。o）溫度/電壓：控制器的溫度控制范圍包括其存儲(chǔ)、使用環(huán)境溫度，且后期若實(shí)際車輛確認(rèn)前毫米波控制器總成布置區(qū)域存儲(chǔ)、使用環(huán)境溫度高于該值，需要在該基礎(chǔ)上進(jìn)行一定程度的整改上調(diào)范圍，并滿足OEM要求，且供應(yīng)商需要保證不因?yàn)橛布O(shè)計(jì)缺陷導(dǎo)致召回。p）其他前沿技術(shù)：如控制器是否支持 MCU+MPU的集成控制方式，還是只支持單芯片控制的形式。由如上對(duì)于自動(dòng)駕駛域控制器選型過(guò)程中比較重要的

12、幾個(gè)因素，我們對(duì) 市場(chǎng)主流的控制器芯片進(jìn)行了統(tǒng)計(jì)分析得出如下分析結(jié)果對(duì)比表：自動(dòng)駕駛控制器主流芯片性能對(duì)比品牌NXP/S32G274瑞薩/RCARM3TI/TDA4x地平線/J3Core1GHz : 4 xA531.7GHz :2 x A571.8GHz : 2 xA724 x A53功耗2w1w5w2.5wDMIPS15.9k24.5k34k10KMemory32-bitLPDDR4/1ch32-bitLPDDR4/2ch32-bitLPDDR4/1ch32-bitLPDDR4/1chCSI雙路MIPI雙路MIPI雙路MIPI雙路MIPI算力-5TOPs8Tops5TopsGPU+ISP2x

13、1 or 1x2 megapixel 30 fpsIMR+230GFLOPS176 GFLOPS-功能安全ASIL B+ASIL BASIL B+QMETH2 x SGMII/1xRGMIIRGMII8xRGMII/SGMII1x RGMIICANFD支持支持支持支持OTA支持支持支持支持前端技術(shù) 應(yīng)用MCU+MPU 集成無(wú)MCU+MPU 集成MCU+MPU集成域控制器ECU資源分配及優(yōu)化自動(dòng)駕駛控制器的整個(gè) ECU資源需要在其具體的算法控制中得到算力分 配，其中關(guān)鍵的 AD處理過(guò)程包括如下主要的幾個(gè)部分。道路運(yùn)動(dòng)目標(biāo) 檢測(cè)、道路結(jié)構(gòu)檢測(cè)(基于前視攝像頭)、目標(biāo)形態(tài)檢測(cè)、預(yù)測(cè)分析、 道路結(jié)構(gòu)檢

14、測(cè)(基于側(cè)視攝像頭)、道路運(yùn)動(dòng)目標(biāo)檢測(cè)(基于側(cè)視攝像 頭)。各部分參數(shù)主要包括了對(duì)CPU運(yùn)行資源、算力、運(yùn)行帶寬、運(yùn)行時(shí)間等，如下表表示了一種典型的各個(gè)算法對(duì)于算力運(yùn)行占用的資源統(tǒng) 計(jì)分析，其中兩個(gè)不同的芯片分別暫用不同計(jì)算需求。KeyADProcessingCPU(DMIPS )CPU Time(ms)深度學(xué)習(xí)算力(TOPS8bit )深度學(xué)習(xí)時(shí)間(ms)總時(shí)間(ms)芯片道路目標(biāo)檢 測(cè)150053T15 J|20Main道路結(jié)構(gòu)檢 測(cè)側(cè)50021.5T1517Main交通語(yǔ)義檢 測(cè)150072T1522Main目標(biāo)語(yǔ)義檢 測(cè)50031.5T4171Main預(yù)測(cè)50010.5T2|3Main

15、旁路目標(biāo)檢 測(cè)50021.5T1517Sub旁路結(jié)構(gòu)檢 測(cè)1500A2T1015Sub由于芯片算力的有效利用率影響著整個(gè)算法效率，因此對(duì)算力的計(jì)算和 分析是提前。如上軟件模塊算法的算力效率牽涉到MAC計(jì)算效率問(wèn)題。如果相應(yīng)的自動(dòng)駕駛模塊算法或者說(shuō)CNN卷積需要的算力是 1TOPS ,而運(yùn)算平臺(tái)的算力是4TOPS ,那么利用效率只有25% ,運(yùn)算單元大部分時(shí)候都在等待數(shù)據(jù)傳送，特別是批量待處理的尺寸較小時(shí)候，存儲(chǔ)帶寬不足會(huì)嚴(yán)重限 制性能。但如果超出平臺(tái)的運(yùn)算能力，延遲會(huì)大幅度增加，存儲(chǔ)瓶頸一 樣很要命。效率在 90-95%情況下，存儲(chǔ)瓶頸影響最小，但這并不意味著 不影響了，影響依然存在。然而平臺(tái)

16、不會(huì)只運(yùn)算一種算法，運(yùn)算利用效 率很難穩(wěn)定在 90-95%。因此，我們需要對(duì)系統(tǒng)算法存儲(chǔ)及運(yùn)行帶寬等參數(shù)進(jìn)行詳細(xì)分析。1）算法內(nèi)存管理算法內(nèi)存估計(jì)涉及對(duì)軟件模塊（包含車輛運(yùn)動(dòng)估計(jì)VED、潛在風(fēng)險(xiǎn)評(píng)估、縱向控制功能、橫向控制功能、附加控制功能、環(huán)境建模EM ）的閃存Flash、內(nèi)存SRAM的評(píng)估影響，一般各軟件模塊占用的內(nèi)存資源池 如下：軟件模塊Flash ( Byte )SRAM ( Byte )VED7000010000Longitudinal Functiolgo Utlities Common Library1000020000Eate

17、ral Function150000|35000Side Function103024|180002)算法運(yùn)行帶寬一般的，芯片帶寬包含DDR帶寬和總線帶寬兩種評(píng)估單位，其中 DDR帶寬一般為25.6GB (Byte),針對(duì)圖像/視頻處理的有效利用帶寬為 70%-80%。總線帶寬的計(jì)算是基于路游的多層拓?fù)浼軜?gòu)，且總線同各個(gè) 處理系統(tǒng)和 DDR控制器以多端口進(jìn)行連接，大小一般為128bit ,800MHz?？偩€帶寬設(shè)計(jì)采用多端口超適配的方式，保證連接任何端口的 處理系統(tǒng)可以單獨(dú)使用全部DDR帶寬，各處理系統(tǒng)間通過(guò)QOS機(jī)制，保障實(shí)時(shí)數(shù)據(jù)流的帶寬。如下表示了攝像頭及ISP的帶寬及配置受的資源約束：?

18、攝像頭精度、幀率、像素精度和HDR曝光數(shù)?單組MIPI的接口帶寬?單組MIPI的接口虛擬通道數(shù)?單ISP流水線的數(shù)據(jù)處理率? Inline或離線模式?輸出格式及后處理需求而實(shí)際的網(wǎng)絡(luò)帶寬取決于如下幾種因素:?圖像精度?網(wǎng)絡(luò)的模型架構(gòu)和拓?fù)?網(wǎng)絡(luò)的剪枝、量化和壓縮?網(wǎng)絡(luò)圖的分割是否需要中間結(jié)果寫(xiě)回到DDRffi.俺川本口RQM 飛卜，I1. r.DRAM：. I 分t.竽，3( fPDdMil, 13J(-kORA摘h/上云 . IriJRAMd - ：1：-,.；Mb 附必曾 MDUMfltltl I對(duì)于各個(gè)軟件處理端而言，需要進(jìn)行準(zhǔn)確的帶寬分析才能實(shí)現(xiàn)較好的軟 件控制。因此，設(shè)計(jì)較好的帶寬分析算法是實(shí)現(xiàn)有效的帶寬利用的前 提。其中最簡(jiǎn)單有效的解決方法還是提高內(nèi)存帶寬。提高內(nèi)存帶寬有三 種方法，一是縮短運(yùn)算單元與存儲(chǔ)器之間的物理距離，二是使用高帶寬 內(nèi)存即HBM ,三加大內(nèi)存容量。此外，也可以設(shè)計(jì)一些軟件改善內(nèi)存瓶 頸的方法，比如修改