自動駕駛控制器芯片選型設計方案詳解

1、自動駕駛控制器芯片選型設計方案詳解中央控制器作為自動駕駛核心部件，作為自動駕駛的大腦”端，通常需要外接多個攝像頭、毫米波雷達、激光雷達，以及 IMU等設備，完成的 功能包含圖像識別、數(shù)據(jù)處理等。因此，其需要具備多傳感器融合、定 位、路徑規(guī)劃、決策控制、無線通訊、高速通訊的能力，因而從始至終 牽動著整個處理及控制命脈。這里需要注意的是，由于自動駕駛傳感器 對于駕駛輔助系統(tǒng)的復雜度影響力（主要表現(xiàn)在計算能力、傳輸帶寬、 存儲能力等）幾乎是成倍的增加，特別是側(cè)視攝像頭的加入導致需要預 處理的視頻數(shù)據(jù)成倍的增加，同時，激光雷達的加入又不斷地生成千萬 級的待處理點云信息，這就對其自動駕駛控制器計算性能及

2、算法能力提 出了比較大的需求，這也使得我們需要對自動駕駛控制器芯片選型單獨 提出的需求。由于要完成大量運算，域控制器一般都要匹配一個核心運算力強的處理 器，能夠提供自動駕駛不同級別算力的支持，其運行時期的信息交換速 度、算法計算速度、存儲能力等均受到其內(nèi)部控制芯片的影響。對于自動駕駛控制器芯片選型而言，主要考慮如下一些技術(shù)要求參數(shù)信 息來進行方案設計。a）Core :內(nèi)核通常是空間中心。一方面便于自動駕駛控制器和外圍傳感 器、執(zhí)行器通訊，同時也用外圍來保護它。core強調(diào)運行態(tài)，通常出現(xiàn)的core-down ,是指cpu計算上出現(xiàn)問題了，core強調(diào)的是自動駕駛控制器整體對外功能中的核心功能。

3、b）DMIPS :主要用于測整數(shù)計算能力。包含每秒鐘能夠執(zhí)行的指令集數(shù) 量，以及其這些指令集在實現(xiàn)我的測試程序的時候，每秒鐘能夠?qū)崿F(xiàn)的 工作數(shù)量，這個能力由cpu的架構(gòu)，內(nèi)存memory的訪問速度等硬件特性來決定。它是一個測量CPU運行相應測試程序時表現(xiàn)出來的相對性能高低的一個單位（很多自動駕駛芯片評估場合，人們習慣用MIPS作為這個性能指標的單位）。c）Memory :存儲器管理單元的主要功能包括：虛擬地址到物理地址映 射、存儲器訪問權(quán)限控制、高速緩存支持等；d）DataFlash : DataFlash是美國 ATMEL 公司推出的大容量串行Flash存儲器產(chǎn)品，采用Nor技術(shù)制造，可用于

4、存儲數(shù)據(jù)和程序代碼。與并行Flash存儲器相比，所需引腳少，體積小，易于擴展，與單片機或控制器 連接簡單，工作可靠，所以類似 DataFlash的串行Flash控制器越來越多 的用在自動駕駛控制器產(chǎn)品和測控系統(tǒng)評估中。e）ISP : ISP作為視覺處理芯片核心，其主要功能包括AE （自動曝光）、AF （自動對焦）、 AWB （自動白平衡）、去除圖像噪聲、 LSC（Lens Shading Correction） 、BPC（Bad PixelCorrection） ,最后把 Raw Data 保存起來，傳給 videocodec 或CV 等。通過ISP可以得到更 好的圖像效果，因此在自動駕駛汽車

5、上對ISP的要求很高，比如開始集成雙通道甚至三通道的ISP。一般來說ISP是集成在AP里面（對很多AP芯片廠商來說，這是差異化競爭的關(guān)鍵部分），但是隨著需求的變化 也出現(xiàn)了獨立的ISP,主要原因是可以更靈活的配置，同時彌補及配合 AP芯片內(nèi)ISP功能的不足。f）算力：自動駕駛的實現(xiàn)，需要依賴環(huán)境感知傳感器對道路環(huán)境的信息進 行采集，將采集到的數(shù)據(jù)傳送到汽車中央處理器進行處理，用來識別障 礙物、可行道路等，依據(jù)識別結(jié)果，規(guī)劃路徑、制定車速，自動控制汽 車行駛。整個過程需要在一瞬間完成，延時必須要控制在毫秒甚至微秒級別，才能保證自動駕駛的行駛安全。要完成瞬時處理、反饋、決策規(guī) 劃、執(zhí)行的效果，對中

6、央處理器的算力要求非常高。在自動駕駛中，最 耗費算力的當屬視覺處理，占到全部算力需求的一半以上，且自動駕駛 級別每升高一級，對計算力的需求至少增加十倍。L2級別需要2個TOPS的算力,L3需要24個TOPS的算力,L4為320TOPS , L5為 4000+TOPS 。gHI交互通同交互/祝覺好三位一體的控制體驗E3自2*加同視城密爾 火盤*牌4也就整劉 rn(r:Tterl鼻施公司光有算力還不夠，考慮汽車應用的復雜性，汽車處理器還需要同時考慮 算力利用率、是否通過車規(guī)和安全標準等。算力理論值取決于運算精 度、MAC的數(shù)量和運行頻率。如下表示了一種典型的單幀算力計算方理論算力是根據(jù) Net卷積

7、層的乘法運算累加得出，卷積層中的每次乘加(MAC )算成兩個 OPS,卷積運算量占 DL NET的90%以上，其它輔助運算或其它層的運算忽略不計，SSD所有卷積層乘法運算總數(shù)是40GMACs ,所以理論算力是 80GOPS 。其中,聲測巾貞率 謂正巾質(zhì)率真實值和理論值差異極大，考慮其它運算層，硬件實際利用率要高一 些。決定算力真實值最主要因素是內(nèi)存( SRAM和DRAM)帶寬，還有 實際運行頻率(即供電電壓或溫度)，還有算法的batch尺寸。g)功耗：在最高性能模式下，如果自動駕駛控制器的芯片功耗級別較 高，即使其自身性能強勁，但也會引發(fā)某些未可預知的隱患，如發(fā)熱量 成倍增加，耗電率成倍增加，

8、這些結(jié)果尤其對于新能源車型來說也毫無 疑問是顆 核彈工因此，我們在前期自動駕駛芯片設計中需要充分考慮 其功耗指標。h)CSI : CSI作為前端-配置邏輯接口，可以支持大多數(shù)通用的可用的 CMOS攝像頭接口，支持方便YCC,YUV,Bayer 或者是RGB的數(shù)據(jù)格式輸入，完全可控的 8-bit或16-bit數(shù)據(jù)到32-bit的FIFO進行打包， 32*32大小的FIFO存儲接受到的的圖像像素數(shù)據(jù)，該 FIFO可以通過可 編程的IO或者是DMA進行讀取。后端-提供了直接到 eMMA的預處理 PrP塊接口(PrP和PP組成了 MX27圖形加速器 eM MA , PrP和PP能夠 用來給視頻做預處理

9、和后期處理，例如，放大，縮小，顏色轉(zhuǎn)換)。提供sensor的可屏蔽中斷源，該中斷源也是中斷可控的，提供給外部sensor用的，可配置的主時鐘頻率，由統(tǒng)計數(shù)據(jù)產(chǎn)生的自動曝光(AE)和自動白平衡(AWB)控制。i)3D GPU : GPU是基于大的吞吐量設計，用來處理大規(guī)模的并行計算。GPU的控制單元可以把多個的訪問合并成少的訪問。GPU將更多的晶體管用于執(zhí)行單元，而非像CPU那樣用作復雜的數(shù)據(jù)cache和指令控制。由于GPU具有超強的浮點計算能力，可用于在智能汽車前端的圖像或視 頻處理領域的應用，也越來越多地應用在中央控制器高性能計算的主流 設計中。j)ETH和CAN :中央控制器芯片設計中需要

10、充分考慮其連接接口是否支 持以太網(wǎng)和CANFD等高級數(shù)據(jù)連接傳輸方式，這是接收并有效處理數(shù) 據(jù)的前提。k)PCIe :作為CPU的局部總線，最大的特點在于數(shù)據(jù)傳輸吞吐量大和延 遲低。l）SaftyGoal :功能安全目標是整個自動駕駛中央控制器的核心設計需求，由于其影響對整個自動駕駛功能設計中的單點失效分析結(jié)果，因此，在前期硬件設計中就需要充分考慮其是否能夠完全滿足系統(tǒng)對于硬件的功能安全設計需求。m）OTA :遠程升級為用戶修復軟件故障，大幅度縮短中間步驟的時間，使軟件快速到達用戶，同時可以為車輛增加新功能，拓寬服務”和運營”的范疇。因此，中央控制器芯片是否支持OTA對于減少汽車制造產(chǎn)商和用戶

11、的成本，包括汽車制造產(chǎn)商的召回成本，用戶的時間成本，增加用戶的新鮮感，增加車輛的附加價值顯得不可或缺。n）封裝類型：控制器封裝尺寸的大小、引腳定義等影響整體駕駛控制器 對安裝形式的影響，同時影響對外圍部件的連接情況分布。o）溫度/電壓：控制器的溫度控制范圍包括其存儲、使用環(huán)境溫度，且后期若實際車輛確認前毫米波控制器總成布置區(qū)域存儲、使用環(huán)境溫度高于該值，需要在該基礎上進行一定程度的整改上調(diào)范圍，并滿足OEM要求，且供應商需要保證不因為硬件設計缺陷導致召回。p）其他前沿技術(shù)：如控制器是否支持 MCU+MPU的集成控制方式，還是只支持單芯片控制的形式。由如上對于自動駕駛域控制器選型過程中比較重要的

12、幾個因素，我們對 市場主流的控制器芯片進行了統(tǒng)計分析得出如下分析結(jié)果對比表：自動駕駛控制器主流芯片性能對比品牌NXP/S32G274瑞薩/RCARM3TI/TDA4x地平線/J3Core1GHz : 4 xA531.7GHz :2 x A571.8GHz : 2 xA724 x A53功耗2w1w5w2.5wDMIPS15.9k24.5k34k10KMemory32-bitLPDDR4/1ch32-bitLPDDR4/2ch32-bitLPDDR4/1ch32-bitLPDDR4/1chCSI雙路MIPI雙路MIPI雙路MIPI雙路MIPI算力-5TOPs8Tops5TopsGPU+ISP2x

13、1 or 1x2 megapixel 30 fpsIMR+230GFLOPS176 GFLOPS-功能安全ASIL B+ASIL BASIL B+QMETH2 x SGMII/1xRGMIIRGMII8xRGMII/SGMII1x RGMIICANFD支持支持支持支持OTA支持支持支持支持前端技術(shù) 應用MCU+MPU 集成無MCU+MPU 集成MCU+MPU集成域控制器ECU資源分配及優(yōu)化自動駕駛控制器的整個 ECU資源需要在其具體的算法控制中得到算力分 配，其中關(guān)鍵的 AD處理過程包括如下主要的幾個部分。道路運動目標 檢測、道路結(jié)構(gòu)檢測(基于前視攝像頭)、目標形態(tài)檢測、預測分析、 道路結(jié)構(gòu)檢

14、測(基于側(cè)視攝像頭)、道路運動目標檢測(基于側(cè)視攝像 頭)。各部分參數(shù)主要包括了對CPU運行資源、算力、運行帶寬、運行時間等，如下表表示了一種典型的各個算法對于算力運行占用的資源統(tǒng) 計分析，其中兩個不同的芯片分別暫用不同計算需求。KeyADProcessingCPU(DMIPS )CPU Time(ms)深度學習算力(TOPS8bit )深度學習時間(ms)總時間(ms)芯片道路目標檢 測150053T15 J|20Main道路結(jié)構(gòu)檢 測側(cè)50021.5T1517Main交通語義檢 測150072T1522Main目標語義檢 測50031.5T4171Main預測50010.5T2|3Main

15、旁路目標檢 測50021.5T1517Sub旁路結(jié)構(gòu)檢 測1500A2T1015Sub由于芯片算力的有效利用率影響著整個算法效率，因此對算力的計算和 分析是提前。如上軟件模塊算法的算力效率牽涉到MAC計算效率問題。如果相應的自動駕駛模塊算法或者說CNN卷積需要的算力是 1TOPS ,而運算平臺的算力是4TOPS ,那么利用效率只有25% ,運算單元大部分時候都在等待數(shù)據(jù)傳送，特別是批量待處理的尺寸較小時候，存儲帶寬不足會嚴重限 制性能。但如果超出平臺的運算能力，延遲會大幅度增加，存儲瓶頸一 樣很要命。效率在 90-95%情況下，存儲瓶頸影響最小，但這并不意味著 不影響了，影響依然存在。然而平臺

16、不會只運算一種算法，運算利用效 率很難穩(wěn)定在 90-95%。因此，我們需要對系統(tǒng)算法存儲及運行帶寬等參數(shù)進行詳細分析。1）算法內(nèi)存管理算法內(nèi)存估計涉及對軟件模塊（包含車輛運動估計VED、潛在風險評估、縱向控制功能、橫向控制功能、附加控制功能、環(huán)境建模EM ）的閃存Flash、內(nèi)存SRAM的評估影響，一般各軟件模塊占用的內(nèi)存資源池 如下：軟件模塊Flash ( Byte )SRAM ( Byte )VED7000010000Longitudinal Functiolgo Utlities Common Library1000020000Eate

17、ral Function150000|35000Side Function103024|180002)算法運行帶寬一般的，芯片帶寬包含DDR帶寬和總線帶寬兩種評估單位，其中 DDR帶寬一般為25.6GB (Byte),針對圖像/視頻處理的有效利用帶寬為 70%-80%?？偩€帶寬的計算是基于路游的多層拓撲架構(gòu)，且總線同各個 處理系統(tǒng)和 DDR控制器以多端口進行連接，大小一般為128bit ,800MHz。總線帶寬設計采用多端口超適配的方式，保證連接任何端口的 處理系統(tǒng)可以單獨使用全部DDR帶寬，各處理系統(tǒng)間通過QOS機制，保障實時數(shù)據(jù)流的帶寬。如下表示了攝像頭及ISP的帶寬及配置受的資源約束：?

18、攝像頭精度、幀率、像素精度和HDR曝光數(shù)?單組MIPI的接口帶寬?單組MIPI的接口虛擬通道數(shù)?單ISP流水線的數(shù)據(jù)處理率? Inline或離線模式?輸出格式及后處理需求而實際的網(wǎng)絡帶寬取決于如下幾種因素:?圖像精度?網(wǎng)絡的模型架構(gòu)和拓撲?網(wǎng)絡的剪枝、量化和壓縮?網(wǎng)絡圖的分割是否需要中間結(jié)果寫回到DDRffi.俺川本口RQM 飛卜，I1. r.DRAM：. I 分t.竽，3( fPDdMil, 13J(-kORA摘h/上云 . IriJRAMd - ：1：-,.；Mb 附必曾 MDUMfltltl I對于各個軟件處理端而言，需要進行準確的帶寬分析才能實現(xiàn)較好的軟 件控制。因此，設計較好的帶寬分析算法是實現(xiàn)有效的帶寬利用的前 提。其中最簡單有效的解決方法還是提高內(nèi)存帶寬。提高內(nèi)存帶寬有三 種方法，一是縮短運算單元與存儲器之間的物理距離，二是使用高帶寬 內(nèi)存即HBM ,三加大內(nèi)存容量。此外，也可以設計一些軟件改善內(nèi)存瓶 頸的方法，比如修改