自動(dòng)駕駛行業(yè)報(bào)告-端到端漸行漸近

Z自動(dòng)駕駛行業(yè)研究報(bào)告“端到端”漸行漸近*智庫(kù)分析師胡博文對(duì)本次報(bào)告JAZZ

Y

E

A

R目

錄CON下ENTSJA

Z.Z

Y

E

A

RPart

02

趨勢(shì)辨析：端到端自動(dòng)駕駛的價(jià)值

P09Part

03

廠商實(shí)踐：技術(shù)路線的選擇與踐行

P18Part01發(fā)展背景：汽車(chē)智能化正加速普及

P02Part04未來(lái)展望：端到端的挑戰(zhàn)與未來(lái)式

P26JAZZ

Y

E

A

R口

國(guó)內(nèi)汽車(chē)工業(yè)在電動(dòng)化和智能化領(lǐng)域的迅猛發(fā)展，正在重塑消費(fèi)者的購(gòu)車(chē)偏好，消費(fèi)者對(duì)于自動(dòng)駕駛技術(shù)、智能座艙等高端智能化功能的興趣日益濃厚?？?/p>

超半數(shù)的汽車(chē)消費(fèi)者將智能化水平作為購(gòu)車(chē)時(shí)的關(guān)鍵考量因素，他們追求更先進(jìn)的自動(dòng)駕駛體驗(yàn)、更智能的座艙環(huán)境以及更個(gè)性化的駕駛樂(lè)趣口

智能化在購(gòu)車(chē)決策中的重要性日益凸顯，這也促使眾多汽車(chē)制造商加快了智能化技術(shù)的研發(fā)和工程投入；繼續(xù)航里程和用車(chē)成本之后，智能化已

成為新能源汽車(chē)競(jìng)爭(zhēng)的主要領(lǐng)域，未能跟上智能化步伐的汽車(chē)品牌可能會(huì)逐漸失去市場(chǎng)競(jìng)爭(zhēng)力。圖1:購(gòu)車(chē)時(shí)“智能化”考量因素高居第二

圖2:自動(dòng)駕駛、智能座艙、OTA

能力受廣泛關(guān)注51%48%47%47%43%31%30%59%

更先進(jìn)的自動(dòng)駕駛功能54%

智能座艙體驗(yàn)更好造型設(shè)計(jì)美觀

原生新能源汽車(chē)平臺(tái)乘坐更舒適

售后體驗(yàn)更好

OTA能力更強(qiáng)

續(xù)航里程表現(xiàn)

駕駛樂(lè)趣更高51%51%47%43%42%40%39%智能化水平已經(jīng)成為國(guó)內(nèi)汽車(chē)消費(fèi)者最核心的購(gòu)買(mǎi)因素之一。用車(chē)成本低智能化程度高

保養(yǎng)成本低外觀時(shí)尚

環(huán)保噪音小

獲取牌照

動(dòng)力性能

配置表精煉Source:麥肯錫《2024麥肯錫中國(guó)汽車(chē)消JAZ

zY

E

A

R65%62%□

NOA

技術(shù)的滲透率正迅速提升：自2022年“量產(chǎn)元年”起，高速NOA和城區(qū)NOA

的普及率顯著增長(zhǎng)。目前，高速NOA的滲透率已超10%,城市NOA

也超過(guò)了3%?？谠诒姸鄰S商的推動(dòng)下，重視“智能化”的汽車(chē)越來(lái)越受消費(fèi)者青睞，尤其是那些配備自動(dòng)泊車(chē)和L2.5以上級(jí)別NOA

功能的車(chē)型；這些車(chē)型已成為車(chē)企競(jìng)爭(zhēng)的焦點(diǎn)，預(yù)示著未來(lái)缺乏NOA功能的車(chē)輛可能失去競(jìng)爭(zhēng)力。口

自動(dòng)駕駛功能的普及，得益于車(chē)企的持續(xù)投入和消費(fèi)者對(duì)這些技術(shù)的接受度，這已成為汽車(chē)市場(chǎng)競(jìng)爭(zhēng)力的關(guān)鍵。圖1:高速NOA

滲透率持續(xù)增長(zhǎng)(%)

圖2:城市NOA

滲透率持續(xù)增長(zhǎng)(%)智能駕駛滲透提速，“智能化”競(jìng)爭(zhēng)進(jìn)入白熱化。Source:

高工智能汽車(chē)，國(guó)聯(lián)證券，甲子ov-23Dec-22Oct-23Sep-23Aug-23Apr-23Mar-24Dec-23禾賽科技美股2023年2月上市激光雷達(dá)傳感器海創(chuàng)光電科創(chuàng)板2023年5月提交申請(qǐng)激光雷達(dá)傳感器黑芝麻智能港交所2023年6月提交申請(qǐng)自動(dòng)駕駛計(jì)算芯片圖達(dá)通美股2023年8月完成IPO備案激光雷達(dá)傳感器如祺出行港交所2023年8月提交申請(qǐng)Robotaxi、網(wǎng)約車(chē)運(yùn)營(yíng)文遠(yuǎn)知行美股2023年8月完成IPO備案自動(dòng)駕駛解決方案、Robotaxi賽目科技港交所2023年10月提交申請(qǐng)ICV仿真測(cè)試、驗(yàn)證知行科技港交所2023年12月已上市自動(dòng)駕駛解決方案速騰聚創(chuàng)港交所2024年1月已上市激光雷達(dá)傳感器小馬智行美股2024年4月完成IPO備案Robotaxi、Robotruck、智能駕駛解決方案縱目科技港交所2024年3月提交申請(qǐng)智能駕駛解決方案地平線港交所2024年3月提交申請(qǐng)自動(dòng)駕駛計(jì)算芯片、智能駕駛解決方案佑駕創(chuàng)新港交所2024年5月提交申請(qǐng)智能駕駛解決方案Momenta美股2024年6月完成IPO備案自動(dòng)駕駛解決方案口盡管一級(jí)市場(chǎng)融資受到整體投融資環(huán)境的影響，但自動(dòng)駕駛公司通過(guò)不斷優(yōu)化核心軟硬件產(chǎn)品，向更務(wù)實(shí)的L2輔助駕駛轉(zhuǎn)型，加速了智能駕駛的

商業(yè)化進(jìn)程，眾多企業(yè)開(kāi)始準(zhǔn)備IPO?？?/p>

同時(shí)，隨著智能駕駛功能的普及，消費(fèi)者對(duì)其正面認(rèn)知逐漸增強(qiáng)，乘用車(chē)自動(dòng)駕駛市場(chǎng)穩(wěn)步增長(zhǎng)，這促使主機(jī)廣與智能駕駛解決方案供應(yīng)商之間

的合作更加緊密，進(jìn)一步推動(dòng)了智能駕駛技術(shù)的商業(yè)化應(yīng)用。表：2023年起，自動(dòng)駕駛廠商扎堆IPO訂單需求擴(kuò)張業(yè)績(jī)快速上漲產(chǎn)品性能提升一級(jí)市場(chǎng)融資難造血能力待提升需要研發(fā)投入自動(dòng)駕駛科技公司排隊(duì)沖擊IPO,

智駕加速普及，行業(yè)正在蘇醒。Source:公開(kāi)資料光智庫(kù)整理。www.jazzyea5口

自

BEV

(鳥(niǎo)瞰視圖)結(jié)合Transformer

架構(gòu)成為自動(dòng)駕駛感知領(lǐng)域的主要發(fā)展方向以來(lái)，數(shù)據(jù)驅(qū)動(dòng)在其中扮演的角色愈發(fā)關(guān)鍵；眾多汽車(chē)制造商

和自動(dòng)駕駛解決方案提供商都已構(gòu)建數(shù)據(jù)閉環(huán)系統(tǒng)，以支持自動(dòng)駕駛系統(tǒng)的模型訓(xùn)練和持續(xù)迭代?？?/p>

目前，配備高級(jí)智能駕駛功能的汽車(chē)已實(shí)現(xiàn)規(guī)?；渴?，這為自動(dòng)駕駛算法的持續(xù)創(chuàng)新和優(yōu)化提供了堅(jiān)實(shí)的數(shù)據(jù)支撐。圖：打造數(shù)據(jù)閉環(huán)，量產(chǎn)時(shí)代下的自動(dòng)駕駛應(yīng)用部署為數(shù)據(jù)驅(qū)動(dòng)提供條件量產(chǎn)項(xiàng)目提供海量車(chē)端大數(shù)據(jù)：·人工智能技術(shù)加持，數(shù)據(jù)篩選、標(biāo)注、訓(xùn)練、驗(yàn)證形成

全鏈路閉環(huán)，持續(xù)迭代智能駕駛產(chǎn)品·

相比過(guò)去工程師制定的規(guī)則算法，能夠?qū)崿F(xiàn)低成本、高

效率的系統(tǒng)迭代·由此實(shí)現(xiàn)閉環(huán)自動(dòng)化，數(shù)據(jù)驅(qū)動(dòng)自動(dòng)駕駛，在為現(xiàn)有車(chē)

輛進(jìn)行OTA

功能升級(jí)的同時(shí)，為后續(xù)更高級(jí)別的自動(dòng)駕

駛車(chē)輛做準(zhǔn)備OTA部署算法升級(jí)算法

部署Source:智庫(kù)，《2023智能駕駛自動(dòng)駕駛智算中心

數(shù)據(jù)積累

訓(xùn)練高階自動(dòng)駕駛算法智能駕駛汽車(chē)規(guī)?；疉l

驅(qū)動(dòng)的數(shù)據(jù)閉環(huán)數(shù)據(jù)

采集影子模式觸發(fā)數(shù)據(jù)回傳L3/L4

量產(chǎn)上車(chē)www.jazzyear.com智駕量產(chǎn)車(chē)上路，數(shù)據(jù)飛輪已經(jīng)轉(zhuǎn)了起來(lái)。數(shù)據(jù)分析打造數(shù)據(jù)閉環(huán)

升級(jí)現(xiàn)有智能車(chē)模型

訓(xùn)練模型

驗(yàn)證數(shù)據(jù)

標(biāo)注口

AI技術(shù)的應(yīng)用場(chǎng)景眾多，自動(dòng)駕駛無(wú)疑是其中的核心議題；它不僅代表了技術(shù)應(yīng)用的前沿，也是產(chǎn)學(xué)兩界Al專(zhuān)家不懈追求、共同攻克的領(lǐng)域?？?/p>

自動(dòng)駕駛行業(yè)的發(fā)展與A技術(shù)的每次飛躍緊密相連：從卷積神經(jīng)網(wǎng)絡(luò)(CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、生成對(duì)抗網(wǎng)絡(luò)(GAN)到

Transformer,每一次技術(shù)革新背后，都伴隨著深度學(xué)習(xí)等基礎(chǔ)Al技術(shù)的突破性進(jìn)展。正是Al技術(shù)的持續(xù)進(jìn)步，構(gòu)成了自動(dòng)駕駛技術(shù)不斷演進(jìn)和成熟的基礎(chǔ)動(dòng)力。圖：自動(dòng)駕駛技術(shù)的主要迭代路徑那么,下一步?20112016201820202022

至

今Source:

浙商證券茫公開(kāi)資料，智

www.jazzyear.com更擅長(zhǎng)處理時(shí)間序列數(shù)據(jù)+生成高質(zhì)量合成數(shù)據(jù)·

預(yù)測(cè)車(chē)輛未來(lái)軌跡能力·

長(zhǎng)期時(shí)序建模能力弱；數(shù)據(jù)質(zhì)量難把控；實(shí)時(shí)性要求無(wú)法滿(mǎn)足RNN(LSTM)+GANBEV+Transformer·

結(jié)

合Transformer

更強(qiáng)的處理序列數(shù)據(jù)和復(fù)雜上下文關(guān)系方面的能力，實(shí)現(xiàn)更精確的環(huán)境感知、更長(zhǎng)遠(yuǎn)的運(yùn)動(dòng)規(guī)劃和更全局化的決策CNN

(卷積神經(jīng)網(wǎng)絡(luò))·

圖像識(shí)別處理表現(xiàn)優(yōu)秀；有效處理傳感器數(shù)據(jù)融合·

需要大量數(shù)據(jù)標(biāo)注；時(shí)序任務(wù)處理能力偏弱自動(dòng)駕駛技術(shù)發(fā)展與普及的背后，是底層AI技術(shù)的進(jìn)步。BEV

(鳥(niǎo)瞰視角)·

直觀且豐富的車(chē)身周邊環(huán)境表示·

需要復(fù)雜的傳感器數(shù)據(jù)融合與校準(zhǔn)，計(jì)算量龐大oCC+Transformer·Occupancy

Network基于學(xué)習(xí)進(jìn)行三維重建，是BEV

的3D

迭

代Transformer

大模型基于大規(guī)模數(shù)據(jù)川練，具備更強(qiáng)的魯棒性與泛化能力在自動(dòng)駕駛行業(yè)大方異彩CNN

提出后，深度學(xué)習(xí)進(jìn)入爆

發(fā)期，自主學(xué)習(xí)能力被釋放J

A

Z

Z

Y

E

A

R口Transformer

大模型技術(shù)在自動(dòng)駕駛領(lǐng)域并非新近出現(xiàn)，其實(shí)早在ChatGPT之前，這一技術(shù)就已被應(yīng)用于自動(dòng)駕駛的感知任務(wù)?？谔厮估?021年就展示了其基于BEV

視角結(jié)合Transformer

的感知方案，此后，國(guó)內(nèi)廠商紛紛跟進(jìn)并進(jìn)行創(chuàng)新，這間接加速了2022年之后高階智能駕駛方案的快速落地?？?/p>

從云端的模型訓(xùn)練到車(chē)端的模型部署，大模型技術(shù)已被廣泛應(yīng)用于數(shù)據(jù)處理、模型融合與優(yōu)化等多個(gè)環(huán)節(jié)，顯著提高了模型訓(xùn)練的效率和系統(tǒng)的

整體性能。圖：從云端到車(chē)端，大模型已經(jīng)在自動(dòng)駕駛感知模塊開(kāi)始規(guī)?；瘧?yīng)用數(shù)據(jù)挖掘大模型的泛化性能用于挖掘長(zhǎng)尾數(shù)據(jù)，如使用CLIP模型進(jìn)行

基于文本描述的圖像數(shù)據(jù)檢索。數(shù)據(jù)生成>

使

用NeRF技術(shù)隱式存儲(chǔ)場(chǎng)景，通過(guò)渲染圖片的監(jiān)督學(xué)習(xí)學(xué)出

場(chǎng)景的隱式參數(shù)，實(shí)現(xiàn)場(chǎng)景重建和高真實(shí)感數(shù)據(jù)生成。數(shù)據(jù)自動(dòng)標(biāo)注利用大模型通過(guò)自監(jiān)督學(xué)習(xí)預(yù)訓(xùn)練，配合極少量人工標(biāo)注微

調(diào)，實(shí)現(xiàn)自動(dòng)標(biāo)注視頻clip數(shù)據(jù)。知識(shí)蒸餾大模型通過(guò)學(xué)習(xí)海量數(shù)據(jù)中的特征，然后用來(lái)配合中、小模

型的訓(xùn)練，提高中、小模型的性能。車(chē)道拓?fù)漕A(yù)測(cè)>使用自回歸編解碼網(wǎng)絡(luò)將BEV特征解

碼為結(jié)構(gòu)化的拓?fù)潼c(diǎn)序列，實(shí)現(xiàn)車(chē)道

拓?fù)漕A(yù)測(cè)。www.jazzye合并不同小模型>將處理不同子任務(wù)的小模型合并成一

個(gè)大模型，在車(chē)端進(jìn)行聯(lián)合推理計(jì)算，提高感知算法的準(zhǔn)確性和實(shí)時(shí)性。AI

大模型技術(shù)已經(jīng)在自動(dòng)駕駛領(lǐng)域得到廣泛應(yīng)用。物體檢測(cè)利用大模型檢測(cè)真值固定的物體，如車(chē)道線、交通燈等，這些物體的位置

下受天氣、時(shí)間等因素的影響?？刂栖?chē)端感知預(yù)測(cè)決策Source:

九章智駕光網(wǎng)絡(luò)公開(kāi)資料，甲子光JAZ

zY

E

A

R云端目

錄CON下ENTSJA

Z.Z

Y

E

A

RPart01發(fā)展背景：汽車(chē)智能化正加速普及

P02

光Part

03

廠商實(shí)踐：技術(shù)路線的選擇與踐行

P18Part04未來(lái)展望：端到端的挑戰(zhàn)與未來(lái)式

P26Part

02

創(chuàng)新思路：端到端自動(dòng)駕駛的價(jià)值

P09JAZZ

Y

E

A

R口傳統(tǒng)自動(dòng)駕駛系統(tǒng)已經(jīng)發(fā)展得相當(dāng)成熟，通常采用模塊化串聯(lián)的部署方式：其核心模塊涵蓋感知、定位、預(yù)測(cè)、決策和控制等，每個(gè)主要模塊及

其子模塊都承擔(dān)著特定的職責(zé)，且每個(gè)模塊的輸入通常來(lái)源于前一模塊的輸出?？谀K化設(shè)計(jì)的優(yōu)勢(shì)在于能夠?qū)?fù)雜的自動(dòng)駕駛?cè)蝿?wù)分解為更小、更易于管理的子任務(wù)，同時(shí)便于問(wèn)題的追蹤和定位；然而，隨著自動(dòng)駕駛技術(shù)向

數(shù)據(jù)驅(qū)動(dòng)的方向發(fā)展，模塊化設(shè)計(jì)的某些局限性也逐漸顯現(xiàn)，例如信息傳遞過(guò)程中可能出現(xiàn)的損耗、計(jì)算延遲以及累積誤差等問(wèn)題。圖：傳統(tǒng)自動(dòng)駕駛的模塊化部署信息的損耗與丟失任務(wù)多且散導(dǎo)致低效誤差累積影響安全性復(fù)合誤差難以修正系統(tǒng)構(gòu)建與維護(hù)成本高傳統(tǒng)模塊化自動(dòng)駕駛存在信息傳遞損耗、計(jì)算效率低下等問(wèn)題。感知模塊傳感器融合目標(biāo)跟蹤車(chē)道線識(shí)別紅綠燈識(shí)別障礙物識(shí)別車(chē)輛定位定位模塊傳感器攝像頭激光雷達(dá)毫米波雷達(dá)輪速I(mǎi)MU高精地圖預(yù)測(cè)模塊車(chē)輛行為預(yù)測(cè)行人行為預(yù)測(cè)規(guī)劃模塊全局路徑規(guī)劃車(chē)輛行為決策控制模塊轉(zhuǎn)向油

門(mén)

/

電

門(mén)剎車(chē)PID/MPCSource:

公開(kāi)資料光智庫(kù)整理。www.jazzyeJ

A

Z

z

Y

E

A

R底盤(pán)通信10口模塊化自動(dòng)駕駛的核心在于不同子模型在各個(gè)模塊中的嵌套與協(xié)同工作。然而，隨著Transformer架構(gòu)等先進(jìn)Al技術(shù)的發(fā)展，模型間的界限正逐漸變得模糊。原本獨(dú)立的子任務(wù)模型正逐步被更大規(guī)模的神經(jīng)網(wǎng)絡(luò)模型所取代，特別是在感知模塊，BEV

結(jié)合Transformer方案的廣泛應(yīng)用預(yù)示

著數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)正日趨成熟?？?/p>

從架構(gòu)的角度來(lái)看，隨著模型融合的趨勢(shì)，自動(dòng)駕駛系統(tǒng)的終極形態(tài)很可能是OneModel,即一個(gè)狹義上的端到端神經(jīng)網(wǎng)絡(luò)模型。圖：自動(dòng)駕駛系統(tǒng)模塊的融合趨勢(shì)從系統(tǒng)架構(gòu)的變化趨勢(shì)上看，自動(dòng)駕駛系統(tǒng)模塊是在不斷融合的。預(yù)測(cè)、決策模塊也正在神經(jīng)網(wǎng)絡(luò)化的進(jìn)程預(yù)測(cè)規(guī)劃網(wǎng)絡(luò)控制

wwwjazzyear.com

11預(yù)測(cè)地圖

定位Learning-Based更少的工程更多的數(shù)據(jù)BEV+Transformer

極大推動(dòng)自動(dòng)駕駛通用感知網(wǎng)絡(luò)的發(fā)展速度多傳感器融合決策Source:元戎啟行光網(wǎng)絡(luò)公開(kāi)資料，甲子光目標(biāo)跟蹤規(guī)劃目標(biāo)檢測(cè)決策端到端全棧神經(jīng)網(wǎng)絡(luò)后融合控制更多的工程適量的數(shù)據(jù)預(yù)測(cè)規(guī)劃地圖控制Rule-Based通用感知網(wǎng)絡(luò)定位端到端路線為自動(dòng)駕駛進(jìn)一步突破提供了一種可能性。

口隨著感知、預(yù)測(cè)和決策等關(guān)鍵模塊逐漸實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)化，端到端自動(dòng)駕駛的路徑已經(jīng)清晰可見(jiàn)，為自動(dòng)駕駛技術(shù)向L4級(jí)別無(wú)人駕駛的邁進(jìn)提供了廣闊的想象空間?？?/p>

端到端自動(dòng)駕駛神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)將帶來(lái)一系列優(yōu)勢(shì)：它將完全基于數(shù)據(jù)驅(qū)動(dòng)進(jìn)行全局任務(wù)優(yōu)化，擁有更簡(jiǎn)潔的系統(tǒng)架構(gòu)，更高的計(jì)算效率以及更

強(qiáng)的泛化能力。然而，它也面臨著對(duì)算力和數(shù)據(jù)的巨大需求，以及尚未解決的黑盒問(wèn)題和幻覺(jué)問(wèn)題，這些問(wèn)題需要隨著技術(shù)的進(jìn)步而逐步克服。傳感器獲取的原始數(shù)據(jù)End-to-End端到端自動(dòng)駕駛模型直接輸出車(chē)輛駕駛動(dòng)作感

知預(yù)測(cè)滲透決策控制·

模型集成統(tǒng)一，減少模塊間的信息延遲和冗余，

提升計(jì)算效率·由數(shù)據(jù)驅(qū)動(dòng)的方式來(lái)解決自動(dòng)駕駛長(zhǎng)尾問(wèn)題

·

更好、更快的糾錯(cuò)能力大模型的幻覺(jué)問(wèn)題參數(shù)過(guò)大，算力不足不可解釋與安全性完全由數(shù)據(jù)驅(qū)動(dòng)更強(qiáng)的泛化性避免累計(jì)誤差更好的計(jì)算效率具備零樣本學(xué)習(xí)能力，在未知場(chǎng)景仍可正確決策Source:公開(kāi)資料光智庫(kù)整理?！け苊馍嫌文K錯(cuò)誤的過(guò)度傳導(dǎo)www.jazzyear.comJAZ

zY

E

A

R12基于統(tǒng)一的神經(jīng)網(wǎng)絡(luò)，端到端的核心是信息的無(wú)損傳遞?？?/p>

自動(dòng)駕駛領(lǐng)域尚未就“端到端”概念達(dá)成統(tǒng)一認(rèn)識(shí)。一般而言，端到端自動(dòng)駕駛指的是從原始傳感器數(shù)據(jù)輸入直接到控制指令輸出的連續(xù)學(xué)習(xí)與

決策過(guò)程，過(guò)程中不涉及任何顯式的中間表示或人為設(shè)計(jì)的模塊?？?/p>

盡管端到端自動(dòng)駕駛的具體定義仍存在一定的模糊性，但其核心理念是避免信息在傳遞過(guò)程中的損耗。端到端自動(dòng)駕駛：統(tǒng)一的神經(jīng)網(wǎng)絡(luò)架構(gòu)，一步到位輸出車(chē)輛指令模塊化架構(gòu)周邊環(huán)境傳感器

感知/定位預(yù)測(cè)規(guī)劃控制執(zhí)行器

車(chē)輛狀態(tài)信息的無(wú)損傳遞Source:

公開(kāi)資料光智庫(kù)整理。

wwwjazzyear.com

13端到端架構(gòu)周邊環(huán)境端到端大模型車(chē)輛狀態(tài)執(zhí)行器傳感器口

特斯拉FSD

V12的卓越性能令業(yè)界觀察家印象深刻，它確實(shí)摒棄了之前FSD方案中多年積累的代碼，但其端到端方案的成功也離不開(kāi)其在過(guò)去十年在人工智能和智能駕駛領(lǐng)域的深厚積累?？?/p>

端到端自動(dòng)駕駛技術(shù)的發(fā)展遵循著漸進(jìn)的路徑：目前，BEV+OCC+Transformer

已經(jīng)實(shí)現(xiàn)了感知模塊的端到端架構(gòu)，決策模塊也在逐步從依賴(lài)手寫(xiě)規(guī)則向基于深度學(xué)習(xí)的模式轉(zhuǎn)變，最終目標(biāo)是實(shí)現(xiàn)模塊化聯(lián)合與單一模型的端到端自動(dòng)駕駛。人為定義接口BEV感

知人為定義接口BEV感

知Rule-BasedPlannerAI

Planner“端到端”感

知(現(xiàn)有主流架構(gòu))決策規(guī)劃模型化·BEV+Transformer

推動(dòng)感知方案性能提升

決策規(guī)劃模塊仍然基于規(guī)則仍然保留兩個(gè)模塊獨(dú)立訓(xùn)練，而預(yù)測(cè)與決策

規(guī)劃模塊神經(jīng)網(wǎng)絡(luò)化通過(guò)人工定義的方式制定接口模塊間以特征向量為輸出與輸出兩個(gè)模塊通過(guò)梯度傳導(dǎo)的方式同時(shí)訓(xùn)練沒(méi)有模塊間的明確劃分，是單一模型基

于RL或IL

等深度學(xué)習(xí)方式進(jìn)行模型訓(xùn)練融合趨勢(shì)下，“端到端”從感知走向決策，再走向聯(lián)合一體化。端到端自動(dòng)駕駛大模型One

Model端到端。(生成式Al大模型)隱式表達(dá)特征BEV

Feature圖：端到端自動(dòng)駕駛系統(tǒng)架構(gòu)演進(jìn)Source:

辰韜資本《端到端自動(dòng)駕駛行業(yè)研Rule-BasedLearning-Based模塊化聯(lián)合端到端JA

Z

z

Y

E

A

Rwww.jazzyear.comPlanning

Former14●口模塊化自動(dòng)駕駛系統(tǒng)面臨信息丟失、計(jì)算效率低、累積誤差以及維護(hù)成本等問(wèn)題，這些問(wèn)題難以回避，需要新的思路去解決?？?/p>

端到端自動(dòng)駕駛通過(guò)將傳感器收集到的全面信息作為輸入，在單一網(wǎng)絡(luò)中直接生成車(chē)輛的控制指令或運(yùn)動(dòng)規(guī)劃。這種設(shè)計(jì)使得整個(gè)系統(tǒng)針對(duì)最終

目標(biāo)進(jìn)行優(yōu)化，而非僅僅針對(duì)某個(gè)獨(dú)立的子任務(wù)，從而實(shí)現(xiàn)自動(dòng)駕駛性能的全局最優(yōu)化?？?/p>

隨著高質(zhì)量數(shù)據(jù)的不斷積累和模型的持續(xù)優(yōu)化，端到端架構(gòu)有望展現(xiàn)出比傳統(tǒng)模塊化架構(gòu)更優(yōu)越的自動(dòng)駕駛性能。圖：端到端自動(dòng)駕駛的特點(diǎn)與優(yōu)勢(shì)·

不僅感知模塊，決策規(guī)劃與控制模塊也由數(shù)據(jù)驅(qū)動(dòng)，實(shí)現(xiàn)全棧數(shù)據(jù)驅(qū)動(dòng)·

無(wú)需或僅需少量人工編碼、手寫(xiě)規(guī)則，簡(jiǎn)化開(kāi)發(fā)流程·

提升數(shù)據(jù)規(guī)模與質(zhì)量能夠顯著提升產(chǎn)品性能，不斷提升系統(tǒng)的能力上限·

端到端是一體化架構(gòu)，為汽車(chē)行駛的全局任務(wù)為統(tǒng)一目標(biāo)聯(lián)合訓(xùn)練

·

避免模塊化的單獨(dú)優(yōu)化·

不需要通過(guò)頻繁的patch和參數(shù)調(diào)整修正·

—體化的模型結(jié)構(gòu)能夠減少信息傳遞的延遲，加快系統(tǒng)反應(yīng)·

消除各模塊之間信息傳遞的誤差累積，全棧神經(jīng)網(wǎng)絡(luò)的上下層之間可以

做到全量信息傳遞PerformanceTime模塊化

端到端1

數(shù)據(jù)驅(qū)動(dòng)2

全局最優(yōu)

消除誤差瞄準(zhǔn)“全局最優(yōu)”,端到端路線的提出有望有效緩解模塊化架構(gòu)的弊端。Source:

公開(kāi)資料光智庫(kù)。www.jazzyeJAZ

zY

E

A

R15模仿學(xué)習(xí)(IL)行為克隆

(BC)通過(guò)監(jiān)督學(xué)習(xí)模仿

專(zhuān)家行為簡(jiǎn)單直接，易于實(shí)

現(xiàn)實(shí)現(xiàn)簡(jiǎn)單，計(jì)算效無(wú)法捕捉專(zhuān)家決策廣泛應(yīng)用，但面臨率高

據(jù)分泛化和魯棒性挑戰(zhàn)模仿學(xué)習(xí)(IL)逆最優(yōu)控制

(IOC)通過(guò)專(zhuān)家演示學(xué)習(xí)

獎(jiǎng)勵(lì)函數(shù)嘗試解釋專(zhuān)家行為

背后的意圖可能更好地理解任學(xué)習(xí)獎(jiǎng)勵(lì)函數(shù)困難，主要用于研究，實(shí)務(wù)結(jié)構(gòu)需要大量專(zhuān)家數(shù)據(jù)

際應(yīng)用較少?gòu)?qiáng)化學(xué)習(xí)(RL)強(qiáng)化學(xué)習(xí)(RL)通過(guò)試錯(cuò)學(xué)習(xí)最優(yōu)

策略能夠處理高維輸入

和連續(xù)動(dòng)作空間

上能學(xué)習(xí)更優(yōu)需

，

others策略蒸餾(PolicyDistillation)訓(xùn)練輔助網(wǎng)絡(luò)來(lái)指

導(dǎo)主網(wǎng)絡(luò)學(xué)習(xí)利用輔助網(wǎng)絡(luò)的知

識(shí)來(lái)提升主網(wǎng)絡(luò)性

能可以提高學(xué)習(xí)效率需要設(shè)計(jì)合適的輔研究階段，探索如和策略性能助網(wǎng)絡(luò)和訓(xùn)練策略

何有效傳遞知識(shí)others模型預(yù)測(cè)控制

(MPC)利用模型預(yù)測(cè)未來(lái)

狀態(tài)來(lái)進(jìn)行控制決

策考慮未來(lái)狀態(tài)，可

以?xún)?yōu)化長(zhǎng)期行為能夠考慮未來(lái)預(yù)測(cè)，計(jì)算成本高，需要

提高策略魯棒性

精確模型研究和特定應(yīng)用中

使用，需要進(jìn)一步

優(yōu)化戰(zhàn)進(jìn)挑有用中應(yīng)境實(shí)環(huán)真擬穩(wěn)計(jì)不和訓(xùn)練數(shù)據(jù)資源大量定算要略論策理敏感對(duì)數(shù)布偏復(fù)雜口模仿學(xué)習(xí)

(Imitation

Learning)和強(qiáng)化學(xué)習(xí)(Reinforcement

Learning)是當(dāng)前用于訓(xùn)練端到端神經(jīng)網(wǎng)絡(luò)的兩種主要方法?？谀７聦W(xué)習(xí)主要通過(guò)逆最優(yōu)控制(Inverse

Optimal

Control)和行為克隆(Behavior

Cloning)來(lái)實(shí)現(xiàn)，其核心理念是讓智能體通過(guò)模仿專(zhuān)家的行

為來(lái)學(xué)習(xí)最優(yōu)策略。而強(qiáng)化學(xué)習(xí)則是一種通過(guò)試錯(cuò)來(lái)學(xué)習(xí)的領(lǐng)域，其中獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)是一個(gè)關(guān)鍵挑戰(zhàn)。模仿學(xué)習(xí)與強(qiáng)化學(xué)習(xí)是端到端自動(dòng)駕駛的主要訓(xùn)練方法。Data

bufierπpLeamπ圖：端到端自動(dòng)駕駛背后的基本訓(xùn)練方法行為克隆

逆最優(yōu)控制強(qiáng)化學(xué)習(xí)www.jazzyea16路徑規(guī)劃路徑預(yù)測(cè)大語(yǔ)言模型仿真與測(cè)試人機(jī)交互/個(gè)性化大模型之于自動(dòng)駕駛汽車(chē)大視覺(jué)模型GAIA、SORA等感知決策一體化多模態(tài)大模型視覺(jué)理解與推理口大型語(yǔ)言模型、視覺(jué)模型(如世界模型)、以及多模態(tài)大型模型等基礎(chǔ)模型展現(xiàn)出了強(qiáng)大的能力，并且這些能力正在自動(dòng)駕駛技術(shù)的融合應(yīng)用中正在被積極開(kāi)發(fā)?？谶@些基礎(chǔ)模型通過(guò)預(yù)訓(xùn)練獲得了推理能力和豐富的知識(shí)，能夠升級(jí)傳統(tǒng)的基于規(guī)則的if-else系統(tǒng)。出色的泛化能力能夠應(yīng)對(duì)自動(dòng)駕駛技術(shù)發(fā)展中的挑戰(zhàn)，提升在感知、預(yù)測(cè)、規(guī)劃等關(guān)鍵領(lǐng)域的性能，升級(jí)自動(dòng)駕駛仿真和測(cè)試環(huán)節(jié)的技術(shù)手段。大視覺(jué)模型

(VFM)●

目標(biāo)檢測(cè)和跟蹤：VFM在3D

物體檢測(cè)和分割方面的能力，對(duì)于自動(dòng)駕駛的感知系統(tǒng)升級(jí)至關(guān)重要；●

仿真和測(cè)試：VFM的視頻生成能力，為創(chuàng)建逼真的駕駛場(chǎng)景提供了支持，這對(duì)于自動(dòng)駕駛系統(tǒng)的安全性和可靠性提

升有極大潛力。多模態(tài)大模型

(MFM)·

視覺(jué)理解與空間推理：MFM

結(jié)合了視覺(jué)和語(yǔ)言信息，展現(xiàn)出卓越的視覺(jué)理解和空間推理能力，對(duì)自動(dòng)駕駛系統(tǒng)的決

策過(guò)程至關(guān)重要；·

綜合感知與預(yù)測(cè)：MFM通過(guò)整合視覺(jué)和語(yǔ)言數(shù)據(jù)，提高了對(duì)環(huán)境的感知精度和對(duì)其他交通參與者行為的預(yù)測(cè)準(zhǔn)確性。大語(yǔ)言模型

(LLM)·推理和規(guī)劃：LLM

利用其在邏輯推理、代碼生成和翻譯方面的專(zhuān)長(zhǎng)，為自動(dòng)駕駛的路徑規(guī)劃和決策制定提供支持；

·用戶(hù)交互：通過(guò)理解自然語(yǔ)言并執(zhí)行用戶(hù)指令，LLM

使智能駕駛系統(tǒng)更加用戶(hù)友好，實(shí)現(xiàn)個(gè)性化體驗(yàn)；·

常識(shí)性駕駛知識(shí)：

LLM

的預(yù)訓(xùn)練能力使其能夠理解和應(yīng)用駕駛常識(shí)，可能替代傳統(tǒng)的基于規(guī)則的系統(tǒng)。各類(lèi)基礎(chǔ)模型有望為自動(dòng)駕駛帶來(lái)新維度上的能力。Gao,et

al.,A

Survewww.jazzyear.com視頻生成/世界模型Source:HaoxiangGPT-4Vision、LLaVA等ChatGPT、LLaMA等環(huán)境感知17目

錄CON下ENTSJA

Z.Z

Y

E

A

RPart

01發(fā)展背景：汽車(chē)智能化正加速普及

P02

光Part

02

創(chuàng)新思路：端到端自動(dòng)駕駛的價(jià)值

P09Part

03

廠商實(shí)踐：技術(shù)路線的選擇與踐行

P18Part04

未來(lái)展望：端到端的挑戰(zhàn)與未來(lái)式

P26JAZZ

Y

E

A

R18WAYVEDEEPROUTE.Ai元戎啟行comma.aiRoboticsapolloAlmomenTa

地

平

線Horzon

Robotlos黑芝麻智能HAOMO,AIT

EC

H

N

OLOGIE

SHUAWEI口端到端自動(dòng)駕駛正迅速成為自動(dòng)駕駛行業(yè)的新焦點(diǎn)，吸引了多種類(lèi)型的參與者投身于這一路線，涵蓋了車(chē)企、人工智能企業(yè)、自動(dòng)駕駛技術(shù)公司、機(jī)器人公司以及自動(dòng)駕駛芯片制造商?？?/p>

隨著對(duì)“端到端”理念的共識(shí)逐步建立，預(yù)計(jì)將有更多的企業(yè)加入這一行列，各自發(fā)揮專(zhuān)長(zhǎng)，共同推動(dòng)端到端自動(dòng)駕駛技術(shù)的繁榮發(fā)展。圖：端到端自動(dòng)駕駛行業(yè)代表玩家(不完全整理)乙ERON零一汽

車(chē)T

三與L

萬(wàn)小

鵬

長(zhǎng)成汽車(chē)NIO人工智能公司/自動(dòng)駕駛解決方案供應(yīng)商N(yùn)ote:

基于網(wǎng)絡(luò)公并信息的不完全整理

，

www.jazzyear.com

19一體化端到端模型模塊化聯(lián)合端到端端到端自動(dòng)駕駛部分廠商PhiGent鑒智機(jī)器人商湯sensetime車(chē)企/新勢(shì)力NVIDIABLACKSESAMEC口特斯拉無(wú)疑是電動(dòng)汽車(chē)和自動(dòng)駕駛行業(yè)的領(lǐng)軍者，它已于2024年1月向北美用戶(hù)正式推送FSD

V12,成為首家在量產(chǎn)車(chē)型上實(shí)現(xiàn)端到端自動(dòng)駕駛落地的公司?？?/p>

FSD

V12在復(fù)雜場(chǎng)景下展現(xiàn)了卓越的泛化能力，且其駕駛風(fēng)格不再局限于傳統(tǒng)的規(guī)則遵循，而是變得更加靈活，類(lèi)似于經(jīng)驗(yàn)豐富的駕駛員，能夠根據(jù)實(shí)際情況做出適應(yīng)性調(diào)整。口

特斯拉在端到端自動(dòng)駕駛算法領(lǐng)域的領(lǐng)先地位，得益于在FSD

真實(shí)里程積累和超大規(guī)模算力投入方面的深厚基礎(chǔ)，這也是特斯拉最大的競(jìng)爭(zhēng)優(yōu)勢(shì)。圖1:特斯拉算力儲(chǔ)備將在2024年10月達(dá)到100EFLOPS

圖2:特斯拉FSD

已經(jīng)累計(jì)開(kāi)了10億英里*相當(dāng)于30萬(wàn)塊NvidiaA100算力端自動(dòng)駕駛模型訓(xùn)練提供充沛算力。*該數(shù)據(jù)仍然在持續(xù)、快速上漲，賦能FSD

的迭代更新。Source:

光年智庫(kù)整理。

20TrainedOn

ExtremelyLargeComputein

Units

Of

A100

GPUs

Total

Amount

Of

Tesla

Compute1BFSD

Miles

Driven1000p00000800000.0006000000004000o0c00端到端玩家簡(jiǎn)析-特斯拉口

成立于2017年的Wayve,

是一家位于英國(guó)倫敦的自動(dòng)駕駛技術(shù)公司，以其創(chuàng)新的端到端機(jī)器學(xué)習(xí)技術(shù)而著稱(chēng)，專(zhuān)注于開(kāi)發(fā)具有高度適應(yīng)性和可擴(kuò)

展性的端到端自動(dòng)駕駛系統(tǒng)?！?/p>

Wayve在端到端自動(dòng)駕駛技術(shù)領(lǐng)域取得了顯著進(jìn)展，先后推出了大型語(yǔ)言模型LINGO-1/2,視覺(jué)生成模型GAIA-1,以及專(zhuān)為高級(jí)自動(dòng)駕駛仿真

訓(xùn)練和測(cè)試而設(shè)計(jì)的PRISM-1。Driving

ActionWayveVision

LanguageAction

ModelWayveVideo

input

VisionModelPRISM-1·僅依靠純視覺(jué)信息，即可進(jìn)行精確的4D

場(chǎng)景重建(空間+時(shí)間),用于自動(dòng)

駕駛的模擬仿真測(cè)試·增強(qiáng)其自動(dòng)駕駛技術(shù)的測(cè)試和訓(xùn)練·

同時(shí)發(fā)布了WayveScenes101

Benchmark

基準(zhǔn)數(shù)據(jù)集GAIA-1·能夠通過(guò)視頻、動(dòng)作和文本生成真實(shí)駕駛視頻的生成式AI世界模型·

生成多個(gè)合理的未來(lái)，時(shí)長(zhǎng)可達(dá)幾分鐘

·可通過(guò)語(yǔ)言、動(dòng)作進(jìn)行控制生成的內(nèi)容·能夠賦能自動(dòng)駕駛系統(tǒng)的訓(xùn)練LINGO-2·自動(dòng)駕駛領(lǐng)域首個(gè)視覺(jué)-語(yǔ)言-動(dòng)作模型·

使用自然語(yǔ)言訓(xùn)練，可解釋Al駕駛模型，顯著提升了系統(tǒng)的可解釋性·最新發(fā)布的LINGO-2

增加了人機(jī)交互

功能，司機(jī)可通過(guò)語(yǔ)言命令控制汽車(chē)圖：將世界模型融入自動(dòng)駕駛，Wayve

加速端到端—體化模型的研發(fā)迭代速度端到端玩家簡(jiǎn)析-Wayve

WAYVESource:Wayve?公開(kāi)資料，智庫(kù)Imageencoderaction

etexten

der4D

場(chǎng)景重建模型/合成數(shù)據(jù)www.jazzyear.comLearned

queriesText視頻生成模型VLAM

模型videodecoderTa21Learning-Based

2023.8更少的工程更多的數(shù)據(jù)

通用感知網(wǎng)絡(luò)

預(yù)測(cè)規(guī)劃網(wǎng)絡(luò)

控制

元戎的DeepRoute

IO方案，無(wú)需開(kāi)發(fā)、訓(xùn)練多個(gè)模型，將感知、預(yù)測(cè)、規(guī)劃等2022

全打通端到端模型實(shí)現(xiàn)輸入圖像后，直接輸出多傳感器融合

預(yù)測(cè)

地圖

定位

控制動(dòng)作決策

規(guī)劃

控制

·Mapfree

全域點(diǎn)到點(diǎn)·

更擅長(zhǎng)處理復(fù)雜路況2017

·

信息處理無(wú)減損目標(biāo)檢測(cè)目標(biāo)跟蹤后融合預(yù)測(cè)Rule-Based

更多的工程適量的數(shù)據(jù)

決策

規(guī)劃

控偉

地

圖

定位

Source:

元戎啟行光公開(kāi)資料，智

www.jazzyear.com

22口

元戎啟行于2024年北京車(chē)展上隆重推出了其即將量產(chǎn)的高端智能駕駛平臺(tái)DeepRoute

IO,該平臺(tái)采用了端到端自動(dòng)駕駛模型，標(biāo)志著元戎啟行成為國(guó)內(nèi)首批將端到端大型模型成功應(yīng)用于量產(chǎn)車(chē)輛的人工智能企業(yè)?！魿EO周光曾表示：“DeepRoute

IO平臺(tái)不依賴(lài)高精度地圖，應(yīng)用端到端模型，具有極佳的綜合性能以及更強(qiáng)的長(zhǎng)尾場(chǎng)景處理能力。目前，10平

臺(tái)已在城市線級(jí)不同的多個(gè)城市進(jìn)行泛化測(cè)試，這些等級(jí)不同的城市人口均超千萬(wàn)，道路情況極具代表性。1O

平臺(tái)推向消費(fèi)者市場(chǎng)后，所到之處都能開(kāi)，任何場(chǎng)景都好開(kāi)?！眻D：元戎啟行的端到端融合演進(jìn)路線端到端玩家簡(jiǎn)析-元戎啟行端到端模型開(kāi)展道路測(cè)試·

駕駛行為更加“人性化”JAZZY

E

A

RDEEPROUTE.Ai元戎啟行口商湯科技及其聯(lián)合實(shí)驗(yàn)室提出了行業(yè)內(nèi)首個(gè)感知與決策一體化的自動(dòng)駕駛通用模型UniAD,該模型榮獲了2023年CVPR

的最佳論文獎(jiǎng)。進(jìn)一步地

在2024年，商湯科技推出了適用于實(shí)車(chē)部署、面向量產(chǎn)的真正端到端自動(dòng)駕駛解決方案UniAD?！?/p>

UniAD模型將感知、決策、規(guī)劃等關(guān)鍵模塊整合到一個(gè)全棧的Transformer端到端模型中，通過(guò)聯(lián)合訓(xùn)練保留了各個(gè)模塊的特性。它實(shí)現(xiàn)了感知

與決策的一體化，同時(shí)保持了模塊化系統(tǒng)的優(yōu)勢(shì)，便于進(jìn)行問(wèn)題的回溯和分析。UniAD

包括四個(gè)基于Transformer

解碼器的感知、預(yù)測(cè)模塊和一個(gè)規(guī)劃器并不限于特定的Transformer

解碼器，可以加入其他的替代方

案進(jìn)行感知與BEV特征提取查詢(xún)Q

起到連接管道的作用，方便聯(lián)合訓(xùn)練與交互建模將各個(gè)任務(wù)進(jìn)行層級(jí)式的結(jié)合，并對(duì)不同任務(wù)間的信息進(jìn)行了

充分的交互通過(guò)端到端聯(lián)合訓(xùn)練避免了多任務(wù)訓(xùn)練的融合難題，實(shí)現(xiàn)全局

最優(yōu)，同時(shí)保留了分模塊系統(tǒng)的優(yōu)勢(shì)，可以拋出中間模塊的結(jié)

果進(jìn)行白盒化分析www.jazzyear.com

23真

·端到端UniAD統(tǒng)一的感知決策規(guī)劃模型

Learning-Based,聯(lián)合訓(xùn)練BackbonePerceptionSource:商湯科技

UniAD:Planning-orie兩段式端到端網(wǎng)絡(luò)感知模塊

Learning-Based端到端玩家簡(jiǎn)析-商湯絕影基于規(guī)則的網(wǎng)絡(luò)感知模塊

Learning-Based△

O

Ego-vchicleQueryB

BEV

Feature

TrackFormer攝像頭激光雷達(dá)毫米波雷達(dá)超聲波雷達(dá)高精地圖攝像頭激光雷達(dá)毫米波雷達(dá)超聲波雷達(dá)高精地圖攝像頭激光雷達(dá)毫米波雷達(dá)超聲波雷達(dá)SD地圖UniAD

的聯(lián)合訓(xùn)練實(shí)現(xiàn)方法MotionQPredictionUniAD

端到端解決方案演進(jìn)路徑?jīng)Q策規(guī)劃

Learning-BasedJ

A

Z

z

Y

E

A

R決策規(guī)劃

Rule-Based···

··Multi-viewVision-onlyInputOce

QBBird'seyeview

FeatureMotionFormerAgent-levelFeatureScene-levelFeatureMapFormerPlanningOccFormerPlannerMap

QTrack

QB口在2024年的520AI

Day上，小鵬汽車(chē)發(fā)布了其端到端大模型，該模型由三個(gè)關(guān)鍵組成部分構(gòu)成：XNet

感知神經(jīng)網(wǎng)絡(luò)、XPlanner

規(guī)劃控制大模型以及XBrain大語(yǔ)言模型?？?/p>

小鵬計(jì)劃讓其端到端智能駕駛大模型實(shí)現(xiàn)“每2天迭代一次”的快速更新周期。按照這一規(guī)劃，預(yù)計(jì)在未來(lái)18個(gè)月內(nèi)，小鵬的XNGP系統(tǒng)的能力將

實(shí)現(xiàn)30倍的提升(接管率指標(biāo))。圖：小鵬發(fā)布端到端大模型，面向旗下量產(chǎn)車(chē)型

小

朋

鵬感知規(guī)劃控制Source:

小鵬汽車(chē)光公開(kāi)資料，

智

24XPlanner·

基于神經(jīng)網(wǎng)絡(luò)的規(guī)劃大模型，是自動(dòng)駕駛汽車(chē)的“小腦”擁有“老司機(jī)般的腳法”,前后頓挫減少50%、違?？ㄋ罍p少

40%、安全接管減少60%·讓用戶(hù)舒適性、安全性體驗(yàn)大幅提升·深度視覺(jué)感知神經(jīng)網(wǎng)絡(luò)，是自動(dòng)駕駛汽車(chē)的“眼睛”·

聚合了動(dòng)態(tài)XNet、靜態(tài)XNet

和純視覺(jué)2K占用網(wǎng)絡(luò)·感知范圍提升2倍，面積可達(dá)1.8個(gè)足球場(chǎng)大小，能精準(zhǔn)識(shí)別50+個(gè)目標(biāo)物，讓用戶(hù)如同擁有鷹眼視覺(jué)·

具備理解學(xué)習(xí)能力，泛化能力提升，可處理復(fù)雜甚至未知場(chǎng)景系統(tǒng)能夠認(rèn)識(shí)待轉(zhuǎn)區(qū)、潮汐車(chē)道、特殊車(chē)道、路牌文字，秒懂

各種令行禁止、快慢緩急的行為指令，進(jìn)而做出兼顧安全、性

能的擬人駕駛決策端到端玩家簡(jiǎn)析-小鵬·Al大語(yǔ)言模型，是自動(dòng)駕駛汽車(chē)的“大腦”XNetJAZ

zY

E

A

RXPlannerXPlannerXBrainXNet十級(jí)華為歷代ADS智駕方案特性類(lèi)別ADS

1.0ADS

2.0ADS

3.0發(fā)布時(shí)間2021年4月2023年4月2024年4月軟件架構(gòu)BEVBEV+GOD網(wǎng)絡(luò)GOD網(wǎng)絡(luò)+PDP網(wǎng)絡(luò)核心功能NCA領(lǐng)航輔助(上海、廣州、深圳等)NCA領(lǐng)航輔助(全國(guó)高速、城區(qū))NCA領(lǐng)航輔助(全國(guó)高速、城區(qū)，實(shí)現(xiàn)

點(diǎn)到點(diǎn))搭載車(chē)型極狐阿爾法S、阿維塔11問(wèn)界M5/M7/M9,阿維塔11/12,智界S7享界S9(預(yù)計(jì)),后續(xù)有

更多品牌與車(chē)型加入口華為在2024年4月推出了新品牌乾崑及其新一代智能駕駛解決方案ADS3.0,該方案以GOD網(wǎng)絡(luò)和PDP網(wǎng)絡(luò)為核心，實(shí)現(xiàn)了端到端的智能駕駛□

GOD大網(wǎng)絡(luò)具備識(shí)別白名單和異形障礙物的能力，同時(shí)能夠感知道路結(jié)構(gòu)和場(chǎng)景語(yǔ)義，從而更全面地理解駕駛環(huán)境。而PDP預(yù)測(cè)決策與規(guī)劃網(wǎng)絡(luò)

的加入，顯著提升了方案的通行效率，使得復(fù)雜路口的通過(guò)率達(dá)到96%以上。通過(guò)快速的更新迭代，ADS

3.0將能幫助車(chē)主實(shí)現(xiàn)“越開(kāi)越好開(kāi)”

和“行駛更類(lèi)人”的目標(biāo)。相較于ADS2.0,ADS3.0在感知部分采用GOD大感知網(wǎng)絡(luò)，決策規(guī)劃

部分采用PDP網(wǎng)絡(luò)，完成了決策規(guī)劃模塊的神經(jīng)網(wǎng)絡(luò)化；ADS

3.0可實(shí)現(xiàn)車(chē)位到車(chē)位的NCA領(lǐng)航輔助功能，實(shí)現(xiàn)從公開(kāi)道路到園區(qū)道路再到地下車(chē)位全場(chǎng)景貫通；云端訓(xùn)練，快速迭代：學(xué)習(xí)訓(xùn)練算力達(dá)3.5E

FLOPS,每天學(xué)習(xí)里程

3000萬(wàn)+公里，5天一次模型更新速度。PDP

網(wǎng)絡(luò)GOD

網(wǎng)絡(luò)端到端玩家簡(jiǎn)析-華為乾崑華為乾崑ADS3.0架構(gòu)感知

(理解駕駛場(chǎng)景)

預(yù)測(cè)與決策LidarNavigationSource:

公開(kāi)資料光智庫(kù)整理。www.jazzyear.com

25JAZ

zY

E

A

RVisionRadar預(yù)決策規(guī)劃一張網(wǎng)運(yùn)動(dòng)控制目

錄CON下ENTSJAZ.ZY

EA

RPart

02

創(chuàng)新思路：端到端自動(dòng)駕駛的價(jià)值

P09Part

04

未來(lái)展望：端到端的挑戰(zhàn)與未來(lái)式

P26Part

03

廠商實(shí)踐：技術(shù)路線的選擇與踐行

P18發(fā)展背景：汽車(chē)智能化正加速普及JAZZY

E

A

RPart01P02光26口盡管端到端架構(gòu)相較于傳統(tǒng)的模塊化自動(dòng)駕駛展現(xiàn)出了諸多優(yōu)勢(shì)，并且吸引了眾多汽車(chē)制造商、科技公司以及其他自動(dòng)駕駛領(lǐng)域的企業(yè)參與，端到端自動(dòng)駕駛在落地和商業(yè)化方面仍然面臨諸多挑戰(zhàn)?？?/p>

構(gòu)建所需的強(qiáng)大算力、獲取用于模型訓(xùn)練的高質(zhì)量海量數(shù)據(jù)，以及端到端大模型的“不透明性”和“解釋性不足”,都是制約產(chǎn)品性能提升和安全保障的關(guān)鍵問(wèn)題，需要行業(yè)各方共同努力，攜手解決?！?/p>

與大語(yǔ)言模型剛問(wèn)世時(shí)類(lèi)似，端到端的訓(xùn)練方式讓模型不可避免

地存在不可解釋性·

自動(dòng)駕駛的“失效成本”很高，

強(qiáng)調(diào)安全底線，需要設(shè)置額外的

完全邊界做冗余·

大模型需要大

算

力

，需要廠商不斷提升GPU的采購(gòu)規(guī)模，這意味

著端到端模型的訓(xùn)練成本非常高昂·

AI

廠商均在算力層面的投入，但

國(guó)內(nèi)GPU的限制仍是挑戰(zhàn)

系統(tǒng)的安全性保障www.jazzyea

27·

大模型需要大數(shù)據(jù)，本質(zhì)上來(lái)講，端到端自動(dòng)駕駛是海量駕駛視頻

片段的學(xué)習(xí)(壓縮與升華)需要極大規(guī)模的高質(zhì)量數(shù)據(jù)，采

集、清洗、篩選都是難點(diǎn)

技術(shù)路線不確定Source:

公開(kāi)資料光智庫(kù)整理。算力、數(shù)據(jù)與可解釋性，是端到端模型上車(chē)的主要挑戰(zhàn)。

優(yōu)質(zhì)大規(guī)模數(shù)據(jù)

缺乏驗(yàn)證方法2

弱解釋性問(wèn)題1

巨額投入成本團(tuán)隊(duì)組織變革車(chē)企特斯拉Dojo智算中心100000

PFLOPS長(zhǎng)安長(zhǎng)安智算中心1420

PFLOPS吉利星睿智算中心810

PFLOPS理