2023中國(guó)智駕大模型應(yīng)用報(bào)告

2023中國(guó)智駕大模型應(yīng)用研究報(bào)告目錄CONTENTS

智駕大模型發(fā)展綜述01大模型技術(shù)發(fā)展歷程01大模型適合應(yīng)用智駕產(chǎn)業(yè)原因挖掘如何定義智駕大模型02智駕大模型在云邊端一體化的技術(shù)應(yīng)用探索02智駕大模型技術(shù)應(yīng)用總覽智駕大模型產(chǎn)業(yè)應(yīng)用探索03智駕大模型產(chǎn)業(yè)布局情況分析03產(chǎn)業(yè)鏈概況與產(chǎn)業(yè)圖譜典型玩家布局情況分析04智駕大模型面臨挑戰(zhàn)與發(fā)展建議04智駕大模型面臨的挑戰(zhàn)智駕大模型未來(lái)發(fā)展建議目錄CONTENTS

智駕大模型在云邊端一體化的技術(shù)應(yīng)用探索01 智駕大模型發(fā)展綜述大模型技術(shù)發(fā)展歷程01 智駕大模型發(fā)展綜述大模型技術(shù)發(fā)展歷程大模型適合應(yīng)用智駕產(chǎn)業(yè)原因挖掘如何定義智駕大模型02智駕大模型產(chǎn)業(yè)應(yīng)用探索03智駕大模型產(chǎn)業(yè)布局情況分析03產(chǎn)業(yè)鏈概況與產(chǎn)業(yè)圖譜典型玩家布局情況分析04智駕大模型面臨挑戰(zhàn)與發(fā)展建議04智駕大模型面臨的挑戰(zhàn)智駕大模型未來(lái)發(fā)展建議數(shù)據(jù)來(lái)源：億歐智庫(kù)數(shù)據(jù)來(lái)源：億歐智庫(kù)1.1應(yīng)運(yùn)而生，促進(jìn)2023年智駕相關(guān)大模型開(kāi)始涌現(xiàn)19501998型發(fā)展的基礎(chǔ)。2006年-2019年，以Transformer為代表的卷積神經(jīng)網(wǎng)絡(luò)模型開(kāi)始出現(xiàn)，模型的性能開(kāi)始加速上升。2020年之后，卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)量或模型層數(shù)急劇上升，多個(gè)通用類模型出現(xiàn)，其中，以GPT-4為主的多模態(tài)預(yù)訓(xùn)練大模型引起了廣泛的關(guān)注。20212023DriveGPT等。性能語(yǔ)言類大模型CV類大模型語(yǔ)言類大模型CV類大模型智駕相關(guān)大模型阿里巴巴M6華為GoogleSwitchtransformer導(dǎo)入期OpenAIGPT4Google百度UniSimNVDIAMT-NLGOpenAI開(kāi)發(fā)期微軟GoogleT5毫末DriveGPTUniADOpenAIGPT2BEV+TransformerThinkTwiceGANGoogle Bert微軟OpenAIDALL-E2et-5 基于規(guī)則的少量數(shù)據(jù)處理

億歐智庫(kù)：大模型發(fā)展歷程

成長(zhǎng)期1950

1998

2006

2014

2018

2019 2020 2021 2022 2023 時(shí)間1.2.1數(shù)據(jù)端：基于的融合架構(gòu)，可使大規(guī)模多模態(tài)數(shù)據(jù)更好地融合（（于提高整體感知融合精度。億歐智庫(kù)：多傳感器的融合趨勢(shì)變化 億歐智庫(kù)：基于架構(gòu)的特征級(jí)感知融合方案優(yōu)勢(shì)目標(biāo)級(jí)融合/后融合 目標(biāo)級(jí)融合/后融合 激光雷達(dá) 毫米波雷達(dá) 攝像頭 達(dá) 毫米波雷達(dá) 輪速計(jì) IMU

視覺(jué)算法 點(diǎn)云算法 毫米波雷達(dá)感知算法毫米波雷達(dá)感知算法數(shù)據(jù)同步（時(shí)間、空間同步）數(shù)據(jù)級(jí)融合數(shù)據(jù)同步（時(shí)間、空間同步）數(shù)據(jù)級(jí)融合

輪速計(jì)

IMU

目標(biāo)級(jí)融合（后融合）劣勢(shì)：關(guān)鍵信息容易丟失、整體融合精度低雖然方案整體的算法開(kāi)發(fā)難度較低，但有效信息容易缺失，易引起感知系統(tǒng)誤報(bào)、漏報(bào)等問(wèn)題。數(shù)據(jù)級(jí)融合（前融合）優(yōu)勢(shì)：關(guān)鍵信息不易丟失、融合效果好誤差大特征級(jí)融合（中融合）

可能是卡車，體積3X3X3可能是卡車，體積3X3X2可能是卡車，體積3X3X7自車可能是卡車，體積3X3X3可能是卡車，體積3X3X2可能是卡車，體積3X3X7自車可能是卡車，體積2X3X7無(wú)法判斷

卡爾曼濾波基于規(guī)則的算法識(shí)別難度大，融識(shí)別難度大，融合復(fù)雜且低效目標(biāo)級(jí)融合（后融合）車輪、油箱、煙囪、窗戶等車輪、油箱、煙囪、窗戶等車輪、油箱、煙囪、窗戶等車輪、油箱、煙囪、窗戶等窗戶、車身、挖掘機(jī)等自車車身、輪子等車身、輪子等融合效果好，容融合效果好，容易識(shí)別目標(biāo)物特征級(jí)融合（中融合）結(jié)果匯總目標(biāo)識(shí)別 頭 結(jié)果匯總目標(biāo)識(shí)別 激光雷達(dá) 毫米波雷達(dá) 輪速計(jì) IMUIMU

特征提取 特征提取 特征提取 特征提取 特征提取

之間融合效果較好匯總識(shí)別特征級(jí)融合劣勢(shì)：算力消耗大、不同模態(tài)間語(yǔ)義差異較大匯總識(shí)別特征級(jí)融合取后，再進(jìn)行融合，其是目前架構(gòu)下，較常用的一種融合方式。

特斯拉在2021年的AIDAY上，展示過(guò)一個(gè)大型卡車路過(guò)自車的場(chǎng)景，在某個(gè)時(shí)刻卡車同時(shí)出現(xiàn)在5個(gè)攝像頭（共8顆攝像頭）中，但是每個(gè)攝像頭可能只露出了卡車部分車體。對(duì)于傳統(tǒng)規(guī)則算法（比如卡爾曼濾波），再將檢測(cè)結(jié)果進(jìn)行融合，但該方法只識(shí)別出了部分卡車車體特征，仍需要對(duì)看不到的部分進(jìn)行拼接，最終可能使得模型感知結(jié)果的誤差較大。遮擋區(qū)域的目標(biāo)，提高識(shí)別與融合精度。數(shù)據(jù)來(lái)源：公開(kāi)資料、億歐智庫(kù)數(shù)據(jù)來(lái)源：公開(kāi)資料、億歐智庫(kù)如何降本增效如何降本增效cornercase億歐智庫(kù)：自動(dòng)駕駛在數(shù)據(jù)處理中面臨的痛點(diǎn)低效率低效率?高價(jià)值數(shù)據(jù)的比例低高價(jià)值數(shù)據(jù)通常指的是cornercase（即長(zhǎng)尾場(chǎng)景數(shù)據(jù)），隨著L2級(jí)以上的自動(dòng)駕駛功能不斷演進(jìn)，越來(lái)越多的cornercase會(huì)被挖掘出來(lái)，從而轉(zhuǎn)換為commoncase。但是，通過(guò)采集車收集回來(lái)的數(shù)據(jù)，由于數(shù)據(jù)量有限，使得cornercase的比例會(huì)越來(lái)越低。?各類型數(shù)據(jù)的需求同步難?數(shù)據(jù)處理的自動(dòng)化程度低高成本?地圖數(shù)據(jù)采集成本高：在無(wú)圖技術(shù)仍未成熟下，無(wú)論是重圖方案還是輕圖方案，量產(chǎn)車的定位仍然需要高精地圖或?qū)Ш降貓D的支持。據(jù)公開(kāi)資料顯示，地圖精度達(dá)到10厘米級(jí)別時(shí)，每公里測(cè)量成本為元，而精度達(dá)到1厘米級(jí)別時(shí)，每公里的測(cè)量成本則飆升至1000元。?數(shù)據(jù)標(biāo)注成本高：5元/張，而自動(dòng)駕駛所需的數(shù)據(jù)體量約幾十億張，可見(jiàn)數(shù)據(jù)標(biāo)注的成本非常高。?數(shù)據(jù)存儲(chǔ)成本高：Robotaxi單臺(tái)車每天產(chǎn)生4000GB數(shù)據(jù)量，按照亞馬遜的收費(fèi)標(biāo)準(zhǔn)來(lái)看，存儲(chǔ)一年的成本約35萬(wàn)美元（折合人民幣約244萬(wàn)元）。億歐智庫(kù)：數(shù)據(jù)閉環(huán)為主機(jī)廠帶來(lái)的降本增效優(yōu)勢(shì)處理/采樣/篩檢專業(yè)測(cè)試車輛數(shù)據(jù)生成輸入/快遞/存儲(chǔ)處理/采樣/篩檢專業(yè)測(cè)試車輛數(shù)據(jù)生成輸入/快遞/存儲(chǔ)...訓(xùn)練控制邏輯驗(yàn)證場(chǎng)景編輯結(jié)果生成/分析標(biāo)注、大模型應(yīng)用重復(fù)（下一步）模擬/存儲(chǔ)軟件仿真模擬社會(huì)化量產(chǎn)車輛壓縮/加密/轉(zhuǎn)換OTA升級(jí)優(yōu)化車端模型部署仿真測(cè)試模型訓(xùn)練數(shù)據(jù)標(biāo)注應(yīng)用部署數(shù)據(jù)采集?降本減少車端無(wú)效數(shù)據(jù)的采集制定合理的數(shù)據(jù)存儲(chǔ)方案?增效優(yōu)化車端采集數(shù)據(jù)的邏輯強(qiáng)化模型的訓(xùn)練和部署能力優(yōu)化工具鏈數(shù)據(jù)來(lái)源：朱西產(chǎn)教授公開(kāi)演講、億歐智庫(kù)；ODD：OperationalDesignDomain（運(yùn)行設(shè)計(jì)域）數(shù)據(jù)來(lái)源：朱西產(chǎn)教授公開(kāi)演講、億歐智庫(kù)；ODD：OperationalDesignDomain（運(yùn)行設(shè)計(jì)域）L2L3L3感知挑戰(zhàn)基于規(guī)則的算法模型識(shí)別與融合精度低感知挑戰(zhàn)基于規(guī)則的算法模型識(shí)別與融合精度低ODD范圍擴(kuò)大基于的算法模型提取多模態(tài)數(shù)據(jù)特征，增加融合精度建立3D鳥(niǎo)瞰圖空間，增強(qiáng)拓?fù)湫畔⒃黾訒r(shí)序信息，提升未知物體感知效果定位挑戰(zhàn)有圖方案地圖采集成本高地圖更新頻率慢、鮮度低合規(guī)要求高去高精地圖輕圖&無(wú)圖實(shí)時(shí)建立局部拓?fù)涞貓D采用SDMap或者眾包地圖+L0~L2：用戶期待<系統(tǒng)能力，系統(tǒng)被認(rèn)為是安全的L3+L0~L2：用戶期待<系統(tǒng)能力，系統(tǒng)被認(rèn)為是安全的L3L4~L5：用戶期待=系統(tǒng)能力，系統(tǒng)被認(rèn)為是安全的L5L4人的接受程度（安全感）恐怖谷L2L0L1自動(dòng)駕駛能力提升L3-用戶期待<系統(tǒng)能力安全用戶期待>系統(tǒng)能力 用戶期待=系統(tǒng)能不安全 安全L3本從人轉(zhuǎn)移到車端，系統(tǒng)需要具備處理更復(fù)雜的極端場(chǎng)景能力L3本從人轉(zhuǎn)移到車端，系統(tǒng)需要具備處理更復(fù)雜的極端場(chǎng)景能力駕駛員駕駛工作駕駛操作和周邊監(jiān)控突發(fā)情況的冗余安全更復(fù)雜的交通規(guī)則：線、環(huán)島等更高要求的地圖覆蓋率：動(dòng)態(tài)道路信息

的關(guān)鍵，是的理解，處理能力數(shù)據(jù)來(lái)源：專家訪談、億歐智庫(kù)數(shù)據(jù)來(lái)源：專家訪談、億歐智庫(kù)研專家E：全與其它垂域模型是不相同的。 研專家E：全與其它垂域模型是不相同的。 專家D：自動(dòng)駕駛大模型是在云端部署文本單模態(tài)通用大型語(yǔ)言模型或多模態(tài)通用類語(yǔ)言大模型，在邊緣端部署垂域BEV多模態(tài)大模型，最后在移動(dòng)端實(shí)現(xiàn)局部自主。ChatGPT產(chǎn) 專家A： 專家B：當(dāng)一個(gè)模型在多模態(tài)預(yù)訓(xùn)練領(lǐng)域有一定突破 自動(dòng)駕駛大模型一方面需要模型后，它既能處理文字信息，也能處理圖片信 參數(shù)量達(dá)到至少10B到100B的息，同時(shí)也能對(duì)一些自動(dòng)駕駛模型做出一點(diǎn) 規(guī)模，另一方面預(yù)訓(xùn)練數(shù)據(jù)需要微調(diào)，這類模型可以稱之為自動(dòng)駕駛大模型。 達(dá)到500萬(wàn)至1000萬(wàn)幀的圖像專家C：個(gè)任務(wù)，最終形成一個(gè)基于Transformer網(wǎng)絡(luò)架構(gòu)的端到端的模型。部署難度高：產(chǎn) 專家A： 專家B：當(dāng)一個(gè)模型在多模態(tài)預(yù)訓(xùn)練領(lǐng)域有一定突破 自動(dòng)駕駛大模型一方面需要模型后，它既能處理文字信息，也能處理圖片信 參數(shù)量達(dá)到至少10B到100B的息，同時(shí)也能對(duì)一些自動(dòng)駕駛模型做出一點(diǎn) 規(guī)模，另一方面預(yù)訓(xùn)練數(shù)據(jù)需要微調(diào)，這類模型可以稱之為自動(dòng)駕駛大模型。 達(dá)到500萬(wàn)至1000萬(wàn)幀的圖像專家C：個(gè)任務(wù)，最終形成一個(gè)基于Transformer網(wǎng)絡(luò)架構(gòu)的端到端的模型。部署難度高：劃等。數(shù)據(jù)維度廣：語(yǔ)音等多模態(tài)數(shù)據(jù)，相比于語(yǔ)言類NLP模型（僅針對(duì)文本數(shù)據(jù)為主），型能夠有一定自我認(rèn)知能力。模型設(shè)計(jì)復(fù)雜：自動(dòng)駕駛大模型兼具了通用類大模型自上而下的學(xué)習(xí)方式，會(huì)解決不同類型系統(tǒng)任務(wù)。同時(shí)，在車端橫向上需要采用端到端的學(xué)習(xí)方式，將各子任務(wù)統(tǒng)一到一個(gè)框架內(nèi)，實(shí)現(xiàn)更好的自動(dòng)駕駛算法效果。多模態(tài)輸入：確性。自監(jiān)督學(xué)習(xí)：幅減少對(duì)標(biāo)注數(shù)據(jù)的依賴。端到端學(xué)習(xí)范式：個(gè)模塊之間的信息傳遞和集成問(wèn)題。大規(guī)模參數(shù)：力和泛化能力。智駕大模型與通用類大模型的差異智駕大模型的特征從產(chǎn)學(xué)研角度的不同定義數(shù)據(jù)來(lái)源：億歐智庫(kù)數(shù)據(jù)來(lái)源：億歐智庫(kù)仿真建模等工作。在邊端，通過(guò)垂域的模型來(lái)完成多模態(tài)數(shù)據(jù)融合和實(shí)時(shí)建圖工作。在車端，主要是先利用云端已預(yù)處理并標(biāo)注的真值數(shù)據(jù)和仿真生成的數(shù)據(jù)來(lái)訓(xùn)練和優(yōu)化邊緣端垂域模型，然后投喂給車端的小模型。億歐智庫(kù)：大模型賦能智駕系統(tǒng)的流程 億歐智庫(kù)：基于端到端的自動(dòng)駕駛大模型傳感器感知預(yù)測(cè)規(guī)劃傳感器感知預(yù)測(cè)規(guī)劃控制提升算法性能大模型數(shù)據(jù)挖掘自動(dòng)標(biāo)注生成仿真環(huán)境采集評(píng)估仿真訓(xùn)練數(shù)據(jù)生成車端邊端云端端到端自動(dòng)駕駛實(shí)時(shí)建圖規(guī)劃控制3D感知融合感知預(yù)測(cè)傳感器端到端自動(dòng)駕駛模型控制端到端方案：模塊化方案帶來(lái)的問(wèn)題：模塊化方案帶來(lái)的問(wèn)題：端到端方案優(yōu)勢(shì)：01智駕大模型發(fā)展綜述01大模型技術(shù)發(fā)展歷程大模型適合應(yīng)用智駕產(chǎn)業(yè)原因挖掘02 02 智駕大模型技術(shù)應(yīng)用總覽智駕大模型產(chǎn)業(yè)應(yīng)用探索目錄CONTENTS

智駕大模型產(chǎn)業(yè)布局情況分析03產(chǎn)業(yè)鏈概況與產(chǎn)業(yè)圖譜03典型玩家布局情況分析04智駕大模型面臨挑戰(zhàn)與發(fā)展建議04智駕大模型面臨的挑戰(zhàn)智駕大模型未來(lái)發(fā)展建議數(shù)據(jù)來(lái)源：億歐智庫(kù)數(shù)據(jù)來(lái)源：億歐智庫(kù)注、模型訓(xùn)練、仿真測(cè)試組成了云端的主要基礎(chǔ)功能；在平臺(tái)架構(gòu)層，由云服務(wù)器支持四個(gè)主要的平臺(tái)工具鏈。2D3D3D識(shí)別檢測(cè)；在基礎(chǔ)功能層，分別通過(guò)3DBEV架構(gòu)下的特征提取后，來(lái)實(shí)現(xiàn)建圖和識(shí)別檢測(cè)功能；在平臺(tái)架構(gòu)層，BEV技術(shù)可以提供全局視角的環(huán)境感知，有助于提高自動(dòng)駕駛系統(tǒng)在復(fù)雜場(chǎng)景下的表現(xiàn)，而Transformer作為基于自注意力機(jī)制的深度學(xué)習(xí)模型，提高了自動(dòng)駕駛的系統(tǒng)性能。億歐智庫(kù)：智駕大模型云邊端一體化的技術(shù)解決方案總覽云端 邊端 車端實(shí)時(shí)局部建圖多模態(tài)輸入應(yīng)用層多模態(tài)輸入基 數(shù)

文本語(yǔ)音圖像視頻通用類大模型數(shù)據(jù)解析與清洗 數(shù)通用類大模型

云磁盤存儲(chǔ)

多模態(tài)數(shù)據(jù)多模態(tài)輸出垂域智駕大模型多模態(tài)輸出剪枝/量

AIGC

2D->3D實(shí)時(shí)局部建圖圖像特征提取實(shí)時(shí)局部建圖圖像特征提取空間映射外參轉(zhuǎn)換要素檢測(cè)拓?fù)涞貓D構(gòu)建圖像特征提取3圖像特征提取

感知算法 定位 決策規(guī)劃算法 感知算法定位決策規(guī)劃算法控制算法端到端的感知決策一體化模型視覺(jué)算法全局路徑規(guī)劃視覺(jué)算法全局路徑規(guī)劃礎(chǔ) 數(shù) 處功據(jù)功管能 理 數(shù)據(jù)層 傳輸云服務(wù)器標(biāo)注工具平臺(tái)平臺(tái)架構(gòu)層云服務(wù)器標(biāo)注工具平臺(tái)

時(shí)間同步、抽幀 存脫敏脫密/匿名化通過(guò)4G/5G上傳 數(shù)標(biāo)通過(guò)充電樁/換電設(shè)備模型評(píng)測(cè)平臺(tái)訓(xùn)練工具平臺(tái)WiFi/藍(lán)牙上傳模型評(píng)測(cè)平臺(tái)訓(xùn)練工具平臺(tái)

對(duì)象存儲(chǔ)動(dòng)態(tài)標(biāo)注靜態(tài)標(biāo)注車聯(lián)網(wǎng)中間件SoC芯片BEV架構(gòu)仿真工具平臺(tái)通用障礙物標(biāo)注車聯(lián)網(wǎng)中間件SoC芯片BEV架構(gòu)仿真工具平臺(tái)

模 餾型 模型微調(diào)訓(xùn)練 模型測(cè)評(píng)價(jià)

仿 NeRF真 仿真模型測(cè)試 仿真場(chǎng)景場(chǎng)景測(cè)試

D BEV下的特征級(jí)融合BEV下的特征級(jí)融合行為決策點(diǎn)云算法決策規(guī)劃模塊運(yùn)動(dòng)規(guī)劃雷達(dá)算法感知模塊識(shí)BEV下的特征級(jí)融合行為決策點(diǎn)云算法決策規(guī)劃模塊運(yùn)動(dòng)規(guī)劃雷達(dá)算法感知模塊動(dòng)態(tài)/靜態(tài)BEV網(wǎng)絡(luò)SD地圖控制模塊橫向控制定位模塊別 動(dòng)態(tài)/靜態(tài)BEV動(dòng)態(tài)/靜態(tài)BEV網(wǎng)絡(luò)SD地圖控制模塊橫向控制定位模塊檢占用模型Occupancy融合定位縱向控制測(cè) 占用模型Occupancy占用模型Occupancy融合定位縱向控制Transformer模型架構(gòu) 感知系統(tǒng)定位系統(tǒng)決策規(guī)劃系統(tǒng)控制系統(tǒng)Transformer模型架構(gòu)感知系統(tǒng)定位系統(tǒng)決策規(guī)劃系統(tǒng)控制系統(tǒng)數(shù)據(jù)來(lái)源：百度、億歐智庫(kù)數(shù)據(jù)來(lái)源：百度、億歐智庫(kù)開(kāi)發(fā)成本高、開(kāi)發(fā)周期長(zhǎng)且效率低。億歐智庫(kù)：智駕大模型云端技術(shù)解決方案數(shù)據(jù)管理平臺(tái)

數(shù)據(jù)標(biāo)注平臺(tái)

模型訓(xùn)練平臺(tái)

仿真測(cè)試平臺(tái) 場(chǎng)景庫(kù) 場(chǎng)景挖掘 Log-to-world 場(chǎng)景庫(kù) 場(chǎng)景挖掘 Log-to-world數(shù)據(jù)存儲(chǔ)管理多模態(tài)數(shù)據(jù)標(biāo)注圖片點(diǎn)云語(yǔ)音…模型訓(xùn)練模型評(píng)測(cè)工作流引擎調(diào)度服務(wù)算法框架數(shù)據(jù)處理分析高價(jià)值數(shù)據(jù)集數(shù)據(jù)處理分析高價(jià)值數(shù)據(jù)集數(shù)據(jù)挖掘算法提效標(biāo)注預(yù)標(biāo)輔助質(zhì)檢數(shù)據(jù)挖掘算法提效標(biāo)注預(yù)標(biāo)輔助質(zhì)檢

加速模型迭代

SIL/仿真測(cè)試MIL仿真測(cè)試原始數(shù)據(jù)采樣回流算法迭代

工作流數(shù)據(jù)清洗回流 感數(shù)據(jù)清洗結(jié)果 訓(xùn)

工作流下發(fā)

送標(biāo)標(biāo)注真值數(shù)據(jù)真值json真值XMLMark圖…標(biāo)注真值數(shù)據(jù)真值json真值XMLMark圖…真值送訓(xùn)、送評(píng)真值BadCase采集/挖掘任務(wù)

訓(xùn)練算法迭代樣本數(shù)據(jù)增加訓(xùn)練數(shù)據(jù)算法迭代樣本數(shù)據(jù)

下發(fā)推理服務(wù)迭代模型推理結(jié)果推理服務(wù)迭代模型存儲(chǔ)回流模塊回流報(bào)告結(jié)論仿真回放存儲(chǔ)回流模塊回流報(bào)告結(jié)論仿真回放

收集結(jié)果更新特征回流結(jié)果算法引擎 感知算法 收集結(jié)果更新特征回流結(jié)果算法引擎感知算法規(guī)控算法指標(biāo)評(píng)估算法迭代需求指標(biāo)評(píng)估數(shù)據(jù)來(lái)源：特斯拉、毫末智行、億歐智庫(kù)數(shù)據(jù)來(lái)源：特斯拉、毫末智行、億歐智庫(kù)3D億歐智庫(kù)：架構(gòu)

可解決的部分cornercasekeyvaluequerykeyvaluequeryImage-to-BEVtransform+multi-camerafusionMLPpoolcontextsummarypositionalencodermulti-scalefeaturesmulti-scalefeaturesmulti-scalefeaturesRegNetrawrawrawMainMainMainRegNetRegNetBiFPNBiFPNBiFPN

億歐智庫(kù)：毫末智行人駕自監(jiān)督認(rèn)知大模型行人和其他交通參與者。應(yīng)對(duì)惡劣天氣條件。合不同類型傳感器，從而補(bǔ)足攝像頭的不足之處。預(yù)測(cè)異常行為。借助全局視角，BEV能更準(zhǔn)確地跟蹤和預(yù)測(cè)行人和其他交通參與者地動(dòng)態(tài)。狹窄或遮擋的道路。個(gè)更全面的視圖。并車和交通合流。憑借全局視角可以清晰地了解車輛周圍的交

高水平駕駛數(shù)據(jù)普通司機(jī)駕駛數(shù)據(jù)

期望擬合效果期望擬合效果通狀況。從BEV（2D）到占用網(wǎng)絡(luò)（3D），感知效率全面提升BEV架構(gòu)的缺點(diǎn)：BEV架構(gòu)獲取的圖像仍然是一個(gè)2D圖像，缺少高度信息，無(wú)法真實(shí)反映出目標(biāo)物在3D是多少。雖然BEV架構(gòu)也可以將圖像映射出3D空間模型，但也是通過(guò)矩陣框的形式，易導(dǎo)致一定的信息誤差。OccupancyNetworks（占用網(wǎng)絡(luò)）：在2022年發(fā)布，為了解決BEV架構(gòu)的問(wèn)題，它的核心思想是把3D空間分為大小一致的網(wǎng)格單元（Gridcell），然后判斷每個(gè)單元（Cell）用。該算法優(yōu)勢(shì)是：實(shí)現(xiàn)了BEV從2D到3D的優(yōu)化有效解決了垂直高度上不同立方體的空間占用情況實(shí)時(shí)預(yù)測(cè)被遮擋物體的狀態(tài)10ms內(nèi)可以完成計(jì)算，處理頻率很高解決了目標(biāo)檢測(cè)的長(zhǎng)尾問(wèn)題

毫末智行在2023年的AIDAY上發(fā)布了自動(dòng)駕駛認(rèn)知大模型（人駕自監(jiān)督認(rèn)知大模型），并正式升級(jí)為DriveGPT。?該認(rèn)知決策算法進(jìn)化分為三個(gè)階段：第一個(gè)階段：擬合人駕行為；第二個(gè)階段：通過(guò)Prompt的方式實(shí)現(xiàn)認(rèn)知決策的可控、可解釋；第三個(gè)階段：引入真實(shí)接管數(shù)據(jù)，并在大模型中開(kāi)始使用RLHF算法，讓模型學(xué)習(xí)人駕接管數(shù)據(jù)。為了更好地?cái)M合模型，毫末智行構(gòu)建了一套獎(jiǎng)勵(lì)規(guī)則（即獎(jiǎng)勵(lì)模型，rewardmodel）：在同一個(gè)駕駛環(huán)境下，如果人類駕駛行為和算法決策一致，不選擇接管，計(jì)為一個(gè)goodcasebadcase。通過(guò)把goodcase和badcase這種“好壞”的價(jià)值判斷模數(shù)據(jù)來(lái)源：公開(kāi)資料、億歐智庫(kù)；*int8為運(yùn)算數(shù)精度單位，Int8指8位整型數(shù)，即用8bit來(lái)表示一個(gè)整數(shù)數(shù)字；float32為32位浮點(diǎn)數(shù)，也稱單精度浮點(diǎn)數(shù)數(shù)據(jù)來(lái)源：公開(kāi)資料、億歐智庫(kù)；*int8為運(yùn)算數(shù)精度單位，Int8指8位整型數(shù)，即用8bit來(lái)表示一個(gè)整數(shù)數(shù)字；float32為32位浮點(diǎn)數(shù)，也稱單精度浮點(diǎn)數(shù)20個(gè)10通用任務(wù)性能?通用任務(wù)性能?型所具備的能力0.11010^210^310^4算力當(dāng)量（PetaFlops/s-day，PD）?參數(shù)量、算力需求、模型能力之間的關(guān)系參數(shù)量與模型能力成正比。隨著智駕大模型的參數(shù)量上升，所需要訓(xùn)練的token模型的泛化能力也會(huì)上升，使得整體模型的loss在平滑下降。參數(shù)量和算力需求成正比。當(dāng)智駕大模型的參數(shù)量上升后，為了保證所需的算力需求和計(jì)算效率，就需要提高車端的芯片算力，而當(dāng)前市場(chǎng)上最高算力是英偉達(dá)的OrinX（254TOPS），據(jù)了解，該算力平臺(tái)也無(wú)法直接部署現(xiàn)有的垂域大模型，比如。最終，車端的智駕大模型，需要對(duì)上層智駕大模型進(jìn)行壓縮后，才能通過(guò)車聯(lián)網(wǎng)技術(shù)直接對(duì)車端系統(tǒng)進(jìn)行OTA升級(jí)。剪枝Nas量化蒸餾剪枝：類似“化學(xué)結(jié)構(gòu)式的減肥”，將模型結(jié)構(gòu)中對(duì)預(yù)測(cè)結(jié)果不重要的網(wǎng)絡(luò)結(jié)構(gòu)剪裁掉，使網(wǎng)息的影響微乎其微。如果將這些權(quán)重較小的神經(jīng)元?jiǎng)h除，則既能保證模型精度不受大影響，又能減小模型大小。神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（Nas）：模型結(jié)構(gòu)搜索，從而獲得更高效的網(wǎng)絡(luò)結(jié)構(gòu)。量化：類似“量子級(jí)別的減肥”，神經(jīng)網(wǎng)絡(luò)模型的參數(shù)一般都用float32的數(shù)據(jù)表示，但如果將float32的數(shù)據(jù)計(jì)算精度變成int8的計(jì)算精度，則可以犧牲一點(diǎn)模型精度來(lái)?yè)Q取更快的計(jì)算速度。提供更多的軟分類信息量，所以會(huì)訓(xùn)練出一個(gè)效果接近大模型的小模型。將小模型的精度提高計(jì)算量及模型體積減少設(shè)計(jì)更高效的網(wǎng)絡(luò)結(jié)構(gòu)將大模型的參數(shù)量變少將大模型的知識(shí)遷移到小模型上將float32計(jì)算變成int8計(jì)算以模型大小和推理速度為約束的模型結(jié)構(gòu)搜索卷積網(wǎng)絡(luò)通道數(shù)剪枝數(shù)據(jù)來(lái)源：專家訪談、億歐智庫(kù)數(shù)據(jù)來(lái)源：專家訪談、億歐智庫(kù)億歐智庫(kù)：自動(dòng)駕駛數(shù)據(jù)閉環(huán)圖示

采集傳輸存儲(chǔ)采集傳輸存儲(chǔ)處理智能電動(dòng)汽車數(shù)據(jù)集部署自動(dòng)駕駛數(shù)據(jù)閉環(huán)清洗算法模型云服務(wù)器驗(yàn)證訓(xùn)練仿真標(biāo)注1.0階段：2013-2017閉環(huán)通路初步構(gòu)建

2.0階段：2018-2024數(shù)據(jù)驅(qū)動(dòng)閉環(huán)升級(jí)隨著技術(shù)的進(jìn)步和自動(dòng)駕駛等級(jí)的發(fā)展，傳統(tǒng)的數(shù)據(jù)閉環(huán)不能適應(yīng)快速迭代的產(chǎn)業(yè)和指數(shù)級(jí)增長(zhǎng)的數(shù)據(jù)量。這一階段，面向更大規(guī)模數(shù)據(jù)的閉環(huán)及相應(yīng)技術(shù)和服務(wù)被車企及供應(yīng)商廣泛應(yīng)用。

3.0階段：2025-2030場(chǎng)景催化商業(yè)落地未來(lái)，自動(dòng)駕駛數(shù)據(jù)閉環(huán)將進(jìn)一步更新升級(jí)，逐步從測(cè)試車→小規(guī)模量產(chǎn)→大規(guī)模量產(chǎn)，面向多樣化場(chǎng)景都能夠流暢、安全的賦能自動(dòng)駕駛，從車、路、云多端助力自動(dòng)駕駛的終極實(shí)現(xiàn)。2013201320182025?數(shù)據(jù)閉環(huán)的定義：?數(shù)據(jù)閉環(huán)的定義：通過(guò)專業(yè)測(cè)試車隊(duì)和社會(huì)化量產(chǎn)車輛采集其行駛數(shù)據(jù)、位置軌跡、路況數(shù)據(jù)、場(chǎng)景數(shù)據(jù)等多種數(shù)據(jù)信息，處理形成數(shù)據(jù)集，經(jīng)過(guò)清洗、標(biāo)注等，基于智能云底座進(jìn)行傳輸、存儲(chǔ)等操作，結(jié)合仿真場(chǎng)景，在輸入-訓(xùn)練-部署-驗(yàn)證的循環(huán)反復(fù)中，對(duì)自動(dòng)駕駛算法進(jìn)行迭代和升級(jí)，覆蓋更多cornercase，自動(dòng)駕駛規(guī)?；慨a(chǎn)落地。數(shù)據(jù)挖掘自動(dòng)標(biāo)注模型訓(xùn)練數(shù)據(jù)挖掘自動(dòng)標(biāo)注模型訓(xùn)練測(cè)試數(shù)據(jù)來(lái)源：億歐“MindBridge”閉門研討會(huì)、《十一號(hào)組織》公眾號(hào)、公開(kāi)資料、億歐智庫(kù)數(shù)據(jù)來(lái)源：億歐“MindBridge”閉門研討會(huì)、《十一號(hào)組織》公眾號(hào)、公開(kāi)資料、億歐智庫(kù)cornercasecornercase約40~50GB）帶來(lái)的流量成本非常高。單車每月采集帶來(lái)的流量成本非常高。單車每月采集據(jù) 每GB收費(fèi)約40~50GB 1元十萬(wàn)輛車月數(shù)據(jù)流量成本高達(dá)約500萬(wàn)元模型冷啟動(dòng)階段1.0選擇采集車采集數(shù)據(jù)量產(chǎn)車的初期數(shù)據(jù)采集規(guī)只能先通過(guò)數(shù)據(jù)采集車采集數(shù)據(jù)的方式，來(lái)獲取模型冷啟動(dòng)的基礎(chǔ)數(shù)據(jù)數(shù)據(jù)達(dá)到一定規(guī)模階段2.0選擇量產(chǎn)車采集數(shù)據(jù)當(dāng)cornercase幾乎無(wú)相應(yīng)數(shù)據(jù)

兩種采集方式該如何選

數(shù)據(jù)挖掘的關(guān)鍵是在數(shù)據(jù)采集做好篩選器設(shè)置采集方式數(shù)據(jù)采集車量產(chǎn)車車隊(duì)規(guī)模約幾十輛車約萬(wàn)輛以上感知傳感器配置攝像頭、毫米波雷達(dá)、激光雷達(dá)等多種傳感器以量產(chǎn)車所配置的傳感器為主（一般為攝像頭）數(shù)據(jù)傳輸方式合規(guī)員隨車采集數(shù)據(jù)，以硬盤形式存儲(chǔ)數(shù)據(jù)，并以物理搬運(yùn)的模式將數(shù)據(jù)送到合規(guī)室車端軌跡偏轉(zhuǎn)插件和圖商密鑰加密無(wú)線上傳的模式，傳輸介質(zhì)為4G/5G網(wǎng)絡(luò)數(shù)據(jù)規(guī)模整體規(guī)模小，但單車數(shù)據(jù)量大整體規(guī)模大，但單車數(shù)據(jù)量小功能用途主要用于自動(dòng)駕駛功能/算法的開(kāi)發(fā)變化而導(dǎo)致的異常視頻數(shù)據(jù)如何利用智駕大模型做好數(shù)據(jù)篩選器科學(xué)的場(chǎng)景分類優(yōu)化車端采集邏輯合理設(shè)計(jì)觸發(fā)器靈活更新篩選器以O(shè)TA方式更新車端篩選機(jī)制，備案流程非常繁瑣，可利用智駕大模型定期更新車端數(shù)據(jù)篩選相關(guān)的算子在設(shè)計(jì)trigger（數(shù)據(jù)回傳觸發(fā)器）層時(shí)，按照重要程度對(duì)場(chǎng)景進(jìn)行分組，優(yōu)先回傳稀缺場(chǎng)景的數(shù)據(jù)結(jié)合自監(jiān)督預(yù)訓(xùn)練，利用智駕大模型來(lái)優(yōu)化車端基于規(guī)則的數(shù)據(jù)采集邏輯，讓篩選規(guī)則能靈活多變根據(jù)實(shí)際業(yè)務(wù)需求，對(duì)場(chǎng)景庫(kù)進(jìn)行分類，利用智駕大模型已訓(xùn)練過(guò)的模型，來(lái)細(xì)化每個(gè)細(xì)分場(chǎng)景庫(kù)的使用標(biāo)簽如何利用智駕大模型做好數(shù)據(jù)篩選器科學(xué)的場(chǎng)景分類優(yōu)化車端采集邏輯合理設(shè)計(jì)觸發(fā)器靈活更新篩選器以O(shè)TA方式更新車端篩選機(jī)制，備案流程非常繁瑣，可利用智駕大模型定期更新車端數(shù)據(jù)篩選相關(guān)的算子在設(shè)計(jì)trigger（數(shù)據(jù)回傳觸發(fā)器）層時(shí)，按照重要程度對(duì)場(chǎng)景進(jìn)行分組，優(yōu)先回傳稀缺場(chǎng)景的數(shù)據(jù)結(jié)合自監(jiān)督預(yù)訓(xùn)練，利用智駕大模型來(lái)優(yōu)化車端基于規(guī)則的數(shù)據(jù)采集邏輯，讓篩選規(guī)則能靈活多變根據(jù)實(shí)際業(yè)務(wù)需求，對(duì)場(chǎng)景庫(kù)進(jìn)行分類，利用智駕大模型已訓(xùn)練過(guò)的模型，來(lái)細(xì)化每個(gè)細(xì)分場(chǎng)景庫(kù)的使用標(biāo)簽數(shù)據(jù)來(lái)源：地平線、專家訪談、億歐智庫(kù)數(shù)據(jù)來(lái)源：地平線、專家訪談、億歐智庫(kù)4D動(dòng)，再到全自動(dòng)化標(biāo)注，自動(dòng)標(biāo)注提升了標(biāo)注整體的效率和精度，能夠處理更大規(guī)模的數(shù)據(jù)集，提升人機(jī)協(xié)作的能力以及適用多個(gè)應(yīng)用場(chǎng)景。2D的透視圖轉(zhuǎn)換到了3D3DBEV4D自動(dòng)駕駛為何需要數(shù)據(jù)標(biāo)注系統(tǒng)優(yōu)化：數(shù)據(jù)標(biāo)注可以用于優(yōu)化自動(dòng)駕駛系統(tǒng)。通過(guò)對(duì)標(biāo)注數(shù)據(jù)的分析，可以發(fā)現(xiàn)系統(tǒng)中存在的問(wèn)題和缺陷，并進(jìn)行優(yōu)化和改進(jìn)。這些改進(jìn)可以讓自動(dòng)駕駛系統(tǒng)更加智能和高效，更好地滿足用戶的需求。自動(dòng)駕駛為何需要數(shù)據(jù)標(biāo)注系統(tǒng)優(yōu)化：數(shù)據(jù)標(biāo)注可以用于優(yōu)化自動(dòng)駕駛系統(tǒng)。通過(guò)對(duì)標(biāo)注數(shù)據(jù)的分析，可以發(fā)現(xiàn)系統(tǒng)中存在的問(wèn)題和缺陷，并進(jìn)行優(yōu)化和改進(jìn)。這些改進(jìn)可以讓自動(dòng)駕駛系統(tǒng)更加智能和高效，更好地滿足用戶的需求。提升效率：通過(guò)大量的數(shù)據(jù)標(biāo)注，可以讓自動(dòng)駕駛系統(tǒng)更快地識(shí)別各種物體，提高整個(gè)自動(dòng)所以需要已標(biāo)注的數(shù)據(jù)。而規(guī)控側(cè)主要采用規(guī)則模型，無(wú)需標(biāo)注數(shù)據(jù)進(jìn)行處理GT數(shù)據(jù)發(fā)版人工標(biāo)注與質(zhì)檢云端模型訓(xùn)練????面向BEV感知的4D標(biāo)注方案4D主要是3D空間+時(shí)序通過(guò)4D重建實(shí)現(xiàn)點(diǎn)云級(jí)別或object級(jí)別的重建，通過(guò)人工標(biāo)注積累原始數(shù)據(jù)隨著數(shù)據(jù)積累到一定程度，可以訓(xùn)練云端大模型逐步替換人工標(biāo)注，可提升80%+的標(biāo)注效率采集數(shù)據(jù)4D重建模型預(yù)測(cè)GT數(shù)據(jù)發(fā)版多傳感器交叉驗(yàn)證Lidar/Camera/IMU/GPS…動(dòng)、靜態(tài)場(chǎng)景…3DorBEV3Ddet+2DDete.g.真值數(shù)據(jù)4D標(biāo)注采集數(shù)據(jù) （動(dòng)、靜態(tài)標(biāo)注）場(chǎng)景合成場(chǎng)景素材庫(kù)仿真測(cè)試?4D標(biāo)注為后續(xù)數(shù)據(jù)仿真提供場(chǎng)景庫(kù)支持在采集數(shù)據(jù)后，通過(guò)4D標(biāo)注技術(shù)，為動(dòng)、靜態(tài)數(shù)據(jù)進(jìn)行數(shù)據(jù)標(biāo)注，并逐步建立場(chǎng)景素材庫(kù)，隨后把某個(gè)場(chǎng)景的車輛或目標(biāo)物信息進(jìn)行修改編輯后，得到一個(gè)新場(chǎng)景，再對(duì)新場(chǎng)景進(jìn)行渲染得到訓(xùn)練樣本，同時(shí)可以獲取其中的結(jié)構(gòu)化數(shù)據(jù)（即動(dòng)、靜態(tài)數(shù)據(jù)真值），用于仿真測(cè)試，包括規(guī)控和感知的仿真。??特斯拉數(shù)據(jù)標(biāo)注歷經(jīng)4個(gè)階段，精度、效率不斷提升如今，特斯拉自動(dòng)標(biāo)注系統(tǒng)可以取代500萬(wàn)小時(shí)的人工作業(yè)量，人工僅需要檢查補(bǔ)漏。2018年及之前只有純?nèi)斯?維圖像標(biāo)注，效率較低2019年人工進(jìn)行3D固定框圖像標(biāo)注2020年采用BEV空間進(jìn)行標(biāo)注2021年提出占用網(wǎng)絡(luò)方案，在4D空間中進(jìn)行標(biāo)注?從人工標(biāo)注到自動(dòng)化標(biāo)注，自動(dòng)標(biāo)注帶來(lái)哪些優(yōu)提高效率和準(zhǔn)確性適用于大規(guī)模數(shù)據(jù)集提升人機(jī)協(xié)作能力可適用多個(gè)應(yīng)用場(chǎng)景自動(dòng)標(biāo)注能應(yīng)用于多個(gè)應(yīng)用場(chǎng)景，例如圖像分類、目標(biāo)檢測(cè)、分割等任務(wù)，自動(dòng)標(biāo)注可以與人工標(biāo)注相結(jié)合，實(shí)現(xiàn)人機(jī)協(xié)作的標(biāo)注方式，可以對(duì)人工標(biāo)注的數(shù)據(jù)進(jìn)行驗(yàn)證校對(duì)。自動(dòng)標(biāo)注可以應(yīng)用于大規(guī)模的數(shù)據(jù)集，處理速度更快，同時(shí)可以處理自動(dòng)標(biāo)注可以大大提高標(biāo)注效率，減少人工標(biāo)注的時(shí)間和成本，同時(shí)數(shù)據(jù)來(lái)源：公開(kāi)資料、億歐智庫(kù)數(shù)據(jù)來(lái)源：公開(kāi)資料、億歐智庫(kù)（HPC）模型訓(xùn)練的概述模型訓(xùn)練：在監(jiān)督學(xué)習(xí)中，通過(guò)對(duì)數(shù)據(jù)的分析和處理，建立一種映射關(guān)系，使得模型能夠?qū)π碌臄?shù)據(jù)進(jìn)行分析和預(yù)測(cè)，并解決各種實(shí)際問(wèn)題。大模型訓(xùn)練用俗話來(lái)講就是人工智能算法訓(xùn)練，大模型訓(xùn)練類似于一個(gè)正在學(xué)習(xí)的學(xué)生，而他學(xué)習(xí)的過(guò)程就是大模型訓(xùn)練過(guò)程。模型訓(xùn)練的兩個(gè)階段：預(yù)訓(xùn)練與微調(diào)。預(yù)訓(xùn)練：較大，若采用單機(jī)單卡的訓(xùn)練方式，訓(xùn)練時(shí)間較長(zhǎng)、精度也會(huì)較低，所以主要會(huì)采用分布式的訓(xùn)練模式。了一個(gè)小的知識(shí)模塊，讓這個(gè)小模塊去適配下游的任務(wù)。舉例來(lái)說(shuō)，云端的大語(yǔ)言模型就可以通過(guò)預(yù)訓(xùn)練的過(guò)程來(lái)進(jìn)行無(wú)監(jiān)督的學(xué)習(xí)，而通過(guò)微調(diào)可以擬合出下游感知任務(wù)的垂域大模型。

GPU提高模型訓(xùn)練的速度、效率及精度量的GPU來(lái)支持。模型訓(xùn)練需要使用GPU的原因：高顯存和高帶寬：以提升模型訓(xùn)練速度；支持并行處理：加高效。在分布式訓(xùn)練架構(gòu)下，為了提升模型訓(xùn)練的速度和效率，就需要不斷地增加GPU的數(shù)量，這也使得越來(lái)越多的自動(dòng)駕駛公司或者主機(jī)廠開(kāi)始布局超算中心 億歐智庫(kù)：自動(dòng)駕駛廠商超算中心建設(shè)布局情況公司名稱特斯拉小鵬蔚來(lái)理想汽車比亞迪上汽智己吉利汽車長(zhǎng)安汽車毫末智行百度商湯絕影企業(yè)類別主機(jī)廠主機(jī)廠主機(jī)廠主機(jī)廠主機(jī)廠主機(jī)廠主機(jī)廠主機(jī)廠Tier1Tier1Tier1超算中心Dojo超算中心扶搖“蔚來(lái)云”智算中心理想智算中心云輦智算中心云上數(shù)據(jù)超級(jí)工廠星睿智算中心-雪湖?綠洲昆侖芯智算中心陽(yáng)泉智算中心AIDC時(shí)間2021.82022.82022.11原計(jì)劃2023Q3發(fā)布2023.42022.32023.12023.82023.12022.92022.122022.1算力（億億次/秒浮點(diǎn)運(yùn)算）18060-75--81（預(yù)計(jì)2025年擴(kuò)充到120）-6720400491合作云廠商自建阿里云騰訊云火山引擎-阿里云阿里云百度云火山引擎自建自建數(shù)據(jù)來(lái)源：專家訪談、億歐智庫(kù)；*SDF(signeddistancefunction，符號(hào)距離函數(shù))數(shù)據(jù)來(lái)源：專家訪談、億歐智庫(kù)；*SDF(signeddistancefunction，符號(hào)距離函數(shù))）casecornercase場(chǎng)景數(shù)據(jù)。UniSim億歐智庫(kù)：自動(dòng)駕駛數(shù)據(jù)閉環(huán)仿真測(cè)試環(huán)節(jié)架構(gòu)示意圖功能安全測(cè)試駕駛員在環(huán)測(cè)試硬件在環(huán)測(cè)試軟件在環(huán)測(cè)試車輛（制動(dòng)性能….）環(huán)境（天氣、光照...）道路信息功能安全測(cè)試駕駛員在環(huán)測(cè)試硬件在環(huán)測(cè)試軟件在環(huán)測(cè)試車輛（制動(dòng)性能….）環(huán)境（天氣、光照...）道路信息（車道、路燈...）傳感器（攝像頭…）交通流（行人、臨時(shí)車輛、紅綠燈...） 實(shí)車道路試驗(yàn) 仿真是高階智駕功能開(kāi)發(fā)的作用實(shí)驗(yàn)評(píng)價(jià)結(jié)果三者緊密耦合提升場(chǎng)景泛化能力：可利用仿真的泛化能力，生成一些算法需要的實(shí)驗(yàn)評(píng)價(jià)結(jié)果三者緊密耦合降低數(shù)據(jù)標(biāo)注成本：型進(jìn)行運(yùn)算，減少了前期標(biāo)注的工作；提升云端規(guī)控仿真測(cè)試效果：算法提供安全的測(cè)試環(huán)境。場(chǎng)景真實(shí)度和泛化能力的關(guān)鍵在于：仿真測(cè)試模型需要有一定的冷啟動(dòng)數(shù)據(jù)，來(lái)驗(yàn)證模型的運(yùn)營(yíng)效率。仿真測(cè)試的泛化能力需要一定的項(xiàng)目經(jīng)驗(yàn)積累。合作時(shí)，會(huì)給與一部分?jǐn)?shù)據(jù)，用以支持模型的參數(shù)調(diào)優(yōu)。實(shí) ?以UniSim為例，打通仿真測(cè)試的端到端閉環(huán)測(cè)試現(xiàn)UniSim是CVPR2023論文中提出的一種全新的自動(dòng)駕駛仿真平臺(tái)，現(xiàn)端利用NeRF（神經(jīng)輻射場(chǎng)）渲染自動(dòng)駕駛場(chǎng)景中的相機(jī)和雷達(dá)數(shù)據(jù)，實(shí)現(xiàn)高逼真度的全方位仿真，從而實(shí)現(xiàn)無(wú)人車的端到端的閉環(huán)測(cè)試端到 包括感知，預(yù)測(cè)和規(guī)劃。端 不同于以往工作，UniSim優(yōu)點(diǎn)在于:的 ? 高度逼真(highrealism):可以準(zhǔn)確地模擬真實(shí)世界(圖片和LiDAR),閉 減小真實(shí)世界和仿真的鴻溝環(huán) ? 閉環(huán)測(cè)試(closed-loopsimulation):可以生成罕見(jiàn)的危險(xiǎn)場(chǎng)景，測(cè) 測(cè)試無(wú)人車，并允許無(wú)人車和環(huán)境自由交互試scalable):可以很容易的擴(kuò)展到更多的場(chǎng)景，只需要采集一試次數(shù)據(jù)，就能重建并仿真測(cè)試UniSim重放準(zhǔn)確地重建原始數(shù)據(jù)，因?yàn)槭褂昧薙DF,UniSim還能夠重建各種幾何信息，比如normal/depth。

動(dòng)態(tài)物體行為控制控制他們不同的行為，或者將其他場(chǎng)景中的車輛插入到當(dāng)前場(chǎng)景中，以生成

自由視角渲染可以生成不同與原始視角的數(shù)據(jù)，比如向左變道，改變相機(jī)/Lidar的位置。

閉環(huán)仿真(closed-loopsimulation)輸出路徑規(guī)劃的結(jié)果目錄CONTENTS

智駕大模型發(fā)展綜述01大模型技術(shù)發(fā)展歷程01大模型適合應(yīng)用智駕產(chǎn)業(yè)原因挖掘如何定義智駕大模型02智駕大模型在云邊端一體化的技術(shù)應(yīng)用探索02智駕大模型技術(shù)應(yīng)用總覽智駕大模型產(chǎn)業(yè)應(yīng)用探索03 產(chǎn)業(yè)鏈概況與產(chǎn)業(yè)圖譜03 產(chǎn)業(yè)鏈概況與產(chǎn)業(yè)圖譜典型玩家布局情況分析04智駕大模型面臨的挑戰(zhàn)智駕大模型未來(lái)發(fā)展建議數(shù)據(jù)來(lái)源：億歐智庫(kù)數(shù)據(jù)來(lái)源：億歐智庫(kù)3.1配套軟硬件服務(wù)供應(yīng)商、智駕大模型開(kāi)發(fā)供應(yīng)商及應(yīng)用方共同構(gòu)建整個(gè)產(chǎn)業(yè)鏈億歐智庫(kù)：2023中國(guó)智駕大模型產(chǎn)業(yè)圖譜 試 云服務(wù)商 芯片 配套軟硬件服務(wù)供應(yīng)商數(shù)據(jù)標(biāo)注供應(yīng)商 云端通用類模型開(kāi)發(fā)供商 垂域大模型開(kāi)發(fā)供應(yīng)商 智駕大模型開(kāi)發(fā)供應(yīng)商 傳統(tǒng)主機(jī)廠 造車新勢(shì)力主機(jī)廠 智駕大模型應(yīng)用方數(shù)據(jù)來(lái)源：專家訪談、億歐智庫(kù)數(shù)據(jù)來(lái)源：專家訪談、億歐智庫(kù)3智駕Tier1玩家在布局智駕大模型時(shí)，由于沒(méi)有資本去投入建設(shè)云端Tier1 開(kāi)發(fā)一些垂域大模型，比如。4芯片企業(yè)芯片企業(yè)玩家將基于端側(cè)的芯片硬件，提供給主機(jī)廠或者智駕Tier1提供優(yōu)化的算子，來(lái)配合主機(jī)廠或者智駕Tier1更好地部署智駕大模型。芯片企業(yè)會(huì)提供軟硬一體化的解決方案3智駕Tier1玩家在布局智駕大模型時(shí)，由于沒(méi)有資本去投入建設(shè)云端Tier1 開(kāi)發(fā)一些垂域大模型，比如。4芯片企業(yè)芯片企業(yè)玩家將基于端側(cè)的芯片硬件，提供給主機(jī)廠或者智駕Tier1提供優(yōu)化的算子，來(lái)配合主機(jī)廠或者智駕Tier1更好地部署智駕大模型。芯片企業(yè)會(huì)提供軟硬一體化的解決方案一套完善的開(kāi)發(fā)工具為主。智駕Tier1依然會(huì)延續(xù)前期提供自動(dòng)駕駛解決方案的模式助客戶打造數(shù)據(jù)閉環(huán)體系。Tier1Tier1Tier11主機(jī)廠周期長(zhǎng)，大部分主機(jī)廠會(huì)優(yōu)先選擇外部合作。科技企業(yè)1主機(jī)廠周期長(zhǎng)，大部分主機(jī)廠會(huì)優(yōu)先選擇外部合作?？萍计髽I(yè)科技企業(yè)玩家具有技術(shù)儲(chǔ)備，前期在其它賽道的技術(shù)投入，可以反哺到自動(dòng)駕駛領(lǐng)域，整個(gè)know-how部分會(huì)自建云服務(wù)器，前期會(huì)以行業(yè)通用的語(yǔ)言大模型為基礎(chǔ)，逐步滲透到合適的垂域領(lǐng)域，但短期內(nèi)云端的通用類模型很難形成商業(yè)閉環(huán)。2派。對(duì)于傳統(tǒng)主機(jī)廠與腰部以下的新勢(shì)力更多會(huì)持有保守態(tài)度，會(huì)以外部合作為主對(duì)于頭部新勢(shì)力優(yōu)勢(shì)，更多會(huì)偏向于全棧自研。MaaS（模型即服務(wù)）為垂域賽道的客戶提供融合云計(jì)算、算力、模型能力等資源，自動(dòng)駕駛賽道的客戶可以調(diào)用云端的通用大模型，開(kāi)發(fā)和部署智駕大模型。四類玩家的智駕大模型合作模式數(shù)據(jù)來(lái)源：公開(kāi)資料、億歐智庫(kù)；*SDPro地圖介于SDMap與HDMap之間數(shù)據(jù)來(lái)源：公開(kāi)資料、億歐智庫(kù)；*SDPro地圖介于SDMap與HDMap之間FSDV12WorldModel同時(shí)，國(guó)內(nèi)主機(jī)廠也開(kāi)始逐步追隨特斯拉的技術(shù)路線，對(duì)于已開(kāi)通或者將要開(kāi)通城市NOA功能的主機(jī)廠，都有布局相關(guān)智駕大模型，比如，這已然成為了能解決“去地圖”或者“輕地圖”路線下感知側(cè)重要的垂域大模型。從目前已開(kāi)通城市TOPS以上才可支持相應(yīng)功能需求，英偉達(dá)的Orin-X、地平線的征程5、華為的麒麟芯片等都成為了國(guó)內(nèi)車企布局架構(gòu)的首選。億歐智庫(kù)：部分主機(jī)廠智駕大模型布局及對(duì)應(yīng)智駕功能情況主機(jī)廠相關(guān)智駕大模型應(yīng)用場(chǎng)景是否支持城市NOA車型對(duì)應(yīng)芯片和算力地圖方案特斯拉端到端自動(dòng)駕駛、WorldModel智駕：端到端自動(dòng)駕駛、仿真地圖生成城市NGPModelSModel3ModelYModelX2個(gè)FSD/144TOPS重感知小鵬智駕：側(cè)重感知城市NOAXNGP小鵬G6Max小鵬G9Max小鵬P7iMax2個(gè)Orin-X/508TOPS當(dāng)前依賴SDPro地圖，未來(lái)采用重感知理想、Occupancy智駕：側(cè)重感知城市NOA（計(jì)劃2023年底推送100座城市）理想L7Max理想L8Max理想L9Max2個(gè)Orin-X/508TOPS預(yù)計(jì)采用SDPro地圖蔚來(lái)智駕：側(cè)重感知城市NAD（計(jì)劃2023年Q3推送NADBeta版本）未公布-未公布華為系品牌、GOD網(wǎng)絡(luò)智駕：側(cè)重感知城市NCAADS2.0阿維塔11問(wèn)界M5智駕版極狐阿爾法S全新Hi版麒麟990A/400TOPS昇騰610/200TOPS2個(gè)昇騰610/400TOPS當(dāng)前依賴SDPro地圖，未來(lái)采用重感知上汽智己智駕：側(cè)重感知城市NOA（預(yù)計(jì)2023年10月份開(kāi)始公測(cè)）智己L7智己LS7智己LS6Orin-X/254TOPS當(dāng)前依賴SDPro地圖，未來(lái)采用重感知比亞迪智駕：側(cè)重感知城市NOA（具體開(kāi)通時(shí)間未公布）漢征程5/128TOPS預(yù)計(jì)采用SDPro地圖數(shù)據(jù)來(lái)源：億歐智庫(kù)數(shù)據(jù)來(lái)源：億歐智庫(kù)3.2.2科技企業(yè)依托強(qiáng)大的云服務(wù)基建，憑借各自的優(yōu)勢(shì)賦能智駕產(chǎn)業(yè)生態(tài)云、圖一體化的模式，結(jié)合自身在高精地圖方面的優(yōu)勢(shì)，為客戶提供云端多程建圖，實(shí)現(xiàn)要素級(jí)、最快分鐘級(jí)的在線更新。華為云 騰訊云華為云在2023年7月發(fā)布了盤古大模型3.0，是一個(gè)完全面向行業(yè)的大模型系列，包括“5+N+X”三層架構(gòu)。公司采用存儲(chǔ)-緩存-計(jì)算三層分離架構(gòu)，打造數(shù)智融合平臺(tái)，利用盤古大模型深度賦能數(shù)據(jù)閉環(huán)核心場(chǎng)景。在自動(dòng)駕駛方面，盤古大模型3.0期整理，然后進(jìn)行場(chǎng)景化管理，再進(jìn)行數(shù)據(jù)標(biāo)注、訓(xùn)練、仿真，最后回給采集需求。其中，每一個(gè)過(guò)程都有大數(shù)據(jù)可以發(fā)力的機(jī)會(huì)點(diǎn)。億歐智庫(kù)：華為云數(shù)智融合平臺(tái)架構(gòu)

騰訊云在2023年9月的騰訊全球數(shù)字生態(tài)大會(huì)·智慧出行專場(chǎng)上，發(fā)布了能座艙等領(lǐng)域的最新升級(jí)產(chǎn)品和方案。隨著自動(dòng)駕駛步入量產(chǎn)深水區(qū)，地圖成為決定駕駛體驗(yàn)的關(guān)鍵要素。為了解決傳統(tǒng)地圖模式成本高、鮮度低，且數(shù)據(jù)來(lái)源單一等問(wèn)題，騰訊結(jié)合自身云服務(wù)和圖商資質(zhì)優(yōu)勢(shì)，發(fā)布了智駕云圖。資產(chǎn)，進(jìn)行云端多程建圖，實(shí)現(xiàn)要素級(jí)、最快分鐘級(jí)的在線更新。億歐智庫(kù)：騰訊智駕云圖布局情況資產(chǎn)搜索定位全局血緣分析資產(chǎn)搜索定位全局血緣分析數(shù)據(jù)資產(chǎn)熱度分析

數(shù)據(jù)閉環(huán)場(chǎng)景數(shù)據(jù)預(yù)處理 數(shù)據(jù)回收 場(chǎng)景標(biāo)簽化

盤古大模型深度賦能大模型KPI指標(biāo)分析大模型KPI指標(biāo)分析

地圖要素靈活發(fā)布更新title素差分能力更新

駕駛經(jīng)驗(yàn)圖層共建基于大模型的環(huán)境經(jīng)驗(yàn)圖層和務(wù)統(tǒng)一元數(shù)據(jù)數(shù)據(jù)訪問(wèn)控制務(wù)統(tǒng)一元數(shù)據(jù)數(shù)據(jù)訪問(wèn)控制數(shù)據(jù)生命周期管理

統(tǒng)一計(jì)算服務(wù)

車信數(shù)據(jù)生成數(shù)據(jù)標(biāo)注難例挖掘數(shù)據(jù)生成數(shù)據(jù)標(biāo)注難例挖掘車道線地面交通標(biāo)識(shí)牌

危險(xiǎn)路段信息變道模式

彎道建議車速經(jīng)驗(yàn)變道區(qū)能指數(shù)多模態(tài)檢索大模型預(yù)標(biāo)注大模型實(shí)時(shí)計(jì)算引擎批量計(jì)算引擎多模態(tài)檢索大模型預(yù)標(biāo)注大模型實(shí)時(shí)計(jì)算引擎批量計(jì)算引擎交互處理引擎計(jì)算引擎數(shù)據(jù)緩存?基于車端感知進(jìn)行數(shù)據(jù)回傳

靈活ODD線服務(wù)，支持協(xié)同運(yùn)營(yíng)統(tǒng)一存儲(chǔ)服務(wù)KPI數(shù)據(jù)統(tǒng)一存儲(chǔ)服務(wù)KPI數(shù)據(jù)仿真數(shù)據(jù)集訓(xùn)練數(shù)據(jù)標(biāo)注數(shù)據(jù)集場(chǎng)景數(shù)據(jù)脫敏后數(shù)據(jù)原始數(shù)據(jù)

惡劣天氣開(kāi)放客戶圖層

運(yùn)營(yíng)工具鏈代運(yùn)營(yíng)服務(wù)覺(jué)非科技覺(jué)非科技自研的基于BEV的數(shù)據(jù)閉環(huán)融合智能駕駛解決方案覺(jué)非科技覺(jué)非科技自研的基于BEV的數(shù)據(jù)閉環(huán)融合智能駕駛解決方案，可通過(guò)量產(chǎn)車BEV的實(shí)時(shí)感知結(jié)果，提供完整的城市Map-lite及Map-free數(shù)據(jù)閉環(huán)融合解決方案，并滿足城市NOA，記憶通勤/泊車以及感知大模型訓(xùn)練的需要。基于BEV的數(shù)據(jù)閉環(huán)感知大模型架構(gòu)：PerspectiveSpaceBEVSpace3.2.2基于BEV架構(gòu)的感知方案和數(shù)據(jù)閉環(huán)體系已成為智駕Tier1企業(yè)新的技術(shù)布局方向輕舟智航輕舟智航自研了感知大模型OmniNet，這是一個(gè)應(yīng)用于前中融合階段、實(shí)現(xiàn)數(shù)據(jù)/特征融合的全任務(wù)大模型。以下為輕舟自研的OmniNet超融合和數(shù)據(jù)閉環(huán)工具鏈。OmniNet超融合?將不同的傳感器信息按需結(jié)輕舟智航輕舟智航自研了感知大模型OmniNet，這是一個(gè)應(yīng)用于前中融合階段、實(shí)現(xiàn)數(shù)據(jù)/特征融合的全任務(wù)大模型。以下為輕舟自研的OmniNet超融合和數(shù)據(jù)閉環(huán)工具鏈。OmniNet超融合?將不同的傳感器信息按需結(jié)綜合利用多種融合方式的優(yōu)勢(shì)多模態(tài)融合更好線上問(wèn)題快速響應(yīng)以仿真為核心的“輕舟矩陣”標(biāo)注平臺(tái)-各類數(shù)據(jù)的自動(dòng)標(biāo)注訓(xùn)練平臺(tái)-高效的模型訓(xùn)練和評(píng)估仿真工具-回灌測(cè)試和硬件在環(huán)評(píng)估超融合OmniNet架構(gòu)：…KPontsgMukti-ObjectTrackinPanopticSegmentationFPNRoadGeometryDepthEstimation2DDetection3DDetectionStateEstimationMukti-ObjectTrackingPredictionRoadGeometryPanopticSegmentation3DDetectionJointTemporal&SensorFusionVisionBackboneViewTransformationMulti-ScaleViewTransformationLidarBEVBackboneVisionBEVBackboneRadarBEVBackboneLidarFeatureHistoryBufferVisionFeatureHistoryBufferRadarFeatureHistoryBuffer商湯絕影商湯絕影商湯絕影UniAD架構(gòu)：UniAD是商湯絕影在自動(dòng)駕駛技術(shù)領(lǐng)域中研發(fā)的自蹤、建圖、預(yù)測(cè)及規(guī)劃，整合到一個(gè)Transformer在數(shù)據(jù)閉環(huán)方面，商湯絕影將構(gòu)建一個(gè)面向決策規(guī)劃算法的數(shù)據(jù)閉環(huán)體系，以及相應(yīng)的數(shù)據(jù)驅(qū)動(dòng)決策規(guī)劃算法庫(kù)，讓自動(dòng)駕駛系統(tǒng)可以像經(jīng)驗(yàn)豐富的老司機(jī)一樣開(kāi)車。30% 38% 28%在線建圖準(zhǔn)確率目標(biāo)軌跡預(yù)測(cè)誤差 規(guī)劃誤差多目標(biāo)追蹤準(zhǔn)確率20%多指標(biāo)超越SOTA結(jié)果：PerspectiveLaserBackboneRange3DDetectionSemanticSegmentationInstanceSegmentation…Tracking數(shù)據(jù)來(lái)源：億歐“MindBridge”閉門研討會(huì)、公開(kāi)資料、億歐智庫(kù)數(shù)據(jù)來(lái)源：億歐“MindBridge”閉門研討會(huì)、公開(kāi)資料、億歐智庫(kù)3.2.2芯片廠商為了更好地適配Transformer算法，從而優(yōu)化芯片設(shè)計(jì)和算子開(kāi)發(fā)生態(tài)相比于CNN備算力要求較高、運(yùn)算精度要求較高及算子復(fù)雜度較高的特點(diǎn)，所以在開(kāi)發(fā)部署時(shí)，就需要選取合適的芯片。國(guó)內(nèi)外芯片廠商在開(kāi)發(fā)后續(xù)芯片時(shí)，都會(huì)側(cè)重于更好地讓芯片去適配Transformer算法，在相關(guān)算子加速器的開(kāi)發(fā)生態(tài)上都做了有意識(shí)的部署。以目前主流的英偉達(dá)OrinXBPU??Transformer算法具有以下特征：對(duì)算力要求較高。Transformer通常計(jì)算量非常大，由于算力限制，需要采用浮點(diǎn)運(yùn)算提升運(yùn)算精度；算子復(fù)雜度較高。相比于CNN卷積矩陣乘法運(yùn)算，Transformer有較多訪存密集型算子，會(huì)加大芯片帶寬和儲(chǔ)存容量要求Transformer算法VSCNN卷積算法?算法相比傳統(tǒng)CNN卷積算法，對(duì)芯片要求會(huì)更高芯片廠商代表芯片圖例雷神Thor簡(jiǎn)要介紹Thor可以同時(shí)支持ADAS系統(tǒng)和IVI系統(tǒng)，具備770芯片廠商代表芯片圖例雷神Thor簡(jiǎn)要介紹Thor可以同時(shí)支持ADAS系統(tǒng)和IVI系統(tǒng)，具備770算力將會(huì)達(dá)到2000TOPS以上，或者是2000TFLOPs；該芯片分別對(duì)CPU（Grace）、GPU（AdaLovelace）和處理Transformer模型的引擎（Hopper）進(jìn)行了升級(jí)征程J5的量化損失降低到1%左右，同時(shí)部143FPSGPU功耗的50%；地平線下一代納什架構(gòu)能夠支持在單顆SoC芯片上進(jìn)行千億參數(shù)級(jí)GPT模型的推理武當(dāng)C1200C12007nmCPU為A78AE（算力150KDMIPS），GPU采用的是G78AE32KDIPMS的MCU算力主流的架構(gòu)模型可部署在C1200上GPCSMSMSMSMSMSMSMSM英偉達(dá)英偉達(dá)O