2024汽車AI大模型TOP10分析報告-佐思汽研-

微調(diào)預(yù)訓(xùn)練預(yù)訓(xùn)練語言模型將模型在下游各種自然語言處理任務(wù)上的小規(guī)模有標注數(shù)據(jù)進行微調(diào)得到適配模型將模型在大規(guī)模無標注數(shù)據(jù)上進行自監(jiān)督訓(xùn)練得到預(yù)訓(xùn)練模型比傳統(tǒng)人工智能模型·微調(diào)預(yù)訓(xùn)練預(yù)訓(xùn)練語言模型將模型在下游各種自然語言處理任務(wù)上的小規(guī)模有標注數(shù)據(jù)進行微調(diào)得到適配模型將模型在大規(guī)模無標注數(shù)據(jù)上進行自監(jiān)督訓(xùn)練得到預(yù)訓(xùn)練模型比傳統(tǒng)人工智能模型·預(yù)訓(xùn)練模型在下游應(yīng)用中具AI大模型就是預(yù)訓(xùn)練語言模型通過在大規(guī)模寬泛的數(shù)據(jù)上進行訓(xùn)練后能適應(yīng)一系列下游任務(wù)的模型大模型特點從海量數(shù)據(jù)中自動學習知識Big-dataDriven，模型基于大規(guī)模語料訓(xùn)練而成；Multi-tasksAdaptive，支持多種任務(wù)，包括自然語言生成NLG和自然語言理解NLU類的任務(wù)；Few-shot(Zero-shot)，在少甚至無標注樣本的條件下支持推理（自監(jiān)督學習）。預(yù)訓(xùn)練語?模型“預(yù)訓(xùn)練預(yù)訓(xùn)練語?模型“預(yù)訓(xùn)練+微調(diào)”技術(shù)范式不同特定任務(wù)有標注訓(xùn)練數(shù)據(jù)模型微調(diào)?規(guī)模?標注?本數(shù)據(jù)模型預(yù)訓(xùn)練測試數(shù)據(jù)最終模型產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢22017年，Google提出Transformer框架在機器翻譯中取得顯著進步，其分布式學習和強大編碼能力受到廣泛關(guān)注。2018年Google和OpenAI基于Transformer提出了預(yù)訓(xùn)練語言模型BERT和GPT，顯著提高了NLP任務(wù)的性能，并展示出廣泛的通用性。眾多預(yù)訓(xùn)練模型相繼涌現(xiàn)，OpenAI以GPT2、GPT-3、ChatGPT等系列模型為代表，持續(xù)引領(lǐng)大模型時代的浪潮感知201220132014201520162017201820192020202220222023認知大模型發(fā)展歷程感知201220132014201520162017201820192020202220222023認知大模型發(fā)展歷程計算機視覺AlexNetAlexNet(圖靈獎得主Hinton)CANCAN(Gioodfellow.圖靈獎得主Bengio)ResNetResNet(MSR.引用183222)跨模態(tài)模型ViT(Google)GPT-4V(OpenAI)ViT(Google)GPT-4V(OpenAI)(OpenAI)自然語言處理Word2Word2Vec(Google.引用78550)Attention(圖靈獎得主Attention(圖靈獎得主Bengio)BERT(Google)GPT(OpenAI)GPT-2(OpenAI)GPT-3(OpenAI)FoundationBERT(Google)GPT(OpenAI)GPT-2(OpenAI)GPT-3(OpenAI)FoundationModel(Stanford)PaLM(Google)ChatGPT(OpenAI)ERNIE(百度)CPM(智源)GLM(潔華)Transformer(Google.引用91332)預(yù)訓(xùn)練模型大模型來源：大模型驅(qū)動的群體智能行業(yè)白皮書產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢3大模型參數(shù)規(guī)模不斷增長，推動大模型參數(shù)規(guī)模不斷增長，推動AIGC技術(shù)升級。AIGC技術(shù)發(fā)展的背后是大模型（FoundationModels）技術(shù)的持續(xù)迭代。從2017年Transformer結(jié)構(gòu)的提出，加速了深度學習模型的參數(shù)學習能力。另一方面，GPU算力也在指數(shù)級增長。圖1：2018-2023年模型參數(shù)規(guī)模變化圖圖1：2018-2023年模型參數(shù)規(guī)模變化圖來源：中國人工智能系列白皮書圖2：圖2：CPU與GPU算力演進比較來源：techovedas，國元證券產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢4圖4：訓(xùn)練芯片算力成本呈下降趨勢圖3：英偉達GPU圖4：訓(xùn)練芯片算力成本呈下降趨勢圖3：英偉達GPU架構(gòu)演進圖英偉達每2年推出一個微架構(gòu)，對產(chǎn)品線進行升級，6月2日，英偉達在Computex2024大會上發(fā)布了至2027年的芯片路線圖，GPU迭代周期由2年縮短到1年，走類似英特爾的Tick-Tock模式（一年工藝一年架構(gòu)）。同時，英偉達踐行“BuyMoreSaveMore”讓算力成本指數(shù)級下降。我國高端GPU芯片進口從2019年以來就一直有被限制，只是之前主要針對的廠商是AMD，在應(yīng)用場景上又以超算中心為主；2023年10月17日，美國加強了面向中國市場的AI芯片禁令。其中明確將性能、密度作為出口管制標準，將單芯片超過300teraflops算力，以及性能密度超過每平方毫米370gigaflops的芯片都納入了禁止出口行列。禁令涉及A100、H100等主流AI訓(xùn)練用英偉達GPU。來源：浙商證券研究所、華泰證券研究所產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢5中國科技企業(yè)的市場導(dǎo)向和商業(yè)化壓力常使得大廠技術(shù)部門在追求KPI的同時，中國科技企業(yè)的市場導(dǎo)向和商業(yè)化壓力常使得大廠技術(shù)部門在追求KPI的同時，難以專注于前言技術(shù)的研發(fā) 商業(yè)化壓力大行業(yè)高精數(shù)據(jù)短缺中國在高質(zhì)量數(shù)據(jù)獲取方面面臨挑戰(zhàn)，主要由于缺乏完善的數(shù)據(jù)法規(guī)、行業(yè)內(nèi)固有的競爭性保密性，對開源合作文化的不足中國科技企業(yè)較少開展全球化經(jīng)營，導(dǎo)致在營收、人才獲取、全球化商業(yè)場景方面制約明顯中文語料 全球化中國科技企業(yè)較少開展全球化經(jīng)營，導(dǎo)致在營收、人才獲取、全球化商業(yè)場景方面制約明顯中文語料 全球化經(jīng)營短缺數(shù)據(jù)人才相較于英文、中文高質(zhì)量開源數(shù)據(jù)非常少，特別是在構(gòu)建通用領(lǐng)域大模型的百科類、問答類、圖書貢獻、學術(shù)論文、報告雜志等高質(zhì)量內(nèi)容發(fā)展發(fā)展AI大模型相關(guān)的軟硬件技術(shù)需要大量人才，大量的優(yōu)秀本科生選擇出國深造，而其中超過60%的畢業(yè)生選擇在海外工作，導(dǎo)致長期的優(yōu)秀人才流失。另外在中西方脫鉤的背景下，美西方限制了對中國高科技人才的培養(yǎng)與學術(shù)合作交流人才流失與、數(shù)據(jù)和語料的同質(zhì)化人才流失與、數(shù)據(jù)和語料的同質(zhì)化人才短缺由于各類政策管制和商業(yè)模式復(fù)制壁壘低，導(dǎo)致的基礎(chǔ)數(shù)據(jù)和語言語料同質(zhì)化產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢6科技大廠科技大廠創(chuàng)業(yè)新勢力產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢7人模型測評方法論人模型測評方法論綜合各測評平臺的方法論來看，在基礎(chǔ)能力的測評維度基本相同，僅測評數(shù)據(jù)集和評估權(quán)重占比不同；而在基礎(chǔ)能力之外，各綜合各測評平臺的方法論來看，在基礎(chǔ)能力的測評維度基本相同，僅測評數(shù)據(jù)集和評估權(quán)重占比不同；而在基礎(chǔ)能力之外，各測評平臺側(cè)重點不同沙利文IDCOpenCompass沙利文IDCOpenCompass2.0司南Language語言Language語言知識Knowledge知識Knowledge推理推理ReasonReasonMath數(shù)學Math數(shù)學代碼Code代碼Code超長文本AgentTo超長文本AgentToC通用場景類其他OtherAgent其他OtherAgent特定行業(yè)類道德責任ToB特定行業(yè)類特定行業(yè)類道德責任ToB特定行業(yè)類產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢8IDC測試題目分為基礎(chǔ)能力和應(yīng)用能力兩個大類共7個維度IDC采取實測的方式，成立產(chǎn)品測試團隊，通過多個維度對基礎(chǔ)大模型及相關(guān)產(chǎn)品進行評測，并邀請外部專家團隊深入分析各個產(chǎn)品答案準確性、合理性等，在審核委員會的監(jiān)督下，最終得出各廠商的評估結(jié)果，供用戶選型參考。應(yīng)用能力問答理解類常識、專業(yè)知識、多語言、多模態(tài)、角色扮演+多輪對話、安全陷阱應(yīng)用能力問答理解類常識、專業(yè)知識、多語言、多模態(tài)、角色扮演+多輪對話、安全陷阱推理類情感推理、演繹推理、邏輯推理、歸納推理、類比推理創(chuàng)作表達類文字創(chuàng)作&創(chuàng)意、內(nèi)容改寫/續(xù)寫、修改/潤色、文字處理、編輯/語義匹配、摘要提取、關(guān)鍵、字提煉、標題生成、文本風格遷移、圖像創(chuàng)作、短視頻創(chuàng)作(文生視頻)、其他創(chuàng)作(文學藝術(shù)、商業(yè)通用)數(shù)學類小學數(shù)學、初中數(shù)學高中數(shù)學、高等數(shù)學推理類代碼生成、編程翻譯代碼解釋、代碼糾錯代碼自動補全生成代碼文檔單元測試基礎(chǔ)能力創(chuàng)作表達類問答理解類數(shù)學類推理類代碼類toC通用場景類生活助手辦公工具toB特定行業(yè)類金融:推薦場景金融/咨詢服務(wù):財報/市場分析互聯(lián)網(wǎng)/媒體:文案/海報設(shè)計、廣告詞創(chuàng)作、視頻生成場景零售/電商:客服問答工業(yè):產(chǎn)品設(shè)計輔助&&生產(chǎn)規(guī)劃教育:智能問答、試題生成法律:智能法律助手，法律咨詢醫(yī)療:問診，用藥咨詢科研產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢9我們跟蹤研究了多個通用大模型，其中包括：TencentHunyuanErnie-4.0Spark4.0UltraSenseChatV5Qwen-MaxTencentHunyuanErnie-4.0Spark4.0UltraSenseChatV5Qwen-Max-0428CongRong2.0GLM-4Baichuan4Yi-LargeCongRong2.0GLM-4Baichuan4Yi-Large產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢10迪用大模型2024年發(fā)膳趨勢在2024年，大模型的技術(shù)發(fā)展將趨向多功能與小型化，同時產(chǎn)業(yè)端將強調(diào)自主研發(fā)和行業(yè)標準化未來的技術(shù)演進方向是實現(xiàn)大模型底層框架的整合與標準化，未來的技術(shù)演進方向是實現(xiàn)大模型底層框架的整合與標準化，從多樣的架構(gòu)（如雙編碼器、單邊解碼等）轉(zhuǎn)向統(tǒng)?的、效率最優(yōu)化的開源底層框架，提升模型的通?性和可維護性。在產(chǎn)業(yè)應(yīng)?層?，結(jié)合底層基礎(chǔ)大模型和針對特定?業(yè)的精簡數(shù)據(jù)微調(diào)，將訓(xùn)練出更為實用、更易于產(chǎn)業(yè)落地的小型化大模型。為確保模型質(zhì)量和性能，未來的大模型將采?更深層的?絡(luò)結(jié)構(gòu)和更龐?的數(shù)據(jù)集進?預(yù)訓(xùn)練，尤其在數(shù)據(jù)量和參數(shù)量上將迎來顯著躍升。大模型將逐漸融入圖?、?頻、視頻等多種模態(tài)信息，實現(xiàn)跨模態(tài)的交互與理解，從?拓寬其應(yīng)?場景和實?價值。技術(shù)端大模型小模型化參數(shù)規(guī)模擴展模型整合統(tǒng)一多模態(tài)融合優(yōu)化和完善現(xiàn)有數(shù)據(jù)標準和規(guī)范，是推動大模型優(yōu)化和完善現(xiàn)有數(shù)據(jù)標準和規(guī)范，是推動大模型“燃料”質(zhì)量提升和數(shù)量增長的重要驅(qū)動力，在2024年將作為產(chǎn)業(yè)發(fā)展的首要任務(wù)。為確保中國大模型的長遠發(fā)展和避免外部制裁風險，國內(nèi)AI計算芯片的自主研發(fā)將成為關(guān)鍵戰(zhàn)略方向。為滿足產(chǎn)業(yè)實際需求并適應(yīng)中小企業(yè)的發(fā)展特點，“套殼”微調(diào)（即在現(xiàn)有大模型基礎(chǔ)上進?針對性調(diào)整）將成為除行業(yè)巨頭外企業(yè)的主要發(fā)展策略。隨著大模型性能的飛速提升和實?性的增強，確保AI技術(shù)與社會倫理道德標準相?致將成為?模型持續(xù)發(fā)展的關(guān)鍵考量因素。國產(chǎn)AI芯片自主研發(fā)數(shù)據(jù)產(chǎn)權(quán)標準深化人工智能倫理責任“套殼”微調(diào)策略產(chǎn)業(yè)端來源：沙利文中國大模型測評報告產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢11大模型時代的摩爾定律大模型時代的摩爾定律大模型的知識密度每8個月左右會翻一倍，同等知識量的模型參數(shù)量會減半右圖顯示了過去四年大語言模型在MMLU榜單（評估大模型知識能力）上的性能表現(xiàn)，紅色曲線表明，大模型的知識密度平均每8個月左右會翻一倍，同等知識量的模型其參數(shù)量會減半知識密度=知識量/參數(shù)量過去四年大語言模型在過去四年大語言模型在MMLU榜單(評估大模型知識能力)上的性能表現(xiàn)來源：面壁智能公眾號產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢12面壁智能面壁智能在2024年5月發(fā)布的多MiniCPM-Llama3-V2.5僅憑8B參數(shù)，實現(xiàn)了“以最小參數(shù)，撬動最強性能”的最佳平衡點。面壁智能迭代的最新版本MiniCPM-S1.2B采用了高度稀疏架構(gòu)，通過將激活函數(shù)替換為ReLU及通過帶漸進約束的稀疏感知訓(xùn)練，巧妙地解決了此前主流大模型在稀疏激活上面臨的困境。在通用大模型越來越卷參數(shù)規(guī)模和算力的情況下，如何通過架構(gòu)和算法創(chuàng)新去規(guī)避算力和成本的短板，我們認為小參數(shù)、高性能模型是一個重要的趨勢，特別對于手機、車載終端而言，這樣的端側(cè)模型具有現(xiàn)實的需求。隨著時間增長,隨著時間增長,GPT-4V水平的不同多模態(tài)模型參數(shù)量正在逐漸縮減來源：面壁智能公眾號產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢13算法框架上算法框架上文心一言沿襲了ERNIE3.0的海量無監(jiān)督文本與大規(guī)模知識圖譜的平行預(yù)訓(xùn)練算法，模型結(jié)構(gòu)上使用兼顧語言理解與語言生成的統(tǒng)一預(yù)訓(xùn)練框架。為提升模型語言理解與生成能力，研究團隊進一步設(shè)計了可控和可信學習算法。訓(xùn)練上訓(xùn)練上結(jié)合百度飛槳自適應(yīng)大規(guī)模分布式訓(xùn)練技術(shù)和“鵬城云腦Ⅱ”領(lǐng)先算力集群，解決了超大模型訓(xùn)練中的多個公認技術(shù)難題。在應(yīng)用上，首創(chuàng)大模型在線蒸餾框架，大幅降低了大模型落地成本與百度的方案類似，各科技大廠基于云平臺、算力基礎(chǔ)設(shè)施和大模型技術(shù)相結(jié)合，推動行業(yè)應(yīng)用落地，汽車產(chǎn)業(yè)鏈當然也是最重要的落地場景之一。來源：文心一言官網(wǎng)產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢14wayve對自動駕駛而言，與所有AI應(yīng)用類似，算力、算法、和數(shù)據(jù)三要素都必不可少算力層面數(shù)據(jù)方面算法層面算力層面數(shù)據(jù)方面算法層面數(shù)據(jù)的體量、質(zhì)量、以及收集方式、處理方式、以及模型的訓(xùn)練和驗證體系都考驗著開發(fā)者的技術(shù)和工程能力如何構(gòu)建一個性能優(yōu)異且穩(wěn)定可靠的算法來支撐功能落地，亦尤為關(guān)鍵目前海外特斯拉、目前海外特斯拉、Wayve、Comma.ai，國內(nèi)包括小鵬、理想、華為、蔚來汽車、元戎啟行、商湯、地平線等諸多玩家都提出自己的端到端自動駕駛方案，在算法上端到端已經(jīng)成為大勢所趨。但在發(fā)展路徑上，行業(yè)預(yù)計也會經(jīng)歷漸進的過程。早期玩家致力于將算法從模塊化架構(gòu)平穩(wěn)過渡到端到端，遠期大語言模型和端到端基礎(chǔ)模型有望結(jié)合形成“系統(tǒng)一”和“系統(tǒng)二”共同賦能自動駕駛，最終強大的通用人工智能（AGI）或許可覆蓋所有駕駛能力。端到端模型AGI端到端模型通用世界模型通用世界模型多模態(tài)大語言模型多模態(tài)大語言模型產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢15本次場景大模型行業(yè)大模型通用大模型場景大模型行業(yè)大模型通用大模型評選原則?單一場景的技術(shù)積累；?廣泛的汽車行業(yè)客戶與量產(chǎn)應(yīng)用；?可以允許“套殼”與API調(diào)用；?單場景技術(shù)方向的領(lǐng)先發(fā)展?jié)摿Γ?多場景的覆蓋能力與量產(chǎn)應(yīng)用；?持續(xù)的產(chǎn)品迭代能力；?走向通用世界模型的潛力；?四種競爭要素缺一不可；?評選原則?單一場景的技術(shù)積累；?廣泛的汽車行業(yè)客戶與量產(chǎn)應(yīng)用；?可以允許“套殼”與API調(diào)用；?單場景技術(shù)方向的領(lǐng)先發(fā)展?jié)摿Γ?多場景的覆蓋能力與量產(chǎn)應(yīng)用；?持續(xù)的產(chǎn)品迭代能力；?走向通用世界模型的潛力；?四種競爭要素缺一不可；?持續(xù)的產(chǎn)品迭代能力；?逐步建立于自研芯片或者國產(chǎn)芯片的算?汽車行業(yè)的合作與量產(chǎn)應(yīng)用；競爭因素場景數(shù)據(jù)服務(wù)算法場景數(shù)據(jù)算法算力數(shù)據(jù)框架產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢16通用大模型公司下沉行業(yè)應(yīng)用場景主機廠向科技企業(yè)轉(zhuǎn)型4面壁智能參與者4面壁智能自動駕駛方案商發(fā)展垂類大模型Tier1提高客戶整體解決方案競爭力自動駕駛方案商發(fā)展垂類大模型Mmomenra輕舟QMmomenra輕舟QCRAFT產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢17研發(fā)設(shè)計營銷推廣客戶服務(wù)語音助手數(shù)字孿生具身智能1自動駕駛智能座艙研發(fā)設(shè)計營銷推廣客戶服務(wù)語音助手數(shù)字孿生具身智能123供應(yīng)商1供應(yīng)商2供應(yīng)商3主機廠1主機廠2……主機廠N公司1公司2產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢182024鄰汽車TOP10大模型如下:SenseChatV5Ernie-4.0Spark4.0UltraTencentSenseChatV5Ernie-4.0Spark4.0UltraTencentHunyuanXGPTXGPT面壁智能MiniCPMDFM面壁智能MiniCPMDFM-2DriveGPT2.0FSDV12.3DriveGPT2.0產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢19幾遞汽李元慎型TWP四幾遞汽李元慎型TWP四文心一言大模型1.1百度發(fā)布文心一言4.0Turbo2024年6月28日，百度首席技術(shù)官、深度學習技術(shù)及應(yīng)用國家工程研究中心主任王海峰在WAVESUMMIT深度學習開發(fā)者大會2024上宣布了文心一言的最新數(shù)據(jù)，并正式發(fā)布文心大模型4.0Turbo、飛槳框架3.0等最新技術(shù)2023.03.16文心一言大模型3.02024.06.28文心一言大模型4.0Turbo2023.03.16文心一言大模型3.02024.06.28文心一言大模型4.0Turbo2021.12“文心一言”發(fā)展歷程全球最大中文跨模態(tài)生成模型Ernie-viLG2023.102021.072023.10全球首個知識增強百億大模型全球首個知識增強百億大模型Ernie3.02021.122019.03中國首個正式開放的預(yù)訓(xùn)練模型Ernie2019.03中國首個正式開放的預(yù)訓(xùn)練模型Ernie1.02021.09全球首個百億中英對話生成模型Plato-XL2019.07全球首個大規(guī)模隱變產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢211.2百度AI大模型底座算力層百度自研昆侖芯，同時也與國內(nèi)外機構(gòu)合作，搭建算力中心和異構(gòu)計算平臺架構(gòu)層其飛槳框架已經(jīng)更新到3.0版本。實現(xiàn)大模型混合并行訓(xùn)練策略、編譯器自動優(yōu)化、大模型多硬件適配和推訓(xùn)一體工具層開發(fā)飛槳的各類組建算力層百度自研昆侖芯，同時也與國內(nèi)外機構(gòu)合作，搭建算力中心和異構(gòu)計算平臺架構(gòu)層其飛槳框架已經(jīng)更新到3.0版本。實現(xiàn)大模型混合并行訓(xùn)練策略、編譯器自動優(yōu)化、大模型多硬件適配和推訓(xùn)一體工具層開發(fā)飛槳的各類組建應(yīng)用層文心一言推出多種功能各有側(cè)重的文心大模型，包括文心輕量級、文心3.5、文心4.0、文心4.0工具版。其中，文心輕量級模型適合解決確定場景的問題；文心3.5適用于日常信息處理和文本生成任務(wù)；文心4.0模型參數(shù)更大、具備更強的理解能力、邏輯推理能力與更豐富的知識，提供專業(yè)且深入的幫助；文心4.0工具版則基于智能體技術(shù)，善于綜合運用多種工具和數(shù)據(jù)，按要求完成非常復(fù)雜的任務(wù)。最新發(fā)布的文心4.0Turbo則是文心4.0的場景&應(yīng)用航空航天氣象&海洋能源動力材料研發(fā)新藥研發(fā)疫苗設(shè)計飛行器&汽車風阻預(yù)測座艙散熱天氣預(yù)報凸包能預(yù)測蛋白質(zhì)結(jié)構(gòu)預(yù)測范式范式數(shù)據(jù)驅(qū)動機理驅(qū)動數(shù)據(jù)驅(qū)動機理驅(qū)動數(shù)理融合數(shù)理融合工具工具組建PaddleSciencePaddleSciencePaddleHelixPaddleHelixDeepXDEDeepXDENvidiaNvidiaModulusDeePMD-kitDeePMD-kitNvidiaNvidiaModulus框架框架計算庫概率統(tǒng)計方程符號化定義計算庫概率統(tǒng)計方程符號化定義神經(jīng)算子學習······算子庫算子庫高階自動微分原生復(fù)數(shù)機制線性代數(shù)運算······大范圍分布式并行計算編譯器硬件算子適配算力智算中心算力智算中心算力中心產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢22飛槳硬件生態(tài)持續(xù)繁榮語音理解文字識別圖像分類目標檢測圖像分割圖像生成大模型推訓(xùn)一體飛槳硬件生態(tài)持續(xù)繁榮語音理解文字識別圖像分類目標檢測圖像分割圖像生成大模型推訓(xùn)一體端到端開發(fā)套件飛槳產(chǎn)業(yè)級深度學習與開源開放平臺飛槳產(chǎn)業(yè)級深度學習與開源開放平臺科學計算資源管理科學計算資源管理與調(diào)度?工具與組建?動化深度學習強化學習聯(lián)邦學習工具與組建?動化深度學習強化學習聯(lián)邦學習圖學習量?機器學習?物計算芯片廠商支持與開源社區(qū)貢獻芯片廠商支持與開源社區(qū)貢獻低代碼開發(fā)?具預(yù)訓(xùn)練模型應(yīng)低代碼開發(fā)?具預(yù)訓(xùn)練模型應(yīng)??具可視化分析?具安全與隱私?具云上部署編排?具NVIDIAArmNVIDIAArm具具學學習與實與與CPU、操作系統(tǒng)、Al芯片的深入融合適配訓(xùn)社訓(xùn)社區(qū)?CPU:飛騰、海光、鯤鵬、龍芯、申威?操作系統(tǒng):麒麟、統(tǒng)信、普華?AI芯片:昆侖芯、海光、寒武紀、瑞芯微、算能、高通、Graphcore、Ambarella基礎(chǔ)模型庫自然語言處理計算機視覺語音推薦時間序列文心大模型自然語言處理計算機視覺語音推薦時間序列文心大模型開發(fā)開發(fā)訓(xùn)練推理部署邊緣與移動端推理引擎核心核心框架動態(tài)圖大規(guī)模分布式訓(xùn)練模型壓縮前端推理引擎動態(tài)圖大規(guī)模分布式訓(xùn)練模型壓縮前端推理引擎靜態(tài)圖產(chǎn)業(yè)級數(shù)據(jù)處理服務(wù)器推理引擎服務(wù)化部署全場景統(tǒng)一部署靜態(tài)圖產(chǎn)業(yè)級數(shù)據(jù)處理服務(wù)器推理引擎服務(wù)化部署全場景統(tǒng)一部署??與浪潮、中科曙光等服務(wù)器廠商合作?形成軟硬一體的全棧AI基礎(chǔ)設(shè)施產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢23行業(yè)大規(guī)模行業(yè)大規(guī)模能能源影視社科社科金融人____航天人____航天城市制造人_____制造人_____傳媒文心文心大模型跨模態(tài)生物計算視覺自然語言處理跨模態(tài)生物計算視覺自然語言處理文心一言文心一言ERNIEBot對話PLATO-XL|搜索ERNIE-Search跨語言ERNIE-M|代碼ERNIE-Code語言理解與生成ERNIEERNIE3.0Zeus|鵬城-百度·文心ERNIE3.5|ERNIE4.0文檔智能ERNIE-Layout文圖生成文檔智能ERNIE-Layout文圖生成ERNIE-ViLG視覺-語言ERNIE-ViL語言-語言ERNIE-SATOCR圖像表征學習VIMER-StrucTexT多任務(wù)視覺表征學習VIMER-UFO視覺處理多任務(wù)學習VIMER-TCIR自監(jiān)督視覺表征學習VIMER-CAE化合物表征學習HelixGEM蛋白質(zhì)結(jié)構(gòu)預(yù)測HelixFold單序列蛋白質(zhì)結(jié)構(gòu)預(yù)測HelixFold—Single產(chǎn)業(yè)研究產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢24與主機廠合作落地應(yīng)用于提升百度自動駕駛感知算法與主機廠合作落地應(yīng)用于提升百度自動駕駛感知算法文心大模型在百度感知2.0中發(fā)揮了重要作用，主要提升3D感知能力，解決遠距離檢文心大模型在百度感知2.0中發(fā)揮了重要作用，主要提升3D感知能力，解決遠距離檢測和長尾物體識別兩大難題。百度使用半監(jiān)督、自訓(xùn)練方案對大模型進行訓(xùn)練使用了百度文心ERNIE3.0大模型，在智能客服知識庫擴充、車載語音系統(tǒng)短答案生成、汽車領(lǐng)域知識庫構(gòu)建三個任務(wù)上進行了微調(diào)與驗證。先用有標簽數(shù)據(jù)對模型進行初始啟動訓(xùn)練，后將模型在無標簽數(shù)據(jù)上進行推理得到偽標簽，最后合并有標簽數(shù)據(jù)和偽標簽數(shù)據(jù)對模型進行進一步訓(xùn)練。如此往復(fù)。先用有標簽數(shù)據(jù)對模型進行初始啟動訓(xùn)練，后將模型在無標簽數(shù)據(jù)上進行推理得到偽標簽，最后合并有標簽數(shù)據(jù)和偽標簽數(shù)據(jù)對模型進行進一步訓(xùn)練。如此往復(fù)。訓(xùn)練完感知大模型后，百度利用知識蒸餾的方法將偽標簽用于車載小模型的學習，從而增強車載小模型的遠距離感知能力。產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢25幾遞汽李元慎型TWP幾遞汽李元慎型TWP四華為盤古大模型2024世界人工智能大會2024世界人工智能大會coudMatrix架構(gòu)可組合可池化華為常務(wù)董事、華為云CEO張平安指出，華為正在通過“云網(wǎng)端芯”架構(gòu)上的協(xié)同創(chuàng)新，來構(gòu)建可持續(xù)發(fā)展的AI算力基礎(chǔ)，包括云基礎(chǔ)設(shè)施系統(tǒng)架構(gòu)創(chuàng)新、芯端算力上云、面向AIcoudMatrix架構(gòu)可組合可池化華為華為云推出了全新的CloudMatrix架構(gòu)，以“一切可池化”“一切皆對等”“一切可組合”三大創(chuàng)新設(shè)計，從算力規(guī)模、擴展模式和使用模式上，匹配超大規(guī)模的算力訴求，通過技術(shù)創(chuàng)新來解決行業(yè)難題。透過CloudMatrix架構(gòu)創(chuàng)新展現(xiàn)華為云全棧的AI能力，包含盤古大模型、昇騰AI云服務(wù)、分布式QingTian架構(gòu)、AI-NativeStorage和全球存算網(wǎng)等。產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢272024年6月22日,在華為開發(fā)者大會2024(HDC2024)上華為常務(wù)董事、華為云CEO張平安正式發(fā)布盤古大模型5.0，在全系列、多模態(tài)、強思維三個方面全新升級；還分享了盤古大模型在自動駕駛、工業(yè)設(shè)計、建筑設(shè)計、具身智能、媒體生產(chǎn)和應(yīng)用、高鐵、鋼鐵、氣象等領(lǐng)域的豐富創(chuàng)新應(yīng)用和落地實踐，持續(xù)深入行業(yè)解難題。盤古大模型5.0包含不同參數(shù)規(guī)格的模型，以適配不同的業(yè)務(wù)場景。十億級參數(shù)的PanguE系列可支撐手機、盤古大模型5.0包含不同參數(shù)規(guī)格的模型，以適配不同的業(yè)務(wù)場景。十億級參數(shù)的PanguE系列可支撐手機、PC等端側(cè)的智能應(yīng)用；百億級參數(shù)的PanguP系列，適用于低時延、高效率的推理場景；千億級參數(shù)的PanguU系列適用于處理復(fù)雜任務(wù)；萬億級參數(shù)的PanguS系列超級大模型能夠幫助企業(yè)處理更為復(fù)雜的跨領(lǐng)域多任務(wù)。盤古大模型5.0能夠更好更精準地理解物理世界，包括文本、圖片、視頻、雷達、紅外、遙感等更多模態(tài)。在圖片和視頻識別方面，可支持10K超高分辨率；在內(nèi)容生成方面，采用業(yè)界首創(chuàng)的STCG（SpatioTemporalControllableGeneration，可控時空生成）技術(shù)，聚焦自動駕駛、工業(yè)制造、建筑等多個行業(yè)場景，可生成更加符合物理規(guī)律的多模態(tài)內(nèi)容。復(fù)雜邏輯推理是大模型成為行業(yè)助手的關(guān)鍵。盤古大模型5.0將思維鏈技術(shù)與策略搜索深度結(jié)合，極大地提升了數(shù)學能力、復(fù)雜任務(wù)規(guī)劃能力以及工具調(diào)用能力。產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢282023?該平臺基于盤古大模型和ModelArtsAI開發(fā)生產(chǎn)線，已經(jīng)在多個車企和商用車場景中成功運用。華為云還與多家企業(yè)簽署了戰(zhàn)略合作協(xié)議,包括華人運通、禾多科技、賽目科技和星塵數(shù)據(jù)等,旨在展開在自動駕駛領(lǐng)域的深入合作。該平臺基于盤古大模型和ModelArts該平臺基于盤古大模型和ModelArtsAI開發(fā)生產(chǎn)線，提供了數(shù)據(jù)生成、自動標注、模型訓(xùn)練、云端仿真、虛實結(jié)合仿真、數(shù)據(jù)閉環(huán)等一系列能力。該平臺預(yù)集成了超過25萬個場景庫，包括500多類功能場景和200多項測評指標體系，將傳統(tǒng)純實車測試時的場景搭建工作從數(shù)天降低到分鐘級，車企還可以基于盤古訓(xùn)練出自己需要的模型。2024年6月22日，盤古大模型5.0通過創(chuàng)新的可控時空生成技術(shù)，結(jié)合場景視頻生成、4DBEV視頻生成、自動駕駛仿真庫及路網(wǎng)信息，能更好地理解物理規(guī)律，大規(guī)模生成和實際場景相一致的駕駛視頻數(shù)據(jù)，還可以靈活增加控制條件，生成不同路況、不同光照、不同天氣的訓(xùn)練視頻數(shù)據(jù)，加速自動駕駛技術(shù)的快速成熟。據(jù)華為云EI服務(wù)產(chǎn)品部部長尤鵬華為云通過盤古大模型賦能自動駕駛開發(fā)平臺可以實現(xiàn)三層加速通過數(shù)智融合架構(gòu)打破數(shù)據(jù)、AI資源管理邊界，在一個平臺即可完成開發(fā)、測試、交付上線工作，讓業(yè)務(wù)創(chuàng)新提效2倍，實現(xiàn)數(shù)據(jù)加速；借助盤古大模型在認知、感知、決策、優(yōu)化等全領(lǐng)域的能力，車企可以快速基于盤古訓(xùn)練出自己需要的模型，實現(xiàn)算法加速；基于昇騰AI云服務(wù)，可針對自動駕駛300+算法進行優(yōu)化，60+實現(xiàn)精度性能提升，可以做到千卡訓(xùn)練數(shù)月不中斷，實現(xiàn)算力加速。目前上述三種華為自動駕駛相關(guān)大模型中，只有場景理解大模型已有客戶（比亞迪）合作落地（工程師僅需調(diào)用華為云提供的API就可以用場景理解大模型來完成給視頻數(shù)據(jù)分類的工作）。但是大模型的訓(xùn)練成本高昂。GPT-3訓(xùn)練一次的成本可能在1200萬人民幣。而華為方面，在訓(xùn)練千億參數(shù)的盤古大模型時，也調(diào)用了超過2000塊的昇騰910，進行了超過2個月的訓(xùn)練，成本極高。一方面選擇小樣本訓(xùn)練，通過自監(jiān)督的方法，以更少的標注數(shù)據(jù)來做訓(xùn)練，以降低成本；另一方面盤古大模型的三層架構(gòu)能在結(jié)構(gòu)上實現(xiàn)降本。L0層是通識性的大模型，具備魯棒性和泛化性；大模型訓(xùn)練好了之后不用再重復(fù)訓(xùn)練，只需在L1和L2層做適應(yīng)性訓(xùn)練，成本關(guān)系是上一層的5-10%。產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢?nèi)A為云是具備自動駕駛數(shù)據(jù)閉環(huán)工具鏈全棧自研能力的云廠商之一。除了給用戶提供大模型的能力外，華為云也可以提供數(shù)智融合架構(gòu)、ModelArtsAI開發(fā)生產(chǎn)線、昇騰AI云服務(wù)等一系列配套設(shè)施，用戶可以在華為云的自動駕駛開發(fā)平臺上同時實現(xiàn)數(shù)據(jù)加速、算法加速和算力加速。ModelArtsAI開發(fā)生產(chǎn)線包含DataTurbo、TrainTurbo、InferTurbo三部分，分別提供數(shù)據(jù)加載、模型訓(xùn)練、模型推理的加速工具，倍速提升模型訓(xùn)練效率。為了應(yīng)對模型訓(xùn)練的算力需求，各家科技公司、主機廠等紛紛開始自建/合建算力中心，打造算力集群。華為云在烏蘭察布和貴安數(shù)據(jù)中心同時上線了昇騰AI云服務(wù)，為模型訓(xùn)練提供澎湃算力，單集群性能可達2000PFlops。華為自動駕駛研發(fā)平臺解決方案架構(gòu)圖華為自動駕駛研發(fā)平臺解決方案架構(gòu)圖大規(guī)模的算力集群通常會面臨業(yè)務(wù)連續(xù)性的問題大規(guī)模的算力集群通常會面臨業(yè)務(wù)連續(xù)性的問題，因為單點故障就可能導(dǎo)致整個大規(guī)模分布式任務(wù)失敗。為保證訓(xùn)練任務(wù)不中斷，華為云開發(fā)了斷點續(xù)訓(xùn)的方法，假如在訓(xùn)練過程中出現(xiàn)了單點故障，系統(tǒng)會將這個點排除掉，用新的節(jié)點替換掉故障節(jié)點，并且原地重啟。據(jù)悉，昇騰AI云服務(wù)可以實現(xiàn)千卡訓(xùn)練一個月以上不中斷，斷點恢復(fù)時長不超過10分鐘。產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢30科大訊飛KEDAXUNFEI訊飛星火大模型2023年10月24日,科大訊飛發(fā)布星火大模型V3.0,七大能力持續(xù)提升。星火3.0升級啟發(fā)式對話、2023年10月24日,科大訊飛發(fā)布星火大模型V3.0,七大能力持續(xù)提升。星火3.0升級啟發(fā)式對話、AI人設(shè)功能,能夠打造更個性化的AI助手。2024年6月27日,發(fā)布了星火大模型4.0版本。星火大模型在識別中，兩人混疊場景準確率已經(jīng)到了91%，三人混疊場景準確率達85%以上。在-5dB的高噪場景，噪音已經(jīng)比人講話還要高不少的情況下，星火語音識別依然能做到90%以上的準確率?！?023年到2024年的國際連續(xù)最權(quán)威的語音識別比賽，國際多通道語音分離和識別大賽CHiME-7，星火繼續(xù)拿了全球第一；今年的上半年國際聲學、語音和信號處理會議ICASSP2024（InternationalConferenceonAcoustics,Speech,andSignalProcessing）的旗艦賽事——國際車載多通道語音識別挑戰(zhàn)賽科大訊飛是全球第一，這個不是中文的，是英文和多語種的比賽。”語音交互已經(jīng)搭載了5700多萬輛的汽車，去年中國500多萬輛汽車出海，成為中國出海的“新三樣”，其中的多語種智能語音技術(shù)幾乎全是科大訊飛提供的?？拼笥嶏w與紅旗、奇瑞、廣汽、一汽簽訂了戰(zhàn)略合作協(xié)議，越來越多的車企開始用訊飛星火“能聽會說、能理解會思考”的汽車方案。產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢323.2星火大模型4.0升級智能座艙解決方案升級了星火汽車智能座艙升級了星火汽車智能座艙智能座艙中可以實現(xiàn)全雙工交互，實現(xiàn)多語種多方言的免切換交流，多情感多模態(tài)的擬人交互，而且能夠多模態(tài)感知，知道駕駛?cè)松眢w健康程度，是否疲勞、血壓過高、心跳過快；還可以貫穿內(nèi)外信源，在車上完成任務(wù)，科大訊飛星火有了語言理解，就可以更自由地對接外部信源了。除了急速的語音對話、多方言多語種之外，通過多模態(tài)的識別，它可以了解到你的身體參數(shù)，知道你是否疲勞駕駛、是否有異常情況。星火在汽車的音效上還有一個非常重要的特點，通過AI大模型和音效結(jié)合，可以把十幾萬的國產(chǎn)車音效，做到比四五十萬的車的音效還好，40多萬的車可以超過柏林之聲的音效。不僅音效提升，開車時可以隨時要求去掉原唱，跟著它的伴唱、對唱、分享等，這些都是大模型帶來的功能，產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢33發(fā)布訊飛機器人超腦平臺2.0發(fā)布訊飛機器人超腦平臺2.0“隨著大模型具身智能的幫助，今天的陪伴機器人，尤其是人形機器人開始進入到全新的發(fā)展階段，未來如果沒有陪伴機器人，老年社會的幸福是沒有辦法保障的?！蓖ㄟ^大模型可以在后臺做理解、做規(guī)劃，在前端通過專門的硬件通過大模型可以在后臺做理解、做規(guī)劃，在前端通過專門的硬件設(shè)備實現(xiàn)麥克風陣列，實現(xiàn)人臉、手勢的各種識別，從而可以“聽說看認”，最后再與機器人廠商共同來做具身模型，把這個能力開放給訊飛星火的合作伙伴。直接用科大訊飛的方案，每一個機器人廠商都可以定制自己的機器人超腦。2022年推出訊飛超腦平臺，是專門給機器人的機器人超腦平臺1.0，現(xiàn)在已經(jīng)有410家機器人企業(yè)，大概占了至少60%的機器人市場份額。機器人超腦平臺進一步升級。升級的核心是后端星火超腦2.0的硬件版，能夠極大地提升具身智能和最后相關(guān)的理解能力，包括任務(wù)規(guī)劃和前端的攝像頭、麥克風一體化的模塊。產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢34各種場景優(yōu)化定制怎么解決應(yīng)用的“最后一公里”?搭建企業(yè)智能體平臺最重要的三項能力第一是搭建企業(yè)智能體平臺最重要的三項能力第一是AI的原子能力，比如人工智能開放平臺上的各種各樣的專有能力，會成為工具被它調(diào)用；第二個是各種外部信源；最后要打通公司內(nèi)部系統(tǒng)。這三個能力構(gòu)建起來，再有大模型能力，就可以搭建企業(yè)智能體了。在這方面科大訊飛已經(jīng)走在了行業(yè)前列，不僅有了基本能力，現(xiàn)在AI的原子能力有400多項，已經(jīng)集成了外部的90多個重要的信源，關(guān)乎到研、產(chǎn)、供、銷、服、管各個領(lǐng)域，天氣、股票、航班等這些全部都在。打通了內(nèi)部IT、ERP財務(wù)、法務(wù)、OA等系統(tǒng)。訊飛星火V4.0在智能體上的能力進步目標可以更好地照進現(xiàn)實。這個是什么目標？能不能用一句話提要求，大模型就能理解我的意圖，然后分解出這句話所對應(yīng)的各個步驟的任務(wù)，然后找到每個任務(wù)所對應(yīng)的工具，讓每個工具去調(diào)用內(nèi)外部的各種信息，有的是內(nèi)部信息，有的是外部信息，最后完成任務(wù)給出結(jié)果，這就叫智能體。簡單地說，就是叫它干一件事，它能自動規(guī)劃，找到工具自動完成。產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢35商湯科技SENSETIME商湯日日新大模型●2024年4月23日●2024年4月23日2024年2月2024年2月商湯科技在WAIC2024舉辦“大愛無疆·向新力”人工智能論壇商湯科技在WAIC2024舉辦“大愛無疆·向新力”人工智能論壇，發(fā)布國內(nèi)首個具備流式原生多模態(tài)交互能力大模型日日新SenseNova5.5,綜合性能較兩個月前的日日新商湯科技發(fā)布日日新50（商湯科技發(fā)布日日新50（SenseChatV5..升級至SenseNova4.0，日日新·商量大模型各版本同步升級至V4。在2023世界人工智能大會（WAIC升級至SenseNova4.0，日日新·商量大模型各版本同步升級至V4。在2023世界人工智能大會（WAIC）上展示),采用混合專家架構(gòu)（MoE參數(shù)量高達6000億，支持200K的上下文窗口。據(jù)官方披露，SenseChatV5具備更強的知識、數(shù)學、推理及代碼能力，綜合性能全面對標GPT-4Turbo。 日日新5.5主要更新點6000億參數(shù)基模型性能全面提升。大量使用合成高階思維鏈數(shù)據(jù)，提升推理思維能力，在數(shù)理邏輯、英文、指令跟隨等方面能力增強明顯。率先推出國內(nèi)首個“所見即所得”模型「日日新5o」，流式多模態(tài)交互，帶來全新AI交互模式。端側(cè)模型全面升級，發(fā)布「日日新5.5Lite」，相比4月5.0版模型精度提升10%，推理效率提升15%，首包延遲降低40%。<<<產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢37應(yīng)用層應(yīng)用層插件庫應(yīng)用商店插件、app和API提示詞廣場開發(fā)者生態(tài)評測工具公有云、私有化部署數(shù)據(jù)標注服務(wù)模型管理服務(wù)發(fā)布模模型層商湯大模型體系數(shù)據(jù)平臺3D物體生成模型行業(yè)數(shù)據(jù)自動爬取自動采集和分類回流自動標注/人工Refine自動PROMPT構(gòu)建基礎(chǔ)底座大模型大批量數(shù)據(jù)自動清洗數(shù)據(jù)質(zhì)量評估文生圖模型人像模型代碼生成模型通用對話模型邏輯推理模型多模態(tài)感知模型串聯(lián)層Functioncall Codeinterpreter沙盒環(huán)境知識融合安全和價值觀對齊MOE混合專家基基礎(chǔ)層RLHF工具訓(xùn)練工具思維鏈和自反思思維鏈和自反思迭代系統(tǒng)多后端支持多后端支持Trt\ft\triton\PPI推理部署工具MOEMOE、多模態(tài)、Embedding訓(xùn)練MOEMOE、多模態(tài)、Embedding訓(xùn)練動態(tài)批次、調(diào)度動態(tài)批次、調(diào)度和擴編容多語言擴展/多人多語言擴展/多人設(shè)支持上下文長上下文長度擴增代碼和數(shù)理代碼和數(shù)理邏輯訓(xùn)練千卡并行訓(xùn)千卡并行訓(xùn)練工具云邊端支持國產(chǎn)云邊端支持國產(chǎn)化芯片適配壓縮優(yōu)化壓縮優(yōu)化INT8\INT4模型水印、編譯模型水印、編譯加密和授權(quán)算力支撐商湯算力中心國產(chǎn)化商湯算力中心國產(chǎn)化STPUNV``````產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢38目前商湯絕影已經(jīng)合作蔚來汽車、吉利極氪、廣汽埃安、哪吒汽車等品牌車型，此外，雖然具體車型未明確提及，但目前商湯絕影已經(jīng)合作蔚來汽車、吉利極氪、廣汽埃安、哪吒汽車等品牌車型，此外，雖然具體車型未明確提及，但商湯絕影已與本田、比亞迪、長城、紅旗、奇瑞等超過30家國內(nèi)外車企合作，覆蓋了超過90款車型。.異構(gòu)計算平臺艙駕融合商湯絕影還在進一步探索艙駕融合，實現(xiàn)智能駕駛和智能座艙在硬件、軟件及應(yīng)用層面的全面融合，提升用戶體驗、降低系統(tǒng)成本，進一步打破艙內(nèi)外的界限和束縛，涌現(xiàn)更多創(chuàng)新功能，帶來更安全、更加全方位，更具人文關(guān)懷的新體驗。端側(cè)部署商湯絕影為智能.異構(gòu)計算平臺艙駕融合商湯絕影還在進一步探索艙駕融合，實現(xiàn)智能駕駛和智能座艙在硬件、軟件及應(yīng)用層面的全面融合，提升用戶體驗、降低系統(tǒng)成本，進一步打破艙內(nèi)外的界限和束縛，涌現(xiàn)更多創(chuàng)新功能，帶來更安全、更加全方位，更具人文關(guān)懷的新體驗。端側(cè)部署商湯絕影為智能汽車前瞻構(gòu)建了UniAD、DriveAGI以及面向座艙的多模態(tài)場景大腦等系列原生態(tài)大模型，加速端到端自動駕駛和大模型在智能座艙場景的落地；全棧的數(shù)據(jù)生產(chǎn)管線，實現(xiàn)大模型的高質(zhì)量訓(xùn)練。商湯絕影打造了高性能異構(gòu)計算平臺HyperPPL。它綜合了大語言模型、多模態(tài)模型、CNN模型、前后處理完整的優(yōu)化能力。HyperPPL目前擴展并支持主流車載計算硬件，兼容多種主流操作系統(tǒng)，適配多個車載芯片的部署平臺，使得商湯絕影原生多模態(tài)大模型在主流芯片平臺均可快速部署上線。同時，HyperPPL支持flashdecode、segmentprefill等400多個硬件算子，并對算子進行性能優(yōu)化，同時量化支持int8、int4模式，并支持訓(xùn)練后量化，從而實現(xiàn)極致推理效率。產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢39騰訊TENCENT騰訊混元大模型5.1騰訊混元AI大模型算法方面在預(yù)訓(xùn)練上從零啟動訓(xùn)練算法方面在預(yù)訓(xùn)練上從零啟動訓(xùn)練，優(yōu)化預(yù)訓(xùn)練算法及策略，精調(diào)及強化學習，改進注意力機制，并開發(fā)了思維鏈新算法。機器學習框架采用的是自主研發(fā)的機器學習框架Angel，訓(xùn)練速度相比業(yè)界主流框架提升1倍，推理速度比業(yè)界主流框架提升1.3倍。基礎(chǔ)設(shè)施方面采用基于云星星海自研服務(wù)器的新一代HCC高性能算力集群，搭載了超強算力GPU，性能提升了3倍。2022年4月，騰訊首次對外披露混元AI大模型的研發(fā)進展?；隍v訊太極機器學習平臺進行研發(fā)，借助GPU算力，實現(xiàn)快速的算法迭代和模型訓(xùn)練。在全球MSR-VTT，MSVD，LSMDC，DiDeMo和ActivityNet五大跨模態(tài)視頻檢索數(shù)據(jù)集榜單中，“混元”AI大模型先后拿下第一名的成績2022年12月，混元推出國內(nèi)首個低成本、可落地的NLP萬億大模型。2023年2月，騰訊針對類ChatGPT對話式產(chǎn)品成立混元助手（HunyuanAide）項目組。2023年9月，混元AI大模型正式發(fā)布。星脈網(wǎng)絡(luò)底座為AI星脈網(wǎng)絡(luò)底座為AI?模型帶來10倍通信性能提升通過自研TiTa協(xié)議和自研TCCL通信庫，星脈網(wǎng)絡(luò)可將網(wǎng)絡(luò)利用率從普通以太網(wǎng)的60%提升到90%以上，極大提高整體集群的算力利用率。騰訊新一代計算集群可以幫助混元NLP大模型訓(xùn)練在同等數(shù)據(jù)集下，將訓(xùn)練時間由50天縮短到4天。業(yè)界最?3.2T通信帶寬算力集群所基于的網(wǎng)絡(luò)底座特點完整覆蓋NLP、CV、多模態(tài)、文生圖等基礎(chǔ)模型和眾多行業(yè)模型；跨模態(tài)視頻檢索、中文語義理解能力領(lǐng)先。擁有超千億參數(shù)規(guī)模，預(yù)訓(xùn)練語料超2萬億tokens，具備強大的中文創(chuàng)作能力，復(fù)雜語境下的邏輯推理能力，以及可靠的任務(wù)執(zhí)行能力。騰訊表示，混元大模型的中文能力已經(jīng)超過GPT3.5。產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢415.2騰訊AI布局框架基礎(chǔ)設(shè)施大模型與模型商店模型管理工具與引擎框架應(yīng)用場景基礎(chǔ)設(shè)施層和工具層結(jié)合騰訊云，有系統(tǒng)的研發(fā)布局和解決方案模型層騰訊副總裁湯道生表示混元大?；A(chǔ)設(shè)施大模型與模型商店模型管理工具與引擎框架應(yīng)用場景基礎(chǔ)設(shè)施層和工具層結(jié)合騰訊云，有系統(tǒng)的研發(fā)布局和解決方案模型層騰訊副總裁湯道生表示混元大模型已經(jīng)支持了內(nèi)部600多個應(yīng)用，同時開拓更多調(diào)用大模型的產(chǎn)業(yè)場景，滿足客戶生圖文、生圖、生視頻、生3D的需求。不同客戶場景，對模型也有不同需求。除了混元外，騰訊云也支持客戶選擇其他模型，有些客戶也會用騰訊的模型工具來精調(diào)其他開源模型如百川、GLM等。騰訊各事業(yè)部結(jié)合產(chǎn)品思考怎么用AI來提升用戶體驗、提高使用效率。比如在CSIG的企業(yè)應(yīng)用中，騰訊會議就用大模型來生成會議紀要，騰訊樂享就用大模型構(gòu)建熟悉企業(yè)文檔庫的智能助手，Coding研發(fā)平臺用大模型來生成代碼。應(yīng)用層產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢425.3 混元AI大模型主要能力混元AI大模型toB應(yīng)用多輪對話內(nèi)容創(chuàng)作具備上下文理解和長文記憶能力，流暢完成各專業(yè)領(lǐng)域的多輪問答。在多個場景下，騰訊混元大模型已經(jīng)能夠處理超長文本，通過位置編碼優(yōu)化技術(shù)，混元大模型對于長文處理效果和性能得到了提升。多輪對話內(nèi)容創(chuàng)作支持文學創(chuàng)作、文本摘要、角色扮演能力邏輯推理邏輯推理準確理解用戶意圖，基于輸入數(shù)據(jù)或信息進行推理、分析AIAI問答支持AI輸入文字內(nèi)容，然后給出相應(yīng)的回答，可有效解決事實性、時效性問題，提升內(nèi)容生成效果。具有識別“陷阱”的能力，通過強化學習方法拒絕被“誘導(dǎo)”，當用戶可能問出難以回答甚至無法回答的問題，針對此類安全誘導(dǎo)類問題的拒答率可以提升20%，減少了錯誤、無效回答的情況，提升回答內(nèi)容的可信度。多模態(tài)（計劃推出）多模態(tài)（計劃推出）AI繪畫，使用者描述畫面內(nèi)容，根據(jù)關(guān)鍵字生成畫作。根據(jù)騰訊的規(guī)劃，混元大模型將作為行業(yè)大模型服務(wù)的底座，企業(yè)不僅可以直接通過API調(diào)用混元，也可以將混元作為基底模型，為不同產(chǎn)業(yè)場景構(gòu)建專屬應(yīng)用。目前，混元支持金融、公共服務(wù)、社交媒體、電子商務(wù)、交通運輸、游戲等行業(yè)。座艙應(yīng)?（計劃推出）座艙應(yīng)?（計劃推出）基于座艙垂域大模型的應(yīng)用，結(jié)合感知車輛感知數(shù)據(jù)、語音輸入和用戶行為分析等因素，該模型能夠提供場景化分析和智能決策，帶給用戶更自然的對話體驗、生成式的交互界面、多樣化的場景編排和更個性化的出行服務(wù)建議等。產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢43幾遞汽李元慎型TWP幾遞汽李元慎型TWP四TESLA特斯拉端到端大模型6.1特斯拉端到端大模型特斯拉感知層從CNN單head?絡(luò)迭代2021年引入BEV+Transformer，將多攝像頭數(shù)據(jù)統(tǒng)一成俯視角度。2022年提出OccupancyNetworks判斷空間占用。規(guī)劃層引入交互搜索，逐步增加約束條件（其他參與者博弈行為）做最優(yōu)路徑規(guī)劃。核心特點沒有規(guī)則代碼，只有神經(jīng)網(wǎng)絡(luò)。市面上常見的自動駕駛系統(tǒng)，大多采用分模塊設(shè)計，包括感知、決策、控制三個模塊，各任務(wù)內(nèi)部采用各自的算法模型。2023年8月26日特斯拉演示FSD核心特點沒有規(guī)則代碼，只有神經(jīng)網(wǎng)絡(luò)。市面上常見的自動駕駛系統(tǒng)，大多采用分模塊設(shè)計，包括感知、決策、控制三個模塊，各任務(wù)內(nèi)部采用各自的算法模型。特斯拉特斯拉FSDV12的C++代碼控制減少了10倍，從2萬多行減少到2千行。特斯拉99%的決策都交給神經(jīng)網(wǎng)絡(luò)給出，視覺輸入，控制輸出，就像人類大腦一樣。另外，它所擁有的超強能力，是經(jīng)過巨量的「視頻數(shù)據(jù)」、1萬個H100加持下完成的。FSDBetaV12仍在調(diào)試中，因此還沒有確定正式發(fā)布的時間。產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢45幾遞汽李元慎型TWP四幾遞汽李元慎型TWP四XIAOPENG小鵬XGPT大模型7.1小鵬XGPT靈犀大模型2024年5月20日2024年5月20日小鵬汽車舉辦了一場主題為“開啟AI智駕時代”的AI璣系統(tǒng)包括AI智駕和AI座艙。DAY活動，展示了在AI方面的最新進展，并宣布將全面推送AI天璣系統(tǒng)。AI天智駕方面小鵬汽車自動駕駛端到端大模型包括深度視覺感知神經(jīng)網(wǎng)絡(luò)XNet、規(guī)劃大模型XPlanner和大語言模型XBrain智駕方面XBrain：更像人類的大腦，為智能駕駛系統(tǒng)提供了理解和學習能力。它能夠處理復(fù)雜場景，快速響應(yīng)各種駕駛環(huán)境中的指令。XBrain可以識別待轉(zhuǎn)區(qū)、潮汐車道、特殊車道和路牌文字，并根據(jù)這些信息做出安全高效的駕駛決策。XNet：類似于人類的眼睛，是一個結(jié)合動態(tài)視覺、靜態(tài)視覺和2K純視覺技術(shù)的深度感知神經(jīng)網(wǎng)絡(luò)。它能夠以裸眼3D效果重構(gòu)現(xiàn)實世界的3D圖像，感知范圍擴大了兩倍，相當于1.8個足球場的面積，并能識別50多種目標物，使駕駛系統(tǒng)的視野更加清晰、廣闊。XPlanner：更像人類的小腦，是基于神經(jīng)網(wǎng)絡(luò)的規(guī)劃大模型。通過大量的數(shù)據(jù)訓(xùn)練，它逐漸進化出類似人類駕駛員的操作能力，使駕駛過程更加平穩(wěn)，提升了用戶的駕駛舒適性和安全性。 AI座艙三種AI角色：AI小P-生活助理，人機共駕-AI保 AI座艙AI司機，擁有AI代駕、AI泊車功能，全面覆蓋行車、泊車在內(nèi)的全場景，使得車輛能洞悉外界環(huán)境，為駕駛者提供實時信息，確保行車的安全性和便捷性。小鵬大語言模型Xbrain和天璣系統(tǒng)智能座艙方案融合了智譜AI的基座大模型和多模態(tài)研發(fā)設(shè)計:小鵬還將大模型引入車輛設(shè)計和代碼開發(fā),提升研發(fā)效率產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢47毫末智行毫末智行DRIVEGPT8.1DriveGP'T大模型2023年10月11日2023年10月11日第九屆HAOMOAIDAY上，毫末智行CEO顧維灝詳細介紹了毫末DriveGPT大模型在推出200天后的整體進展。2023年4月11日第八屆HAOMOAIDAY上，毫末智行正式對行業(yè)首發(fā)了DriveGPT1.0自動駕駛生成式大模型，同時也公布了其中文名“雪湖·海若”。首先是首先是DriveGPT訓(xùn)練數(shù)據(jù)規(guī)模提升。截至2023年10月DriveGPT雪湖·海若共計篩選出超過100億幀互聯(lián)網(wǎng)圖片數(shù)據(jù)集和480萬段包含人駕行為的自動駕駛4DClips數(shù)據(jù)。進一步升級引入多模態(tài)大模型，獲得識別萬物的能力；與NeRF技術(shù)進一步整合，渲染重建4D空間；借助LLM（大語言模型讓自動駕駛認知決策具備了世界知識。產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢498.2毫術(shù)智行DriveGPT'2.0架構(gòu)感知階段感知階段DriveGPT首先通過構(gòu)建視覺感知大模型來實現(xiàn)對真實物理世界的學習,將真實世界建模到三維空間,再加上時序形成4D向量空間；毫末進一步引入開源的視覺文本多模態(tài)大模型,構(gòu)建更為通用的語義感知大模型,實現(xiàn)文、圖、視頻多模態(tài)信息的整合,從而完成4D向量空間到語義空間的對齊,實現(xiàn)跟人類一樣的“識別萬物”的能力。認知階段認知階段基于通用語義感知大模型提供的“萬物識別”能力,DriveGPT通過構(gòu)建駕駛語言(DriveLanguage)來描述駕駛環(huán)境和駕駛意圖,再結(jié)合導(dǎo)航引導(dǎo)信息以及自車歷史動作,并借助外部大語言模型LLM的海量知識來輔助給出駕駛決策。毫末基于毫末基于DriveGPT大模型開發(fā)模式的七大應(yīng)用實踐,包括駕駛場景理解、駕駛場景標注、駕駛場景生成、駕駛場景遷移、駕駛行為解釋、駕駛環(huán)境預(yù)測和車端模型開發(fā)。對于今年火熱的大模型上車，毫末智行有前瞻性的策略。在車端模型開發(fā)模式變革方面,毫末嘗試用蒸餾的方法,也就是用大模型輸出的偽標簽作為監(jiān)督信號,讓車端小模型來學習云端大模型的預(yù)測結(jié)果,或者通過對齊FeatureMap的方式,讓車端小模型直接學習并對齊云端的FeatureMap,從而提升車端小模型的能力。產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢508.3毫術(shù)智行布局智算中心MANAOASIS雪湖·綠洲(MANAOASIS)一一毫末智行智算中心發(fā)布時間:2023年1月5日合作伙伴：毫末智行&火山引擎聯(lián)合打造能力：該智算中心每秒浮點運算達67億億次，存儲帶寬每秒2T，通信帶寬每秒800G。數(shù)據(jù)管理能力方面：毫末智行建立了面向大規(guī)模訓(xùn)練的DataEngine，從單幀單要素變?yōu)檫B續(xù)幀全要素。實現(xiàn)百P數(shù)據(jù)篩選速度提升10倍、百億小文件隨機讀寫延遲小于500微秒；算力優(yōu)化方面：毫末與火山引擎聯(lián)合部署了Lego高性能算子庫、ByteCCL通信優(yōu)化能力以及大模型訓(xùn)練框架，可以讓算力進一步優(yōu)化；訓(xùn)練效率方面：基于SparseMoE，通過跨機共享，輕松完成千億參數(shù)大模型訓(xùn)練，且百萬個Clips（毫末視頻最小標注單位）訓(xùn)練成本只需百卡周級別，訓(xùn)練成本降低100倍。產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢51思必馳AISPEECH思必馳中樞大模型9.1思必馳發(fā)布大模型DFM-22021年，發(fā)布UniDU（DFM-0即統(tǒng)一生成式對話理解框架；2022年，統(tǒng)一理解、生成、表征等任務(wù)，研發(fā)DFM-1，即統(tǒng)一生成式通用對話基礎(chǔ)模型，作為10億及大模型進行小規(guī)模產(chǎn)品應(yīng)用；2023年7月12日，思必馳正式發(fā)布自研的對話式語言大模型DFM-2，并與梅賽德斯-奔馳、上汽通用五菱、長城汽車、合眾新能源、博泰車聯(lián)網(wǎng)、聯(lián)通智網(wǎng)等多家汽車產(chǎn)業(yè)鏈上的企業(yè)舉行了簽約儀式。DFM-2是具有通用智能、針對垂域的行業(yè)語言計算大模型通用智能及知識通用智能及知識提升人機語言交互五種核心能力：外部信源增強的精準推理決策、基于深度認知的通用語義理解、基于文檔理解的可信主動知識問答、面向用戶個性化的多人設(shè)交互、面對復(fù)雜任務(wù)的自動規(guī)劃與執(zhí)行；技術(shù)聯(lián)動大模型與全鏈路綜合對話技術(shù)能力的聯(lián)動。如數(shù)字人、語音合成技術(shù)產(chǎn)品應(yīng)用將DUI平臺與DFM-2大模型相結(jié)合，推出DUI2.0，升級對話式AI全鏈路技術(shù)，并應(yīng)用于多個領(lǐng)域DUI2.0在智能汽車領(lǐng)域的應(yīng)用為：思必馳汽車語音助手天琴系統(tǒng)全面升級至6.0，支持多模態(tài)、多意圖、多音區(qū)、全場景多輪連續(xù)對話。注：DUI開放平臺，是思必馳提供智能語音產(chǎn)品開發(fā)、智能語音技能定制等一站式行業(yè)解決方案，為全行業(yè)搭建的全鏈路智能對話開放平臺。產(chǎn)業(yè)研究戰(zhàn)略規(guī)劃技術(shù)咨詢