2024年AI大模型賦能智能座艙研究報告

AI大模型賦能智能座艙研究報告目

錄CONTENTS01042大模型的發(fā)展與行業(yè)應(yīng)用技術(shù)成熟與政策積極引導(dǎo)助推大模型快速增長，呈現(xiàn)多樣化特征，在教育、金融、辦公、政務(wù)、醫(yī)療等領(lǐng)域廣泛應(yīng)用，為經(jīng)濟社會發(fā)展注入新的強勁動力智能座艙的發(fā)展與AI大模型應(yīng)用大模型的發(fā)展推動了汽車智能座艙技術(shù)創(chuàng)新，優(yōu)化和改進智能座艙的功能和性能，為用戶帶來更加豐富、智能、個性化的體驗典型AI大模型應(yīng)用智能座艙案例車企研發(fā)智能座艙大模型主要有兩種模式：自主研發(fā)與合作研發(fā)。新勢力車企蔚小理是自主研發(fā)的代表，自主品牌車企多選擇與大模型廠商合作研發(fā)AI大模型賦能智能座艙的挑戰(zhàn)與機遇大模型技術(shù)已賦予座艙更加準確、流暢、自然的語音交互體驗，未來隨著AI

Agent的應(yīng)用，汽車智能座艙將獲得更加情感化和擬人化的交互體驗大模型的發(fā)展與行業(yè)應(yīng)用技術(shù)成熟與政策引導(dǎo)助推大模型發(fā)展應(yīng)用0134?2024.12iResearch

Inc.AI大模型是什么？AI大模型作為人工智能領(lǐng)域的重要突破，其超大規(guī)模參數(shù)和超強計算資源使得機器能夠處理海量數(shù)據(jù)，完成各種復(fù)雜任務(wù)AI大模型，通常指的是基于深度學(xué)習(xí)技術(shù)構(gòu)建的、具有大量參數(shù)和強大功能的的人工智能模型。數(shù)據(jù)、算力和算法是AI大模型發(fā)展的三大核心要素。這些模型通過學(xué)習(xí)海量數(shù)據(jù)和深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化，在各種任務(wù)上取得了顯著成果。算法算力數(shù)據(jù)AI大模型是什么？通常指的是基于深度學(xué)習(xí)技術(shù)構(gòu)建的、具有大量參數(shù)和強大功能的的人工智能模型。這些模型能夠處理和理解大規(guī)模的數(shù)據(jù)，并在多種復(fù)雜的任務(wù)中表現(xiàn)出色。它們的作用類似于大腦，可以處理和分析大量數(shù)據(jù)。這些模型通過訓(xùn)練過程學(xué)習(xí)，以執(zhí)行各種任務(wù)，讓計算機獲得類似人類的“思考”能力。核心三要素數(shù)據(jù)：AI大模型需要大規(guī)模的訓(xùn)練數(shù)據(jù)來支持其復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)學(xué)習(xí)。數(shù)據(jù)的數(shù)量越多，模型能夠?qū)W習(xí)到的信息就越全面，在處理各種任務(wù)時表現(xiàn)出更高的泛化能力。算力：AI大模型的訓(xùn)練需要高性能的計算硬件支持，如GPU、TPU等，大算力能夠加速模型的訓(xùn)練過程，使得復(fù)雜模型的訓(xùn)練在合理的時間內(nèi)完成。算法：算法指的是一系列解決問題的步驟和規(guī)則，這些步驟和規(guī)則是模型處理數(shù)據(jù)、學(xué)習(xí)知識和完成任務(wù)的基礎(chǔ)。來源：專家訪談，公開資料，艾瑞消費研究院自主研究及繪制。5?2024.12iResearch

Inc.數(shù)據(jù)時間：截至2024年7月30日，來源：中國網(wǎng)信辦，艾瑞消費研究院自主研究及繪制。 ?2024.12

iResearch

Inc.

來源：引自艾瑞咨詢《2023年中國人工智能產(chǎn)業(yè)研究報告(VI)》。AI大模型是產(chǎn)業(yè)升級的助燃劑138916211687209332939240550461170621372620280037624932

49625181102028e2020 2021 2022 2023 2024e2025e2026e

2027e中國人工智能產(chǎn)業(yè)加速前規(guī)模（億元）中國人工智能產(chǎn)業(yè)加速后規(guī)模（億元）AI大模型為各行各業(yè)提供了強大的技術(shù)支持，推動了產(chǎn)業(yè)的數(shù)字化和智能化轉(zhuǎn)型大模型快速發(fā)展，網(wǎng)信辦數(shù)據(jù)顯示，截至2024年7月30日，全國范圍內(nèi)通過登記備案的行業(yè)大模型有136款，占比達69%。行業(yè)大模型深度賦能教育、金融、辦公、政務(wù)、醫(yī)療等領(lǐng)域，形成上百種應(yīng)用模式，賦能千行百業(yè)，在AI大模型的加持下，2024年中國人工智能產(chǎn)業(yè)市場規(guī)模將達2800億元。中國行業(yè)大模型數(shù)量（款） 2020-2028年中國人工智能產(chǎn)業(yè)規(guī)模及預(yù)測行業(yè)大模型：136教育：19金融：18辦公：15政務(wù)：11醫(yī)療：11AI大模型加速人工智能技術(shù)變現(xiàn)AI大模型發(fā)展歷程1950-2005萌芽期：以CNN為代表的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型階段1956年，從計算機專家約翰·麥卡錫提出“人工智能”概念開始，AI發(fā)展由最開始基于小規(guī)模專家知識逐步發(fā)展為基于機器學(xué)習(xí)。1980年，卷積神經(jīng)網(wǎng)絡(luò)的雛形CNN誕生。1998年，現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)LeNet-5誕生，機器學(xué)習(xí)方法由早期基于淺層機器學(xué)習(xí)的模型，變?yōu)榱嘶谏疃葘W(xué)習(xí)的模型，為自然語言生成、計算機視覺等領(lǐng)域的深入研究奠定了基礎(chǔ)，對后續(xù)深度學(xué)習(xí)框架的迭代及大模型發(fā)展具有開創(chuàng)性的意義。2013年，自然語言處理模型

Word2Vec誕生，首次提出將單詞轉(zhuǎn)換為向量的“詞向量模型”，以便計算機更好地理解和處理文本數(shù)據(jù)。2014年，被譽為21世紀最強大算法模型之一的GAN（對抗式生成網(wǎng)絡(luò)）誕生，標志著深度學(xué)習(xí)進入了生成模型研究的新階段。2017年，Google顛覆性地提出了基于自注意力機制的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)——Transformer架構(gòu)，奠定了大模型預(yù)訓(xùn)練算法架構(gòu)的基礎(chǔ)。2018年，OpenAI和Google分別發(fā)布了GPT-1與BERT大模型，意味著預(yù)訓(xùn)練大模型成為自然語言處理領(lǐng)域的主流。AI大模型正處于爆發(fā)期，未來將朝向通用人工智能及超人工智能發(fā)展2006-2019沉淀期：以Transformer為代表的全新神經(jīng)網(wǎng)絡(luò)模型階段2020-至今爆發(fā)期：以GPT為代表的預(yù)訓(xùn)練大模型階段2020年OpenAI公司推出GPT-3，模型參數(shù)規(guī)模達到了1750億，成為當時最大的語言模型，并在零樣本學(xué)習(xí)任務(wù)上實現(xiàn)了巨大性能提升。隨后，更多策略如基于人類反饋的強化學(xué)習(xí)(RHLF)、代碼預(yù)訓(xùn)練、指令微調(diào)等開始出現(xiàn),

被用于進一步提高推理能力和任務(wù)泛化。2022年11月，搭載了GPT3.5的ChatGPT橫空出世，憑借逼真的自然語言交互與多場景內(nèi)容生成能力，迅速引爆互聯(lián)網(wǎng)。2023年3月，超大規(guī)模多模態(tài)預(yù)訓(xùn)練大模型GPT-4發(fā)布，具備了多模態(tài)理解與多類型內(nèi)容生成能力。目前，國內(nèi)廠商推出了星火認知大模型、文心一言大模型和通義千問大模型等。在迅猛發(fā)展期，大數(shù)據(jù)、大算力和大算法完美結(jié)合，大幅提升了大模型的預(yù)訓(xùn)練和生成能力以及多模態(tài)多場景應(yīng)用能力。未來AGI&ASI（具備同等或超越人類的智能）來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.6人工智能政策相關(guān)梳理國家適中重視AI的發(fā)展機遇及頂層設(shè)計，從“十二五”到“十四五”規(guī)劃期間，AI領(lǐng)域的發(fā)展政策經(jīng)歷了顯著的變化和深化重點突破高效能、可重構(gòu)類腦計算芯片和具有計算機成像功能的類腦視覺傳感器技術(shù)、研發(fā)具有學(xué)習(xí)能力的高效能類腦神經(jīng)網(wǎng)絡(luò)架構(gòu)和硬件系統(tǒng)，實現(xiàn)具有多媒體感知信息理解和智能增長、常識推理能力的類腦智能系統(tǒng)。來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.72017-2019年《新一代人工智能發(fā)展規(guī)劃》《關(guān)于促進人工智能和實體經(jīng)濟深度融合的指導(dǎo)意見》把握新一代人工智能的發(fā)展特點，結(jié)合不同行業(yè)，不同區(qū)域特點，探索創(chuàng)斷成果應(yīng)用轉(zhuǎn)化的路徑和方法，構(gòu)建數(shù)據(jù)驅(qū)動、人機協(xié)同、跨界融合的智能經(jīng)濟形態(tài)。新一代人工智能產(chǎn)業(yè)將著重構(gòu)建開源算法平臺，并在學(xué)習(xí)推理與決策、圖像圖形等重點領(lǐng)城進行創(chuàng)新，聚焦高端芯片等關(guān)鍵領(lǐng)域。2021-2022年《“十四五”規(guī)劃綱要和2035

遠景目標網(wǎng)要》《關(guān)于支持建設(shè)新一代人工智能示范應(yīng)用場景的通知》圍繞構(gòu)建全鏈條、全過程的人工智能行業(yè)應(yīng)用生態(tài)，支持一批基礎(chǔ)較好的人工智能應(yīng)用場景，加強研發(fā)上下游配合與新技術(shù)繼承，打造形成一批可復(fù)制、可推廣的標桿型示范應(yīng)用場景。由國家互聯(lián)網(wǎng)信息辦公室等七部門聯(lián)合發(fā)布，這是首個針對生成式AI的國家級監(jiān)管文件。該辦法自2023年8月15日起實施，包括24條管理要求，旨在促進生成式人工智能的健康發(fā)展和規(guī)范應(yīng)用，同時維護國家安全和社會公共利益。2023年《生成式人工智能服務(wù)管理暫行辦法》2024年《國家人工智能產(chǎn)業(yè)綜合標準化體系建設(shè)指南（2024版）》以搶抓人工智能產(chǎn)業(yè)發(fā)展先機為目標，完善人工智能標準工作頂層設(shè)計，強化全產(chǎn)業(yè)鏈標準工作協(xié)同，統(tǒng)籌推進標準的研究、制定、實施和國際化，為推動我國人工智能產(chǎn)業(yè)高質(zhì)量發(fā)展提供堅實的技術(shù)支撐。《政府工作報告》特別提到“人工智能、量子技術(shù)等前沿領(lǐng)域創(chuàng)新成果不斷涌現(xiàn)?！痹谡劦健按罅ν七M現(xiàn)代化產(chǎn)業(yè)體系建設(shè)，加快發(fā)展新質(zhì)生產(chǎn)力”時，政府工作報告中說，深化大數(shù)據(jù)、人工智能等研發(fā)應(yīng)用，開展“人工智能+”行動，打造具有國際競爭力的數(shù)字產(chǎn)業(yè)集群。國內(nèi)外大模型典型廠商梳理國外大模型以卓越性能和開源生態(tài)領(lǐng)跑，國內(nèi)大模型取得顯著突破通用大模型垂直大模型國內(nèi)國外圖片類音頻類視頻類閉源 開源Qwen2.5醫(yī)療 教育汽車政務(wù)NOMI

GPT商湯絕影金融螞蟻集團AntFinGLM工業(yè)奇智孔明AInnoGC來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.8國內(nèi)頭部通用大模型特點AI大模型出百花齊放，頭部模型各有千秋阿里云推出的通用大模型，具備廣泛的任務(wù)處理能力，包括文本生成、問答、翻譯等。創(chuàng)意文案：根據(jù)產(chǎn)品介紹自動撰寫營銷文案，修改潤色文章，生成直播帶貨劇本等辦公助理：提供SWOT分析、PPT框架生成等學(xué)習(xí)助手：應(yīng)用于學(xué)科試題生成、制定個性化學(xué)習(xí)路徑規(guī)劃等……百度開發(fā)的人工智能大語言模型，具備文本生成、語音合成、多語言支持、實時翻譯、智能斷句和個性化設(shè)置等能力。內(nèi)容創(chuàng)作：撰寫商業(yè)計劃、市場分析報告等商業(yè)文案多模態(tài)：支持圖像生成、圖像處理、語音識別、音頻分類等邏輯推理：進行數(shù)學(xué)計算、常識推理、邏輯校驗、代碼糾錯等……騰訊推出的通用大語言模型，擁有千億級別的參數(shù)量，具備強大的模型容量和學(xué)習(xí)能力。內(nèi)容創(chuàng)作：進行高質(zhì)量寫作、潤色、總結(jié)和創(chuàng)意生成等長文本處理：具備長文記憶能力，支持長文本輸入和處理邏輯推理：能夠理解用戶意圖，基于輸入數(shù)據(jù)或信息進行推理、分析和規(guī)劃……華為旗下的一系列AI大模型，包括盤古NLP大模型、盤古CV大模型、多模態(tài)大模型、預(yù)測大模型和科學(xué)計算大模型，這些模型以“AI

forindustries”為核心理念，賦能各行業(yè)AI升級。盤古大模型通過定制化的解決方案，廣泛應(yīng)用于：智慧城市、工業(yè)、金融、媒體、教育、政務(wù)、制造等多種行業(yè)和應(yīng)用場景?！拼笥嶏w推出的

AI

大語言模型，具備七大核心能力：文本生成、語言理解、知識問答、邏輯推理、數(shù)學(xué)能力、代碼能力和多模態(tài)。內(nèi)容創(chuàng)作：支持文檔一鍵生成、AI撰寫助手、AI自動配圖等邏輯推理：進行方程求解、立體幾何、微積分、概率統(tǒng)計等多模態(tài)：描述圖片內(nèi)容，根據(jù)描述內(nèi)容生成音頻和視頻……字節(jié)跳動基于云雀模型開發(fā)的

AI工具，提供包括聊天機器人、寫作助手以及英語學(xué)習(xí)助手等多種功能。沉浸式語音對話：進行角色扮演式對話，交互更加生動，擬人化寫作與學(xué)習(xí)助手：支持生成文章大綱、商業(yè)文案及學(xué)術(shù)文章，提供語法講解、詞匯翻譯等功能圖文、音視頻生成：支持文生圖、圖生圖、音樂生成、視頻生成……北京智譜華章科技有限公司推出的一款生成式AI助手，具備多輪對話、內(nèi)容創(chuàng)作、信息歸納總結(jié)等多種能力。內(nèi)容創(chuàng)作與信息歸納：能夠進行文章創(chuàng)作、信息提煉總結(jié)等多輪對話：能夠進行連貫的交流和理解上下文自定義智能體：用戶可以通過自定義智能體來滿足使用場景……由昆侖萬維和奇點智源聯(lián)合研發(fā)的大語言模型，具備搜索、對話、寫作、文檔分析、圖片生成等能力。多模態(tài)搜索：支持圖像、語音等多模態(tài)搜索長文本處理：支持一萬字以上的超長文本對話智能寫作：能夠撰寫各種類型的文案、PPT制作……來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.9AI大模型行業(yè)應(yīng)用現(xiàn)狀大模型技術(shù)服務(wù)能力深化，產(chǎn)業(yè)應(yīng)用商業(yè)化提速近2年AI大模型便備受關(guān)注，產(chǎn)品層出不窮，發(fā)展至以通用大模型為主，行業(yè)大模型、端側(cè)、端云結(jié)合等多種模式并行的階段。從服務(wù)場景看，AI大模型不斷深入企業(yè)核心場景，創(chuàng)造價值；從商業(yè)化看，面向C端的付費訂閱模式、面向B端的API調(diào)用授權(quán)、SaaS模式均取得初步成果，部分企業(yè)大模型業(yè)務(wù)收入明確。未來，大模型在各行業(yè)的深入應(yīng)用將推動行業(yè)數(shù)字化轉(zhuǎn)型和產(chǎn)業(yè)升級，提高企業(yè)經(jīng)濟效率和競爭力，催生新的商業(yè)模式和產(chǎn)業(yè)生態(tài)，為經(jīng)濟增長提供新的動力。部署與分類-

通用大模型：用于處理多種類型的任務(wù)，具有廣泛的適用性。如：ChatGPT系列、文心一言、通義千問等。行業(yè)應(yīng)用服務(wù)模式AI大模型技術(shù)特征通用性泛化性涌現(xiàn)性AI大模型云側(cè)大模型云端部署更大的參數(shù)規(guī)模更多的算力資源海量的數(shù)據(jù)存儲需求來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.10端側(cè)大模型本地部署參數(shù)規(guī)模小本地化運行隱私保護強端云協(xié)同大模型云側(cè)部署百億、千億級別的通用訓(xùn)練模型，端側(cè)部署小模型，使其擁有復(fù)雜任務(wù)的處理能力，擁有低算力成本個性化服務(wù)能力并保護用戶隱私圖像識別語音識別語言翻譯基因序列分析醫(yī)療醫(yī)學(xué)圖像分析語音合成文本摘要蛋白質(zhì)結(jié)構(gòu)預(yù)教育自動駕駛語音情感分析情感分析測金融視頻內(nèi)容理解問答系統(tǒng)制造等文本生成-

垂直大模型：在特定領(lǐng)域數(shù)據(jù)上進行訓(xùn)練，專注于解決該領(lǐng)域內(nèi)任務(wù)的模型。如：百度靈醫(yī)、京東方等。計算機視覺 語音技術(shù) 自然語言處理 生物信息學(xué) 行業(yè)領(lǐng)域ToC面向個人消費者，包括免費和付費訂閱模式。如：百度文心一言、騰訊元寶、抖音豆包AI等ToB面向企業(yè)，包括API調(diào)用授權(quán)、SaaS模式。如：阿里通義千問、智譜AI等AI大模型金融行業(yè)應(yīng)用智能投研投資決策：通過大模型專業(yè)、海量的投資標的信息分析以及大量投研數(shù)據(jù)的訓(xùn)練分析，得到可能優(yōu)于人工的分析結(jié)果，為客戶提供更好的投資理財建議風險管理風險管理：分析市場數(shù)據(jù)，預(yù)測和評估金融風險，為金融機構(gòu)提供更為精細化的風險管理策略欺詐檢測欺詐檢測：識別異常交易模式，防止金融欺詐，保護企業(yè)和消費者的利益智能投顧智能投顧：根據(jù)客戶的財務(wù)狀況、風險偏好和投資目標，提供個性化的理財建議和資產(chǎn)配置方案在高度數(shù)據(jù)驅(qū)動的金融市場，大模型技術(shù)應(yīng)用尤為廣泛金融行業(yè)具備大規(guī)模、高質(zhì)量的數(shù)據(jù)資源和多維度、多元化的應(yīng)用場景，是大模型技術(shù)應(yīng)用的最優(yōu)行業(yè)之一。當前金融大模型在銀行、保險、證券均有落地場景，從業(yè)務(wù)角度，各類金融機構(gòu)已嘗試將大模型應(yīng)用于支付、信貸、投顧、投研、保險等細分領(lǐng)域；從產(chǎn)品與服務(wù)角度，覆蓋智能客服、智能運營、智能營銷、智能辦公、風險管理、智能投研、智能投顧等。目前，金融行業(yè)中的大模型應(yīng)用更多是發(fā)揮其通用泛化能力優(yōu)勢，賦能基礎(chǔ)業(yè)務(wù)環(huán)節(jié)和通用場景，如交互對話、信息整理、內(nèi)容生成等；在涉及專業(yè)度高、個性化強、業(yè)務(wù)復(fù)雜且涉及嚴監(jiān)管領(lǐng)域的金融服務(wù)上，大模型更多作為輔助專業(yè)人員的助手，而不是替代人工。金融大模型應(yīng)用場景智能客服 智能運營 智能營銷 智能辦公智能辦公：大模型賦能辦公系統(tǒng)、郵件客戶端、即時通信工具等應(yīng)用，為金融從業(yè)者提供智能查找推薦相關(guān)文檔、數(shù)據(jù)分析、資料整合、自動生成文檔/報告等，提高工作效率信貸評估：對申請者的大量數(shù)據(jù)進行分析，可以精準評估其欺詐可能性和信用狀況，自動化進行信貸審批，提高審批效率和準確性智能營銷：利用大模型分析用戶行為數(shù)據(jù)以挖掘潛在需求，以“虛擬顧問”參與到客戶的投資、購買決策過程，從而實現(xiàn)個性化營銷和服務(wù)創(chuàng)新客戶服務(wù)：提供7*24小時在線服務(wù)，解答客戶的常見問題，處理投訴和建議等，有效減輕人工客服的負擔與提高服務(wù)效率和質(zhì)量，促進客戶滿意度與忠誠度提升來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.11AI大模型醫(yī)療行業(yè)應(yīng)用場景覆蓋診前、診中、診后，大模型技術(shù)將助推醫(yī)療行業(yè)全面升級醫(yī)療領(lǐng)域信息化的飛速發(fā)展，海量多模態(tài)醫(yī)療數(shù)據(jù)不斷積累，以及芯片、網(wǎng)絡(luò)、算力等基礎(chǔ)建設(shè)的持續(xù)增強，為醫(yī)療大模型的發(fā)展提供了基礎(chǔ)。目前，醫(yī)療大模型應(yīng)用廣泛涉及患者問診、醫(yī)生助手、藥物研發(fā)、醫(yī)學(xué)影像分析、醫(yī)療質(zhì)控、醫(yī)院管理、教學(xué)科研、中醫(yī)智能化等多個領(lǐng)域。不僅幫助醫(yī)生和患者之間進行更為高效和準確的溝通，減少信息不對稱性帶來的問題，提高了醫(yī)生的工作效率和診斷準確率；還能夠輔助醫(yī)生進行診斷和治療方案的制定，提高診療的精確度；助力新藥研發(fā)；優(yōu)化醫(yī)療機構(gòu)的管理和服務(wù)流程等。未來，大模型技術(shù)的不斷成熟與深入應(yīng)用，將推動醫(yī)療行業(yè)的全面升級。大模型在醫(yī)療領(lǐng)域的應(yīng)用架構(gòu)多模態(tài)海量數(shù)據(jù) 醫(yī)療領(lǐng)域通用大模型 醫(yī)療領(lǐng)域主要應(yīng)用場景預(yù)訓(xùn)練 多任務(wù)適配互聯(lián)網(wǎng)數(shù)據(jù)維基百科論壇網(wǎng)站社交媒體……清洗脫敏……計算機視覺技術(shù)自然語言處理技術(shù)單模態(tài)技術(shù)多模態(tài)技術(shù)……創(chuàng)作能力交互能力孿生能力推理決策能力微調(diào)提示……專業(yè)數(shù)據(jù)庫藥物數(shù)據(jù)庫詢證醫(yī)學(xué)庫國家標準庫……私有數(shù)據(jù)庫患者病歷影像資料醫(yī)院知識庫…………就診全流程診前掛號問診智能導(dǎo)診健康宣教……診中臨床診斷手術(shù)模擬電子病歷……醫(yī)學(xué)研究診后診后醫(yī)院慢病管理醫(yī)藥服務(wù)……科研文獻藥物研發(fā)醫(yī)學(xué)教育…………來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.121302 智能座艙發(fā)展與大模型應(yīng)用大模型推動汽車智能座艙技術(shù)創(chuàng)新與功能創(chuàng)新智能座艙的定義智能化和網(wǎng)聯(lián)化加持下，實現(xiàn)人車智能交互等多種智能功能的汽車座艙智能座艙集成多種IT和人工智能技術(shù)，并且可以通過不斷學(xué)習(xí)迭代升級座艙功能，在軟硬件的配合下實現(xiàn)人車智能交互，為駕駛員提供智能體驗；構(gòu)成包括HUD、流媒體后視鏡、DMS、車載娛樂信息系統(tǒng)、車內(nèi)座椅智能調(diào)節(jié)系統(tǒng)、車內(nèi)人員監(jiān)測系統(tǒng)、車內(nèi)空氣/溫度/濕度檢測系統(tǒng)、OTA升級系統(tǒng)等?！Z音交互系統(tǒng)手勢交互系統(tǒng)OMS流媒體后視鏡車載娛樂信息系統(tǒng)空氣質(zhì)量檢測DMS網(wǎng)聯(lián)服務(wù)抬頭顯示OTA車外監(jiān)測系統(tǒng)氛圍燈智能座椅數(shù)字鑰匙智能座艙主要功能構(gòu)成什么是智能座艙？智能座艙是指駕駛艙配備智能化、網(wǎng)絡(luò)化的車載產(chǎn)品，使其能夠與汽車本身以及外部世界進行智能交互特點智能化：通過集成先進的人工智能技術(shù)，智能座艙能夠?qū)W習(xí)并適應(yīng)駕駛員的操作習(xí)慣，提供更個性化的駕乘體驗。網(wǎng)聯(lián)化：借助車聯(lián)網(wǎng)技術(shù)，智能座艙可以實現(xiàn)車輛與外部設(shè)備的無縫連接，提供豐富的在線服務(wù)和功能。集成化：智能座艙將多種功能和系統(tǒng)集成在一起，包括娛樂、導(dǎo)航、通訊、駕駛輔助等，形成一個完整的智能系統(tǒng)。來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.14智能座艙發(fā)展史從服務(wù)駕駛者的機械式座艙逐漸成為用戶的第三生活空間最初的汽車座艙以服務(wù)汽車駕駛者為主要目的，各類機械式儀表顯示的信息主要是車速、發(fā)動機轉(zhuǎn)速、擋位、油量等；進入電子式座艙時期，座艙內(nèi)娛樂功能逐漸豐富，部分機械儀表也被液晶顯示屏所替代；智能化時代，在人工智能的加持下，車內(nèi)人員與車輛的交互更人性化，智能車機也會根據(jù)用戶習(xí)慣進行個性化服務(wù)；未來，汽車從出行工具向“第三空間”轉(zhuǎn)變，提供出行過程中的辦公、娛樂、社交、休息場景并實現(xiàn)多場景轉(zhuǎn)變。1機械式座艙座艙內(nèi)各項車輛信息主要服務(wù)于駕駛者，顯示信息包括車速、發(fā)動機轉(zhuǎn)速、擋位、油箱油量、水箱水溫等，座艙內(nèi)主要是機械式儀表盤和物理控制開關(guān)2電子式座艙進入21世紀，電子功能開始進入汽車座艙，部分機械式儀表被小尺寸液晶顯示屏所替代，車輛信息可以更直觀地顯示出來；CarPlay等車載軟件系統(tǒng)進一步豐富了座艙功能，實現(xiàn)了更多的娛樂化需求3智能化座艙新能源汽車的發(fā)展，促進了汽車電子設(shè)計能力的提升，讓電子設(shè)備進入座艙變的更加容易，加之人工智能技術(shù)的應(yīng)用，座艙內(nèi)實現(xiàn)語音識別、多維度交互、圖像識別監(jiān)測、個性化服務(wù)推薦等功能，提高了用車舒適度，為駕駛員和乘客帶來便利4第三生活空間未來，汽車從出行工具向“第三空間”轉(zhuǎn)變，提供出行過程中的辦公、娛樂、社交、休息場景并實現(xiàn)多場景轉(zhuǎn)變，艙內(nèi)設(shè)計更具空間感及個性化，人機交互更友好，汽車座艙與生活方方面面實現(xiàn)互聯(lián)，真正成為用戶新的生活空間來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.15智能座艙時代智能座艙架構(gòu)硬件層、中間軟件層、應(yīng)用層緊密配合，共同實現(xiàn)智能座艙的各項功能智能座艙架構(gòu)中最底層是硬件層。它包含了實現(xiàn)智能座艙功能所必需的各種硬件設(shè)備；中間層包含系統(tǒng)軟件層和功能軟件層。系統(tǒng)軟件層包括操作系統(tǒng)、驅(qū)動程序、中間件等，這些組成部分共同構(gòu)成了智能座艙系統(tǒng)的基石，為上層應(yīng)用的實現(xiàn)提供了堅實的基礎(chǔ)，功能軟件層位于系統(tǒng)軟件層之上，在智能座艙系統(tǒng)中直接面向用戶，實現(xiàn)應(yīng)用層的各種具體功能；支撐層又被稱為成長平臺，提供一系列的開發(fā)工具和平臺，幫助開發(fā)者快速、高效地構(gòu)建、部署、迭代智能座艙系統(tǒng)。開發(fā)工?庫臺具支撐?框?qū)蛹軕?yīng)用層車內(nèi)人員監(jiān)測識別、車機系統(tǒng)多模交互、語音交互識別、網(wǎng)絡(luò)互聯(lián)、實時信息顯示等系統(tǒng)軟件層Linux、Android等操作系統(tǒng)；各種硬件設(shè)備的驅(qū)動程序；位于操作系統(tǒng)和應(yīng)用軟件之間的中間件硬件層芯片、內(nèi)存、傳感器、感知設(shè)備、顯示器、揚聲器等各類硬件設(shè)備功能軟件層車載信息娛樂系統(tǒng)、導(dǎo)航系統(tǒng)、語音控制系統(tǒng)、用戶界面框架、智能互聯(lián)服務(wù)等上層中間層底層來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.16智能座艙產(chǎn)業(yè)鏈圖譜顯示材料上游-軟硬件設(shè)備下游-集成應(yīng)用中游-軟硬件集成系統(tǒng)智能座艙集成商主機廠座艙域控制器車載娛樂系統(tǒng)車載顯示系統(tǒng)AI大模型語音交互視覺監(jiān)控系統(tǒng)操作系統(tǒng)芯片Linux定制化要求來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.17集成方案支持定制化要求軟硬件支持軟硬件支持定制化要求AI大模型智能座艙研發(fā)方式車企自研與合作研發(fā)并駕齊驅(qū)，提升差異性和場景豐富性是未來方向隨著汽車智能化及AI大模型技術(shù)的發(fā)展，各家車企開始在智能座艙發(fā)力。根據(jù)企業(yè)性質(zhì)不同，傳統(tǒng)車企車型多、產(chǎn)線廣，考慮成本及通用性，在初期更多會選擇與大模型廠商合作。而新能源車企更偏向自研，能夠打造差異化。車企自研：完全由車企自主研發(fā)，目前新能源車企多數(shù)從初期開始就會選擇自研，如蔚來的NOMI

GPT、理想的Mind

GPT、小鵬天璣大模型等等。同時吉利、比亞迪等產(chǎn)商也開始布局自研大模型的研發(fā)。優(yōu)勢：作為傳統(tǒng)車企，更考慮研發(fā)產(chǎn)品是否能夠在多款車型上通用，復(fù)用性及成本控制，因此先期會優(yōu)先考慮集采外部供應(yīng)商的成套產(chǎn)品，或集成供應(yīng)商的部分產(chǎn)品進行整合。劣勢：第一是產(chǎn)品的同質(zhì)性，提供給各家的產(chǎn)品通用性強，但獨特性差；其次是技術(shù)及數(shù)據(jù)限制，數(shù)據(jù)在大模型廠商手中，車企自主性差。優(yōu)勢：自研的大模型能夠適配整個產(chǎn)品線的設(shè)計理念，軟硬件整車的協(xié)同性，高度定制化，打造產(chǎn)品差異性。劣勢：研發(fā)成本相對較高，需車企具備較強的研發(fā)團隊及研發(fā)基礎(chǔ)。合作研發(fā)：由車企與大模型廠商合作研發(fā)，傳統(tǒng)車企多數(shù)在初期會在智能座艙中搭載大模型廠商的AI大模型，如：訊飛星火與奇瑞、廣汽、長城、長安等幾十家車企合作；文心一言在長安、吉利、嵐圖、紅旗、長城等多家車企接入。大模型的廠商：對外提供服務(wù)的主要兩類產(chǎn)品（平臺），一是做大模型微調(diào)的一個平臺工具，二是構(gòu)建集成平臺（Agent）微調(diào)工具：目前頭部大模型公司大多都提供微調(diào)服務(wù)，廠商微調(diào)服務(wù)的能力與自身基礎(chǔ)數(shù)據(jù)訓(xùn)練出大模型所使用的數(shù)據(jù)是相關(guān)的。Agent平臺工具：目前部分新能源車企會選擇自研，也有部分車企與大模型廠商合作，也可能是大模型廠商提供整體服務(wù)。來源：專家訪談，公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.18AI大模型智能座艙參與者綜合科技公司AI技術(shù)公司芯片車企自研以科大訊飛、商湯科技、思必馳等為代表共同特征：以NLP、CV等為核心技術(shù)突破，支持多模態(tài)處理與交互，不僅性能強大，還具備很高的定制化能力，為合作伙伴提供友好的接口、開發(fā)工具。以百度、阿里、華為、火山引擎等為代表共同特征：模型參數(shù)規(guī)模大，泛化能力強；預(yù)訓(xùn)練和微調(diào)策略使之具有更強的適應(yīng)性和靈活性；支持單模態(tài)和跨模態(tài)任務(wù)；擁有全棧化的業(yè)務(wù)布局，如智能云、AI芯片、應(yīng)用生態(tài)等，能發(fā)揮出協(xié)同效應(yīng)。芯片：以聯(lián)發(fā)科、芯馳等為代表共同特征：以硬件芯片和算力為基礎(chǔ)，提供軟

&Tier1硬件平臺、工具鏈和生成式AI生態(tài)，助力大模型的車端本地化部署。Tier

1：以中科創(chuàng)達等為代表共同特征：以智能終端操作系統(tǒng)與端側(cè)智能產(chǎn)品為核心，提供“座艙+AI”的一站式解決方案。以新勢力車企蔚來、小鵬、理想為代表共同特征：在自研的基礎(chǔ)上，也與頭部的科技公司合作，以加快技術(shù)實現(xiàn)與性能優(yōu)化。其AI智能座艙在語音語義、多模態(tài)上表現(xiàn)出色。此外，其從模型訓(xùn)練、Agent層開始的統(tǒng)一部署，促進其場景差異化挖掘，如，理想Mind

GPT在語音助手、情感識別方面表現(xiàn)出色，而小鵬的AI天璣5.4.0則可以應(yīng)用在智能座艙和智能駕駛上。汽車行業(yè)積極布局大模型，座艙參與者眾大模型被視為提高座艙智能、改善產(chǎn)品同質(zhì)化，提高車企競爭力的重要技術(shù)，汽車行業(yè)積極布局。目前智能座艙大模型入局勢力主要有四類：以百度、阿里、華為、火山引擎等為代表的綜合科技公司；以科大訊飛、商湯科技、思必馳等為代表的AI技術(shù)公司，與以中科創(chuàng)達等為代表的Tier

1；以聯(lián)發(fā)科、芯馳科技為代表的芯片類公司，以及以蔚小理為代表的車企自研類。目前，各參與者雖然在算法、參數(shù)規(guī)模、模型搭載與調(diào)用等方面存在差異，但其在智能座艙中的表現(xiàn)卻是趨同的，一是應(yīng)用場景趨同，都從語音助手切入，提供自然、流暢且邏輯清晰的回答與建議；二是性能差距不大，用戶交互體驗智能感相當。AI智能座艙參與者來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.19AI大模型智能座艙發(fā)展現(xiàn)狀A(yù)I大模型加速“上車”，座艙內(nèi)以語言大模型為核心AI大模型的快速發(fā)展，推動智能座艙AI大模型紛紛上車，在智能座艙領(lǐng)域，現(xiàn)階段AI大模型主要應(yīng)用于車載語音助手，通過深化語義理解和優(yōu)化語料生成，AI大模型能夠精準捕捉用戶的意圖與需求，提供自然、擬人、流暢且邏輯清晰的回答與建議。依托AI大模型強大的計算處理，隨著技術(shù)的不斷進步和應(yīng)用場景的拓展，座艙AI大模型將在智能汽車領(lǐng)域發(fā)揮越來越重要的作用。星睿AI大模型NOMI

GPT小鵬AI天璣Mind

GPT小愛大模型文心一言多種大模型融合應(yīng)用，語言大模型仍是核心現(xiàn)階段語音交互是座艙內(nèi)人車交互的主要方式，各車企大模型雖融合多模態(tài)感知能力，但核心仍以語言大模型為主，語言大模型能夠理解復(fù)雜的語言指令，進行知識問答，生成文本等。同時還能夠根據(jù)上下文進行邏輯推理，提供更加智能、準確的回答，將語音交互提升到一個新的維度。來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.20各汽車品牌推出AI大模型2023年始，各車企不斷宣布車輛搭載AI大模型，證明了AI大模型在汽車領(lǐng)域的快速發(fā)展和廣泛應(yīng)用。2024年3月，理想汽車的Mind

GPT大模型通過國家備案并上線2024年4月，蔚來NOMI

GPT端云多模態(tài)大模型正式上線2024年北京車展期間小鵬汽車AI天璣系統(tǒng)首發(fā)AI大模型賦能智能座艙方式語音識別更準確語義理解更強大交流情感度更高聽、說升級車載語音交互系統(tǒng)升級語音互動個性化娛樂推薦個性化行程制定個性化駕駛體驗個性化體驗升級個性化體驗升級多類傳感器融合視覺、聽覺、觸覺多模態(tài)交互車內(nèi)外環(huán)境監(jiān)測感知升級增強多模態(tài)交互AI大模型讓智能座艙類人化，從聽、體驗、感知等多方面官能升級依托AI大模型強大的計算處理能力、生成能力及多模態(tài)交互能力，幫助智能座艙語音交互更智能、互動推薦更個性、感知更多維、駕駛體驗更豐富。同時，安全性、乘駕趣味性及操作&互動的高效性也是AI大模型為智能座艙增色之處。幫助智能座艙更好的滿足，甚至預(yù)判消費者的需求，將汽車智能化向更高發(fā)展層次推進。AI大模型賦能智能座艙方式123來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.21語音識別高效AI大模型賦能智能座艙——聽、說升級語音助手由“命令關(guān)系”轉(zhuǎn)為“陪伴關(guān)系”，更流暢、更智能理解用戶隨著大模型的發(fā)展，尤其是語義識別及生成能力的大模型技術(shù)升級。眾多車企依托語音識別技術(shù)，實現(xiàn)大模型上車。幫助智能座艙的語音助手更準確、更流暢的識別語音，通過深度學(xué)習(xí)和自然語言處理技術(shù)，語音助手能夠更好地理解和解析用戶的語音指令，提供更高質(zhì)量的語音識別結(jié)果。語音識別精準 語義理解清晰利用深度學(xué)習(xí)模型，尤其是基于神經(jīng)網(wǎng)絡(luò)的模型，將語音信號轉(zhuǎn)換為文本。AI大模型，因其強大的并行處理能力和對長序列的理解能力，在語音識別中表現(xiàn)出色。通過深度學(xué)習(xí)和自然語言處理技術(shù)，大型模型能夠更好地理解和解析用戶的語音指令，提供更高質(zhì)量的語音識別結(jié)果同時AI大模型能夠處理多輪對話，并保持對話的上下文，以更準確地理解用戶的意圖。通過多語言訓(xùn)練數(shù)據(jù)，實現(xiàn)多語言語音識別，從而更好地滿足不同國家和地區(qū)的需求。來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.22多語言支持聽、說升級之“類人語音交互”可實現(xiàn)多語種、多方言交互如科大訊飛的星火大模型實現(xiàn)了在全球覆蓋了23個語種的智能座艙應(yīng)用?！奥牎备喔兄斫?、推理能力升級，能夠了解用戶的言外之意，實現(xiàn)多場景/功能自主推薦如小鵬搭載大模型后，AI小P的感知理解和推理能力大幅提升，可主動推薦服務(wù)，未來將實現(xiàn)遠程手機操控。借助大模型讓智能座艙，聽更懂，說更好AI大模型通過結(jié)合多模態(tài)，深度學(xué)習(xí)和自然語言處理技術(shù)等，提供更精準、更智能的語義解析，同時提供更快、更類人的語音交互，來提升智能座艙的用戶體驗。通過多種語言、多輪對話提升對用戶語音信息的獲取，并通過大模型，提升感知、推理理解能力，并提供更具有擬人情感、表達方式的語音交互。“聽”更懂如Lion

AI大模型幫助座艙能實現(xiàn)毫秒級喚醒應(yīng)答；紅旗EHS7搭載訊飛星火大模型可融合生成文字與圖片，生成時間小于900毫秒，快速識別需求?！罢f”更快更快的實現(xiàn)喚醒響應(yīng)、及內(nèi)容生成具有擬人的情感、表達方式，甚至可復(fù)刻用戶音色；內(nèi)置超全百科，實現(xiàn)知識自由問答“說”更好134如廣汽AI大模型平臺還具備強大內(nèi)容生成與計算能力，讓智能座艙成為解決復(fù)雜問題的超級大腦。結(jié)合大語言模型和計算引擎能力，可解析數(shù)理問題，并提供推理與運算過程。5來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.23如蔚來NOMI的無限趣聊功能，具備連續(xù)對話及多交互場景；零跑汽車與阿里云合作，通過百煉平臺和通義大模型，支持用戶與智能座艙進行開放式語音交互，提供更加自然和連貫的對話體驗。2“聽”更全可以實現(xiàn)語音多輪對話，流暢對答，深入了解用戶需求AI大模型賦能智能座艙——體驗升級根據(jù)不同用戶的個性化需求和偏好，提供定制化的服務(wù)和體驗。AI大模型具備強大的短期記憶及長期記憶，長期記憶存儲和回憶過去的數(shù)據(jù)和經(jīng)驗，短期記憶幫助快速響應(yīng)和即時處理信息。通過用戶的行為習(xí)慣與個人偏好，智能座艙將為客戶帶來更精準、更具個性化的座艙界面和交互方式，提供千人千面的個性化定制服務(wù)。1用戶畫像構(gòu)建模塊收集用戶駕駛習(xí)慣、偏好設(shè)置、歷史行為等數(shù)據(jù)。分析用戶數(shù)據(jù)，構(gòu)建用戶畫像，包括但不限于駕駛風格、常用功能、舒適度偏好等，創(chuàng)建一個詳細的用戶檔案。2個性化推薦算法利用用戶畫像來提供個性化的內(nèi)容和服務(wù)，如推薦音樂、新聞、導(dǎo)航等信息。自動調(diào)整座椅位置、后視鏡角度、氛圍燈顏色、空調(diào)溫度等，以適應(yīng)用戶偏好。3來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.24用戶識別&上下文感知確保服務(wù)能夠準確及時地提供給正確的用戶。生物特征識別：通過面部識別、指紋識別、聲紋識別等技術(shù)來確認駕駛者身份。賬戶登錄系統(tǒng)：使用賬戶信息來加載用戶的個性化設(shè)置。體驗升級之“千人千面服務(wù)”根據(jù)不同用戶的偏好，

提供個性、定制化的服務(wù)依托AI大模型強大的長期記憶和短期記憶模塊，形成不同用戶個性畫像，并根據(jù)用戶的偏好在駕乘空間提供定制化服務(wù)；包括但不限于個性化的語音交互、娛樂推薦、行程制定、駕駛體驗等。語音交互個性化智能座艙通過AI大模型分析用戶的行為習(xí)慣與個人偏好，能夠根據(jù)用戶的個性化需求提供定制化的體驗，如通過聲紋識別、個性化語音播報等，使得語音交互更加符合用戶的習(xí)慣和偏好。如蔚來的NOMI能夠記住用戶最近在聊的話題以及之前提到的人和物，同時能夠記住用戶和家人朋友，以及用戶的習(xí)慣和偏好，為用戶提供更加個性化的服務(wù)。12娛樂推薦個性化AI

大模型可以分析用戶歷史娛樂偏好，推薦或預(yù)測可能感興趣的內(nèi)容，包括音樂、電影、游戲等。如極越的SIMO基于大模型的主動推薦，能夠支持音樂推薦、視頻信息問答、景點推薦等功能；理想的Mind大模型可實現(xiàn)智能化推薦音樂、電影等，并具備模糊問答能力，可通過模糊描述幫你定位電影或歌曲，實現(xiàn)檢索功能。3行程制定個性化AI

大模型結(jié)合用戶的行為偏好、歷史行為、紀念日、日程安排，為用戶生成主動式信息提醒、行程制定等服務(wù)。如商湯大模型的長短期記憶模塊，記錄用戶紀念日、日程安排、個人行為偏好等，形成個性化行車體驗。3駕駛體驗個性化AI

大模型通過對過往駕駛者駕駛習(xí)慣的解析，形成駕駛者偏好日志，并結(jié)合輔助駕駛，提供導(dǎo)航路線推薦、駕駛位調(diào)節(jié)、座艙內(nèi)環(huán)境、舒適服務(wù)調(diào)節(jié)；同時AI大模型的長期記憶也可以記錄乘客的偏好，實時調(diào)整座艙的環(huán)境，包括溫度、濕度、照明等，為駕乘人員提供更好的車內(nèi)體驗。如千悟大模型多模態(tài)識別，可通過用戶聲紋和其它傳感器數(shù)據(jù)信息識別每個乘員的位置，感知、理解并記錄個人喜好，從而為用戶實現(xiàn)個性化的服務(wù)來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.25AI大模型賦能智能座艙——感知升級綜合語音、圖像、觸覺、環(huán)境等多維數(shù)據(jù)，提供更高效和自然的交互體驗多模態(tài)的大模型技術(shù)把艙內(nèi)外各種不同類型的傳感器融合，綜合處理不同類型的數(shù)據(jù)處理分析，全方位地感知乘客和駕駛員的需求，使得智能座艙更加智能、安全和舒適，為用戶提供了更加豐富和個性化的駕駛體驗。語音識別圖像識別語音識別：將用戶的語音指令轉(zhuǎn)換為文本，用于執(zhí)行命令或查詢信息。聲音分析：分析用戶的聲音特征，如音調(diào)、音量等，用于情感識別或健康監(jiān)測。面部識別：通過攝像頭捕捉用戶的面部特征，進行身份驗證、情緒識別等。手勢識別：識別用戶的手勢動作，用于控制車內(nèi)功能，如調(diào)節(jié)音量、接打電話等。視線追蹤：追蹤用戶的視線方向，用于判斷用戶的注意力焦點，提供相關(guān)的信息或警告。12觸覺感知43環(huán)境感知觸覺感知：座椅傳感器數(shù)據(jù)、振動信號等觸覺感知信息，進一步增強座椅的響應(yīng)能力。例如，根據(jù)駕駛者的體態(tài)和行為，智能調(diào)節(jié)座椅的支撐力和按摩力度，提供更舒適的駕駛體驗。觸摸屏輸入：識別用戶在觸摸屏上的觸摸位置、力度和手勢，用于交互操作。物理按鍵：識別用戶對物理按鍵的操作，用于快速訪問常用功能。車內(nèi)環(huán)境監(jiān)測：監(jiān)測車內(nèi)的溫度、濕度、光照等環(huán)境參數(shù)，用于自動調(diào)節(jié)空調(diào)、氛圍燈等。車外環(huán)境監(jiān)測：通過攝像頭和傳感器收集車外環(huán)境信息，用于輔助駕駛和提供相關(guān)信息來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.26感知升級之“多模態(tài)全方位感知”多模態(tài)是一種高效、自然、便捷的交互方式，充分利用了人的多種感官和信息載體，提高了交互效率和態(tài)勢感知能力多模態(tài)技術(shù)對座艙的提升是多方面的，包括提升交互體驗、增強安全性能以及優(yōu)化座艙環(huán)境等，這些提升為智能座艙系統(tǒng)帶來了全新的互動體驗，使得智能座艙能夠更好地滿足用戶的需求，有助于提高用戶的滿意度和忠誠度。提升交互體驗多樣化交互方式：多模態(tài)綜合了語音、手勢、視覺等多種交互方式，使得用戶能夠更自然、更便捷地與座艙系統(tǒng)進行互動。精準識別與響應(yīng)：多模態(tài)技術(shù)通過整合不同模態(tài)的數(shù)據(jù)（如語音+面部、語音+手勢等），能夠更準確地識別用戶的意圖和需求。個性化定制服務(wù)：多模態(tài)技術(shù)可以根據(jù)用戶的偏好和行為習(xí)慣，提供個性化的服務(wù)。例如根據(jù)用戶的口音、語速等特征進行個性化識別，優(yōu)化服務(wù)體驗。增強安全性能駕駛員狀態(tài)監(jiān)測：多模態(tài)技術(shù)可以實時監(jiān)測駕駛員的狀態(tài)，如疲勞程度、情緒狀態(tài)等，從而提前預(yù)警或采取適當?shù)鸟{駛干預(yù)措施。優(yōu)化座艙環(huán)境智能環(huán)境控制：多模態(tài)技術(shù)可以綜合溫度、濕度、空氣質(zhì)量等數(shù)據(jù)，感知座艙內(nèi)實際的溫度、濕度和空氣狀況，實現(xiàn)用戶偏好設(shè)定或自動調(diào)節(jié)。自適應(yīng)學(xué)習(xí)與優(yōu)化：多模態(tài)技術(shù)可以通過學(xué)習(xí)用戶的反饋和習(xí)慣，不斷優(yōu)化座艙的功能和界面。例如可以根據(jù)用戶的駕駛習(xí)慣自動調(diào)整座椅姿勢、智能調(diào)節(jié)座椅的支撐力和按摩力度等。多模態(tài)全方位感知語音視覺觸覺環(huán)境融合多種感官的交互方式來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.2728典型AI大模型應(yīng)用智能座艙案例自主研發(fā)與合作研發(fā)并駕齊驅(qū)03NOMI

GPTNOMI

GPT大模型的核心技術(shù)架構(gòu)包括認知中樞、情感引擎和端側(cè)多模態(tài)感知。為用戶提供了更加豐富、智能和個性化的駕駛體驗NOMI

GPT蔚來汽車推出的NOMI

GPT是一個端云多模態(tài)大模型，它于2024年4月12日正式上線，旨在為用戶提供更加智能、愉悅的AI服務(wù)。NOMI

GPT包含自研的多模態(tài)感知、認知中樞、情感引擎和多專家Agent，這些組件共同工作，實現(xiàn)了蔚來產(chǎn)品、服務(wù)、社區(qū)的全域貫通。用車問答：無限趣聊：趣玩表情：用戶可以詢問與用車相關(guān)的問題進行不限輪次的對話，談?wù)摳鞣N話題。擁有超過160個表情，可以根據(jù)指令顯示對應(yīng)表情。魔法氛圍： 用戶可以要求NOMI營造各種氛圍。AI場景生成：NOMI能夠根據(jù)一句話創(chuàng)建任務(wù)場景，例如設(shè)置特定條件下的自動操作來源：公開資料，艾瑞消費研究院自主研究及繪制。功能1.大模型百科：回答關(guān)于用車相關(guān)的問題以及其他百科、出行攻略、創(chuàng)作文案等問題。端云多模態(tài)大模型包含端側(cè)和云端兩部分，結(jié)合兩端的優(yōu)點，提供了更靈活、高效、安全的數(shù)據(jù)處理方式，特別適合于需要多模態(tài)數(shù)據(jù)處理和實時交互的應(yīng)用場景。這種架構(gòu)可以減輕云端的計算負擔，從而可能降低運營成本，高效利用計算資源，可以實現(xiàn)更高效的數(shù)據(jù)處理和更低的延遲。同時，由于部分數(shù)據(jù)處理在端側(cè)進行，可以更好地保護用戶隱私。善于處理多模態(tài)數(shù)據(jù)，即來自多種傳感器（如攝像頭、麥克風、溫度傳感器等）的多種類型的數(shù)據(jù)（如文本、圖像、聲音等）。這種模型能夠更全面地理解和響應(yīng)用戶的需求。能夠收集圖像、音頻和車身傳感器的多模態(tài)信息，使NOMI能夠“看見”、“聽見”并感受車內(nèi)和車外的人和環(huán)境。NOMI的認知中樞能務(wù)的處理能力。端側(cè)負責實時數(shù)據(jù)處理和快速響應(yīng)云端負責更復(fù)雜的數(shù)據(jù)處理和存儲情感引擎它通過與用戶的長期溝通、記憶和學(xué)習(xí)，實現(xiàn)有個性的成長，使NOMI成為用戶的情感伙伴。NOMI的記憶能力包括短期記憶和長期記憶，能夠記住用戶及家人的喜好。端側(cè)多模態(tài)

夠根據(jù)多模態(tài)信息進行推理分析，形成復(fù)雜任特征29?2024.12iResearch

Inc.文心一言大模型文心一言大模型的應(yīng)用使得智能座艙更加智能化和人性化，不僅提升了駕駛體驗，也使得汽車成為了一個更加智能和個性化的移動空間。文心一言文心一言大模型是由中國科技巨頭百度開發(fā)的一款大型預(yù)訓(xùn)練語言模型。它是基于深度學(xué)習(xí)技術(shù)構(gòu)建的，旨在處理和生成自然語言文本，廣泛應(yīng)用于各種自然語言處理（NLP）任務(wù)。智能座艙應(yīng)用超級閑聊：用戶可以與智能座艙進行更加自然和深入的對話，不僅僅限于簡單的命令，增加了交流的趣味性。靈感畫畫：智能座艙可能具備根據(jù)用戶的描述或指令生成圖畫的能力，為車內(nèi)娛樂增添新的元素。百變?nèi)嗽O(shè)：座艙系統(tǒng)能夠根據(jù)不同的用戶或場景，改變交互風格和內(nèi)容，提供更加多樣化的交互體驗。旅途行程規(guī)劃：幫助規(guī)劃旅行路線，提供沿途的景點和餐飲推薦，甚至能夠根據(jù)用戶興趣推薦活動。文心一言大模型應(yīng)用于智能座艙長安汽車：長安逸達成為國內(nèi)首款搭載文心一言的量產(chǎn)車型。通過軟件升級的形式搭載了文心一言大模型，提升了座艙的智能化水平。吉利汽車：吉利銀河

L6

車型成功量產(chǎn)了基于文心一言大模型的

AI

對話產(chǎn)品。這是汽車行業(yè)首個基于大語言模型底座能力落地的AI車載對話產(chǎn)品，主打的功能包括知識問答、高情商回復(fù)、行程規(guī)劃和美食推薦。長城汽車：長城汽車成為百度文心一言的首批先行體驗官。通過與百度的合作，長城汽車將融合文心一言的全面能力，打造針對智能汽車場景的大模型人工智能交互體驗，加速智能網(wǎng)聯(lián)汽車的發(fā)展。交互方式更加智能化和個性化交互體驗的升級：文心一言大模型的應(yīng)用使得智能座艙的語音交互更加流暢和自然，能夠處理更復(fù)雜的指令和需求表達。使得智能座艙更加接近于一個真正的“智能助手”，而不僅僅是一個簡單的命令執(zhí)行系統(tǒng)。創(chuàng)新功能的實現(xiàn)：基于文心一言大模型，智能座艙能夠?qū)崿F(xiàn)多種創(chuàng)新功能，如超級閑聊、靈感畫畫、百變?nèi)嗽O(shè)等。提升駕駛體驗的同時也使得智能座艙成為一個更加豐富和有趣的互動空間。技術(shù)支持的加強：使得智能汽車能夠更好地理解和響應(yīng)用戶的需求。這種技術(shù)支持不僅限于語音交互，還包括邏輯推理、策略規(guī)劃和知識問答等多方面能力。來源：公開資料，艾瑞消費研究院自主研究及繪制。30?2024.12iResearch

Inc.車典-AI說明書：理解用戶的語音指令，提供實時汽車使用指導(dǎo)和問題解答，讓用戶輕松解決各類車輛問題。千語-角色扮演：一款具備角色扮演能力的語音助手，能夠進行多輪對話、文本生成和知識問答，為用戶提供高質(zhì)量的自然語言對話體驗。神筆-兒童繪畫：借助大模型將簡單的繪畫轉(zhuǎn)變成藝術(shù)作品

，讓不會設(shè)計的人也能進行設(shè)計、繪畫創(chuàng)作。童伴-兒童旅伴：為兒童提供有趣的故事伴讀、互動問答、共讀古詩詞、共創(chuàng)故事等。旅醫(yī)-健康管理：根據(jù)個人的健康指標變化分析艙內(nèi)人員健康狀況，主動觸發(fā)交互，提供健康咨詢、救援呼叫等服務(wù)。多模態(tài)大模型：能夠高效且深入地融合語音、文字、圖像、手勢、視頻等多種信息模態(tài)，相比傳統(tǒng)的分步驟處理不同模態(tài)信息的模型相比，提供了更為流暢和高效的交互方式，大大提升了用戶體驗和技術(shù)實現(xiàn)的復(fù)雜性。豐富模型矩陣：圍繞安全、娛樂、教育、效率四大場景，

以自營大模型“商量”“秒畫”“如影”“大醫(yī)”等為基礎(chǔ)打造座艙大模型產(chǎn)品矩陣，讓車艙場景變?yōu)榧踩浴⑿旭傂?、娛樂性、教育服?wù)為一體的“第三生活空間”。端、云靈活部署：絕影多模態(tài)模型可以采用純云端、端云結(jié)合的部署方式；高性能計算引擎HyperPPL為車端部署商湯科技-絕影商湯絕影智能座艙大模型提供以DMS（駕駛員感知系統(tǒng)）、OMS（座艙感知系統(tǒng)）為拳頭產(chǎn)品的一站式座艙解決方案商湯絕影智能座艙基于多模態(tài)大模型引擎產(chǎn)品“座艙大腦”，感知、識別、推理、記憶，通過一系列大模型座艙產(chǎn)品應(yīng)用，為座艙體驗提供更智能與主動的體驗和人機交互體驗智能座艙應(yīng)用小米汽車：全面助力小米SU7的小愛語音助手車載語音場景應(yīng)用。吉利汽車：旗下子品牌翼真汽車（

LEVC

）首款豪華純電MPV

L380，搭載了商湯絕影定制化打造的AI閑聊、美圖壁紙、童話繪本、AI問診等AI大模型座艙產(chǎn)品和功能。商湯絕影智能座艙大模型應(yīng)用交互方式更加智能化和個性化提供強大的計算底座，實現(xiàn)高效本地計算，隱私隔離。來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.31鴻蒙座艙-千悟大模型千悟大模型在技術(shù)上實現(xiàn)了多模態(tài)信息的融合感知和綜合決策，通過AI技術(shù)精準理解用戶意圖，并為用戶提供個性化的服務(wù)推送千悟大模型華為智能汽車解決方案為鴻蒙座艙打造的專屬于用車場景的融合感知決策大模型，深度集成了視覺感知、語音交互、車控傳感器等多種技術(shù)，實現(xiàn)了多模態(tài)信息的融合感知和綜合決策對座艙的提升提升智能語音交互體驗：千悟大模型的加持下，智能座艙中的語音助手（小藝）對用戶指令的理解和執(zhí)行更加智能和高效。提升艙內(nèi)人體姿態(tài)感知：千悟大模型提高座艙的高精度感知能力和多模態(tài)融合控車技術(shù)。實現(xiàn)跨設(shè)備互聯(lián)與無縫流轉(zhuǎn)：千悟大模型助力智能座艙實現(xiàn)跨設(shè)備互聯(lián)與無縫流轉(zhuǎn)。導(dǎo)航、音樂、視頻、游戲等應(yīng)用可以實現(xiàn)在手機和車機之間的無縫流轉(zhuǎn)。提升個性化與智能化服務(wù)：千悟大模型通過深度學(xué)習(xí)和用戶行為分析，能夠為用戶提供更加個性化的服務(wù)和建議。如：根據(jù)用戶的偏好和習(xí)慣，自動調(diào)整座椅位置、后視鏡角度、音樂播放列表等設(shè)置。增強識別和糾錯能力：語音助手能夠更準確地理解用戶的指令，識別用戶聲紋甚至復(fù)刻聲紋，能夠進行自動糾錯語音指令，并提供正確的內(nèi)容。提升自適應(yīng)聆聽能力：語音助手能夠聽懂用戶在表達過程中的猶豫停頓，自動地延長聆聽等待時間，從而解決用戶的表達焦慮。豐富語音控制功能：千悟大模型與鴻蒙系統(tǒng)及應(yīng)用生態(tài)相結(jié)合，使得用戶能夠更加便捷地控制智能座艙內(nèi)的各種設(shè)備和應(yīng)用。高精度的感知能力：實現(xiàn)艙內(nèi)毫米級的精準感知，不僅能準確地捕捉到人體的位置和動作，還能對人體姿態(tài)進行精細化的識別和分析。多模態(tài)融合控車技術(shù)：支持全艙骨骼級人體感知，艙內(nèi)成員可以通過揮手等簡單的肢體動作來控制遮陽簾、車門、空調(diào)風向等車輛功能，從而實現(xiàn)了更加便捷和人性化的駕駛體驗。來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.3233AI大模型賦能智能座艙的挑戰(zhàn)與機遇情感化與擬人化交互是趨勢04挑戰(zhàn)：大模型自身發(fā)展困境制約座艙應(yīng)用AI大模型智能座艙應(yīng)用面臨算力、算法、數(shù)據(jù)層面挑戰(zhàn)大模型被視為一次全面提升智能座艙體驗的技術(shù)，為智能座艙帶來更加精細化、專業(yè)化、個性化與智能化的交互體驗。深入到技術(shù)層面，大模型賦能智能座艙至少面臨三方面的挑戰(zhàn)：汽車應(yīng)用場景中海量、復(fù)雜數(shù)據(jù)的收集、獲取、整合與計算，首先就對模型算法提出了更高的要求；其次是計算平臺的搭建，算力、算力分配、功能取舍與成本平衡等問題；同時，傳感器的數(shù)據(jù)收集與應(yīng)用還面臨著數(shù)據(jù)安全與個人隱私問題。此外，越來越多的場景數(shù)據(jù)、軟件代碼與算法出現(xiàn)，如何保證系統(tǒng)運行的穩(wěn)定性也需要深入關(guān)注。大模型智能座艙應(yīng)用困難與挑戰(zhàn)數(shù)據(jù)算力大模型對算力有極高要求大型深度學(xué)習(xí)模型訓(xùn)練需要巨量的算力資源，當前算力供不應(yīng)求、算力價格高居不下。除模型訓(xùn)練外，大模型在提供實時的多模態(tài)交互應(yīng)用交互中，同樣需要大量的算力，依賴云端算力則網(wǎng)絡(luò)壓力和成本高，端側(cè)算力受限于高端芯片技術(shù)進步，且車載條件下，其他一應(yīng)支撐設(shè)備如電源、內(nèi)存等也很難支撐起大模型的運行能耗。算法多模態(tài)交互需要更可靠的算法多模態(tài)交互引入了更大量、復(fù)雜、多樣的數(shù)據(jù)，涵蓋了靜態(tài)與動態(tài)、用戶與機器、車內(nèi)與車外、圖片與視頻等多種數(shù)據(jù)類型，對海量數(shù)據(jù)處理、跨模態(tài)數(shù)據(jù)處理能力提出挑戰(zhàn)。確保數(shù)據(jù)信息在駕駛過程中的實時性、穩(wěn)定性和可靠性，是大模型算法研發(fā)的主要目標與難點。數(shù)據(jù)安全、隱私保護成挑戰(zhàn)來源：公開資料，艾瑞消費研究院自主研究及繪制。?2024.12iResearch

Inc.34大模型在數(shù)據(jù)安全和隱私保護上面臨數(shù)據(jù)泄露、濫用和隱私侵犯的風險。1）云端訓(xùn)練增加數(shù)據(jù)在傳輸和存儲時的泄露可能；2）

AIGC內(nèi)容可能涉及版權(quán)侵權(quán)、虛假信息和低俗內(nèi)容；3）用戶數(shù)據(jù)的確權(quán)與開放共享的合法性仍存在爭議。因此，在采集、使用、留存數(shù)據(jù)的過程中保護用戶隱私和數(shù)據(jù)安全是一項嚴峻的挑戰(zhàn)。挑戰(zhàn)：

AI大模型在智能座艙上“無的放矢”車-外部場景車-家互動車-車交互車-人交互車-商鋪購物車-公共場所……車-內(nèi)部場景硬件控制場景娛樂場景休息場景工作場景社交場景…….用戶應(yīng)用場景的挖掘是智能座艙目前的瓶