2024年度中國端側(cè)大模型行業(yè)研究：算力優(yōu)化與效率革命如何重塑行業(yè)生態(tài)

44研究框架中國端側(cè)大模型行業(yè)概述----------6定義與分類----------7發(fā)展歷程----------8驅(qū)動力----------9市場規(guī)模----------10中國端側(cè)大模型行業(yè)產(chǎn)業(yè)鏈分析----------11產(chǎn)業(yè)鏈----------12模型壓縮技術(shù)----------13成本構(gòu)成----------14廠商類型----------15行業(yè)場景----------16業(yè)務(wù)場景----------17中國端側(cè)大模型行業(yè)分析----------19政策分析----------20行業(yè)壁壘----------21競爭格局----------22發(fā)展趨勢----------23中國端側(cè)大模型行業(yè)典型廠商分析----------24阿里云----------25商湯科技----------26面壁智能----------27方法論及法律聲明----------28業(yè)務(wù)合作----------29400-072-5588名詞解釋AI大模型：指的是大型人工智能模型，通常由數(shù)十億至數(shù)百億個參數(shù)組成，用于各種自然語言處理、計算機視覺等任務(wù)。模型壓縮技術(shù)：是一系列用于減少大型神經(jīng)網(wǎng)絡(luò)模型尺寸和計算復(fù)雜度的技術(shù)，包括剪枝、量化、蒸餾等方法，旨在減少模型大小的同時保持其性能。IoT設(shè)備：指的是物聯(lián)網(wǎng)設(shè)備，通常具有較小的計算能力和存儲空間，但能夠通過互聯(lián)網(wǎng)進行通信和數(shù)據(jù)交換。PC設(shè)備：個人計算機，如臺式機、筆記本電腦等，通常具有較高的計算和存儲能力，適合運行復(fù)雜的應(yīng)用程序和任務(wù)。數(shù)據(jù)中心：指的是大規(guī)模的服務(wù)器集群，用于存儲和處理大量數(shù)據(jù)，支持云計算服務(wù)和網(wǎng)絡(luò)應(yīng)用。服務(wù)器：通常指的是提供網(wǎng)絡(luò)服務(wù)、存儲和計算資源的計算機系統(tǒng)，可用于托管網(wǎng)站、應(yīng)用程序等。BERT：是一種預(yù)訓(xùn)練的自然語言處理模型，采用Transformer架構(gòu)，能夠理解文本語境并在各種NLP任務(wù)中取得良好性能。DistilBERT：是對BERT模型進行了蒸餾（Distillation）的輕量化版本，通過減少參數(shù)和計算復(fù)雜度來提高模型的運行效率。TinyBERT：是進一步輕量化的BERT模型，通過更深入的模型壓縮和優(yōu)化來適應(yīng)資源受限的環(huán)境，如移動設(shè)備或物聯(lián)網(wǎng)設(shè)備。JetsonAGXXavier：高性能嵌入式系統(tǒng)，具有GPU和AI計算能力，適用于邊緣計算和深度學(xué)習(xí)應(yīng)用。TPU：谷歌推出的張量處理單元，是一種專門用于加速人工智能工作負載的定制硬件加速器。PyTorchMobile：是PyTorchTensorFlowLite：是谷歌推出的用于在移動設(shè)備和嵌入式系統(tǒng)上部署深度學(xué)習(xí)模型的輕量級框架。ONNX：開放神經(jīng)網(wǎng)絡(luò)交換，是一種開放的跨平臺深度學(xué)習(xí)模型表示格式，支持模型在不同框架之間的轉(zhuǎn)換和部署。預(yù)訓(xùn)練模型：指的是在大規(guī)模文本數(shù)據(jù)上進行預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，通常包含通用的語言或視覺理解能力，并可通過微調(diào)適應(yīng)特定任務(wù)。中心云：指的是傳統(tǒng)的云計算架構(gòu)，數(shù)據(jù)和計算資源集中在大型數(shù)據(jù)中心進行管理和運行。邊緣云：是一種分布式的云計算架構(gòu)，將計算和存儲資源放置在接近終端用戶的邊緣節(jié)點上，以提高服務(wù)響應(yīng)速度和降低網(wǎng)絡(luò)延遲。AI芯片：專門用于加速人工智能計算任務(wù)的硬件芯片，能夠在高效率和低能耗的條件下進行大規(guī)模并行計算。知識蒸餾：是一種通過讓一個較大且性能較好的模型（教師模型）指導(dǎo)一個小型模型（學(xué)生模型）來提高學(xué)生模型性能的技術(shù)，通常用于模型壓縮和輕量化。Chapter1行業(yè)概述定義與分類發(fā)展歷程驅(qū)動力市場規(guī)模6400-072-55886中國端側(cè)大模型市場探析——定義與分類端側(cè)大模型定義為運行在設(shè)備端的大規(guī)模人工智能模型，與傳統(tǒng)的云端大模型相比，端側(cè)大模型的參數(shù)量更小，因此可以在設(shè)備端直接使端側(cè)大模型定義為運行在設(shè)備端的大規(guī)模人工智能模型，與傳統(tǒng)的云端大模型相比，端側(cè)大模型的參數(shù)量更小，因此可以在設(shè)備端直接使端側(cè)大模型的定義AI大模型AI大模型網(wǎng)絡(luò)計算 存儲網(wǎng)絡(luò)計算 存儲安全端側(cè)大模型端側(cè)大模型用戶 移動設(shè)備 IoT設(shè)

PC設(shè)備

機器人? 端側(cè)大模型定義為運行在設(shè)備端的大規(guī)模人工智能模型，這些模型通常部署在本地設(shè)備上，如智能手機、IoT、PC、機器人等設(shè)備。與傳統(tǒng)的云端大模型相比，端側(cè)大模型的參數(shù)量更小，因此可以在設(shè)備端直接使用算力進行運行，無需依賴云端算力。AI大模型端側(cè)大模型AI大模型端側(cè)大模型模型推理方式：服務(wù)器或云端模型推理方式：端側(cè)VS模型訓(xùn)練方式：數(shù)據(jù)中心或云端 模型訓(xùn)練方式：云端模型推理方式：服務(wù)器或云端模型推理方式：端側(cè)VS參數(shù)量：多為百億級別 參數(shù)量：多為十億級別參數(shù)量：多為百億級別參數(shù)量：多為十億級別AI大模型通常在數(shù)據(jù)中心或云端進行訓(xùn)練，使用大規(guī)模的計算資源和海量數(shù)據(jù)。相比之下，端側(cè)大模型由于資源限制，往往需要在設(shè)計和訓(xùn)練階段進行模型壓縮和優(yōu)化。在推理方式上，AI大模型通常運行在服務(wù)器或云端，通過強大的計算能力處理復(fù)雜的任務(wù)。然而，這種云端推理方式依賴于網(wǎng)絡(luò)連接，會帶來延遲和隱私問題。端側(cè)大模型則是在本地設(shè)備上進行推理。參數(shù)量是AI大模型和端側(cè)大模型的一個顯著區(qū)別。AI大模型通常具有數(shù)十億甚上百億的參數(shù)，如GPT-3的1,750億參數(shù)。這種巨大的參數(shù)量使得大模型能夠捕捉復(fù)雜的數(shù)據(jù)模式并在多種任務(wù)中表現(xiàn)出色。然而，端側(cè)設(shè)備的計算能力和存儲資源有限，因此端側(cè)大模型的參數(shù)量通常較小。通過模型壓縮技術(shù)，如知識蒸餾、剪枝和量化，端側(cè)大模型的參數(shù)量可以減少到幾百萬或更少。例如，MobileBERT的參數(shù)量僅為BERT的1/4左右，但依然能夠在移動設(shè)備上高效運行。來源：企業(yè)官網(wǎng)，頭豹研究院中國端側(cè)大模型市場探析——驅(qū)動力端側(cè)大模型在成本、能耗、可靠性、隱私和個性化方面相比云端推理具有顯著優(yōu)勢，并能夠以低能耗提供高效且安全的AI處理，減少延遲端側(cè)大模型在成本、能耗、可靠性、隱私和個性化方面相比云端推理具有顯著優(yōu)勢，并能夠以低能耗提供高效且安全的AI處理，減少延遲AI應(yīng)用端側(cè)大模型市場驅(qū)動力分析 5G 5G中心云 邊緣云 端側(cè)為實現(xiàn)規(guī)?；瘮U展，AI處理的重心，正在向邊緣轉(zhuǎn)移可靠性、性能和時延03能耗02

隱私和安全成本優(yōu)勢01

端側(cè)大模型

個性化05從成本優(yōu)勢來看，AI推理的規(guī)模遠高于AI訓(xùn)練。盡管訓(xùn)練單個模型會消耗大量資源，但大型生成式AI模型預(yù)計每年僅需訓(xùn)練幾次。然而，這些模型的推理成本將隨著日活用戶數(shù)量及其使用頻率的增加而增加。在云端進行推理的成本極高，這將導(dǎo)致規(guī)模化擴展難以持續(xù)。從能耗來看，支持高效AI處理的邊緣終端能夠提供領(lǐng)先的能效，尤其是與云相比。邊緣終端能夠以很低的能耗運行生成式AI模型，尤其是將處理和數(shù)據(jù)傳輸相結(jié)合時。這一能耗成本差異非常明顯。從可靠性、性能和時延來看，終端側(cè)AI處理能夠在云服務(wù)器和網(wǎng)絡(luò)連接擁堵時，提供媲美云端甚至更佳的性能。當生成式AI查詢對于云的需求達到高峰期時，會產(chǎn)生大量排隊等待和高時延，甚至出現(xiàn)拒絕服務(wù)的情況。向邊緣終端轉(zhuǎn)移計從隱私和安全來看，端側(cè)大模型從本質(zhì)上有助于保護用戶隱私，因為查詢和人信息完全保留在終端上。對于企業(yè)和工作場所等場景中使用的生成式AI，這有助于解決保護公司保密信息的難題。從個性化來看，數(shù)字助手將能夠在不犧牲隱私的情況下，根據(jù)用戶的表情、喜好和個性進行定制。所形成的用戶畫像能夠從實際行為、價值觀、痛點、需求、顧慮和問題等方面來體現(xiàn)一個用戶，并且可以隨著時間推移進行學(xué)習(xí)和演進。來源：中國統(tǒng)計局，CNNIC，頭豹研究院中國端側(cè)大模型市場探析——市場規(guī)模下游市場需求的強勁增長，特別是手機與自動駕駛行業(yè)的蓬勃發(fā)展，正強力拉動端側(cè)大模型市場的擴張，2023年中國端側(cè)大模型市場規(guī)模達8億元，預(yù)計2024下游市場需求的強勁增長，特別是手機與自動駕駛行業(yè)的蓬勃發(fā)展，正強力拉動端側(cè)大模型市場的擴張，2023年中國端側(cè)大模型市場規(guī)模達8億元，預(yù)計202421億元中國端側(cè)大模型行業(yè)——市場規(guī)模中國端側(cè)大模型市場規(guī)模 單位：億元CAGR：58CAGR：58796147312182023 2024E 2025E 2026E 2027E 2028E受實際落地情況的影響，2023年中國端側(cè)大模型市場規(guī)模達8億元，持樂觀態(tài)估計，預(yù)計2024年中國端側(cè)大模型市場將達到21億元生成式AI市場的蓬勃興起，正驅(qū)使大模型廠商積極探索端側(cè)應(yīng)用新藍海，以此作為增長的新引擎。端側(cè)大模型通過在設(shè)備本地運行，有效降低了數(shù)據(jù)傳輸延遲，增強了隱私保護，拓寬了AI應(yīng)用場景的廣度與深度。例如，智能手機集成的AI攝影功能，能實時識別場景并優(yōu)化圖像質(zhì)量；可穿戴設(shè)備利用端側(cè)模型監(jiān)測健康指標，提供即時反饋。與此同時，隨著AI芯片等算力市場帶動，為端側(cè)大模型打開新的市場空間。高性能、低功耗的AI芯片設(shè)計使得復(fù)雜模型能夠在手機、物聯(lián)網(wǎng)設(shè)備等終端高效運行，無需依賴云服務(wù)，顯著提升響應(yīng)速度與用戶體驗。2021年全球AI芯片市場規(guī)模達到200億美元，預(yù)計到2025年將超過700億美元，其中端側(cè)AI芯片占比快速提升，成為增長的重要動力。下游市場需求的強勁增長，特別是手機與自動駕駛行業(yè)的蓬勃發(fā)展，正強力動端側(cè)大模型市場的擴張手機作為個人智能終端的核心，正集成更先進的AI功能以提供個性化服務(wù)與優(yōu)化用戶體驗，如榮耀Magic系列利用端側(cè)AI大模型實現(xiàn)偏好理解與多模態(tài)交互。同時，自動駕駛領(lǐng)域?qū)崟r性與安全性要求極高，推動了BEV+Transformer等技術(shù)與端側(cè)大模型的融合，百度ApolloADFM等L4級自動駕駛大模型的推出，標志著該領(lǐng)域邁向商用新階段。來源：專家訪談，企業(yè)公告，頭豹研究院Chapter2產(chǎn)業(yè)鏈分析產(chǎn)業(yè)鏈圖譜模型壓縮技術(shù)成本構(gòu)成廠商類型行業(yè)場景業(yè)務(wù)場景400-072-5588中國端側(cè)大模型市場探析——產(chǎn)業(yè)鏈中國端側(cè)大模型上游主要包括AI芯片供應(yīng)商、云計算服務(wù)商以及數(shù)據(jù)服務(wù)商，中游為端側(cè)大模型科技廠商和端側(cè)科技企業(yè)，主要通過設(shè)備中國端側(cè)大模型上游主要包括AI芯片供應(yīng)商、云計算服務(wù)商以及數(shù)據(jù)服務(wù)商，中游為端側(cè)大模型科技廠商和端側(cè)科技企業(yè)，主要通過設(shè)備中國端側(cè)大模型行業(yè)——產(chǎn)業(yè)鏈分析數(shù)據(jù)服務(wù)商數(shù)據(jù)服務(wù)商云計算服務(wù)提供商AI芯片供應(yīng)商端側(cè)大模型科技廠商端側(cè)科技企業(yè)端側(cè)大模型科技廠商端側(cè)科技企業(yè)中游設(shè)備端企業(yè)應(yīng)用場景設(shè)備端企業(yè)應(yīng)用場景多模態(tài)場景文本場景 視頻場景 多模態(tài)場景下游來源：專家訪談，頭豹研究院

圖像場景 音頻場景 汽車教育泛娛樂金融醫(yī)療其他汽車教育泛娛樂金融醫(yī)療其他中國端側(cè)大模型市場探析——模型壓縮技術(shù)通過知識蒸餾，端側(cè)大模型能夠在保持較高性能的同時，大幅減少模型參數(shù)量和計算復(fù)雜度。這種技術(shù)使得復(fù)雜的AI模型可在資源受限的通過知識蒸餾，端側(cè)大模型能夠在保持較高性能的同時，大幅減少模型參數(shù)量和計算復(fù)雜度。這種技術(shù)使得復(fù)雜的AI模型可在資源受限的AI推理端側(cè)大模型壓縮技術(shù)——知識蒸餾TeachermodelTeachermodelLayer1Layer2…LayermSoftlabelsXdistillation LossFnlossStudent（distilled）model SoftpredictionsLayer1Layer2…LayernSoftmax(T=1)hardpredictionlosshardlabelyLossFnSoftmax(T=t)Softmax(T=t)(groundtruth)知識蒸餾的基本原理首先，在強大的計算資源和海量數(shù)據(jù)集上訓(xùn)練一個高性能的大模型，稱為教師模型。教師模型在輸入訓(xùn)練數(shù)據(jù)時，不僅輸出最終的分類結(jié)果（硬標簽），還輸出每個類別的概率分布（軟標簽），這些軟標簽包含了更多關(guān)于輸入數(shù)據(jù)的細微信息和模式。在訓(xùn)練較小的學(xué)生模型時，不僅使用原始數(shù)據(jù)的硬標簽，還使用教師模型生成的軟標簽。學(xué)生模型通過學(xué)習(xí)這些軟標簽，能夠捕捉到教師模型中包含的豐富知識。知識蒸餾在端側(cè)大模型中的應(yīng)用知識蒸餾使得學(xué)生模型能夠在保持較高準確度的同時，顯著減少參數(shù)量。例如，TinyBERT通過知識蒸餾技術(shù)將BERT的參數(shù)量減少到原來的1/7左右，但在許多自然語言處理任務(wù)中仍能保持較好的性能。這使得學(xué)生模型能夠適應(yīng)端側(cè)設(shè)備的計算和存儲限制。較小的學(xué)生模型在推理階段需要的計算資源更少，推理速度更快。這對于資源受限的端側(cè)設(shè)備尤為重要。端側(cè)設(shè)備通常對能耗有嚴格限制。知識蒸餾生成的學(xué)生模型由于計算復(fù)雜度低，能夠以較低的能耗完成推理任務(wù)。例如，在物聯(lián)網(wǎng)設(shè)備和移動設(shè)備中，學(xué)生模型的低能耗運行方式使其能夠長時間持續(xù)工作，而不會顯著消耗電池電量。知識蒸餾生成的學(xué)生模型可以針對不同的端側(cè)設(shè)備進行優(yōu)化。例如，針對特定硬件架構(gòu)進行剪枝和量化，使模型在特定設(shè)備上達到最佳性能。此外，學(xué)生模型還可以通過在線學(xué)習(xí)機制，在端側(cè)設(shè)備上不斷適應(yīng)和優(yōu)化，以滿足動態(tài)變化的應(yīng)用需求。中國端側(cè)大模型市場探析——成本構(gòu)成AI芯片作為加速端側(cè)大模型的關(guān)鍵技術(shù)，提供高效計算和能耗比，使得大規(guī)模模型在端側(cè)設(shè)備上高效運行，研發(fā)人員及顯卡成本需兼顧，確保研發(fā)經(jīng)濟可持續(xù)AI芯片作為加速端側(cè)大模型的關(guān)鍵技術(shù)，提供高效計算和能耗比，使得大規(guī)模模型在端側(cè)設(shè)備上高效運行，研發(fā)人員及顯卡成本需兼顧，確保研發(fā)經(jīng)濟可持續(xù)硬件成本包括端側(cè)大模型部署所必需的硬件設(shè)備，如AI硬件成本包括端側(cè)大模型部署所必需的硬件設(shè)備，如AIAI芯片專門設(shè)計用于加速深度學(xué)習(xí)任務(wù)，相比通用處理器，AI103060研發(fā)成本是開發(fā)和優(yōu)化端側(cè)大模型所103060研發(fā)成本是開發(fā)和優(yōu)化端側(cè)大模型所包括用于開發(fā)和測試的顯卡、服務(wù)器和云服務(wù)等。

其他成本其他成本包括除了硬件和研發(fā)成本之外，還包括各種間接成本，例如管理成本、運營成本和市場推廣成本等。AI芯片成為加速端側(cè)大模型應(yīng)用的關(guān)鍵技術(shù)成本其他成本包括除了硬件和研發(fā)成本之外，還包括各種間接成本，例如管理成本、運營成本和市場推廣成本等。AI芯片作為專門設(shè)計用于加速深度學(xué)習(xí)任務(wù)的硬件，具有較高的能效比和計算性能，成為了實現(xiàn)端側(cè)大模型高效部署的關(guān)鍵。一方面，AI芯片能夠提供更高的計算性能和能效比，從而加速端側(cè)大模型的推理和執(zhí)行速度。例如，Google的TPU能夠在相同的功耗下實現(xiàn)比傳統(tǒng)GPU更高的性能，這使得在端側(cè)設(shè)備上運行大規(guī)模的神經(jīng)網(wǎng)絡(luò)模型成為可能。另一方面，AI芯片也能夠提供更低的功耗和更小的尺寸，適合嵌入到各種端側(cè)設(shè)備中，為端側(cè)大模型的應(yīng)用提供了更廣泛的可能性和更好的用戶體驗。在端側(cè)大模型的開發(fā)過程中，需要綜合考慮研發(fā)人員的成本和顯卡的成本，確保項目的順利進行和成功實施深度學(xué)習(xí)模型的研發(fā)需要具有深度學(xué)習(xí)和機器學(xué)習(xí)背景的專業(yè)人員，他們負責模型的設(shè)計、算法優(yōu)化、超參數(shù)調(diào)整等工作。美國的機器學(xué)習(xí)工程師的平均年薪約為12萬美元，而深度學(xué)習(xí)工程師的平均年薪則更高，約為14萬美元。因此，合理控制研發(fā)人員的成本，并保證其具備高水平的技能和專業(yè)知識，對于端側(cè)大模型的研發(fā)和應(yīng)用至關(guān)重要。其次，顯卡的性能和規(guī)模直接影響著模型訓(xùn)練的速度和效率。一臺高端顯卡如NVIDIAGeForceRTX3,090的價格約為1,500美元。此外，顯卡可以通過云服務(wù)提供商租用，這也是許多企業(yè)在進行端側(cè)大模型的研發(fā)和優(yōu)化時采取的一種常見方式。但在長期使用過程中，租用成本也會成為企業(yè)的一項不小的支出。因此，企業(yè)需要綜合考慮研發(fā)人員的成本、顯卡租用成本以及其他相關(guān)成本，以確保研發(fā)過程的經(jīng)濟性和可持續(xù)性。中國端側(cè)大模型市場探析——行業(yè)場景取決于行業(yè)對數(shù)據(jù)安全、隱私保護的需求、行業(yè)本身智能設(shè)備的普及程度以及AI大模型技術(shù)的成熟度，這些因素的相互作用和共同推動，取決于行業(yè)對數(shù)據(jù)安全、隱私保護的需求、行業(yè)本身智能設(shè)備的普及程度以及AI大模型技術(shù)的成熟度，這些因素的相互作用和共同推動，中國端側(cè)大模型行業(yè)——行業(yè)場景分析政務(wù)法律政務(wù)法律互聯(lián)網(wǎng)科技工業(yè)金融汽車教育電商醫(yī)療泛娛樂其他傳統(tǒng)產(chǎn)業(yè)技術(shù)成熟度低 市場發(fā)展?jié)摿?高行業(yè)對數(shù)據(jù)安全和隱私保護的需求將直接影響端側(cè)大模型的應(yīng)用隨著數(shù)據(jù)泄露和隱私問題的日益突出，各行業(yè)對于數(shù)據(jù)的保護需求愈發(fā)迫切。因此，在端側(cè)大模型的應(yīng)用中，需要采取一系列的技術(shù)手段來確保數(shù)據(jù)的安全性和隱私性，如聯(lián)合學(xué)習(xí)、加密計算等。這將促使行業(yè)在應(yīng)用端側(cè)大模型時更加謹慎和審慎，但也為解決數(shù)據(jù)安全隱患提供了新的解決方案。因此，端側(cè)大模型在金融、醫(yī)療、政務(wù)等對數(shù)據(jù)安全要求較高的行業(yè)具有較大發(fā)展?jié)摿ΑＰ袠I(yè)本身智能設(shè)備的普及程度也將影響端側(cè)大模型的發(fā)展前景隨著智能設(shè)備的普及程度提高，對于端側(cè)AI應(yīng)用的需求也將相應(yīng)增加。這些智能設(shè)備不僅提供了豐富的數(shù)據(jù)來源，也為端側(cè)大模型的運行提供了更多的計算資源和場景。例如，隨著智慧教堂的普及率加深，教育成為端側(cè)大模型未來發(fā)展的潛力場景之一。此外，在醫(yī)療領(lǐng)域，家用健康監(jiān)測設(shè)備能夠使數(shù)據(jù)存儲在設(shè)備端，更能滿足客戶的隱私性。AI大模型技術(shù)的成熟度是端側(cè)大模型發(fā)展的重要因素之一端側(cè)大模型應(yīng)用依賴于AI大模型的技術(shù)基礎(chǔ)，隨著AI大模型在自然語言處理、計算機視覺、語音識別等領(lǐng)域的發(fā)展和成熟，端側(cè)大模型應(yīng)用也得到推動；各行業(yè)對端側(cè)設(shè)備上運行的大型AI模型的需求不斷增加，促使端側(cè)大模型應(yīng)用成熟度與AI大模型保持一致；同時，技術(shù)轉(zhuǎn)移和跨界應(yīng)用使得一些在特定行業(yè)中成熟的AI大模型技術(shù)可以被應(yīng)用到其他行業(yè)的端側(cè)設(shè)備中，推動兩者的同步發(fā)展。中國端側(cè)大模型市場探析——業(yè)務(wù)場景端側(cè)大模型能在保障數(shù)據(jù)隱私的同時，實現(xiàn)低延遲的實時計算，并提供高度個性化的服務(wù)，因此基于對數(shù)據(jù)隱私、計算實時以及個性化等強需求，AI端側(cè)大模型能在保障數(shù)據(jù)隱私的同時，實現(xiàn)低延遲的實時計算，并提供高度個性化的服務(wù)，因此基于對數(shù)據(jù)隱私、計算實時以及個性化等強需求，AI端側(cè)大模型業(yè)務(wù)場景分析——按不同的設(shè)備類型分類AI手機機器人自動駕駛機器人其他場景? AI手機、自動駕駛以及機器人成為推動端側(cè)大模型的三大核心應(yīng)用場景。其他場景強需求場景AI手機：數(shù)據(jù)隱私性和計算實時性現(xiàn)代智能手機在語音助手、圖像識別、自然語言處理等方面廣泛應(yīng)用AI技術(shù)，這些功能需要處理大量的用戶數(shù)據(jù)。如果將這些數(shù)據(jù)傳輸?shù)皆贫诉M行處理，不僅增加了隱私泄露的風(fēng)險，還會由于網(wǎng)絡(luò)延遲導(dǎo)致用戶體驗下降。端側(cè)大模型可以在本地設(shè)備上進行數(shù)據(jù)處理，確保用戶的敏感信息不被泄露，同時大幅提升計算的實時性。自動駕駛：實時決策和安全性自動駕駛車輛需要在復(fù)雜的道路環(huán)境中實時做出決策，如避讓行人、識別交通信號和處理突發(fā)情況。這些決策需要極低的延遲，因為任何延誤都可能帶來安全隱患。端側(cè)大模型能夠在車輛本地進行高效計算，確保實時響應(yīng)和高精度決策，從而提升自動駕駛系統(tǒng)的安全性和可靠性。此外，端側(cè)計算減少了對網(wǎng)絡(luò)連接的依賴，在網(wǎng)絡(luò)條件不佳的情況下仍能保持車輛的正常運行。機器人：個性化服務(wù)和效率提升在機器人應(yīng)用中，特別是家庭服務(wù)機器人和醫(yī)療機器人，端側(cè)大模型的優(yōu)勢在于能夠提供個性化服務(wù)和提高效率。機器人需要根據(jù)用戶的具體需求和偏好調(diào)整其行為和功能，例如在家庭中提供特定的照護服務(wù)或在醫(yī)院中執(zhí)行特定的醫(yī)療任務(wù)。通過在本地處理數(shù)據(jù)，機器人可以更好地理解用戶的行為和習(xí)慣，從而提供更加個性化的服務(wù)。此外，端側(cè)計算能夠提升機器人的響應(yīng)速度和任務(wù)執(zhí)行效率，在面對復(fù)雜環(huán)境和任務(wù)時，機器人可以迅速做出決策和調(diào)整，確保任務(wù)的準確性和高效性。這種能力不僅提高了用戶體驗，還拓展了機器人的應(yīng)用范圍和市場潛力。業(yè)務(wù)場景（接上頁）隨著技術(shù)的不斷進步和應(yīng)用場景的拓展，端側(cè)大模型各業(yè)務(wù)場景中存在差異，文本生成和圖片生成場景相對較成熟，音頻生成場景逐步發(fā)隨著技術(shù)的不斷進步和應(yīng)用場景的拓展，端側(cè)大模型各業(yè)務(wù)場景中存在差異，文本生成和圖片生成場景相對較成熟，音頻生成場景逐步發(fā)云端端側(cè)端側(cè)大模型業(yè)務(wù)場景分析——按不同的技術(shù)場景分類云端端側(cè)文本生成文本生成圖片生成音頻生成視頻生成多模態(tài)生成0.1 1 10 100 1000模型規(guī)模（十億參數(shù)）文本生成與圖片生成的業(yè)務(wù)場景文本生成模型如GPT系列在端側(cè)的應(yīng)用逐漸成熟，尤其是在智能手機等移動設(shè)備上的應(yīng)用。通過模型壓縮和優(yōu)化，現(xiàn)有的文本生成模型已經(jīng)可以在資源受限的環(huán)境下高效運行。圖片生成模型的端側(cè)應(yīng)用也在逐步發(fā)展，尤其是一些輕量級的圖像生成模型。這些模型可以用于圖像風(fēng)格轉(zhuǎn)換、圖像修復(fù)、圖像增強等應(yīng)用，為用戶提供更豐富的圖像處理功能。隨著硬件技術(shù)的進步和模型算法的改進，圖片生成模型在端側(cè)的應(yīng)用將進一步成熟。音頻生成的業(yè)務(wù)場景音頻生成模型在端側(cè)的應(yīng)用相對較新，但也在不斷發(fā)展。目前一些語音合成模型已經(jīng)可以在端側(cè)設(shè)備上實現(xiàn)實時的語音合成功能，如智能語音助手、語音提示等。視頻生成和多模態(tài)生成的業(yè)務(wù)場景相比于文本和圖片生成模型，視頻生成模型的端側(cè)應(yīng)用相對較少，主要原因是視頻數(shù)據(jù)的復(fù)雜性和處理量較大。而一些視頻壓縮和編解碼技術(shù)的進步以及硬件加速器的應(yīng)用，為視頻生成模型在端側(cè)的應(yīng)用提供一定的可能性。多模態(tài)生成模型是指同時處理多種類型數(shù)據(jù)的生成模型，其在端側(cè)的應(yīng)用也在逐步探索和發(fā)展，如智能多模態(tài)搜索、多模態(tài)推薦系統(tǒng)等，但其成熟度相對較低，需要更多的研究和技術(shù)突破。Chapter3行業(yè)分析政策分析行業(yè)壁壘競爭格局發(fā)展趨勢400-072-5588中國端側(cè)大模型市場探析——政策分析中國政府將人工智能產(chǎn)業(yè)視為中國國家戰(zhàn)略核心，在端側(cè)大模型方面中國政府將人工智能產(chǎn)業(yè)視為中國國家戰(zhàn)略核心，在端側(cè)大模型方面展現(xiàn)出積極的支持立場。在AI基礎(chǔ)設(shè)施以及生成式AI方面設(shè)立規(guī)范，整體政策環(huán)境對AI政策名稱頒布日期頒布主體政策名稱頒布日期頒布主體主要內(nèi)容及影響《針對生成式人工智能服務(wù)出臺管理辦法》2023-04網(wǎng)信部規(guī)范引導(dǎo)和監(jiān)督約束《數(shù)字中國建設(shè)整體布局規(guī)劃》2023-02國務(wù)院布局《關(guān)于加快場景創(chuàng)新以人工智能高水平應(yīng)用促進經(jīng)濟高質(zhì)量發(fā)展的指導(dǎo)意見》2022-07科技部一方面，該指導(dǎo)意見鼓勵在各行業(yè)領(lǐng)域深入挖掘人工智能技術(shù)應(yīng)用場景，為端側(cè)大模型提供了豐富多樣的應(yīng)用場景，如聊天和文本生成、機器翻譯、語該指導(dǎo)意見強調(diào)以需求為牽引謀劃人工智能技術(shù)應(yīng)用場景，為端側(cè)大模型提供了需求驅(qū)動的動力，促進端側(cè)大模型在解決實際問題中優(yōu)化升級《關(guān)于促進新一代人工智能產(chǎn)業(yè)高質(zhì)量發(fā)展的若干措施》2022-01教育部《工業(yè)和信息化部關(guān)于開展信息通信服務(wù)感知提升行動的通知》2021-11工信部從事互聯(lián)網(wǎng)信息服務(wù)的企業(yè)應(yīng)建立客服熱線電話，并在網(wǎng)站、APP等顯著位置公示客服熱線電話號碼。鼓勵具備條件的企業(yè)提供充足的人工客服坐席《國家新一代人工智能標準體系建設(shè)指南》2020-07網(wǎng)信辦指南規(guī)劃了新一代人工智能標準體系的總體框架和具體內(nèi)容，包