人工智能發(fā)展報(bào)告(2024年)

目 錄一、總體態(tài)勢(shì) 1（一）人工智能技術(shù)演進(jìn)走向新范式 1（二）人工智能工程化邁向新階段 2（三）人工智能安全治理工作緊密推進(jìn) 4（四）人工智能產(chǎn)業(yè)穩(wěn)中有進(jìn)迎來(lái)新動(dòng)能 5二、技術(shù)創(chuàng)新 8（一）基礎(chǔ)模型仍在快速演進(jìn)迭代 8（二）計(jì)算平臺(tái)與模型創(chuàng)新緊密耦合 16（三）工具鏈不斷完善加速大模型研發(fā)應(yīng)用 21（四）高質(zhì)量多模態(tài)數(shù)據(jù)集成為模型能力提升的關(guān)鍵 26三、應(yīng)用賦能 32（一）人工智能賦能階段性特征顯現(xiàn) 32（二）重點(diǎn)行業(yè)人工智能應(yīng)用走深向?qū)?36（三）體系化推動(dòng)人工智能落地應(yīng)用成為共識(shí) 38四、安全治理 44（一）人工智能技術(shù)應(yīng)用帶來(lái)多重挑戰(zhàn) 45（二）全球人工智能安全治理正處于“從原則走向?qū)嵺`”的關(guān)鍵階段 47五、發(fā)展展望 54圖目錄圖1全球人工智能產(chǎn)業(yè)規(guī)模（單位：億美元） 6圖2全球生成式人工智能投融資規(guī)模（單位：億美元） 7圖3語(yǔ)言、視覺(jué)和多模態(tài)三類(lèi)基礎(chǔ)模型布局 8圖4大模型工具鏈架構(gòu)圖 22圖5不同階段的具體數(shù)據(jù)需求情況 26圖6基于百個(gè)優(yōu)秀案例統(tǒng)計(jì)的AI應(yīng)用產(chǎn)業(yè)鏈分布 35圖7人工智能風(fēng)險(xiǎn)管理體系 44圖8人工智能風(fēng)險(xiǎn)示例 45表目錄表1語(yǔ)言大模型演進(jìn)迭代情況 10表2語(yǔ)言大模型調(diào)整及解決方案 12表3多模態(tài)模型技術(shù)路線(xiàn)表 15一、總體態(tài)勢(shì)人工智能浪潮席卷全球，正以前所未有的速度、廣度和深度改變生產(chǎn)生活方式。世界主要國(guó)家紛紛將推進(jìn)人工智能技術(shù)創(chuàng)新與應(yīng)用作為國(guó)家戰(zhàn)略的重要方向，我國(guó)高度重視人工智能在培育新質(zhì)生產(chǎn)力、塑造新動(dòng)能方面的重要作用。習(xí)近平總書(shū)記指出，人工智能是新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動(dòng)力量，將對(duì)全球經(jīng)濟(jì)社會(huì)20241（一）人工智能技術(shù)演進(jìn)走向新范式以Transformer都能夠顯著增強(qiáng)模型的復(fù)雜性和處理能力。二是多任務(wù)適應(yīng)。大模型支持多任務(wù)多模態(tài)能力持續(xù)增強(qiáng)，可執(zhí)行任務(wù)已經(jīng)從文本對(duì)話(huà)拓展到多模態(tài)理解、多模態(tài)生成等場(chǎng)景。三是能力可塑。通用大模型在訓(xùn)練階段通過(guò)結(jié)合增量預(yù)訓(xùn)練、有監(jiān)督微調(diào)、知識(shí)圖譜等方法，實(shí)現(xiàn)將專(zhuān)業(yè)數(shù)據(jù)和知識(shí)注入模型中，提升大模型在專(zhuān)業(yè)領(lǐng)域的應(yīng)用能力；在推理階段，通過(guò)引入檢索增強(qiáng)生成、提示詞工程和智能體等技術(shù)，將更豐富的上下文信息和專(zhuān)業(yè)知識(shí)引入模型推理過(guò)程，解決更復(fù)雜的推理任務(wù)，優(yōu)化模型表現(xiàn)。具體從大模型算法演進(jìn)態(tài)勢(shì)看，深挖現(xiàn)有體系架構(gòu)潛力，以實(shí)現(xiàn)理解推理能力和訓(xùn)練效率倍增仍是當(dāng)前發(fā)展主線(xiàn)。模型研發(fā)主體（Transformer和模型改造（如擴(kuò)大上下文窗口、思維鏈復(fù)雜推理、優(yōu)化注意力模塊、網(wǎng)絡(luò)架構(gòu)稀疏化、多模態(tài)特征對(duì)齊與統(tǒng)一理解等）展開(kāi)創(chuàng)新升級(jí)，OpenAIo1模型通過(guò)模仿人腦思考的思維過(guò)程，顯著提升數(shù)學(xué)、物理、編程等復(fù)雜任務(wù)的性能水平。與Transformer圖神經(jīng)網(wǎng)絡(luò)的GraphCast、GNoMEPINNDeepONet（二）人工智能工程化邁向新階段工程化技術(shù)是推動(dòng)人工智能從實(shí)驗(yàn)室走向生產(chǎn)環(huán)境的關(guān)鍵橋梁，也是人工智能在垂直行業(yè)應(yīng)用落地的必經(jīng)之路。在此過(guò)程中，人工智能工具鏈發(fā)揮著核心作用，其覆蓋數(shù)據(jù)處理、模型訓(xùn)練微調(diào)、部署推理、應(yīng)用開(kāi)發(fā)、監(jiān)控運(yùn)維和安全可信全流程，是實(shí)現(xiàn)智能化轉(zhuǎn)型的基礎(chǔ)設(shè)施和加速器。當(dāng)前，人工智能工程化的重點(diǎn)逐漸從大模型的訓(xùn)練微調(diào)向應(yīng)用開(kāi)發(fā)和落地轉(zhuǎn)變，構(gòu)建起圍繞大模型及其應(yīng)用的工具鏈，標(biāo)志著人工智能工程化進(jìn)入了新的產(chǎn)業(yè)化階段。開(kāi)發(fā)工具鏈加速大模型技術(shù)迭代速度。開(kāi)發(fā)工具鏈作為連接算DeepSpeed、Megatron-LM等分布式訓(xùn)練框架通過(guò)支持更豐富的并行策略，以及更豐富的計(jì)算加速策略，有效支持產(chǎn)業(yè)界超大規(guī)模模型的預(yù)訓(xùn)練。同時(shí)，訓(xùn)練框架?chē)@參數(shù)高效微調(diào)等方面的技術(shù)創(chuàng)新，可以有效降低計(jì)算和存儲(chǔ)成本。在推理方面，開(kāi)發(fā)工具鏈聚焦優(yōu)化量化、剪枝等壓縮技術(shù)持續(xù)突破，加速推理過(guò)程并降低部署成本。同時(shí)，開(kāi)發(fā)工具通過(guò)完善并行推理、混合精度推理、推理緩存等技術(shù)，可以有效降低計(jì)算資源消耗，提升推理服務(wù)速度。應(yīng)用工具鏈拓展大模型應(yīng)用廣度。大模型應(yīng)用工具主要圍繞增強(qiáng)生成（RAG）及多組件融合等核心要素持續(xù)創(chuàng)新。Agent的引入，實(shí)現(xiàn)了復(fù)雜任務(wù)的自動(dòng)化執(zhí)行與智能決策；多模型編排則有效RAG（三）人工智能安全治理工作緊密推進(jìn)在人工智能飛速發(fā)展的浪潮下，全球人工智能治理合作持續(xù)升溫，各國(guó)政府、國(guó)際組織、私營(yíng)部門(mén)及社會(huì)各界攜手并進(jìn)，各主要全球人工智能安全治理合作愈發(fā)緊密，各主要經(jīng)濟(jì)體治理體系漸趨明晰。國(guó)際合作方面，交流合作更加頻繁，強(qiáng)調(diào)“負(fù)責(zé)任”、普惠發(fā)展理念。聯(lián)合國(guó)在全球人工智能治理中發(fā)揮主渠道作用，二十國(guó)集團(tuán)、七國(guó)集團(tuán)等密集推出人工智能治理舉措，人工智能安全峰會(huì)聚焦安全議題提供全球?qū)υ?huà)平臺(tái)。與此同時(shí)，全球積極推動(dòng)人工智能普惠發(fā)展。聯(lián)合國(guó)大會(huì)通過(guò)了關(guān)于人工智能的里程碑式?jīng)Q議加快實(shí)現(xiàn)可持續(xù)發(fā)展目標(biāo)，我國(guó)發(fā)起“一帶一路”倡議、搭建“數(shù)-普惠計(jì)劃》，都致力于讓人工智能為全人類(lèi)帶來(lái)“惠益”。治理體系方面，各主要經(jīng)濟(jì)體治理體系漸趨明晰，旨在維護(hù)本土產(chǎn)業(yè)發(fā)展需要。我國(guó)兼顧人工智能發(fā)展與安全，提出建立人工智能安全監(jiān)管（1.0版）》。歐盟出臺(tái)《人工智能法案》構(gòu)建統(tǒng)一治理格局，美國(guó)發(fā)布拜登行政令推行行業(yè)自律的治理架構(gòu)，英國(guó)、新加坡、日本等國(guó)加人工智能安全前瞻研究和產(chǎn)業(yè)實(shí)踐深度結(jié)合，安全技術(shù)應(yīng)用能力明顯提升。前瞻研究方面，麻省理工學(xué)院、伯克利大學(xué)和南洋理工大學(xué)等研究機(jī)構(gòu)提出模型間對(duì)抗新范式，深入探索人工智能模型自身安全邊界。清華大學(xué)、北京大學(xué)和騰訊等機(jī)構(gòu)積極開(kāi)發(fā)新型模型水印算法，增強(qiáng)人工智能應(yīng)用的安全可追溯性。產(chǎn)業(yè)實(shí)踐方面，DioptraInspect型能力和整體模型安全，新加坡迭代AI（四）人工智能產(chǎn)業(yè)穩(wěn)中有進(jìn)迎來(lái)新動(dòng)能IDC623321.5%11IDC有兩個(gè)方面的重要原因。一是大模型涌現(xiàn)式發(fā)展，為人工智能產(chǎn)業(yè)202320222Gartner80%的企業(yè)將使用生成式人工智能API，或部署生成來(lái)源：IDC圖1全球人工智能產(chǎn)業(yè)規(guī)模（單位：億美元）202431684%。在全球融資緊縮的背景下，受益于大模型發(fā)展和企業(yè)融資帶動(dòng)，人工智能領(lǐng)20224.5%202412.1%。2023252億202292023年所有人工智能相關(guān)投資的約2基于斯坦福大學(xué)EcosystemGraphs數(shù)據(jù)及頭部企業(yè)發(fā)布事件統(tǒng)計(jì)四分之一3。2024年上半年，全球金額最大的10筆融資事件中有6筆為大模型企業(yè)融資，金額總計(jì)達(dá)135億美元。來(lái)源：TheAIIndex2024AnnualReport圖2全球生成式人工智能投融資規(guī)模（單位：億美元）人工智能創(chuàng)業(yè)企業(yè)發(fā)展持續(xù)創(chuàng)新高。人工智能創(chuàng)業(yè)企業(yè)是智能化時(shí)代影響技術(shù)產(chǎn)業(yè)格局的生力軍，也是推動(dòng)全球人工智能產(chǎn)業(yè)生2024242202415家，占所有新增獨(dú)角40%業(yè)務(wù)領(lǐng)域涵蓋生物制藥（XairaTherapeutics）、軟件開(kāi)發(fā)（如Cognition（（Perplexity）、（如SakanaAI）技術(shù)實(shí)力和發(fā)展前景已獲得市場(chǎng)認(rèn)可，其中AsteraLabs、出門(mén)問(wèn)問(wèn)20243TheAIIndex2024AnnualReport二、技術(shù)創(chuàng)新（一）基礎(chǔ)模型仍在快速演進(jìn)迭代縮放定律驅(qū)動(dòng)下的模型能力持續(xù)提升，基礎(chǔ)大模型的語(yǔ)言、視ChatGPT的出20232024OpenAI來(lái)源：中國(guó)信息通信研究院圖3語(yǔ)言、視覺(jué)和多模態(tài)三類(lèi)基礎(chǔ)模型布局問(wèn)題上仍面臨挑戰(zhàn)2023820206月1750億個(gè)參數(shù)，20242月面壁智能發(fā)布MiniCPM-2.4B24億，86MoEMoE目前，谷歌的Gemini-1.5ProMistralAI8x7B8x22BMoEStep-2MoE架構(gòu)，已成為當(dāng)前大模型的重要演進(jìn)趨勢(shì)。四是通過(guò)強(qiáng)化學(xué)習(xí)（Reinforcement（ChainofThought，CoT）20249月OpenAIo1系STEM領(lǐng)域的推理能力顯著增強(qiáng)），還具有了自我反思與錯(cuò)誤修正能力，表1語(yǔ)言大模型演進(jìn)迭代情況公司模型上下文長(zhǎng)度MetaAILlama28kLlama3.1128kOpenAIGPT-432kGPT-4Turbo128ko1/o1mini128kAnthropicClaude3.5200k阿里云Qwen8kQwen-1.532kQwen-2.5128k百度ERINE4.08kERINE4.0Turbo128k上海AI實(shí)驗(yàn)室書(shū)生浦語(yǔ)8k書(shū)生浦語(yǔ)2.0200k谷歌Gemini-1.032kGemini-1.51000k（100萬(wàn)）語(yǔ)言大模型雖然在文本理解與生成、復(fù)雜邏輯推理任務(wù)上取得了突破，但在幻覺(jué)問(wèn)題、訓(xùn)練成本方面仍然面臨挑戰(zhàn)。一是復(fù)雜邏輯推理和泛化能力仍需強(qiáng)化。OpenAIo1系列模型為例，雖然OpenAI通過(guò)強(qiáng)化學(xué)習(xí)和思維鏈等技術(shù)方案使得o1系列模型在STEM領(lǐng)域的推理能力得到大幅提升，但在開(kāi)放性、復(fù)雜度更高的問(wèn)題和場(chǎng)景中泛化能力仍然不強(qiáng)。一方面，可以通過(guò)在特定領(lǐng)域的（RAG）RAG模型結(jié)合了檢索機(jī)制和生成機(jī)制，能夠從大量外部數(shù)據(jù)庫(kù)中檢索相關(guān)信息，并結(jié)合這些信息進(jìn)行生成，從而提高內(nèi)容的準(zhǔn)確性；增強(qiáng)長(zhǎng)上下文處理能力，大模型通過(guò)處理長(zhǎng)文本信息，更好地理解上下文及復(fù)雜的邏輯關(guān)系和情境，減少生成幻覺(jué)的風(fēng)險(xiǎn)。三是訓(xùn)練成本仍然偏高。當(dāng)前大模型的訓(xùn)練成本仍然偏高，這主要體現(xiàn)在數(shù)據(jù)需求、算力消耗及基礎(chǔ)架構(gòu)上。在數(shù)據(jù)層面，大模型需要大量的數(shù)據(jù)來(lái)進(jìn)行有效的預(yù)訓(xùn)練，數(shù)據(jù)的收集、標(biāo)注、清洗和預(yù)處理都需要大量的時(shí)間和資源。此外，高質(zhì)量數(shù)據(jù)往往需要人工標(biāo)注，不僅耗時(shí)而且成本高昂，尤其是在需要專(zhuān)業(yè)知識(shí)的領(lǐng)域。在算力層面，訓(xùn)練GPU以犧牲其他方面性能為代價(jià)，如計(jì)算效率、內(nèi)存占用等，目前還沒(méi)有出現(xiàn)一種能夠全面超越現(xiàn)有Transformer架構(gòu)的基礎(chǔ)單元。表2語(yǔ)言大模型調(diào)整及解決方案挑戰(zhàn)方向主要解決思路復(fù)雜推理問(wèn)題幻覺(jué)問(wèn)題訓(xùn)練成本問(wèn)題視覺(jué)大模型：Transformer賦能圖像理解，擴(kuò)散模型實(shí)現(xiàn)圖像生成TransformerTransformer模型首次將圖像適配到TransformerImageNetCNN在視覺(jué)領(lǐng)域基礎(chǔ)架構(gòu)的地位。目前，業(yè)界主要聚焦模型結(jié)構(gòu)和下游任務(wù)兩方面對(duì)SwinTransformer、MetaMAE、DeiT、SAM、DINO2、蘇黎世聯(lián)邦理工學(xué)院的PVTMcGillCvT網(wǎng)絡(luò)結(jié)構(gòu)，在圖像分類(lèi)、目標(biāo)檢測(cè)與分割、圖像檢索、深度估計(jì)等傳統(tǒng)視覺(jué)任務(wù)上取得突破。ViT為代表的判別式視覺(jué)大模型仍面臨以下幾個(gè)方面的挑戰(zhàn)。一是計(jì)算Transformer復(fù)雜度，對(duì)計(jì)算資源有較高要求。二是訓(xùn)練數(shù)據(jù)依賴(lài)性強(qiáng)等視覺(jué)大模型需要大規(guī)模數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練以獲得更好的性能，在小數(shù)據(jù)集上的表現(xiàn)可能不佳。三是自監(jiān)督學(xué)習(xí)挑戰(zhàn)，自監(jiān)督學(xué)習(xí)是視覺(jué)大模型訓(xùn)練的關(guān)鍵環(huán)節(jié)，但如何有效地設(shè)計(jì)自監(jiān)督任務(wù)以充分挖掘數(shù)據(jù)特性與模型潛力仍然是一個(gè)開(kāi)放性問(wèn)題。四是模型部署與推理加速，為了在實(shí)際應(yīng)用中部署視覺(jué)大模型，需要有效的模型壓縮擴(kuò)散模型成為圖像生成領(lǐng)域的主流方案，展現(xiàn)巨大應(yīng)用潛力。擴(kuò)散模型（DiffusionModels）基于馬爾科夫鏈的擴(kuò)散過(guò)程逐步從噪聲中重構(gòu)出所需的數(shù)據(jù)，廣泛應(yīng)用于高質(zhì)量圖像與視頻的生成、編輯與修復(fù)等場(chǎng)景。擴(kuò)散模型相較傳統(tǒng)生成模型在以下三方面展現(xiàn)優(yōu)勢(shì)：一是高質(zhì)量樣本生成，擴(kuò)散模型能夠生成高分辨率、高保真度（GAN）等傳統(tǒng)生成模型相比，擴(kuò)散模型的訓(xùn)練過(guò)程更為穩(wěn)定，減少了模式如文本描述、草圖等）來(lái)引導(dǎo)圖像的生成方向和風(fēng)格，支持生成多樣化的圖像樣本，包括藝術(shù)創(chuàng)作、風(fēng)格遷移等多種創(chuàng)新應(yīng)用。目前頭部人工智能廠(chǎng)商聚焦通過(guò)擴(kuò)散模型持續(xù)提升圖像生成能力，包括StabilityAI的StableDiffusionOpenAI的Imagen等。與此同時(shí)，以擴(kuò)散模型為代表的生成式視覺(jué)大模型仍面臨以下三個(gè)方面的挑戰(zhàn)：一是推理速度，擴(kuò)散模型的推理過(guò)程需要多個(gè)步驟迭代生成，導(dǎo)致推理時(shí)間較長(zhǎng)。二是幻覺(jué)問(wèn)題，當(dāng)前模型存在生成圖像內(nèi)容與客觀(guān)事實(shí)不符的情況。三是評(píng)估指標(biāo)，當(dāng)前擴(kuò)散模型生成樣本的評(píng)估主要基于FID分?jǐn)?shù)，這一指標(biāo)反映圖像全局的表征能力，無(wú)法全面反映樣本的細(xì)節(jié)恢復(fù)效果和多樣性。多模態(tài)模型：四種實(shí)現(xiàn)方式探索交叉模態(tài)處理多模態(tài)大模型融合了多種感知途徑與表達(dá)形態(tài)，能夠同時(shí)處理文本、圖像、語(yǔ)音等多種數(shù)據(jù)，并進(jìn)行深度的語(yǔ)義理解和交叉模態(tài)處理，具備深度人機(jī)交互和全面智能應(yīng)用的潛力，是通用智能的重要實(shí)現(xiàn)路徑。多模態(tài)大模型主要有四種實(shí)現(xiàn)方式，按模型實(shí)現(xiàn)功能可以分為理解類(lèi)與生成類(lèi)兩條主要路徑。一是多模態(tài)理解模型。多模態(tài)理解模型對(duì)齊視覺(jué)特征與文本特征實(shí)現(xiàn)跨模態(tài)的統(tǒng)一理解，分為以下兩類(lèi)技術(shù)路線(xiàn)。一方面，基于語(yǔ)言大模型底座，配合多類(lèi)外部專(zhuān)家模型共同實(shí)現(xiàn)多模態(tài)處理。如微軟的ChatGPT模型將OpenAIChatGPT22種不同的視覺(jué)基礎(chǔ)模型（VFM）相結(jié)合，使用戶(hù)能夠超越語(yǔ)言限制，實(shí)現(xiàn)多模PaLM-E模型利用現(xiàn)有LLM入轉(zhuǎn)化為L(zhǎng)LMCLIP模型通過(guò)對(duì)比學(xué)習(xí)，將圖像與文本通過(guò)各自的預(yù)訓(xùn)練模型獲得的編碼向量在向量空間上對(duì)齊，從而理解和推理圖像和文本之間的關(guān)系，被廣泛用于圖像檢索、視覺(jué)問(wèn)答、圖像生成等領(lǐng)域。二是多模態(tài)生成模型。多模態(tài)生成模型基于對(duì)不同模態(tài)信息的理解，具備文本、圖像、視頻、語(yǔ)音信息的生成能力，能夠根據(jù)輸入指令創(chuàng)造新的數(shù)據(jù)內(nèi)容或增強(qiáng)現(xiàn)有數(shù)據(jù)的表達(dá)能力，分為以下兩優(yōu)勢(shì)，成為視頻生成模型主流架構(gòu)。DiT架構(gòu)用Transformer代替了傳統(tǒng)擴(kuò)散模型中基于卷積網(wǎng)絡(luò)的U-Net。TransformerOpenAI的Sora1080POpenAI的Gemini均采用了端到端單體模型的方式學(xué)習(xí)文能夠根據(jù)手機(jī)拍攝視覺(jué)信息與用戶(hù)對(duì)話(huà)交互實(shí)現(xiàn)多模態(tài)統(tǒng)320ms，表3多模態(tài)模型技術(shù)路線(xiàn)表類(lèi)型路線(xiàn)典型多模態(tài)理解語(yǔ)言大模型調(diào)度微軟VisualChatGPT谷歌PaLM-E跨模態(tài)特征對(duì)齊OpenAICLIP微軟KOSMOSDeepMindFlamingoSalesforceBLIP多模態(tài)生成擴(kuò)散模型StabilityAIStableDiffusionOpenAIDALL·EOpenAISora快手KLINGRunwayGen-3端到端理解與生成架構(gòu)谷歌GeminiOpenAIGPT-4o（二）計(jì)算平臺(tái)與模型創(chuàng)新緊密耦合模型創(chuàng)新依賴(lài)計(jì)算平臺(tái)，協(xié)同價(jià)值凸顯以大模型為代表的通用智能范式正在驅(qū)動(dòng)人工智能計(jì)算平臺(tái)升級(jí)。當(dāng)前，“大模型+大算力+大數(shù)據(jù)”成為可能實(shí)現(xiàn)通用智能的主要路線(xiàn)之一，基礎(chǔ)大模型底座的智能水平與迭代速度成為各國(guó)科技競(jìng)爭(zhēng)的戰(zhàn)略焦點(diǎn)。然而，大模型目前仍是一種實(shí)驗(yàn)科學(xué)裝置，升級(jí)Llama3.1-405B為例，使1.6NVIDIAH100GPU15.6Ttoken54466AISHPerf54TheLlama3HerdofModels，MetaLlamaTeam.5AISHPerf：PerformanceBenchmarksofArtificialIntelligenceSoftwareandHardware正面向大模型訓(xùn)練、推理需求加速迭代升級(jí)，模型輕量化部署、混合精度計(jì)算、分布式訓(xùn)練策略?xún)?yōu)化等新特性是近期軟硬件產(chǎn)品升級(jí)迭代重點(diǎn)，廠(chǎng)商積極推動(dòng)不同模型網(wǎng)絡(luò)架構(gòu)與硬件的深度適配。大模型技術(shù)的原始創(chuàng)新和應(yīng)用迭代落地高度依賴(lài)先進(jìn)的軟硬件協(xié)同技術(shù)生態(tài)體系。一方面，模型原始創(chuàng)新與底層硬件協(xié)同顯著加強(qiáng)，構(gòu)建新的模型結(jié)構(gòu)與組件往往需考慮底層硬件的支持程度，如FlashAttention、FlashDecoding等創(chuàng)新技術(shù)。另一方面，面向差異化的賦能場(chǎng)景，需要軟硬件系統(tǒng)結(jié)合場(chǎng)景需求特點(diǎn)在訓(xùn)練、推理等環(huán)節(jié)高度協(xié)同，從算力集群調(diào)度、框架分布式新發(fā)力點(diǎn)目前，PapersWithCode2020951%2023960%20%3%左右。從技術(shù)能力來(lái)看，2022年底發(fā)布的50%2000250個(gè)左右，僅需一行代碼即可實(shí)現(xiàn)1.52Transformers模型訓(xùn)練加速，大幅提升大模型支持能力，編譯效率大幅提升，受到業(yè)界廣泛歡迎，逐漸擴(kuò)大與近年來(lái)國(guó)內(nèi)涌現(xiàn)了一批如百度飛槳、華為昇思、一流OneFlow、之江天樞等開(kāi)發(fā)框架，支撐構(gòu)建一批更加符合本土產(chǎn)業(yè)特色和場(chǎng)景需求的解決方案。隨著人工智能進(jìn)入大規(guī)模賦能新型工業(yè)化階段，國(guó)產(chǎn)深度學(xué)習(xí)框架迎來(lái)新一輪發(fā)展機(jī)遇，向行業(yè)融合滲透不斷加強(qiáng)。107086萬(wàn)個(gè)模型，23.5Mindspore780萬(wàn)，總PR97.7k大規(guī)模分布式訓(xùn)練成為框架的新發(fā)力點(diǎn)，一批大模型加速框架顯現(xiàn)。當(dāng)前，開(kāi)發(fā)框架主要面向大模型分布式訓(xùn)練異構(gòu)資源管理調(diào)度、多節(jié)點(diǎn)任務(wù)調(diào)度等方面完成優(yōu)化，呈現(xiàn)兩種發(fā)展路線(xiàn)，一是基于原有框架實(shí)現(xiàn)分布式訓(xùn)練功能，例如，微軟DeepSpeed、英偉達(dá)Megatron基于PyTorch強(qiáng)化大模型分布式支持能力、提升訓(xùn)練效率。其中，微軟DeepSpeed針對(duì)分布式訓(xùn)練中計(jì)算資源稀缺問(wèn)題，提升異構(gòu)硬件統(tǒng)籌調(diào)度能力，豐富計(jì)算資源供給。DeepSpeed在多GPU系統(tǒng)上展現(xiàn)出較好的分布式擴(kuò)展性，相較于Megatron，其應(yīng)用更為廣泛，包括計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、推薦系統(tǒng)等，旨在提高大模型的訓(xùn)練速度和效率。二是集成分布式能力的一體化通用發(fā)展路線(xiàn)，例如，百度飛槳框架原生支持超大規(guī)模分布式訓(xùn)練能力，推出端到端自適應(yīng)分布式訓(xùn)練技術(shù)，實(shí)現(xiàn)了低成本自動(dòng)并行開(kāi)發(fā)、最優(yōu)并行策略自動(dòng)選擇和異步流水調(diào)度，突破了模型結(jié)構(gòu)和硬件環(huán)境多樣導(dǎo)致的分布式訓(xùn)練策略開(kāi)發(fā)復(fù)雜、訓(xùn)練性能調(diào)優(yōu)難的技術(shù)瓶頸。大模型熱潮進(jìn)一步推動(dòng)計(jì)算底座迭代升級(jí)。大模型計(jì)算特性對(duì)硬件要求極高，帶來(lái)分布式訓(xùn)練支持、混合精度計(jì)算支持、高速互聯(lián)通信等新要求新挑戰(zhàn)，驅(qū)動(dòng)計(jì)算底座迭代升級(jí)，呈現(xiàn)三大趨勢(shì)特Transformer如英HooperTransformer引擎提升算法計(jì)算性能，并利用啟發(fā)式算法實(shí)現(xiàn)數(shù)據(jù)精度動(dòng)態(tài)切換（Blackwell架構(gòu)二代Transformer引擎已支持FP8FP6FP4性能的前提下降低計(jì)算總量；芯片創(chuàng)業(yè)公司Etched推出僅支持TransformerSohu芯片，犧牲編程能力提升計(jì)算速度，推理吞吐量達(dá)到H10020倍。隨著大模型參數(shù)持續(xù)增長(zhǎng)、輸入輸出數(shù)據(jù)長(zhǎng)度快速提升，模型參數(shù)和計(jì)算緩存kvAMDMI300X顯存容量和顯存帶寬提升幅度（240%×H100），均超過(guò)算力提升幅度（220%×H100@FP16）。三是強(qiáng)調(diào)軟硬協(xié)同升級(jí)釋放硬AMDROCm6.2的vLLMInstinctAI推理能力；英偉FlashAttention3H100芯片動(dòng)態(tài)warpFP8精度支持等特性，相比FlashAttention2速度1.5-2倍。多方試圖破局，出現(xiàn)三類(lèi)挑戰(zhàn)者。盡管目前英偉達(dá)壟斷人工智能計(jì)算生態(tài)，但面對(duì)高昂的采購(gòu)成本和龐大的市場(chǎng)空間，各方持續(xù)AMDAMDInstinctMI325X芯片、英特爾Gaudi2寬、性?xún)r(jià)比等方面形成差異化競(jìng)爭(zhēng)優(yōu)勢(shì)。Cerebras、Groq、d-Matrix、Graphcore等為代表的芯片初創(chuàng)企業(yè)，嘗試通過(guò)超大尺寸芯片、存內(nèi)計(jì)算、近存計(jì)算等非常規(guī)技術(shù)路線(xiàn)取得突破，已獲得OpenAIMetaTPU已更新至第五代（TPUv5p），支持多模態(tài)大模型Gemini訓(xùn)練；微軟推出MAIA5nm發(fā)布首款自研推理芯片MTIA7nm工藝ASIC芯片，與自身160TOPS/W（三）工具鏈不斷完善加速大模型研發(fā)應(yīng)用大模型工具鏈?zhǔn)侵敢幌盗屑苫能浖ぞ吆推脚_(tái)，旨在支持大模型開(kāi)發(fā)構(gòu)建、訓(xùn)練優(yōu)化、應(yīng)用開(kāi)發(fā)、部署推理和運(yùn)維管理全流程。工具鏈的持續(xù)升級(jí)對(duì)于大模型開(kāi)發(fā)和應(yīng)用至關(guān)重要，是構(gòu)建模型服務(wù)體系（ModelasaService，MaaS）的平臺(tái)能力支撐，目標(biāo)是靈活便捷供給大模型服務(wù)。首先，工具鏈不斷升級(jí)，能夠有效應(yīng)對(duì)大規(guī)模模型訓(xùn)練的復(fù)雜性挑戰(zhàn)，提高訓(xùn)練效率和推理效能。其次，Agent框架、圖4大模型工具鏈架構(gòu)圖

來(lái)源：中國(guó)信息通信研究院模型訓(xùn)練工具：加速模型生產(chǎn)質(zhì)效變革訓(xùn)練工具能力全面升級(jí)，有效支撐大規(guī)模訓(xùn)練任務(wù)。一方面，為了更加高效地完成大模型訓(xùn)練任務(wù)，涌現(xiàn)出多種訓(xùn)練加速技術(shù)。Adafactor、FlashAttentionDeepSpeed支持的算子融合、梯度積累技術(shù)等技術(shù)，能夠在資源有限的情況下，通過(guò)優(yōu)化計(jì)算策略，加速計(jì)算過(guò)程。此外，收斂性?xún)?yōu)化技術(shù)通過(guò)提高模型的收斂速度，提升模型訓(xùn)練效率，并提高模型的泛化能力。目前，主流的深度學(xué)習(xí)訓(xùn)練框架均支持收斂性?xún)?yōu)化技術(shù)，如DeepSpeed、JAX等均支持AdamAdagrad在特定場(chǎng)景的適應(yīng)性，業(yè)界推出多種微調(diào)技術(shù)以提升訓(xùn)練效率。目全量微調(diào)精度高、泛化能力強(qiáng)，但計(jì)算成本較高，一般適用于精度需求較高的復(fù)雜任務(wù)場(chǎng)景。參數(shù)高效微調(diào)能夠顯著節(jié)省訓(xùn)練時(shí)間和計(jì)算資源，適用于資源受限或者需要快速部署迭代的場(chǎng)景，已經(jīng)成為產(chǎn)（LoRA）、（Prefix模型推理工具：提升模型部署推理效能推理工具能力不斷升級(jí)優(yōu)化，為大模型落地提供高效支撐。一是模型壓縮工具持續(xù)整合更多壓縮技術(shù)。大模型通常需經(jīng)過(guò)模型壓縮以適應(yīng)更廣泛更多樣化的部署環(huán)境，如何兼顧壓縮比例與性能損耗是關(guān)鍵。以量化、剪枝為代表的壓縮技術(shù)持續(xù)演進(jìn)，通過(guò)低比特量化、稀疏化、模型結(jié)構(gòu)搜索、參數(shù)自動(dòng)尋優(yōu)等方式實(shí)現(xiàn)模型訓(xùn)練ACT（AutoCompression可實(shí)現(xiàn)壓縮流程自動(dòng)化6，商湯的神經(jīng)網(wǎng)絡(luò)量化工具PPQ76PaddleSlim/example/auto_compressionatdevelop·PaddlePaddle/PaddleSlim()7openppl-public/ppq:PPLQuantizationTool(PPQ)isapowerfulofflineneuralnetworkquantizationtool.()推理場(chǎng)景的低時(shí)延、高吞吐要求，從顯存優(yōu)化、高性能算子、服務(wù)調(diào)度等多個(gè)維度進(jìn)行優(yōu)化設(shè)計(jì)，已成為當(dāng)前大模型部署推理的主要工具，如伯克利大學(xué)LMSYSORG（LanguageModelSystemsGenerationInference）DeepSpeedDeepSpeed-MII等。我國(guó)科LLMGPU和華為NPU卡8DashInferCPU卡上的高效推理9，螞蟻GLake10+2.3倍。AI應(yīng)用大模型服務(wù)化供給加速了智能技術(shù)的普惠化落地，激發(fā)了基于大小模型的智能應(yīng)用開(kāi)發(fā)需求。與傳統(tǒng)應(yīng)用軟件開(kāi)發(fā)相比，智能應(yīng)用開(kāi)發(fā)在應(yīng)用模式方面轉(zhuǎn)變?yōu)橐阅Ｐ蜑楹诵?，在開(kāi)發(fā)方式方面演變成零代碼、低代碼等多種形式，以滿(mǎn)足不同技術(shù)能力的用戶(hù)群體需求。以上變化對(duì)模型應(yīng)用的開(kāi)發(fā)提出了新的要求，一方面，開(kāi)發(fā)所8/pcg-mlp/KsanaLLM/blob/main/README_cn.md9https:///headlines/article/49710/intelligent-machine-learning/glakeAgent、RAGAI應(yīng)用開(kāi)發(fā)框架，大小模型組合成為應(yīng)用落地的主要技術(shù)方式。同時(shí)，搜索、格式轉(zhuǎn)化等工具插件將模型的能力進(jìn)行延伸，在應(yīng)用中扮演著越來(lái)越重要的作用。另一方面，快速變化的市場(chǎng)需求對(duì)應(yīng)用開(kāi)發(fā)效率的提高更為迫切。面對(duì)新需求與新變化，模型應(yīng)用開(kāi)發(fā)工具逐步走向市場(chǎng)，并幫助用戶(hù)快速搭建豐富AI如，百度智能云千帆AppBuilder構(gòu)建AI60款各類(lèi)型的插件，可以極大地拓展AIBot用開(kāi)發(fā)平臺(tái)集成了很多開(kāi)源框架，并提供了豐富的API和工具，滿(mǎn)AI中包括、Keras、ColabAPI，（四）高質(zhì)量多模態(tài)數(shù)據(jù)集成為模型能力提升關(guān)鍵大模型發(fā)展已經(jīng)進(jìn)入多模態(tài)融合階段，作為人工智能學(xué)習(xí)、訓(xùn)練和驗(yàn)證的“燃料”基礎(chǔ)，大規(guī)模、高質(zhì)量、多模態(tài)數(shù)據(jù)集對(duì)于多模態(tài)大模型能力提升愈加重要，以數(shù)據(jù)為中心的人工智能時(shí)代正在SalesforceResearchtoken的史上最大多模態(tài)開(kāi)源數(shù)據(jù)集集為基礎(chǔ)預(yù)訓(xùn)練的XGen-MM模型在視覺(jué)描述、視覺(jué)問(wèn)答、多圖像推理等基準(zhǔn)性能方面取得了顯著提升。為加速構(gòu)建人工智能高質(zhì)量數(shù)據(jù)集，面向大模型的新一代數(shù)據(jù)工程成為核心技術(shù)手段。大模型的數(shù)據(jù)工程涵蓋訓(xùn)練數(shù)據(jù)集的數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)標(biāo)注、質(zhì)量評(píng)估、數(shù)據(jù)合成、開(kāi)放共享等全生命周期，不僅需要保證數(shù)據(jù)的數(shù)量和多樣性，更要強(qiáng)調(diào)數(shù)據(jù)的質(zhì)量和有效性，并通過(guò)嚴(yán)格的數(shù)來(lái)源：中國(guó)信息通信研究院圖5不同階段的具體數(shù)據(jù)需求情況發(fā)展方向數(shù)據(jù)預(yù)處理技術(shù)正朝向多模態(tài)融合、智能化、實(shí)時(shí)性全面進(jìn)化的方向發(fā)展。一是多模態(tài)詞元化序列向量有效融合。隨著大模型向多模態(tài)方向發(fā)展，預(yù)處理技術(shù)逐漸整合文本、圖像、音頻、視頻等多種類(lèi)型的數(shù)據(jù)，探索建立模型識(shí)別的多模態(tài)統(tǒng)一詞元序列空間方法，實(shí)現(xiàn)高效、一致、標(biāo)準(zhǔn)的預(yù)處理流程，以支撐模型對(duì)復(fù)雜多源的未來(lái)亟需利用AIApacheSpark大模型發(fā)展需要新一代高水平數(shù)據(jù)標(biāo)注。當(dāng)前，隨著深度學(xué)習(xí)和人工智能模型的復(fù)雜度提升，對(duì)高質(zhì)量、精細(xì)化標(biāo)注數(shù)據(jù)的需求愈發(fā)迫切，這不僅要求數(shù)據(jù)標(biāo)注技術(shù)能夠高效處理大規(guī)模數(shù)據(jù)集，還需要具備對(duì)多模態(tài)數(shù)據(jù)（如圖像、語(yǔ)音、視頻及文本）和跨領(lǐng)域數(shù)據(jù)綜合處理的能力，數(shù)據(jù)標(biāo)注逐漸向?qū)I(yè)化、智能化、多模態(tài)方向發(fā)展。一是自動(dòng)化與智能化標(biāo)注工具創(chuàng)新成為焦點(diǎn)。當(dāng)前，基于計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等技術(shù)的自動(dòng)標(biāo)注工具快速涌現(xiàn)，這些工具利用算法初步完成標(biāo)注，再由人工進(jìn)行校驗(yàn)和修正，可大幅提高標(biāo)注效率，降低成本。比如國(guó)內(nèi)數(shù)據(jù)標(biāo)注企業(yè)海天瑞聲已建成一,AI多模態(tài)聯(lián)合標(biāo)注，正在成為數(shù)據(jù)標(biāo)注的新趨勢(shì)。例如，由HumanSignal開(kāi)發(fā)的LabelStudio語(yǔ)音等多模態(tài)數(shù)據(jù)標(biāo)注，廣泛應(yīng)用于NLP、CV顯著提高了AIAI-訓(xùn)練模型精度，還能指導(dǎo)標(biāo)注策略的動(dòng)態(tài)調(diào)整，確保標(biāo)注工作更加高效和具有針對(duì)性。四是跨學(xué)科融合深度和廣度進(jìn)一步拓展。隨著人工智能技術(shù)的不斷發(fā)展，越來(lái)越多的重點(diǎn)行業(yè)領(lǐng)域開(kāi)始應(yīng)用數(shù)據(jù)標(biāo)注技術(shù)，不同行業(yè)領(lǐng)域的數(shù)據(jù)標(biāo)注需求呈現(xiàn)多樣化和專(zhuān)業(yè)化的特點(diǎn)，需要跨領(lǐng)域的專(zhuān)業(yè)知識(shí)和技術(shù)支持。當(dāng)前，人工智能數(shù)據(jù)集質(zhì)量評(píng)估需求體現(xiàn)在完整性、準(zhǔn)確性、一致性、時(shí)效性和可解釋性等多個(gè)方面，評(píng)估技術(shù)發(fā)展趨勢(shì)主要聚焦以下幾個(gè)關(guān)鍵方向：一是質(zhì)量評(píng)估與反饋機(jī)制深度融合。數(shù)據(jù)質(zhì)量評(píng)估引入客觀(guān)的數(shù)據(jù)質(zhì)量評(píng)估指標(biāo)和模型反饋機(jī)制，使得數(shù)據(jù)使用者可以評(píng)價(jià)數(shù)據(jù)集的實(shí)際綜合表現(xiàn)，并反饋給數(shù)據(jù)提供者以改進(jìn)20246LLM63%。二是多模態(tài)數(shù)據(jù)質(zhì)量評(píng)估框架快速發(fā)展。針對(duì)圖像、語(yǔ)音、文本等多種類(lèi)型數(shù)據(jù)，設(shè)計(jì)發(fā)展了綜合評(píng)估模型，確?？缒B(tài)數(shù)據(jù)的一致性和互補(bǔ)性。通過(guò)融合計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理和語(yǔ)音識(shí)別技術(shù)，實(shí)現(xiàn)多維度數(shù)據(jù)質(zhì)量的全面評(píng)估。三是偏差與公平性評(píng)估成為數(shù)據(jù)質(zhì)量評(píng)估重要組成部分。鑒于A(yíng)I保障AI利用實(shí)時(shí)分析和流處理技術(shù)連續(xù)評(píng)估數(shù)據(jù)質(zhì)量，即時(shí)反饋數(shù)據(jù)問(wèn)題，支持快速響應(yīng)。這不僅有助于維護(hù)數(shù)據(jù)的時(shí)效性和準(zhǔn)確性，也確保了AI當(dāng)前，大模型的訓(xùn)練數(shù)據(jù)嚴(yán)重依賴(lài)現(xiàn)有的互聯(lián)網(wǎng)公開(kāi)數(shù)據(jù)。有2026用。根據(jù)Gartner2024用于A(yíng)I2030年，合成數(shù)據(jù)將成為AI模型所使用數(shù)據(jù)的主要來(lái)源11。20246月，英偉達(dá)正式發(fā)布全新開(kāi)源模型Nemotron-4340BBaseInstruct和獎(jiǎng)RewardInstruct的訓(xùn)練僅依賴(lài)298%以上訓(xùn)練數(shù)據(jù)都是通過(guò)Nemotron-4340BSDGPipeline專(zhuān)用數(shù)據(jù)管道合成。11artn,MvrikrhFotbotrlta-SnthtictalstheFuureofl,"inro,JitendraSubramanyam,24June2021當(dāng)前，合成數(shù)據(jù)技術(shù)創(chuàng)新主要呈現(xiàn)以下幾大趨勢(shì)：一是合成數(shù)據(jù)模型走向深度進(jìn)化。傳統(tǒng)的數(shù)據(jù)合成方法多依賴(lài)統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)的基本原理，當(dāng)前數(shù)據(jù)合成技術(shù)聚焦于深度學(xué)習(xí)算法模型，特別是生成對(duì)抗網(wǎng)絡(luò)(GANs)的廣泛應(yīng)用。GANs通過(guò)一對(duì)競(jìng)爭(zhēng)性神經(jīng)網(wǎng)絡(luò)—生成器和判別器的博弈過(guò)程，實(shí)現(xiàn)了前所未有的數(shù)據(jù)真實(shí)度與多樣性，諸如StyleGANBigGAN多模態(tài)合成技術(shù)通過(guò)整合不同模態(tài)的特征表示，能夠同時(shí)生成聲音、視頻、3D機(jī)構(gòu)、醫(yī)療保健等行業(yè)利用AI三、應(yīng)用賦能隨著大模型時(shí)代到來(lái)，人工智能技術(shù)能力快速迭代，持續(xù)推動(dòng)各行各業(yè)的發(fā)展路徑變革，全面帶動(dòng)大規(guī)模產(chǎn)業(yè)升級(jí)。在傳統(tǒng)專(zhuān)用智能應(yīng)用基礎(chǔ)上，大模型通過(guò)進(jìn)一步提供智能對(duì)話(huà)、文本創(chuàng)作、圖像生成和視頻生成等通用能力，提升賦能經(jīng)濟(jì)發(fā)展、民生服務(wù)、科學(xué)發(fā)現(xiàn)等各領(lǐng)域的深度和廣度，將對(duì)全球經(jīng)濟(jì)社會(huì)發(fā)展和人類(lèi)文明進(jìn)步產(chǎn)生深遠(yuǎn)影響。（一）人工智能賦能階段性特征顯現(xiàn)專(zhuān)用智能應(yīng)用逐步成熟，通用智能落地前景廣闊。一方面，專(zhuān)用小模型與行業(yè)場(chǎng)景融合深入。通常來(lái)看，小模型包括傳統(tǒng)結(jié)構(gòu)小模型及小參數(shù)預(yù)訓(xùn)練模型兩類(lèi)。其中，傳統(tǒng)結(jié)構(gòu)小模型網(wǎng)絡(luò)結(jié)構(gòu)以卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等為核心，在圖像識(shí)別、語(yǔ)音識(shí)別等任務(wù)中接近到人類(lèi)水平，由于其規(guī)模較小，訓(xùn)練及推理成本低，目前已在實(shí)際生產(chǎn)中廣泛部署應(yīng)用。隨著人工智能技術(shù)需求增長(zhǎng)，長(zhǎng)大模型的價(jià)值并非“替代”傳統(tǒng)小模型，未來(lái)人工智能應(yīng)用將呈現(xiàn)“大小模型協(xié)同”發(fā)展態(tài)勢(shì)。面向企業(yè)側(cè)和消費(fèi)側(cè)的應(yīng)用展現(xiàn)出不同的發(fā)展態(tài)勢(shì)。面向企業(yè)側(cè)，大模型應(yīng)用更注重專(zhuān)業(yè)定制和效益反饋。我國(guó)提倡在社會(huì)生產(chǎn)領(lǐng)域和大眾消費(fèi)領(lǐng)域共同推進(jìn)人工智能發(fā)展，這與我國(guó)產(chǎn)業(yè)結(jié)構(gòu)特/202472416.83%8AI52%的公司專(zhuān)注于圖像、視頻、音樂(lè)、語(yǔ)音等多種模式內(nèi)容的生1258%，即產(chǎn)業(yè)鏈兩端的研發(fā)設(shè)計(jì)和運(yùn)營(yíng)服務(wù)等知識(shí)密集型、服務(wù)密集型環(huán)節(jié)落地相對(duì)較快，生產(chǎn)制造等中間環(huán)節(jié)相對(duì)較慢。從兩端環(huán)節(jié)看，一方面，科學(xué)研究、研發(fā)設(shè)計(jì)等知識(shí)密集型場(chǎng)景理論基礎(chǔ)堅(jiān)實(shí)，且（forResearchandDevelopment）的作用得以充分發(fā)揮。例如，某藥物分子大模型可以減少新藥研發(fā)中對(duì)小分子化合物的人工篩選計(jì)算量，使先導(dǎo)藥70%。另一方面，營(yíng)銷(xiāo)、運(yùn)營(yíng)等服務(wù)密集型場(chǎng)景跨行業(yè)通用性較強(qiáng)，成為大部分行業(yè)企業(yè)首選的大模型“試點(diǎn)”場(chǎng)景。以某醫(yī)療大模型為例，在診前階7×24TCL90%60%。來(lái)源：中國(guó)信息通信研究院圖6基于百個(gè)優(yōu)秀案例統(tǒng)計(jì)的AI應(yīng)用產(chǎn)業(yè)鏈分布總體而言，當(dāng)前大模型技術(shù)條件下，落地應(yīng)用并非適用所有場(chǎng)景。目前大模型適用的場(chǎng)景側(cè)重于對(duì)話(huà)交互、創(chuàng)意生成、知識(shí)管理類(lèi)，而對(duì)于可解釋要求高、確定性要求高、實(shí)時(shí)性要求高、場(chǎng)景動(dòng)態(tài)性高、樣本數(shù)據(jù)不易獲取的場(chǎng)景，大模型如何有效應(yīng)用還需要進(jìn)弱解”（二）重點(diǎn)行業(yè)人工智能應(yīng)用走深向?qū)嵮b備行業(yè)重點(diǎn)關(guān)注研發(fā)與制造流程優(yōu)化、產(chǎn)品智能化升級(jí)等方向，逐步滲透并重塑生產(chǎn)模式。一是優(yōu)化智能制造流程。人工智能技術(shù)通過(guò)與工業(yè)軟件、工業(yè)控制系統(tǒng)等關(guān)鍵工業(yè)要素的深度融合，AnyLogic66%。二是提升智能產(chǎn)品與服務(wù)價(jià)值。汽車(chē)、軌道交通、工程機(jī)械等裝備逐步向智能化產(chǎn)品演進(jìn)，基于視覺(jué)的環(huán)境識(shí)別成為目前主要探索方向。航空和交通領(lǐng)域成為開(kāi)展增值服務(wù)的重點(diǎn)行業(yè)，如國(guó)外某航天公司飛行器座艙內(nèi)的AI驅(qū)動(dòng)系統(tǒng)可以通過(guò)評(píng)估和通知燃油水平、系統(tǒng)狀態(tài)、天氣狀況和其他基本參數(shù)來(lái)幫助優(yōu)化實(shí)時(shí)飛行路徑。三是產(chǎn)品設(shè)計(jì)與仿真優(yōu)化。人工智能輔助設(shè)計(jì)軟件能夠根據(jù)市場(chǎng)需求快速AI找到最佳的設(shè)計(jì)路徑，消除原結(jié)構(gòu)太重和產(chǎn)品質(zhì)41個(gè)，重量減輕18.8%消費(fèi)品行業(yè)聚焦產(chǎn)品創(chuàng)新與智能化營(yíng)銷(xiāo)管理，正逐步改變消費(fèi)ProductGPT營(yíng)銷(xiāo)大模型，結(jié)合商品特性與熱門(mén)趨勢(shì)，可在幾分鐘內(nèi)生成富有創(chuàng)意80%。另一方面，基于自然語(yǔ)言處理技術(shù)24小時(shí)不間斷地為用戶(hù)提供咨詢(xún)解答、訂單跟蹤等服務(wù)，提升服務(wù)效率與用戶(hù)體驗(yàn)。三是供應(yīng)鏈管理智能化。人工智能的應(yīng)用使消費(fèi)品供應(yīng)鏈變得更加智能與透明，從原材料采購(gòu)到生產(chǎn)、物流、銷(xiāo)售等各AI的生產(chǎn)計(jì)劃。例如，京東物流利用大模型的數(shù)智化供應(yīng)鏈技術(shù)聚焦從智能規(guī)劃到智能倉(cāng)儲(chǔ)與運(yùn)配，再到智能客服與營(yíng)銷(xiāo)的全鏈路降85%95%，庫(kù)存30天。原材料行業(yè)聚焦生產(chǎn)過(guò)程管控優(yōu)化，利用人工智能技術(shù)逐步改的精度和效率。例如，加拿大的GoldSpotDiscoveries（三）體系化推動(dòng)人工智能落地應(yīng)用成為共識(shí)當(dāng)前，人工智能應(yīng)用持續(xù)走深向?qū)?，行業(yè)大模型已在金融、醫(yī)療、教育、零售、能源等多個(gè)行業(yè)領(lǐng)域?qū)崿F(xiàn)了初步應(yīng)用，并產(chǎn)生了明顯的經(jīng)濟(jì)效益和社會(huì)效益。通過(guò)總結(jié)多方案例，大模型在落地應(yīng)開(kāi)展戰(zhàn)略需求分析是企業(yè)布局大模型的前提大模型作為引領(lǐng)時(shí)代發(fā)展的戰(zhàn)略性技術(shù)，已成為各行各業(yè)競(jìng)相發(fā)展的焦點(diǎn)。企業(yè)希望通過(guò)布局大模型對(duì)傳統(tǒng)的業(yè)務(wù)流程、組織架構(gòu)和經(jīng)營(yíng)模式進(jìn)行全面升級(jí)和改造，以提升運(yùn)營(yíng)效率、降低成本、增強(qiáng)市場(chǎng)競(jìng)爭(zhēng)力，并更好地滿(mǎn)足客戶(hù)需求。在布局大模型之前，企業(yè)通常全方位開(kāi)展戰(zhàn)略需求分析，統(tǒng)籌規(guī)劃大模型所需各類(lèi)資源，進(jìn)而為大模型落地應(yīng)用提供有利支撐。比如，思必馳科技股份有限公司在深入分析軌交領(lǐng)域的智慧乘客服務(wù)、智慧運(yùn)營(yíng)運(yùn)維需求后，將自研DFM-2明確選型方案是企業(yè)研發(fā)大模型的關(guān)鍵一步大模型的能力構(gòu)建是一項(xiàng)復(fù)雜的系統(tǒng)性工程，往往牽一發(fā)而動(dòng)全身，根據(jù)自身切實(shí)需求明確大模型技術(shù)選型可以為企業(yè)后續(xù)模型研發(fā)和應(yīng)用夯實(shí)基礎(chǔ)。通過(guò)分析百度“文心一言”、阿里“通義千問(wèn)”等通用大模型和度小滿(mǎn)“軒轅”、中石油“昆侖”等行業(yè)大模基于所選模型生態(tài)通過(guò)搭配標(biāo)準(zhǔn)化的接口和豐富的工具包可以進(jìn)一步提高模型開(kāi)發(fā)的質(zhì)量。合理的模型部署策略是模型穩(wěn)定可靠運(yùn)行AI理、決策的要求較高，推理算力充足，可以選擇較大的模型，如Qwen-72BLlama-3如Qwen-7B、Llama-38B。建設(shè)企業(yè)人工智能能力平臺(tái)是工程落地的核心人工智能能力平臺(tái)正在成為企業(yè)全面智能化轉(zhuǎn)型的基礎(chǔ)底座。AI并提升智能應(yīng)用的構(gòu)建、部署和維護(hù)效率，從而推動(dòng)企業(yè)全面智能AI資產(chǎn)等。對(duì)于初創(chuàng)企業(yè)，AI設(shè)施。通過(guò)敏捷開(kāi)發(fā)模式，企業(yè)能夠在短期內(nèi)推出最小可行產(chǎn)品Docker和Kubernetes保AI這種方式快速構(gòu)建可復(fù)用和擴(kuò)展的AIAIAIAI構(gòu)建智能體應(yīng)用進(jìn)一步釋放大模型應(yīng)用潛能智能體作為將大模型轉(zhuǎn)變?yōu)樯a(chǎn)力的主要應(yīng)用形態(tài)，通過(guò)智能體工具調(diào)用、智能體工作流、智能體人機(jī)交互等方式，能夠快速理解和響應(yīng)產(chǎn)業(yè)需求，拓寬大模型應(yīng)用場(chǎng)景，為企業(yè)的數(shù)字化轉(zhuǎn)型和智能化升級(jí)提供強(qiáng)大助力。智能體工具調(diào)用有效解決大模型“有腦無(wú)手”的問(wèn)題。大模型在感知、認(rèn)知、推理等方面表現(xiàn)出色，但仍缺乏將決策轉(zhuǎn)化為實(shí)際行動(dòng)的能力。智能體可以實(shí)現(xiàn)意圖理解、任務(wù)分解、任務(wù)規(guī)劃，可通過(guò)調(diào)用小模型、實(shí)用工具或檢索數(shù)據(jù)庫(kù)等完成具體任務(wù)。智能體工作流進(jìn)一步推動(dòng)模型高質(zhì)量輸出。智能體工作流在任務(wù)執(zhí)行過(guò)程中可以將任務(wù)拆分為不同步驟，通過(guò)合理規(guī)劃和多次迭代，實(shí)現(xiàn)更高質(zhì)量的模型輸出，確保任務(wù)順利完成。比如，在評(píng)測(cè)大模型代碼生成能力的HumanEval數(shù)據(jù)集上，GPT-3.5（67.0%，上搭配智能體工作流，。智能體人機(jī)交互實(shí)現(xiàn)人類(lèi)和智能體的優(yōu)勢(shì)互補(bǔ)。人類(lèi)在模糊概念理解、創(chuàng)造性思維、情感判斷等方面具有特定優(yōu)勢(shì)，智能體在數(shù)據(jù)處理、任務(wù)規(guī)劃、推理決策等方面更具優(yōu)勢(shì)。通過(guò)交互式學(xué)習(xí)，智能體可以逐步積累更多的人類(lèi)經(jīng)驗(yàn)，實(shí)現(xiàn)AI生產(chǎn)過(guò)程規(guī)范化機(jī)器學(xué)習(xí)研發(fā)運(yùn)營(yíng)體系（MLOps）作為一種系統(tǒng)性方法論，在MLOps工具和平臺(tái)，如Extended(TFX)MLflowKubeflowMLOps和持續(xù)運(yùn)營(yíng)，提高業(yè)務(wù)響應(yīng)速度，從而系統(tǒng)性解決模型煙囪式生產(chǎn)周期長(zhǎng)、生產(chǎn)過(guò)程和資產(chǎn)管理欠缺、跨團(tuán)隊(duì)協(xié)作難等問(wèn)題。而大模型時(shí)代的景，通過(guò)MLOps體系管理和運(yùn)營(yíng)AI模型，可從每筆交易中動(dòng)態(tài)學(xué)習(xí)，從而提高檢測(cè)可疑活動(dòng)的能力，顯著增強(qiáng)欺詐檢測(cè)能力。某企MLOps注重風(fēng)險(xiǎn)管理為大模型落地保駕護(hù)航人工智能技術(shù)的應(yīng)用場(chǎng)景持續(xù)拓寬的同時(shí)，新型人工智能技術(shù)應(yīng)用風(fēng)險(xiǎn)持續(xù)涌現(xiàn)，全球?qū)⑷斯ぶ悄馨踩卫砹袨椤皟?yōu)先議題”。對(duì)于產(chǎn)業(yè)界而言，亟需從風(fēng)險(xiǎn)管理和流程管控的角度出發(fā)，構(gòu)建一套精準(zhǔn)識(shí)別、全面防范、有效管控人工智能風(fēng)險(xiǎn)的治理落地方案。--ISO/IEC42001心資產(chǎn)進(jìn)行全流程加密，對(duì)模型生成內(nèi)容進(jìn)行評(píng)估測(cè)試以及對(duì)惡意內(nèi)容進(jìn)行過(guò)濾等方式應(yīng)對(duì)人工智能安全風(fēng)險(xiǎn)。在流程管控方面，打圖7人工智能風(fēng)險(xiǎn)管理體系

來(lái)源：中國(guó)信息通信研究院四、安全治理人工智能在服務(wù)經(jīng)濟(jì)社會(huì)發(fā)展的同時(shí)，也誘發(fā)出數(shù)據(jù)安全、隱私保護(hù)、虛假信息傳播、勞動(dòng)力取代、科技倫理挑戰(zhàn)等諸多風(fēng)險(xiǎn)。為尋求應(yīng)對(duì)策略，全球紛紛調(diào)整人工智能安全治理布局?？v覽全球舉措，國(guó)際合作愈發(fā)緊密，各國(guó)治理進(jìn)程不斷提速，產(chǎn)業(yè)組織發(fā)揮重要作用，安全技術(shù)體系逐步完善，全球人工智能安全治理正處于。（一）人工智能技術(shù)應(yīng)用帶來(lái)多重挑戰(zhàn)得益于算法不斷突破、預(yù)訓(xùn)練大模型迅猛發(fā)展、多模態(tài)技術(shù)融圖8人工智能風(fēng)險(xiǎn)示例

來(lái)源：中國(guó)信息通信研究院人工智能的自身安全主要是人工智能技術(shù)系統(tǒng)的安全問(wèn)題，涉及技術(shù)系統(tǒng)部署所依賴(lài)的傳統(tǒng)基礎(chǔ)設(shè)施，以及模型、框架等人工智能系統(tǒng)特有的部分。因此，人工智能技術(shù)系統(tǒng)一方面面臨傳統(tǒng)的信DDoS“”Ray的安全漏洞，數(shù)千家網(wǎng)絡(luò)服務(wù)器遭受攻擊，超過(guò)10人工智能的衍生安全問(wèn)題主要是由于技術(shù)系統(tǒng)風(fēng)險(xiǎn)管控不當(dāng)，以及技術(shù)系統(tǒng)被濫用、誤用或遭到外部攻擊，對(duì)個(gè)人組織、國(guó)家社202312https://www.oligo.security/blog/shadowray-attack-ai-workloads-actively-exploited-in-the-wild131.115014人工智能模型性能突破需大量、高效的算力支持，但模型訓(xùn)練導(dǎo)致大量GPT訓(xùn)練為例，1750億個(gè)參數(shù)的12875521516。（二）的關(guān)鍵階段國(guó)際組織推動(dòng)形成共識(shí)文件。聯(lián)合國(guó)成立“人工智能高級(jí)別咨詢(xún)機(jī)構(gòu)”，負(fù)責(zé)分析人工智能?chē)?guó)際治理并提出政策建議。2024年，聯(lián)合國(guó)大會(huì)先后通過(guò)《抓住安全、可靠和值得信賴(lài)的人工智能系統(tǒng)13https:///newsDetail_forward_2324538914https:///newsDetail_forward_2530630815https:///newsDetail_forward_2703290116https:///newsDetail_forward_23722410帶來(lái)的機(jī)遇，促進(jìn)可持續(xù)發(fā)展》，以及中國(guó)主提的《加強(qiáng)人工智能能力建設(shè)國(guó)際合作》決議，為全球提供制度藍(lán)圖。同時(shí)，不斷推動(dòng)20249（OECD）20245月更新人工智能治理原則，推動(dòng)人工智能重要定義達(dá)成共識(shí)。金磚國(guó)2023820232820245272024重要抓手歐盟采取統(tǒng)一立法治理架構(gòu)，布局風(fēng)險(xiǎn)管理等標(biāo)準(zhǔn)配套舉措。20245202351020249美國(guó)沿襲行業(yè)自律治理方案，開(kāi)展安全測(cè)試夯實(shí)技術(shù)監(jiān)管。架202310號(hào)行政令，發(fā)布全面的人工智能治理方法，明確了各監(jiān)管機(jī)構(gòu)的行2024月，促使16家領(lǐng)先公司自愿承諾推動(dòng)安全、可靠和可信的人工智能發(fā)展的工作。行動(dòng)上，政府積極推動(dòng)安全測(cè)試號(hào)行政令明確提出由美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)NIST制定指導(dǎo)方針和最佳實(shí)踐，以促進(jìn)開(kāi)發(fā)和部署安全、可靠和值得信賴(lài)的人工智能系統(tǒng)的行業(yè)共識(shí)標(biāo)準(zhǔn)，包括創(chuàng)建評(píng)估和審計(jì)人工智能20248月，10472023320245Inspect新加坡實(shí)施溫和干預(yù)方案，打造可驗(yàn)證的安全測(cè)試機(jī)制。體系。2019120245。22年5I20245AI。整體上，從框架規(guī)范到精準(zhǔn)治理的體系建設(shè)。我國(guó)遵循《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》《新一代人工智能倫試行》等文件，加強(qiáng)科技倫理審查和監(jiān)管。與此同時(shí)，延續(xù)人工智能治理《生成式人工智能服務(wù)管理暫行辦法》，發(fā)布《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法（征求意見(jiàn)稿）》，聚焦互聯(lián)網(wǎng)信息服務(wù)等重點(diǎn)領(lǐng)域的監(jiān)管。措施上，通過(guò)安全評(píng)估、備案等舉措，保障信息服務(wù)領(lǐng)域2024481919個(gè)深度合成算法、190產(chǎn)業(yè)組織發(fā)揮技術(shù)研究和治理協(xié)同優(yōu)勢(shì)產(chǎn)業(yè)組織積極發(fā)揮技術(shù)研究和治理協(xié)同優(yōu)勢(shì)，通過(guò)發(fā)布治理框架，制定標(biāo)準(zhǔn)規(guī)范等多種形式促進(jìn)人工智能治理。18AINow研究所等機(jī)構(gòu)聯(lián)合發(fā)布“零信任人工智202312月，中國(guó)信息通信研究院依托中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟（AIIA）籌建安全治理委員會(huì)，發(fā)布“人工智能