體系化人工智能技術（Holistic+AI）技術探索-1

體系化人工智能(HolisticAI)技術探索中國移動研究院張世磊2023.11.24GPT-3大模型訓練成本費用成本時間成本GPT-3大模型訓練成本費用成本時間成本典型AI商用定制化項目成本構成定制化研發(fā)售后運維售前解決方案數(shù)據(jù)采集合同驗收18009000日趨泛在的智能化需求和智能化技術賦能成本高之間的矛盾日趨泛在的智能化需求智能化技術賦能成本高20192022人工智能的應用弱人工智能強人工智能需求復雜、迭代優(yōu)化、運營成本數(shù)據(jù)成本、算法成本算力成本、人才成本提供技術基礎性能降成本自動化提高定制化任務性能神經網(wǎng)絡架構搜索LLM使能的自主智能體自動機器學習LLM使能的自主智能體自動機器學習ASurveyonLargeLanguageModelbasedAutonomousAgents單模型的通用化基于AI任務的自動化選擇環(huán)境，培育環(huán)境共性能力：合理評估AI能力的可達性，構建可達的共性AI能力平臺化：平臺化：實用便捷的工具，運營運維業(yè)務本身是規(guī)?；模嚎蛻粢?guī)模，經濟規(guī)模規(guī)?；瘧脗€10086智能客服-服務10+億客戶-問題一次解決率94.2%大屏數(shù)字內容推薦-服務家庭7600+萬戶-觀看率提升42%-單省收入賦能7000+萬甘肅智能客服-服務2500萬甘肅百姓-6000萬關系政務知識圖譜智能基站節(jié)電-單站節(jié)電量提升8%-10%智慧黨建-知識檢索效率提升90%核心能力自然語言理解通用能力網(wǎng)絡智能化能力簇322核心能力自然語言理解通用能力網(wǎng)絡智能化能力簇智能語音智能推薦機器視覺智能數(shù)據(jù)分析預測智能診斷智能決策智能控制智能智能語音智能推薦機器視覺智能數(shù)據(jù)分析預測智能診斷智能決策智能控制智能CHBN賦能價值57服務外部客戶服務內部客戶服務外部客戶云端能力云端能力調用次數(shù)調用次數(shù)賦能價值服務客戶物聯(lián)網(wǎng)模型...醫(yī)療模型能源模型客服模型...司法模型...物聯(lián)網(wǎng)模型...醫(yī)療模型能源模型客服模型...司法模型...網(wǎng)絡模型衍生語言大模型視覺大模型語音大模型結構化數(shù)據(jù)大模型多模態(tài)大模型基礎大模型：加快構建適用于泛場景的自主可控通用基礎大模型，打造通用智能底座行業(yè)大模型：聚焦供給側，加快構建行業(yè)大模型，加速國民經濟主體行業(yè)的智能化轉型升級，促進我國整體生產力躍升L1行業(yè)大模型L0基礎大模型行業(yè)智能化應用行業(yè)智能化應用支撐支撐通信特色民生服務通信特色民生服務工業(yè)生產交通模型...政務模型治理基于體系化人工基于體系化人工智能的智力運營數(shù)據(jù)數(shù)據(jù)評測大小模型網(wǎng)絡基礎數(shù)據(jù)基礎算力基礎性能評測安全評測以九天基礎模型為基礎，聯(lián)合通信、能源、航空等行業(yè)的骨干企業(yè)，共建共享九天·眾擎基座大模型航航空九天基礎模型人工智能訓推技術服務平臺測評系統(tǒng)交通運輸政務建筑能源通信冶金算力網(wǎng)絡算力網(wǎng)絡大規(guī)模智算中心數(shù)據(jù)匯聚平臺網(wǎng)絡問題投訴級聯(lián)優(yōu)化網(wǎng)絡問題投訴級聯(lián)優(yōu)化通常需要在滿足計算、傳輸、安全、可控性等多項約束前提下，組合使用多個模型或能力，包括基礎模型、行業(yè)模型或面向特定任務的小模型，并能夠端到端優(yōu)化服務于業(yè)務目標泛AI算力云/網(wǎng)/邊/端/…業(yè)務大閉環(huán)AI能力大閉環(huán)網(wǎng)絡原生 可信原子化體系化AIOS泛AI算力云/網(wǎng)/邊/端/…業(yè)務大閉環(huán)AI能力大閉環(huán)網(wǎng)絡原生 可信原子化體系化AIOS體系化人工智能（HolisticAI，HAI）是中國移動研究院九天團隊原創(chuàng)技術的攻關方向，依托泛在的網(wǎng)絡和AI算力，在開放環(huán)境中實現(xiàn)對AI能力進行靈活且高效的配置、調度、訓練和部署，以滿足日益豐富的數(shù)智化業(yè)務需求，同時確保AI業(yè)務可信可控安全，其主要特征為AI服務大閉環(huán)、AI能力原子化重構、網(wǎng)絡原生AI及安全可信AI。泛在網(wǎng)絡資源提供方1、“大閉環(huán)”（1、“大閉環(huán)”（BigLoopAI）“大閉環(huán)”AI以業(yè)務端到端的大閉環(huán)優(yōu)化為目標，重點攻關多能力級聯(lián)與并聯(lián)優(yōu)化、開放動態(tài)環(huán)境中AI能力優(yōu)化的基礎理論和技術，從而達到AI產業(yè)閉環(huán)。2、2、AI技術原子化重構（AtomizedAI）AI能力依據(jù)高復用、易調度、自閉環(huán)、易適配等原則進行原子化拆解和重構。一個典型的原子化AI能力包含通用智能層、適配層、接口層，通用智能層可多個能力共享。AI原子化重構是體系化人工智能得以實現(xiàn)的基礎。3、3、網(wǎng)絡原生（NetworkNativeAI）網(wǎng)絡原生AI將AI能力與算力通過標準化的方式接入網(wǎng)絡、按需調度，重點攻關AI模型自動伸縮的理論和機制，制定AI計算資源、數(shù)據(jù)、模型、能力、服務的功能、流程、接口和計量的標準，實現(xiàn)AI能力在網(wǎng)云邊端彈性部署、計算和迭代。4、安全可信（4、安全可信（TrustedAI）AI數(shù)據(jù)、模型、能力、業(yè)務的安全可信是體系化人工智能服務的重要基礎，重點攻關AI服務可追溯、可互信、可審計、抗攻擊的基礎理論與方法?？勺匪荨⒖捎嬃縃AIprotocol注冊需求動態(tài)測量評估模型類1模型類n場景類1場景類n場景類N需求1需求n 需求N功能區(qū)原子能力區(qū)行業(yè)區(qū)任務區(qū)模型類N 可追溯、可計量HAIprotocol注冊需求動態(tài)測量評估模型類1模型類n場景類1場景類n場景類N需求1需求n 需求N功能區(qū)原子能力區(qū)行業(yè)區(qū)任務區(qū)模型類N 服務計量、評估、回收分層次多粒度的原子AI能力市場maxf(D,M,A,P,0,E,S,F,U,T)s.t.c(D,M,P,0,E,S,F,U,T)≤Cf是一個復雜的函數(shù)，表示體系化人工智能的內部邏輯和流程。真實場景數(shù)據(jù)漂移集F={f1,f2,…,fn}，每個漂移fi都有一個類型xi∈{0,1,2,…,x},表示協(xié)變量漂移、先驗漂移和概念漂移等。數(shù)據(jù)傳輸?shù)难莼录疷={u1,u2,…,uk}，每個更新ui都有一個方法yj∈用戶需求服務集T={t1,t2,…,tz}，表示用戶提出動態(tài)的需求和任考慮體系化人工智能的內部流程和邏輯，進一步可以將f分解為以下幾個子函數(shù)：maxf(g,?,i,j,k,?,o)s.t.c(g,?,i,j,k,?,o)≤C端到端跨模態(tài)異構數(shù)據(jù)建模：g(D,M)；模型學習機理的優(yōu)化建模：?(D,M,P,U)；模型的原子化表征和建模：i(M,E)；模型的標準規(guī)范入庫：j(M,S)；數(shù)據(jù)漂移的優(yōu)化建模：k(D,P,F,；模型數(shù)據(jù)傳輸?shù)难莼拢?(M,F,U)；應用環(huán)境的約束條件?；A模型的功能解耦üAutomaticMaskPruning(AMP):automaticallyidentifytask-specificfilters/nodesfordifferenttasksinthepre-trainedmodel.üapplytheLogExpectedEmpiricalPrediction(LEEP)whichisusedtoevaluatethetransferabilityofrepresentationslearnedbythesourcetasktothetargettask.üScalableMaskSelectionPruning(SMSP):fast-adaptthepre-trainedmodeltodownstreamtasks.One-ShotPruningforFast-adaptingPre-trainedModelsonDevices,HaiyanZhaoandGuodongLong，arXiv:2307.04365v1DecoupleoneModelintoAtomizednetworks?知識分解：包含結構分解和表征分解?每個因子網(wǎng)絡包含兩部分：通用知識網(wǎng)絡（CKN）和特定任務網(wǎng)絡（TSN）?一種新的信息衡量指標-InfoMaxBottleneck(IMB)，使輸入和通用特征間互信息最大（最大限度保留大模型的通用知識使不同特定任務特征間互信息最?。ㄊ固囟ㄈ蝿站W(wǎng)絡之間盡可能解耦）。模型蒸餾?2?3?4?1?2?3?1?4?3?2?1?2?3?4?1fGeneratedInputEmbeddingInputEmbeddingFeatureExtractorFeatureExtractorlul?WeightedSum?2?3?4?1?2?3?1?4?3?2?1?2?3?4?1fGeneratedInputEmbeddingInputEmbeddingFeatureExtractorFeatureExtractorlul?WeightedSum基礎模型的功能蒸餾PredictedEmbedding?4PredictedEmbedding?4<EOS><EOS>Embeddingfflayerlayer1layer2layer3layer4(a)Distillation(b)Downstream:DistillingPre-trainedLanguageModelsbasedonGenerativeModels,Y.Gao,ShileiZhang,ZihaoCui,ChaoDeng,JunlanFeng*.Archive-2023基礎模型的功能蒸餾Two-dimensionalAttentionMechanism：DistillationLoss:DistillingPre-trainedLanguageModelsbasedonGenerativeModels,Y.Gao,ShileiZhang,ZihaoCui,ChaoDeng,JunlanFeng*.Archive-2023搜索空間巨大：層級搜索、免訓練（trainingfree）端到端閉環(huán)數(shù)據(jù)稀疏：無監(jiān)督參數(shù)量和內存消耗大：適配器、蒸餾、剪枝接口復雜：維度一致、梯度連續(xù)端到端閉環(huán)數(shù)據(jù)稀疏參數(shù)量大FuseMultipleModelsintoonetargetmodel?多個神經元網(wǎng)絡層形成一個功能塊?功能相似網(wǎng)絡：輸入相似時，輸出相似?將一個網(wǎng)絡分成多個功能塊，相似的功能塊形成一個集合，這個集合稱為：等同網(wǎng)絡塊集合"DeepModelReassembly",XingyiYang,etc.NeurIPS2022StitchMultipleBigModelsintoonetargetmodelASRNLUASRNLU網(wǎng)絡問題投訴級聯(lián)優(yōu)化語音識別+自然語言理解級聯(lián)優(yōu)化【12】InterfacesInterfacesFuseMultipleModelsintoonetargetmodel"CascadedMulti-taskAdaptiveLearningBasedonNeuralArchitectureSearch",Y.Gao,ShileiZhang,ZihaoCui,ChaoDeng,JunlanFeng*.Interspeech2023++Cancadethreemodels-speechenhancement,ASR，NLU-withBottleneckAdapterVisionDecodervisionpatchtokensMaskedSelf/Cross-At