2022面向智算的算力原生白皮書

面向智算的算力原生白皮書（2022）面向智算的算力原生白皮書（2022）IIII面向智算的算力原生白皮書（2022）目 錄前 言 I智算時代：算力原生產(chǎn)生的背景 1智能算力呈現(xiàn)泛在互聯(lián)的特征 1智能算力生態(tài)呈現(xiàn)碎片化發(fā)展趨勢 3泛在多樣的智能算力發(fā)展面臨的挑戰(zhàn) 4算力原生定義內(nèi)涵與愿景 7算力原生定義內(nèi)涵 7算力原生愿景 7算力原生平臺架構(gòu)與關(guān)鍵技術(shù) 9算力原生平臺架構(gòu) 9算力原生演進(jìn)路徑 10重點(diǎn)攻關(guān)方向與關(guān)鍵技術(shù) 12算力抽象及異構(gòu)算力統(tǒng)一編程模型技術(shù) 12算力原生接口及異構(gòu)算力編譯優(yōu)化技術(shù) 13硬件原生堆棧及運(yùn)行時支持機(jī)制 14算力原生產(chǎn)業(yè)實(shí)踐 16業(yè)界廠商實(shí)踐 16中國移動“芯合”算力原生原型系統(tǒng) 17算力原生開源建設(shè) 18展望與倡議 20參考文獻(xiàn) 21縮略語列表 22面向智算的算力原生白皮書（2022）面向智算的算力原生白皮書（2022）PAGEPAGE1智算時代：算力原生產(chǎn)生的背景數(shù)字化、網(wǎng)絡(luò)化、智能化為特征的智慧社會正加速到來。同時隨著5G數(shù)據(jù)量正在以更加難以計量的速度爆發(fā)，據(jù)IDC20252016202510163ZB,70%以上，計算模式將變得更加復(fù)雜，對智能算力的需求也在不斷提高，智能計算將成為主流的計算形態(tài)。智能計算正以多樣化形態(tài)廣泛融合到生產(chǎn)、生活的各個方面,為千行百業(yè)數(shù)字化轉(zhuǎn)型提供新動能。智能算力呈現(xiàn)泛在互聯(lián)的特征依托異構(gòu)計算、云計算、邊緣計算、物聯(lián)網(wǎng)等技術(shù)的持續(xù)迭代，期階段，數(shù)據(jù)中心是算力的主要載體,近年來我國數(shù)據(jù)中心規(guī)模不斷20226590150EFLOPS,模算力的問題。的云計算服務(wù)模式已經(jīng)無法滿足新型業(yè)務(wù)對數(shù)據(jù)處理低時延的要求，5G時推理和智能決策，減輕云端壓力；中心智能算力通過大數(shù)據(jù)分析，處理優(yōu)化輸出的模型，下發(fā)到邊緣側(cè)，提升邊緣推理準(zhǔn)確度。圖1云邊端智能算力高效協(xié)同AIG要求。為使能大模型的分布式訓(xùn)練，加速訓(xùn)練效率，通過以網(wǎng)強(qiáng)算，將各地的智能算力聯(lián)接成為人工智能算力網(wǎng)絡(luò)已成為智算產(chǎn)業(yè)發(fā)展6（C2NET）”計劃，接，以南京為信息高鐵總站，已接入北京高性能站、鹽城高通量站、智能算力生態(tài)呈現(xiàn)碎片化發(fā)展趨勢AR/VRintel、NVIDIA、AMDGPU、FPGA等計算芯片的同時，近年來國內(nèi)也涌現(xiàn)出燧原、瀚博、沐曦、壁仞、MLUNPUTPU同時不斷圍繞自身芯片架構(gòu)構(gòu)筑各自的軟件生態(tài)，包括編譯工具鏈、以兼容，同時，各芯片廠商會盡可能在其芯片工具鏈中融入TensorFlow、PyTorchAI泛在多樣的智能算力發(fā)展面臨的挑戰(zhàn)如何將遍布在云邊端泛在部署的異構(gòu)多樣算力資源以及繁多碎AIAICUDAVitisMindSporeASICOpenCLOpenACCOpenMPAIAI可能會出現(xiàn)某些廠商的硬件資源不夠而另外一些廠商的硬件資源閑GPUAIGPUvGPUvGPUvGPU業(yè)格局，良性發(fā)展的生態(tài)構(gòu)建難。AI芯片從制造到大規(guī)模應(yīng)用，還APIAI+AITensorflow、PytorchAIAIAIAI架的建設(shè)工作，無法獲得官方發(fā)布支持；另一方面是其所建立的AI算力原生定義內(nèi)涵與愿景算力原生定義內(nèi)涵算力狹義上是指多樣計算器件所構(gòu)成的設(shè)備、集群、平臺等算力資源對數(shù)據(jù)的處理能力。原生則意味著事物最原始、最本真的狀態(tài)?；貧w計算本真，是以統(tǒng)一的算力資源抽象模型和標(biāo)準(zhǔn)的編程范式接口跨架構(gòu)編譯優(yōu)化技術(shù)和原生運(yùn)行時算力原生愿景實(shí)現(xiàn)異構(gòu)算力資源一體池化、應(yīng)用跨架構(gòu)無感遷移、產(chǎn)業(yè)生態(tài)融通發(fā)展的目標(biāo)愿景。應(yīng)用開發(fā)者面向底層多樣異構(gòu)的算力芯片，屏蔽各廠商多架構(gòu)智算芯片的軟硬件差異，算力原生平臺架構(gòu)與關(guān)鍵技術(shù)算力原生平臺架構(gòu)感適配執(zhí)行、任意流轉(zhuǎn)遷移。算力原生技術(shù)架構(gòu)包括：算力池化層、算力抽象層。圖2算力原生平臺架構(gòu)面向智算的算力原生白皮書（2022）面向智算的算力原生白皮書（2022）算力池化層算力池化層的一體池化，從傳統(tǒng)的以硬件資源為單位、靜態(tài)分配和調(diào)度的方式，算力抽象層其中硬件原生堆棧于特定芯片編程的應(yīng)用程序轉(zhuǎn)譯為與底層硬件架構(gòu)無關(guān)的算力原生生程序的加載、解析，保障計算任務(wù)與本地計算資源的即時互映射，按需執(zhí)行。算力原生接口基于原生算力抽象接口及多?；旌喜⑿芯幊棠Ｐ停瑯?gòu)建原生算力統(tǒng)一API算力原生演進(jìn)路徑算力原生將從實(shí)現(xiàn)異構(gòu)算力資源池化、實(shí)現(xiàn)應(yīng)用的跨架構(gòu)遷移、全局泛在融通三個階段分步推動技術(shù)成熟，破解豎井式異構(gòu)生態(tài)發(fā)展難題，實(shí)現(xiàn)異構(gòu)算力資源一體池化，使能應(yīng)用跨架構(gòu)無感遷移。圖3算力原生演進(jìn)路徑通過構(gòu)建分廠家分API階段三：核心目標(biāo)是實(shí)現(xiàn)全局泛在融通。為支撐算力網(wǎng)絡(luò)中遠(yuǎn)期重點(diǎn)攻關(guān)方向與關(guān)鍵技術(shù)算力抽象及異構(gòu)算力統(tǒng)一編程模型技術(shù)基于抽象模型所開發(fā)出的應(yīng)用程序在運(yùn)行時可以根據(jù)系統(tǒng)架構(gòu)的變?nèi)欢c傳統(tǒng)同構(gòu)系統(tǒng)相比,異構(gòu)算力系統(tǒng)的統(tǒng)一編程模型建立面對如下挑戰(zhàn)：針對不同異構(gòu)算力內(nèi)核的指令集、并行模式、任務(wù)映射和算力內(nèi)核在內(nèi)部結(jié)構(gòu)、互聯(lián)架構(gòu)兩方面都變的更加復(fù)雜化務(wù)并行機(jī)制設(shè)計挑戰(zhàn)；I/O為應(yīng)對上述挑戰(zhàn)，應(yīng)著重在如下方面開展技術(shù)攻關(guān)工作：針對異構(gòu)算力系統(tǒng)中各加速單元間并行計算能力、緩存資源不同的問題,探索在傳統(tǒng)并行編程模型的基礎(chǔ)上增加“異構(gòu)特征描針對異構(gòu)算力系統(tǒng)中加速設(shè)備內(nèi)數(shù)據(jù)分布可重構(gòu)、算力單元間緩存數(shù)據(jù)交互渠道多樣的問題,探索在傳統(tǒng)并行編程模型的基礎(chǔ)上增加多層數(shù)據(jù)分布描述范式，拓展現(xiàn)有異構(gòu)計算中共享數(shù)據(jù)模型；同時,依據(jù)加速設(shè)備硬件特征,提供算力系統(tǒng)內(nèi)的局部和全局即時巨算力原生接口及異構(gòu)算力編譯優(yōu)化技術(shù)開發(fā)面向異構(gòu)算力系統(tǒng)的算力原生接口能夠極大的減少開發(fā)者基于統(tǒng)一編程攻關(guān)面向異構(gòu)算力的數(shù)據(jù)自動管理技術(shù)。針對GPU、MLU等加速核局部存儲器容量無法滿足智算中大數(shù)據(jù)規(guī)模的訓(xùn)練運(yùn)用的問硬件原生堆棧及運(yùn)行時支持機(jī)制源程序編譯為可執(zhí)行文件,最終通過運(yùn)行時系統(tǒng)完成任務(wù)的執(zhí)行。運(yùn)硬件原生堆棧及運(yùn)行時系統(tǒng)的任務(wù)映射機(jī)制有兩類:一是直接映需要借助其他異構(gòu)編譯/運(yùn)行時系統(tǒng)協(xié)助完成部分任務(wù)映射工作。直GPU、MLUCPUSIMDASIC算力原生產(chǎn)業(yè)實(shí)踐業(yè)界廠商實(shí)踐AIAIHALO/ODLAAI署解決方案，異構(gòu)計算編譯框架HALO（HeterogeneityAwareLoweringOptimization）可以基于面向深度學(xué)習(xí)的異構(gòu)硬件統(tǒng)一接DeepLearningAIHALOODLAODLACPU，GPUGraphcoreIPU,370，云天DeepEye1000,AIC100英特爾公司在跨平臺統(tǒng)一開發(fā)和打造開源生態(tài)方面進(jìn)行了探索。同，英特爾推出了一個跨架構(gòu)編譯規(guī)范OneAPI。它是一種跨行業(yè)、OneAPIOneAPIAIAI（OrionX）AIAIAIGPUAIAPIAI中國移動“芯合”算力原生原型系統(tǒng)算力資源池化及細(xì)粒度配給GPUMLU原生編譯及跨架構(gòu)部署遷移GPU、MLUGPUMLU算力原生開源建設(shè)發(fā)2022年7（OIFOpenInfraFoundation）主導(dǎo)發(fā)起和成立了全球首個算力網(wǎng)絡(luò)開源社區(qū)（CFN，ComputingForceNetworkWorkingGroup）。算力原生作為算力網(wǎng)圖4算力網(wǎng)絡(luò)CFN開源社區(qū)算力原生子工作組面向智算的算力原生白皮書（2022）面向智算的算力原生白皮書（2022）展望與倡議聯(lián)合制定標(biāo)準(zhǔn)化的算力抽象統(tǒng)一ITUCCSA縮略語列表縮略語英文全程中文釋義HALOHeterogeneity-Aware-Lowering-and-Optimization異構(gòu)感知編譯優(yōu)化ODLAOpenDeepLearningAPI面向深度學(xué)習(xí)通用加速硬件的開放接口GPUGraphicsProcessingUnit圖形處理器NPUNeuralProcessingUnit神經(jīng)網(wǎng)絡(luò)處理器IPUIntelligenceProcessingUnitGraphCoreAI加速芯片代號xPU“x” ProcessingUnit各種AI加速硬件的統(tǒng)稱，如:GPU，IPU，NPU等HICHeterogeneityIntelligenceCard異構(gòu)加速卸載卡ASICApplicationSpecificIntegratedCircuit特殊應(yīng)用集成電路FPGAFieldProgrammableGateArray現(xiàn)場可編程邏輯門陣列IDEIntegratedDevelopmentEnvironment集成開發(fā)環(huán)境SIMDSingleInstructionMultipleData單指令多數(shù)據(jù)流CUDAComputeUnifiedDeviceArchitecture顯卡廠商N(yùn)VIDIA推出的運(yùn)算平臺APIApplicationProgramInterface應(yīng)用程序接口OpenCLOpenComputingLanguage開放運(yùn)算語言O(shè)IFOpenInfraFoundation開放基礎(chǔ)設(shè)施基金會CFNOpenInfraFoundation算力網(wǎng)絡(luò)開源社區(qū)GPGPUGeneral-purposecomputingongraphicsprocessingunits通用圖形處理器IDCInternetDataCenter互聯(lián)網(wǎng)數(shù)據(jù)中心I