中國聯(lián)通新一代AI計算基礎設施白皮書

2023年6月中國聯(lián)通新一代AI計算基礎設施白皮書版權聲明本報告版權屬于中國聯(lián)合網(wǎng)絡通信有限公司研究院，并受法應注明“來源：中國聯(lián)通研究院”。違反上述聲明者，本院將追究其相關法律責任。中國聯(lián)通新一代AI計算基礎設施白皮書 (一)AI計算基礎設施是人工智能快速發(fā)展的實現(xiàn)基礎 3(二)人工智能產(chǎn)業(yè)對AI計算基礎設施的算力需求激增 4極鼓勵發(fā)展新型AI計算基礎設施 5 (一)運營商建設新型AI計算基礎設施的需求 5(二)新一代AI計算基礎設施的功能架構(gòu)簡介 6 (一)高性能計算能力 91.處理器性能 92.并行協(xié)同策略 103.分布式通信 11(二)異構(gòu)并行計算能力 13(三)安全可信能力 14(四)資源彈性調(diào)度能力 16(五)綠色低碳計算能力 18 參考文獻 21縮略語 23中國聯(lián)通新一代AI計算基礎設施白皮書-1-前言人工智能是當今世界發(fā)展的重要領域之一，對推動人類科技經(jīng)濟發(fā)展起著加速作用。人工智能產(chǎn)業(yè)化落地也是推動我國戰(zhàn)略新興產(chǎn)業(yè)實現(xiàn)融合集成、促進我國科技高水平自立自強、提振數(shù)字經(jīng)濟高質(zhì)量發(fā)展的重要推動力。隨著新技術的不斷演進，人工智能發(fā)展呈現(xiàn)出應用場景多元化拓展、數(shù)據(jù)體量爆發(fā)式增長、算法模型參數(shù)量指數(shù)級增加的發(fā)展態(tài)勢，這對支持大規(guī)模AI計算的基礎設施提出更高的性能要求。高性能的AI計算基礎設施應、多任務的算法模型訓練與推理部署，滿足高并發(fā)、高彈性、高精度的計算需求；具備兼容異構(gòu)底層硬件的生態(tài)對接能力以實現(xiàn)上層應用和底層硬件的解耦；還需提供安全可信的計算環(huán)境以保障數(shù)據(jù)隱私；并且能夠合理地分配計算資源以實現(xiàn)綠中國聯(lián)通作為數(shù)字信息基礎設施運營服務國家隊，攜手產(chǎn)業(yè)鏈凝聚共識，突破AI計算基礎設施的發(fā)展瓶頸，為AI服務于千行百業(yè)提供靈活高效的計算基座發(fā)布此《中國聯(lián)通新一代AI計算基礎設施白皮書》。白皮書分析了當前AI計算基礎設施的發(fā)展趨勢以及規(guī)?；渴鹈媾R的挑戰(zhàn)，系統(tǒng)性地介紹了AI計算基呼吁產(chǎn)業(yè)鏈攜手共建標準化的、開放的AI算力生態(tài)，加快輸出具有中國經(jīng)驗的標準化體系。中國聯(lián)通新一代AI計算基礎設施白皮書-2-編寫組成員(排名不分先后)：中國聯(lián)通新一代AI計算基礎設施白皮書-3-AI算基礎設施的發(fā)展簡介 (一)AI計算基礎設施是人工智能快速發(fā)展的實現(xiàn)基礎算力是生產(chǎn)力，體現(xiàn)為數(shù)據(jù)處理與算法訓練的速度與規(guī)模[1]。作為人工智能三大基礎要素之一，算力是決定AI產(chǎn)業(yè)變革的關算能力不足而無法突破技術瓶頸的案例，例如深度學習早在上世紀現(xiàn)階段AI基礎設施的概念已不僅僅是承載計算的硬件設備，其中國聯(lián)通新一代AI計算基礎設施白皮書-4- (二)人工智能產(chǎn)業(yè)對AI計算基礎設施的算力需求激增化激增，具體表現(xiàn)在以下三個方面：一是AI場景的復雜多樣化提升(IDC)測算，我國人工智能行業(yè)應用不斷深入，已有58%的企業(yè)I中國聯(lián)通新一代AI計算基礎設施白皮書-5-力的需求迫切增長。 (三)國家產(chǎn)業(yè)政策積極鼓勵發(fā)展新型AI計算基礎設施中共中央、國務院印發(fā)了《擴大內(nèi)需戰(zhàn)略規(guī)劃綱要(2022－2035礎技術供給。由此可見，數(shù)字經(jīng)濟時代，作為產(chǎn)業(yè)智能化底座的AI我國算力總規(guī)模達到180EFlops[5]，全球占比約33%，保持50%以年的45%[6]，預計未來新增算二、運營商應積極布局新一代AI計算基礎設施 (一)運營商建設新型AI計算基礎設施的需求OpenAIGPT和自中國聯(lián)通新一代AI計算基礎設施白皮書-6-算，GPT-3訓練一次的成本約為140萬美元，對于一些更大的大型LLM元之間。面對大模型發(fā)展帶來的算力需求，建設面向AI的新一代計算基礎設施成為關鍵的一環(huán)。 (二)新一代AI計算基礎設施的功能架構(gòu)簡介中國聯(lián)通新一代AI計算基礎設施白皮書-7-以及AI-SaaS層，總體架構(gòu)如圖1所示。圖1新一代AI計算基礎設施功能架構(gòu)AI-IaaS層主要包括異構(gòu)AI算力資源、云化管理和網(wǎng)絡互聯(lián)功中國聯(lián)通新一代AI計算基礎設施白皮書-8-HPCC大帶寬、超低時延和高穩(wěn)定性的底層AI芯片、向上承載算法模型，是執(zhí)行計算任務的關鍵部分，等多種計算框架，實現(xiàn)計算統(tǒng)一的標準接口和工具包,集成算法的封各類應用的開發(fā)和管理界面等，用戶在AI-SaaS層也可以對底層AIIaaS還包括面向人工智能應用的在線開行訓練功能的基礎上引入自動機器學習和遷移學習等技術解決模型中國聯(lián)通新一代AI計算基礎設施白皮書-9-三、新一代AI計算基礎設施發(fā)展的關鍵技術突破點ng (HeterogeneousComputing)、安全可信能力(SecuredandTrusted)、資源彈性調(diào)度能力(ElasticResourceScheduling)以及低碳綠色計算能力(GreenComputing)。 1.處理器性能現(xiàn)階段主流方案都采用AI加速芯片來處理深度學習的模型訓練更高的FLOPS(每秒浮點數(shù)運算次數(shù))，從而提升深度學習模型的度和精度[8]。NPU采用“數(shù)據(jù)驅(qū)動并行計算”的架構(gòu)，專中國聯(lián)通新一代AI計算基礎設施白皮書-10-制約，大力推動國內(nèi)高性能AI2.并行協(xié)同策略傳統(tǒng)的ParameterServer架構(gòu)到更高效的All-Reduce和中國聯(lián)通新一代AI計算基礎設施白皮書-11-分為多個微批次，并在模型并行的每一層中再進行數(shù)據(jù)并行。。3.分布式通信 據(jù)通訊由單獨的參數(shù)面交換設備組網(wǎng)互聯(lián)，數(shù)據(jù)不需要經(jīng)服務器中國聯(lián)通新一代AI計算基礎設施白皮書-12-頸，大大提升了訓練過程中的通訊效率。圖2新一代AI計算基礎設施通信架構(gòu)中國聯(lián)通新一代AI計算基礎設施白皮書-13- 占據(jù)95%以上市場份額[9]。在智能算力市場幾乎被英偉達壟斷的宏異構(gòu)并行能力指的是AI-PaaS平臺可以兼容不同品牌和型號的I資源池內(nèi)創(chuàng)建任務，跨品牌的資源無法實現(xiàn)并行計算。AI算子庫、aS中國聯(lián)通新一代AI計算基礎設施白皮書-14-步調(diào)等，使得模型參數(shù)與計算框架指令可在異構(gòu)AI芯片之間進行傳關鍵技術環(huán)節(jié)的標準體系，使AI芯片生態(tài)各層級之間相互解耦并遵 I中國聯(lián)通新一代AI計算基礎設施白皮書-15-情況下訓練一個全局模型。圖3聯(lián)邦學習架構(gòu)圖然如獲取方能通過交互數(shù)據(jù)中包含的梯度信息反向計算還原樣本數(shù)據(jù)： 中國聯(lián)通新一代AI計算基礎設施白皮書-16- 到IAI全與可信。 (四)資源彈性調(diào)度能力。中國聯(lián)通新一代AI計算基礎設施白皮書-17-資源(如圖4所示)，這樣可以有效的避免算力與任務不匹配而導致圖4不同計算任務匹配差異化的虛擬資源IGPU的共享，此類場景適用于計算量在虛擬化能力的基礎上，對AI芯片計算資源的合理編排也是新一代AI計算基礎設施中必不可少的能力，例如根據(jù)任務規(guī)模自動評中國聯(lián)通新一代AI計算基礎設施白皮書-18-設計任務排隊機制等都是運營商在面向用戶提供公共AI基礎設施服務時需要進行精細化管理的內(nèi)容。 心的綠色低碳節(jié)能方案主要采用液冷或風冷配套設施來對服務器進心的能源消耗，從根本上來講還是需要降低IT系統(tǒng)本身的單位任務AI計算基礎設施SaaS層需要集成綠色低碳管理系統(tǒng)，該系統(tǒng)的能耗優(yōu)化算法和任務排隊機制，提升AI基礎設施的整體利用率，B中國聯(lián)通新一代AI計算基礎設施白皮書-19-基礎設施產(chǎn)業(yè)體系。電信運營商在構(gòu)建新一代AI計算基礎設施商業(yè)平臺時，一是可以發(fā)電信運營商也可以以“搭臺唱戲”的角色匯聚其他的AI計算服務商中國聯(lián)通新一代AI計算基礎設施白皮書-20-AI應用。新算法賦能服務的模式，基于新型AI計算基礎設施提供彈性的智能中國聯(lián)通新一代AI計算基礎設施白皮書-21-運營商需要在構(gòu)建新一代AI計算基礎設施方面找到著力點，聯(lián)合產(chǎn)才帶來創(chuàng)新力量，培育規(guī)?；腁I應用市場，推動我國成為人工智參考文獻[1]令才科技.算力升級為企業(yè)數(shù)字化轉(zhuǎn)型提供新動能[EB/OL].[2022-10-27]./p/577727395.[2]中經(jīng)產(chǎn)業(yè)信息研究網(wǎng).《中國人工智能市場深度調(diào)研及投資策略分析報告》[EB/OL].[2022-09-02]./cyzx/365.htm[3]崔爽.智算為人工智能夯實“算力底座”[N].科技日報,2022-09-19.[4]AIandcompute[EB/OL].[2018-05-16]./resear中國聯(lián)通新一代AI計算基礎設施白皮書-22-ch/ai-and-compute.[5]國家互聯(lián)網(wǎng)信息辦公室.《數(shù)字中國發(fā)展報告(2022年)》[EB/OL].[2023-04-27]./2023-05/2_2/c1686402318492248.htm._[6]中國信息通信研究院.《中國算力發(fā)展指數(shù)白皮書(2021)》[EB/OL].[2021-09]./kxyj/qwfb/bps/202109/P020210918521091309950.pdf.[7]劉高暢,楊然.ChatGPT需要多少算力[EB/OL].[2023-02-13]./a/660436264_100224.李嘉偉,等.人工智能芯片測評研究現(xiàn)狀及未來研究趨勢[J].新型工業(yè)化,2021,11(10):82-84,87.[9]中國算力大會.中國算力白皮書(2022年)[R/OL].[2022-07].httpswwwzsdhorgcndctechachievementshtml.[10]吳彥霖,邱碩,柳亞男等.基于聯(lián)邦學習的安全與隱私保護技術研究[J].電腦知識與技術,2022,18(36):71-74.中國聯(lián)通新一代AI計算基礎設施白皮書-23-縮略語ALUineLearningCPUCentralProcessingUnitECNFLOPSSecondGPUGraphicsProcessingUnitGPTGenerativePre-trainedTransformerHEHPCCnIaaSInfrastructureasaServiceIPvn-24-LLMLargeLanguageModelNCCL庫TPUTensor