在網(wǎng)計(jì)算（NACA）技術(shù)白皮書

技術(shù)白皮書中移智庫中國移動(dòng)研究院Kutscher、徐宏力、王偉鋒、陳艷慶、張璽、前言人工智能和大數(shù)據(jù)等新興科技產(chǎn)業(yè)正深刻影響我國經(jīng)濟(jì)社會(huì)發(fā)用，系統(tǒng)打造以5G、算力網(wǎng)絡(luò)、智慧中臺(tái)為重點(diǎn)的新型信息基施，創(chuàng)新構(gòu)建“連接+算力+能力”新型信息服務(wù)體系。2021年，中國確了核心理念、場景展望、發(fā)展路徑以及技術(shù)體系，提出了“泛在協(xié)同”、“融合統(tǒng)一”和“一體共生”的三個(gè)發(fā)展階段，隨后發(fā)布《算力網(wǎng)1 2 4 4 6 9 9 11 15 18 18 19 19 20 23 24 252高性能計(jì)算（HPC）和人工智能（AI）等技術(shù)的發(fā)展正不斷推動(dòng)生物醫(yī)藥、到千億級(jí)別，高性能計(jì)算也已經(jīng)邁向百億億級(jí)計(jì)算時(shí)代。同時(shí)，5G、工業(yè)互聯(lián)構(gòu)，對(duì)CPU/GPU/ASIC/FPGA/NPU規(guī)模分布式系統(tǒng)接收端面臨的incast多打一問題，造成任務(wù)完成時(shí)間過長；三是點(diǎn)到點(diǎn)的通信實(shí)現(xiàn)不匹配，網(wǎng)絡(luò)中存在大量冗現(xiàn)分布式機(jī)器學(xué)習(xí)模型訓(xùn)練加速[4]以及基于Infiniband技術(shù)提出的Sharp技術(shù)[5]可好等挑戰(zhàn)?；谝陨峡剂浚景灼岢隽嗽诰W(wǎng)計(jì)算新架構(gòu)NACA（NetworkAssistedComputingAcceleration），系統(tǒng)化推進(jìn)在網(wǎng)計(jì)算設(shè)計(jì)和實(shí)現(xiàn)。在網(wǎng)計(jì)算34算TOP500[13]性能上升速率明顯變緩，依靠硬件堆疊單個(gè)超算中心計(jì)算能力面臨服務(wù)器的方式實(shí)現(xiàn)數(shù)據(jù)并行時(shí)，多個(gè)工作節(jié)點(diǎn)在自己的數(shù)據(jù)集上進(jìn)行參數(shù)訓(xùn)練，數(shù)聚合過程，可以有效地提高聚合通信的效率，降以典型的MPI聚合算子AllReduce為例，其通信交互復(fù)雜度為O(logN)（N表示服務(wù)器節(jié)點(diǎn)規(guī)模）。如圖1（a）所示，傳統(tǒng)聚合通信方式，8個(gè)節(jié)點(diǎn)（N=8）進(jìn)行AllReduce計(jì)算總共需要3個(gè)批次的通信，復(fù)雜度為O(logN)；圖1（b）為采用了在網(wǎng)計(jì)算加速的聚合通信方式，8個(gè)節(jié)點(diǎn)進(jìn)行AllReduce計(jì)算，由接入leaf進(jìn)行第一次匯聚，由spine交換機(jī)進(jìn)行第二次匯聚，總的通信批次只與網(wǎng)絡(luò)的層次56中對(duì)數(shù)據(jù)進(jìn)行重新分區(qū)的過程，ShuffleManager是S約操作。例如，詞頻統(tǒng)計(jì)應(yīng)用WordCount需要對(duì)分散在多機(jī)的單詞計(jì)數(shù)進(jìn)行匯7過這個(gè)更新的設(shè)置，能夠從新到達(dá)的流量中是當(dāng)前產(chǎn)業(yè)應(yīng)用關(guān)注的熱點(diǎn)。隨著XR技術(shù)不斷演化升級(jí)，數(shù)據(jù)流更多源異構(gòu)、XR業(yè)務(wù)使用基于圖像組編碼時(shí)，網(wǎng)絡(luò)設(shè)備的計(jì)算增8并行分布式計(jì)算能力和聚合通信能力，隨路卸載邊緣云的計(jì)算任務(wù)，大幅提升9處理，縮短數(shù)據(jù)傳輸路徑，是解決分布式應(yīng)用通信瓶頸問題的重要技術(shù)。然而，針對(duì)現(xiàn)有問題，本白皮書提出在網(wǎng)計(jì)算新架構(gòu)NACA（NetworkAssisted全新的在網(wǎng)計(jì)算通信庫，圍繞拓?fù)溆成?、編程范式、?jì)算實(shí)現(xiàn)、資源管理形成”中心交換機(jī)以及用于加速的端側(cè)適配器，如XPU等；以及在網(wǎng)絡(luò)邊緣具備在網(wǎng)保障，可以基于現(xiàn)有成熟協(xié)議棧實(shí)現(xiàn)，如RoCE、InfiniBand[8]、Omni-Path[9]和在網(wǎng)計(jì)算通信庫作為NACA架構(gòu)體系的核心層，為分布式應(yīng)用提供了通用算和存儲(chǔ)集群，在網(wǎng)計(jì)算可以加速包括HPC、高性能存儲(chǔ)以及分布式機(jī)器學(xué)習(xí)速處理和數(shù)據(jù)匯聚功能，實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的壓縮，以及Sub-RTT的快速響應(yīng)，縮），），在NACA架構(gòu)下，不同的應(yīng)用可以調(diào)用統(tǒng)一的在網(wǎng)計(jì)算速。如圖6所示，通信算子層面，NACA為多種分布式應(yīng)用統(tǒng)一定義了幾類高CXL（ComputeExpressLink）是一種開放的行業(yè)互連標(biāo)下面2層是在網(wǎng)計(jì)算系統(tǒng)功能的關(guān)鍵層次，對(duì)應(yīng)于NACA架構(gòu)的在網(wǎng)計(jì)算數(shù)據(jù)通過MPI報(bào)文發(fā)送到葉子交換機(jī)。葉子節(jié)點(diǎn)對(duì)報(bào)文信息進(jìn)行提取后，由內(nèi)事務(wù)管理器是保證分布式事務(wù)一致性的集中式解決方案.然而，作為一個(gè)集分布式系統(tǒng)，通常有一個(gè)專用的鎖管理器，節(jié)點(diǎn)可以聯(lián)系它以獲得資源的讀和/算子分類通用算子OpCode算子說明聚合通信算子（通過函數(shù)將一組數(shù)據(jù)聚合為一個(gè)較小的集合）MAXMaximum，最大值MINMinimum，最小值SUMSum，求和PRODProduct，乘積LANDLogicaland，邏輯與BANDBit-wiseand，按位與LORLogicalor，邏輯或BORBit-wiseor，按位或LXORLogicalxor，邏輯異或BXORBit-wisexor，按位異或算子分類通用算子OpCode算子說明一致性算子（通過增刪改查加速分布式系統(tǒng)端到端性能）WRITE寫入READ讀取DELETE刪除CASCompareandswap，比較并替換CAADDCompareandaddCASUBCompareandsubFAAFetchandadd，取原值，并進(jìn)行加法FASUBFetchandsubtractionFAORFetchandorFAANDFetchandandFANANDFetchandnandFAXORFetchandxor實(shí)現(xiàn)方式顯式連接方式透明連接方式網(wǎng)絡(luò)設(shè)備是否實(shí)現(xiàn)完全協(xié)議棧需要實(shí)現(xiàn)完整或部分協(xié)議棧不需要端側(cè)與網(wǎng)絡(luò)設(shè)備是否建立傳輸層連接不需要，但需要感知傳輸層連接可能的方法包括在網(wǎng)絡(luò)設(shè)備記錄應(yīng)用消息的出現(xiàn)次數(shù)以及是否完成計(jì)算等作業(yè)，從而形成池化的網(wǎng)內(nèi)資源。如圖13所理器首先根據(jù)網(wǎng)絡(luò)節(jié)點(diǎn)上報(bào)的資源信息將物理網(wǎng)絡(luò)設(shè)備存儲(chǔ)器組織為虛擬存儲(chǔ)服務(wù)器訪問網(wǎng)絡(luò)設(shè)備計(jì)算資源的一致性，實(shí)現(xiàn)識(shí)，共同推進(jìn)在網(wǎng)計(jì)算NACA技術(shù)成熟，繁榮產(chǎn)業(yè)生源組織布局在網(wǎng)計(jì)算開源項(xiàng)目，共同構(gòu)筑開放共享的在網(wǎng)開展在網(wǎng)計(jì)算聯(lián)合試驗(yàn)驗(yàn)證。中國移動(dòng)正加快步伐構(gòu)建算力網(wǎng)絡(luò)試驗(yàn)網(wǎng)[4]ChonLamLao,YanfangLe,KshiteejMahajanAkella,MichaelM.Swift,"ATP:In-networkAggregationforMuNSDI2021:741-761.[5]RichardL.Graham,DevendGilBloch,DrorGoldenberg,MikeDubman,SashKoushnir,LionLevi,AlexMargolin,TamirRonen,AlexaWertheim,EitanZahavi,"ScalableHierarchicalAggregatioHardwareArchitectureforEfficient[6]MingyuanZang,ChanggangZhengZilberman,"P4Pir:In-NeProceedingsoftheSIGCOMM'22PosterandDemoSessions.August2022.[7]CXL.puteexpre[8]InfiniBand.https://www.infinib