算網一體技術研究及發(fā)展探討

算網一體技術研究及發(fā)展探討孫滔1122332一年多來持續(xù)開拓創(chuàng)新，全力推進算力網絡發(fā)展，形成一系列創(chuàng)新成果，在業(yè)界取得了廣泛共識算力網絡是以算為中發(fā)布新理念提出新概念發(fā)布中國移動《算力網絡白皮書》和發(fā)展楊杰董事長提出“算力網絡”概念與愿景端、發(fā)布新理念提出新概念發(fā)布中國移動《算力網絡白皮書》和發(fā)展楊杰董事長提出“算力網絡”概念與愿景——中國移動《算力網絡融入新戰(zhàn)略絡+能力中臺”新型信息基礎設施的關鍵一環(huán)開創(chuàng)新方向技術白皮書》，提出十大技術方向開啟新征程發(fā)布《算力網絡創(chuàng)新成國算力網、信息高鐵三邁向新階段完成CFITI試驗網一期總結驗收，形成案例集；發(fā)布世界最長距離400G光傳輸試驗網絡；成立算力網絡子鏈專家委員會2023.3算力網絡的發(fā)展經過三個階段的發(fā)展，逐漸深化起步階段：泛在協(xié)同發(fā)展階段：融合統(tǒng)一跨越階段：一體內生一站服務：一站開通算網服務協(xié)同運營：云網運營雙入口拉通協(xié)同編排網隨算動一體服務：多層次智簡無感服務模式創(chuàng)新：多方算力可信交易一站服務：一站開通算網服務協(xié)同運營：云網運營雙入口拉通協(xié)同編排網隨算動一體服務：多層次智簡無感服務模式創(chuàng)新：多方算力可信交易智慧內生算網一體算網融合2025~2024-20252021-20232025~2024-2025 4算網一體通過“聯(lián)合感知”“混合控制”“極致互聯(lián)”構建面向智能化時代的數(shù)字基礎設施聯(lián)合感知聯(lián)合感知前提混合控制混合控制拓撲信息擁塞狀態(tài)SLA指標CPU利用率異構算力算力規(guī)模拓撲信息擁塞狀態(tài)SLA指標CPU利用率異構算力算力規(guī)模網絡信息算力信息節(jié)點2集中式控制節(jié)點2任務分解與任務分解與調配節(jié)點1節(jié)點1分布式控制.'節(jié)點3 消費側節(jié)點4節(jié)點4支撐作用 CSP3CSP4極致互聯(lián)極致互聯(lián)ISP1ISP2 ISP1ISP2 CSP1CSP2廣域吞吐敏感網絡算力路由在網計算突破RDMA長距傳輸瓶頸，創(chuàng)新互聯(lián)網架構協(xié)議，基于算網資源聯(lián)合感知實現(xiàn)動態(tài)融合決策選路511223362018年開始研究算網融合技術，面向云邊協(xié)同和邊邊協(xié)同的“性能反轉”等問題，提出在路由域引入2018年開始研究算網融合技術，面向云邊協(xié)同和邊邊協(xié)同的“性能反轉”等問題，提出在路由域引入云邊以及邊邊調度之間出現(xiàn)“性能反轉”中心云邊緣節(jié)點深的條件下，邊緣響應平均時延及尾時延遠大中心云邊緣節(jié)點擁塞情況均是問題來源邊緣節(jié)點塞信息沒有產生關聯(lián)算：降低負載、計算資源預留...問題:造成大量計算資源的閑置問題:增加網絡建設、運維成本通過仿真發(fā)現(xiàn)在路由中引入算力信息在低、中、重載情況下均有一定并擔任主席，是IETF7大領域133個工作組中近10年由中國高校/公司牽頭成立的兩個工作組之一★★獲取關注，凝聚初步共識場景和需求達成共識討論技術路線，工作組章程當前，許多服務會創(chuàng)建多個服務實例，這些實例通常在地理上分布在多個站點。CATS工作組主要考慮網絡邊緣節(jié)點如何引導服務的客戶端和提供服務的站點之間的流量的問題?！狢ATSWGCharter范圍范圍定義、基于現(xiàn)有協(xié)議的實現(xiàn)、潛在新協(xié)議需求的分析88IngressCATS-Router：IngressCATS-Router：EgressCATS-Router：?CATSServiceMetriCATS-controlCATS-controlcenter：?draft-ddcb-cats-sfc-bgp-applicability-00?draft-jaehwoon-cats-mobility-00(cats支持?draft-wang-cats-green-challenges-00（cats綠色低碳考慮）?draft-shi-cats-ipv6-based-con-00（cats與IPv6的應用）99算力路由系統(tǒng)的實現(xiàn)根據(jù)網絡部署情況，支持集中式、分布式、混合式等多種組網方案。從集中式方案開始，分階段逐步推進算力路由實驗驗證41算網控制器分布式算力感知Restful2分布式網絡感知BGP-LSTelemetryBGPSRv63集中式算網一體感知云管理平臺3算網一體感知協(xié)議CA-BGP-LS4PolicyBGP-FS41算網控制器分布式算力感知Restful2分布式網絡感知BGP-LSTelemetryBGPSRv63集中式算網一體感知云管理平臺3算網一體感知協(xié)議CA-BGP-LS4PolicyBGP-FSNetconf集中式多策略調度5算力路由轉發(fā)251算網控制器?完成算網控制器和算力路由網關原型樣機開發(fā)，構建業(yè)內首個集中式算力路由驗證系統(tǒng)算網控制器?推進廣東珠?，F(xiàn)網試點驗證，驗證業(yè)務承載量提升30%以上，算網綜合資源利用率提升32%以上算力路由網關分布式：集中式：分布式：集中式：CA-BGP算力路由網關CA-BGP算力路由網關算力路由網關算力路由CA-BGP應用APP534CA-BGP應用APP534算力路由算力路由網關52CA-BGP云資源池1應用APP用戶《算網一體技術體系關鍵技術創(chuàng)新案例》榮獲CCSATC6102022年度“最佳實踐案例”云資源池網關52CA-BGP云資源池1應用APP用戶《算網一體技術體系關鍵技術創(chuàng)新案例》榮獲CCSATC6102022年度“最佳實踐案例”云資源池網關?開展規(guī)模性部署的CATS技術方案驗證?開展CA-BGP等新型協(xié)議的驗證測試?分布式算力路由樣機已進入平臺測試階段分布式算力路由樣機《算力感知和算力路由構建算網一體化調度》榮獲工信部《算力感知和算力路由構建算網一體化調度》榮獲工信部2022年ICT優(yōu)秀案例“卓越科技創(chuàng)新獎”世界全媒體“2023年度算力應用案例十大標桿”海量數(shù)據(jù)跨廣域網傳輸?shù)膱鼍霸絹碓蕉?，?shù)據(jù)異地上云、云遷移等場景的數(shù)據(jù)規(guī)模越來越大自動駕駛訓練數(shù)據(jù)上云綜藝原始素材上云基因測序數(shù)據(jù)上云FAST觀測數(shù)據(jù)上云單車日產數(shù)據(jù)幾TB至十幾TB，完成L3訓練預計產生8EB數(shù)據(jù)，L4訓練預計產生20EB數(shù)據(jù)綜藝原始素材總量一年達500PB，10TB~100TB量級/日/節(jié)目國內某基因企業(yè)基因測序數(shù)據(jù)年數(shù)據(jù)100PB，TB~100TB量級/次FAST每年200+以上觀測項目，產生數(shù)據(jù)15PB左右，TB~PB量級/次2025年中國數(shù)據(jù)量將達到48.6ZB，其中適合東數(shù)西算的溫、冷數(shù)據(jù)占比95%為保證數(shù)據(jù)的安全存儲以及有效管理，云災備市場規(guī)模不斷擴大，2019年達到了32億元，2023年達到了51億元，年復合增長率約為12.4%實現(xiàn)高吞吐、高可靠、低時延、低算力損耗“兩高兩低”特性的算網高性能互聯(lián)網絡時延由1ms增時延由1ms增加到10ms時，吞吐下降10倍4個關鍵技術，實現(xiàn)長距高吞吐傳輸4個關鍵技術，實現(xiàn)長距高吞吐傳輸原生RDMA丟包敏感，難以直接用于廣域網原生RDMA丟包敏感，難以直接用于廣域網丟包率達到0.5%，有效吞吐接近為0①人工硬盤快遞：操作復雜、流程繁瑣、占用人工多，且快遞過程中存在硬盤損壞、丟失等風險多數(shù)據(jù)量大TB~PB/次多數(shù)據(jù)量大TB~PB/次快專線傳輸小時達數(shù)據(jù)可靠安全加密綜合成本低一站式服務好智算/超算中心（私有云/公有云）廣域互聯(lián)資源自動分配好智算/超算中心（私有云/公有云）廣域互聯(lián)資源自動分配省省------>負載均衡數(shù)據(jù)快遞站（機房/營業(yè)廳）負載均衡超高帶寬實時傳輸數(shù)十TB/小時超高帶寬實時傳輸數(shù)十TB/小時夜間空閑帶寬錯峰傳輸數(shù)十TB/小時聚合空閑帶寬實時傳輸數(shù)百G~數(shù)TB/小時及創(chuàng)新優(yōu)化策略的低風險、高效率部署，是面向算網一體的關鍵技術之一分布式流量工程l數(shù)字孿生網絡感知真實網絡流量狀態(tài)l為模型訓練提供充分空間，可提升路由決策的有效性l策略下發(fā)前的孿生預驗證，可降低對物理網絡的影響數(shù)據(jù)中心網絡運維l網絡的高保真呈現(xiàn)、狀態(tài)的實時監(jiān)控l網絡流量均衡調度，異常流量識別和處理等場景l(fā)網絡配置預驗證，網絡策略的雙閉環(huán)驗證數(shù)據(jù)中心網絡預期2023年底推進發(fā)布InformationalRFC數(shù)字孿生網絡標準體系構建準則技術需求測試規(guī)范評價指標評價方法應用場景信息安全功能安全服務規(guī)范服務管理分級體系隱私保護定義術語系統(tǒng)架構孿生體管理數(shù)據(jù)服務網元建模可視化呈現(xiàn)接口規(guī)范數(shù)據(jù)采集數(shù)據(jù)存儲場景建模數(shù)字孿生網絡標準體系構建準則技術需求測試規(guī)范評價指標評價方法應用場景信息安全功能安全服務規(guī)范服務管理分級體系隱私保護定義術語系統(tǒng)架構孿生體管理數(shù)據(jù)服務網元建?？梢暬尸F(xiàn)接口規(guī)范數(shù)據(jù)采集數(shù)據(jù)存儲場景建模…拓撲建模數(shù)字線程虛實映射工作子組研究進展 ,中興，信通院、中信科等多家單位參與術要求，數(shù)據(jù)服務，網絡建模和數(shù)字地圖參與5個項目在研??問題設置：基于某DTNAI模型（如RouteNet-Fermi模型），基于小規(guī)模網絡生成高質量訓練數(shù)據(jù)，能夠擴展到大規(guī)模網絡?評價指標：路徑平均時延的預測平均絕對百分誤差?真實數(shù)據(jù)缺失：生產網絡數(shù)據(jù)具有較高價值，但較難獲取，且數(shù)量、類型和精度有限?多源數(shù)據(jù)：網絡數(shù)據(jù)來源多樣，質量不一，難以直接用于DTNAI模型面向DTNAI模型構建，提出AutoOPT方案，通過數(shù)據(jù)生成和優(yōu)化，得到高質量數(shù)據(jù)數(shù)據(jù)生成（階段1）?基于歷史流量數(shù)據(jù)及多樣化配置，生成?生成網絡配置：盡可能覆蓋更多場景，包含拓撲量矩陣（多樣化流量密度）數(shù)據(jù)優(yōu)化（階段2）?從多源數(shù)據(jù)中自動篩選出高精度、多樣化、??種子樣本選擇：訓練特征提取器&特征提?。ㄦ溌窢顟B(tài)/隊列狀態(tài)/流狀態(tài)）->聚類->選擇類中心&最近鄰->領域知識驗證?增量優(yōu)化：篩選器對剩余候選數(shù)據(jù)進行篩選（簡單樣本選擇->困難樣本挖掘->分布外(OOD)檢測識驗證），得到高質量數(shù)據(jù)階段1階段2實驗結果表明通過AutoOPT可得到高質量數(shù)據(jù)，效果測試與已有方法相比結果接近，但開銷更低?大規(guī)模候選數(shù)據(jù)（例如，GhostDucks生成270,000個候選樣本）?粗粒度驗證集分析?較小規(guī)模候選數(shù)據(jù)（階段1生成約500個候選樣本）MeiLi,ChengZhou,LuLu,