2024人工智能 計(jì)算設(shè)備調(diào)度與協(xié)同第2部分：分布式計(jì)算框架

2目??次前??言 II范圍 1規(guī)范性引用文件 1術(shù)語(yǔ)和定義 1縮略語(yǔ) 2概述 2總體框架 2適用性 3計(jì)算設(shè)備技術(shù)要求 3云側(cè)設(shè)備 3邊緣設(shè)備 4終端設(shè)備 4分布式計(jì)算協(xié)同技術(shù)要求 5架構(gòu) 5通用要求 5組件要求 6云云協(xié)同要求 8云邊端協(xié)同要求 9多端協(xié)同要求 11云邊端分布式計(jì)算協(xié)同接口 12邊緣節(jié)點(diǎn)管理 12部署及更新 14任務(wù)運(yùn)行管理 17參?考?文?獻(xiàn) 19IPAGEPAGE11PAGEPAGE10人工智能計(jì)算設(shè)備調(diào)度與協(xié)同第2部分：分布式計(jì)算框架范圍本文件適用于用于分布式人工智能計(jì)算的系統(tǒng)設(shè)計(jì)、開(kāi)發(fā)和測(cè)試。規(guī)范性引用文件（包括所有的修改單）適用于本文件。GB/TXXXXX.1—202X1規(guī)范GB/TAAAAA—202X人工智能異構(gòu)人工智能加速器統(tǒng)一接口術(shù)語(yǔ)和定義GB/T41867—2022，GB/T42018—2022，GB/TXXXXX.1—202X和GB/TAAAAA—202X中界定的以及下列術(shù)語(yǔ)和定義適用于本文件。3.1分布式機(jī)器學(xué)習(xí)distributedmachinelearning注1：互聯(lián)網(wǎng)絡(luò)可包含局域互聯(lián)網(wǎng)及廣域互聯(lián)網(wǎng)。注2：分布式訓(xùn)練任務(wù)，不同子系統(tǒng)上協(xié)同完成一個(gè)訓(xùn)練任務(wù)。注3：分布式推理任務(wù)，不同子系統(tǒng)協(xié)同完成一個(gè)推理任務(wù)。[來(lái)源：ISO/IEC2382:2015,2178059，有修改]3.2聯(lián)邦機(jī)器學(xué)習(xí)federatedmachinelearning[來(lái)源：IEEE3652.1，3.1]3.3增量學(xué)習(xí)incrementallearning一種分為多個(gè)階段的自適應(yīng)學(xué)習(xí)方法，其中在前驅(qū)階段學(xué)得的知識(shí)被轉(zhuǎn)化為適當(dāng)形式，以便為后繼階段的新知識(shí)提供基礎(chǔ)。注1：在機(jī)器學(xué)習(xí)領(lǐng)域的某些文獻(xiàn)里，增量學(xué)習(xí)稱為“（機(jī)器學(xué)習(xí)模型的）增量（預(yù)）訓(xùn)練”。注2：模型微調(diào)是增量學(xué)習(xí)的方式之一。[來(lái)源：ISO/IEC2382:2015，2123002，有修改]3.4邊緣計(jì)算edgecomputing一種分布式計(jì)算方法或過(guò)程，其中處理及存儲(chǔ)過(guò)程發(fā)生在分布式系統(tǒng)的邊緣。注：計(jì)算發(fā)生靠近邊緣的程度按系統(tǒng)的需求定義設(shè)定。[來(lái)源：ISO/IECTR23188:2020,3.1.3]3.5集合通信collectivecommunication（稱為節(jié)點(diǎn)注：一次通信一般包含有多個(gè)接受者和發(fā)送者?？s略語(yǔ)下列縮略語(yǔ)適用于本文件。AI：人工智能（ArtificialIntelligence）CPU：中央處理單元（CentralProcessingUnit）FPGA：現(xiàn)場(chǎng)可編程邏輯門陣列（FieldProgrammableGateArray）GPU：圖形處理單元（GraphicsProcessingUnit）NPU：神經(jīng)網(wǎng)絡(luò)處理單元（Neural―networkProcessingUnit）RDMA：遠(yuǎn)程直接內(nèi)存訪問(wèn)（RemoteDirectMemoryAccess）RoCE：基于融合以太網(wǎng)的遠(yuǎn)程直接內(nèi)存訪問(wèn)（RDMAoverConvergedEthernet）SSL：安全套接字層（SecureSocketsLayer）概述總體框架AI分布式計(jì)算協(xié)同的總體框架見(jiàn)圖1，包含：a）提供AI任務(wù)生命周期內(nèi)的協(xié)同計(jì)算支持（如統(tǒng)一資源池化、分配、調(diào)度等）；b）支持設(shè)備(如云/邊/端設(shè)備)的分布式運(yùn)行環(huán)境；實(shí)現(xiàn)不同物理部署形態(tài)的設(shè)備間的通信、控制及任務(wù)管理；提升任務(wù)執(zhí)行保障能力，降低分布式應(yīng)用的作業(yè)延時(shí)，提升作業(yè)吞吐率；實(shí)現(xiàn)AI（1AI適用性（云云協(xié)同（見(jiàn)7.4）、云邊端協(xié)同（見(jiàn)7.5）、多端協(xié)同（見(jiàn)7.6）），并滿足相應(yīng)的技術(shù)要求。不要求單個(gè)特定系統(tǒng)符合所有的協(xié)同模式和技術(shù)要求。計(jì)算設(shè)備技術(shù)要求云側(cè)設(shè)備云側(cè)AI計(jì)算設(shè)備及其使用：a）類型包含：云側(cè)訓(xùn)練（包含微調(diào)）；云側(cè)推理；增量訓(xùn)練；聯(lián)邦學(xué)習(xí)。遵循以下使用原則：訓(xùn)練過(guò)程與數(shù)據(jù)源分離；AI共享計(jì)算資源；使用虛擬化技術(shù)管理計(jì)算資源；針對(duì)計(jì)算需求，彈性伸縮計(jì)算資源的使用。技術(shù)要求云側(cè)AI計(jì)算設(shè)備，符合以下要求：a）符合GB/T42018—2022中6.1.1.1和6.1.1.2的要求；應(yīng)支持模型訓(xùn)練所需的軟件和模式，包含：機(jī)器學(xué)習(xí)框架；云側(cè)分布式集群訓(xùn)練；過(guò)程可視化，包含訓(xùn)練過(guò)程、數(shù)據(jù)處理過(guò)程等。應(yīng)提供與邊緣設(shè)備或終端設(shè)備兼容的互操作協(xié)議及接口；d）e）宜支持異構(gòu)AI加速處理器的資源池化和統(tǒng)一調(diào)度。邊緣設(shè)備邊側(cè)AI計(jì)算設(shè)備參與協(xié)同計(jì)算，遵循以下使用原則：a）考慮將小規(guī)模的計(jì)算與服務(wù)部署在邊側(cè)或端側(cè)；b）考慮存儲(chǔ)、傳輸、計(jì)算和安全任務(wù)；c）在本地執(zhí)行數(shù)據(jù)處理，避免數(shù)據(jù)網(wǎng)絡(luò)傳輸中的風(fēng)險(xiǎn)；d）考慮業(yè)務(wù)場(chǎng)景要求的實(shí)時(shí)性。技術(shù)要求邊側(cè)AI計(jì)算設(shè)備，符合以下要求：注：邊緣AI計(jì)算設(shè)備包含但不限于應(yīng)用于邊緣計(jì)算場(chǎng)景的AI服務(wù)器、AI加速卡、AI加速模組；應(yīng)提供與終端設(shè)備或云側(cè)設(shè)備的協(xié)同接口；應(yīng)具備數(shù)據(jù)隔離措施，在受攻擊時(shí)只影響本地設(shè)備，而非其他參與協(xié)同的設(shè)備；c）d）宜支持流數(shù)據(jù)的實(shí)時(shí)處理；e）宜能在邊緣存儲(chǔ)實(shí)時(shí)信息；f）宜能獨(dú)立本地監(jiān)控或配合云側(cè)設(shè)備監(jiān)控邊緣節(jié)點(diǎn)的運(yùn)行狀態(tài)；g）宜支持推理任務(wù)或訓(xùn)練任務(wù)。終端設(shè)備端側(cè)AI設(shè)備參與協(xié)同計(jì)算，一般部署在數(shù)據(jù)或處理需求發(fā)生（如數(shù)據(jù)源）的位置附近。技術(shù)要求端側(cè)AI計(jì)算設(shè)備，符合以下要求：應(yīng)支持基于輕量化機(jī)器學(xué)習(xí)框架的運(yùn)行（訓(xùn)練或推理）；b）其他終端設(shè)備、云側(cè)設(shè)備或邊緣設(shè)備協(xié)同訓(xùn)練；1支持差分隱私機(jī)制。d）宜支持?jǐn)?shù)據(jù)預(yù)處理（如圖像縮放、圖像填充、圖像旋轉(zhuǎn)、聲音去噪等）；e）宜支持與邊緣設(shè)備或云側(cè)設(shè)備的交互，完成推理；宜支持多端協(xié)同，包含但不限于：管理多個(gè)終端設(shè)備；多個(gè)終端設(shè)備之間的數(shù)據(jù)協(xié)同與共享；多個(gè)終端設(shè)備之間計(jì)算任務(wù)的調(diào)度與分發(fā)。分布式計(jì)算協(xié)同技術(shù)要求架構(gòu)AI計(jì)算設(shè)備分布式計(jì)算的架構(gòu)見(jiàn)圖2。圖2AI計(jì)算設(shè)備分布式計(jì)算架構(gòu)注：虛線框起的部分是GB/TXXXXX.1―202X中規(guī)定的內(nèi)容，也是分布式管理架構(gòu)中的必備組件之一。通用要求AI計(jì)算設(shè)備分布式計(jì)算協(xié)同整體符合以下要求：AI應(yīng)支持云側(cè)模型裁剪、壓縮和優(yōu)化；宜支持聯(lián)邦學(xué)習(xí)；宜支持云內(nèi)、云邊或云端協(xié)同推理；應(yīng)支持云側(cè)分布式訓(xùn)練，宜支持邊緣側(cè)分布式訓(xùn)練；宜支持云邊協(xié)同的增量訓(xùn)練。實(shí)現(xiàn)分布式計(jì)算過(guò)程，符合以下要求：（宜提供統(tǒng)一的編程模型，屏蔽不同機(jī)器學(xué)習(xí)框架或異構(gòu)計(jì)算設(shè)備的差異；（如云側(cè)內(nèi)部端云，邊云等）設(shè)置相應(yīng)的存儲(chǔ)方式；AIAI注：計(jì)算設(shè)備的管理和調(diào)度，見(jiàn)GB/TXXXXX.1—202X。分布式多終端協(xié)同，符合如下要求：AI應(yīng)實(shí)現(xiàn)節(jié)點(diǎn)狀態(tài)的實(shí)時(shí)維護(hù)與共享（含節(jié)點(diǎn)資源使用狀態(tài)）；應(yīng)實(shí)現(xiàn)在調(diào)度實(shí)時(shí)性保障機(jī)制（如超時(shí)機(jī)制等）；注：集群組網(wǎng)使用無(wú)線連接（如無(wú)線局域網(wǎng)或藍(lán)牙）時(shí)，可能會(huì)出現(xiàn)傳輸速率有限且不穩(wěn)定的情況。宜實(shí)現(xiàn)設(shè)備狀態(tài)或能力適應(yīng)性協(xié)同策略（如按可用計(jì)算能力調(diào)度）；注：多終端設(shè)備結(jié)構(gòu)不同則能力不同，計(jì)算資源的分布可能不均衡。（如正常的視頻播放任務(wù)不應(yīng)被打斷，或?qū)е虏シ趴D等）。組件要求機(jī)器學(xué)習(xí)框架用于分布式機(jī)器學(xué)習(xí)任務(wù)的機(jī)器學(xué)習(xí)框架，符合以下要求：應(yīng)能在云側(cè)、邊側(cè)設(shè)備或端側(cè)等設(shè)備上運(yùn)行；配備模型部署工具，符合以下要求：應(yīng)支持模型的云側(cè)部署；（特定場(chǎng)景中非必要組件被剪裁應(yīng)支持在內(nèi)存受限的設(shè)備或環(huán)境中的運(yùn)行。1云側(cè)訓(xùn)練-端側(cè)推理；云側(cè)訓(xùn)練-邊側(cè)推理；云側(cè)-端側(cè)聯(lián)邦學(xué)習(xí)；云側(cè)-邊側(cè)聯(lián)邦學(xué)習(xí)；云側(cè)-邊側(cè)-端側(cè)聯(lián)合推理。AI云側(cè)訓(xùn)練-端側(cè)增量訓(xùn)練-端側(cè)推理；云側(cè)訓(xùn)練-邊側(cè)增量訓(xùn)練-邊側(cè)推理；云側(cè)訓(xùn)練-邊側(cè)增量訓(xùn)練-端側(cè)推理。虛擬化與調(diào)度組件AI加速處理器或AI加速卡的虛擬化與調(diào)度組件，符合以下技術(shù)要求：GB/TXXXXX.1―202XAIAIAIAIAI任務(wù)調(diào)度，符合以下要求：應(yīng)支持云側(cè)之間的訓(xùn)練任務(wù)調(diào)度，實(shí)施分布式訓(xùn)練；宜支持邊側(cè)之間的訓(xùn)練任務(wù)調(diào)度，支持邊側(cè)增量訓(xùn)練或分布式訓(xùn)練；（如聯(lián)邦學(xué)習(xí)）；宜支持云側(cè)和端側(cè)間的訓(xùn)推任務(wù)調(diào)度，完成云側(cè)訓(xùn)練—端側(cè)推理任務(wù)；（如增量訓(xùn)練安全組件安全原則AI分布式協(xié)同計(jì)算相關(guān)組件的應(yīng)用，應(yīng)按圖1規(guī)定的生命周期和流程識(shí)別以下風(fēng)險(xiǎn)，包含但不限于：易受竊取等攻擊的資產(chǎn)及相關(guān)攻擊模式，包含：訓(xùn)練腳本或代碼文件；訓(xùn)練數(shù)據(jù)集文件；（。模型文件，在云、邊、端側(cè)的完整性被破壞（如被修改）；（的機(jī)密性被破壞；被惡意攻擊，導(dǎo)致輸出結(jié)果錯(cuò)誤，或無(wú)法正常輸出結(jié)果；推理輸入數(shù)據(jù)被截獲或修改；云側(cè)或邊側(cè)的容器構(gòu)建、部署、運(yùn)行安全威脅；邊側(cè)接口的非授權(quán)接入和訪問(wèn)；（如無(wú)云側(cè)安全要求為訓(xùn)練階段實(shí)現(xiàn)安全防護(hù)機(jī)制，符合以下要求：云側(cè)：應(yīng)能對(duì)上載到云側(cè)的加密模型、訓(xùn)練數(shù)據(jù)和訓(xùn)練腳本，實(shí)施解密；應(yīng)能在運(yùn)行訓(xùn)練腳本前，校驗(yàn)訓(xùn)練鏡像文件。邊側(cè)：應(yīng)支持云側(cè)下發(fā)鏡像校驗(yàn)和模型加解密；宜支持聯(lián)邦學(xué)習(xí)梯度信息的加解密；宜支持端側(cè)設(shè)備上傳數(shù)據(jù)的簽名和加密。端側(cè)，宜支持聯(lián)邦學(xué)習(xí)梯度數(shù)據(jù)的加密。為推理階段實(shí)現(xiàn)安全防護(hù)機(jī)制，符合以下要求：云側(cè)：應(yīng)支持在云側(cè)配置模型所在容器的最小訪問(wèn)權(quán)限；應(yīng)支持模型的解密；應(yīng)能對(duì)加載到云側(cè)的鏡像實(shí)施完整性校驗(yàn)。邊側(cè)：宜支持秘鑰管理，能對(duì)云側(cè)下發(fā)的鏡像或模型實(shí)施校驗(yàn)；宜支持推理數(shù)據(jù)的加解密；宜支持入侵檢測(cè)，實(shí)現(xiàn)用戶權(quán)限管理，能記錄和警告非授權(quán)訪問(wèn)；宜支持邊用戶身份校驗(yàn)，實(shí)現(xiàn)應(yīng)用授權(quán)訪問(wèn)。端側(cè)：宜支持秘鑰管理，對(duì)云側(cè)下發(fā)到端側(cè)模型實(shí)施身份校驗(yàn)；宜支持推理數(shù)據(jù)本地加解密；宜能在模型上傳至云側(cè)或邊側(cè)進(jìn)行推理前，加密模型；集合通信庫(kù)集合通信庫(kù)符合如下要求：AIAI（如云側(cè)內(nèi)部分布式訓(xùn)練所需的通信）；1Mesh)；星形拓?fù)浣Y(jié)構(gòu)（Star）；環(huán)形拓?fù)浣Y(jié)構(gòu)（Ring）；樹(shù)拓?fù)浣Y(jié)構(gòu)（Tree）；5）3DTorus拓?fù)浣Y(jié)構(gòu)；6）Dragonfly拓?fù)浣Y(jié)構(gòu)。宜實(shí)現(xiàn)同步機(jī)制或超時(shí)控制機(jī)制；1RoCERDMA應(yīng)支持集合通信效率衡量指標(biāo)，如延時(shí)、延時(shí)方差、延時(shí)均值等；GB/TAAAAA—202X云云協(xié)同要求云云協(xié)同的框架如圖3所示，協(xié)同過(guò)程符合以下要求：圖3云云協(xié)同框架應(yīng)實(shí)現(xiàn)有中心調(diào)度或無(wú)中心調(diào)度（如基于云聯(lián)邦的調(diào)度）；對(duì)有中心調(diào)度，中心調(diào)度器：應(yīng)能收集和監(jiān)視全網(wǎng)計(jì)算資源的狀態(tài)；應(yīng)能跨云（或計(jì)算中心）調(diào)度作業(yè)，轉(zhuǎn)發(fā)和傳輸作業(yè)運(yùn)行數(shù)據(jù)；1（對(duì)有中心調(diào)度，調(diào)度適配器：應(yīng)能收集調(diào)度器資源和作業(yè)執(zhí)行狀態(tài)信息，并上報(bào)至中心調(diào)度器；宜能向授權(quán)用戶提供統(tǒng)一視圖，使其能驅(qū)動(dòng)特定計(jì)算資源執(zhí)行計(jì)算任務(wù)。宜實(shí)現(xiàn)基于統(tǒng)一賬戶的認(rèn)證和確權(quán)；宜實(shí)現(xiàn)統(tǒng)一計(jì)算消耗計(jì)量和計(jì)費(fèi)。云邊端協(xié)同要求管理協(xié)同圖4云邊端協(xié)同框架云邊端協(xié)同框架見(jiàn)圖4，管理協(xié)同符合如下要求：應(yīng)支持邊側(cè)或端側(cè)中單節(jié)點(diǎn)或節(jié)點(diǎn)組管理；（如使用不同類型的AI加速處理器應(yīng)支持邊緣計(jì)算任務(wù)監(jiān)控，包含運(yùn)行于容器中的應(yīng)用；應(yīng)支持操作系統(tǒng)異構(gòu)（如基于Linux的操作系統(tǒng)，Android，Windows等）邊緣設(shè)備的管理和任務(wù)協(xié)同；應(yīng)為邊緣或終端設(shè)備提供統(tǒng)一運(yùn)行時(shí)組件，屏蔽邊緣或終端設(shè)備操作系統(tǒng)差異；應(yīng)支持邊緣許可證的管理和使用，宜能根據(jù)許可信息控制邊緣AI計(jì)算任務(wù)的數(shù)量、數(shù)據(jù)接入路數(shù)（如攝像頭視頻數(shù)據(jù)）、請(qǐng)求并發(fā)度閾值或使用時(shí)長(zhǎng)；應(yīng)支持模型加密；應(yīng)支持秘鑰的云側(cè)加密保存；應(yīng)支持基于秘鑰的邊緣模型運(yùn)行控制（運(yùn)行前需解密模型）；應(yīng)支持秘鑰的云側(cè)導(dǎo)出和邊緣本地秘鑰導(dǎo)入解密；應(yīng)支持邊緣設(shè)備上用于模型解密的證書的合法性校驗(yàn)；宜支持遠(yuǎn)程安全鏈接（如SSL）登錄、監(jiān)視、調(diào)試邊緣設(shè)備；宜能管理不小于128個(gè)邊緣節(jié)點(diǎn)；宜支持至少2類設(shè)備的接入，如：移動(dòng)通信終端（如手機(jī)、計(jì)算機(jī)）；攝像機(jī)；智能機(jī)器人；物聯(lián)網(wǎng)傳感器；激光雷達(dá)、毫米波雷達(dá)；信號(hào)機(jī)；氣象要素傳感器；道路單元。b)宜支持基于圖形界面的邊緣或終端設(shè)備管理。任務(wù)協(xié)同云邊任務(wù)協(xié)同，符合以下要求：應(yīng)支持云上模型訓(xùn)練、邊緣或終端側(cè)部署、推理的協(xié)同模式；應(yīng)支持向邊緣設(shè)備或終端設(shè)備直接部署含有模型的容器；應(yīng)支持大模型在邊緣或終端的部署及推理（在邊緣或終端設(shè)備功能允許時(shí)）；應(yīng)支持邊緣或終端設(shè)備（在云側(cè)注冊(cè)后）的離線運(yùn)行；（AIAIAI（如按時(shí)段或固定頻率）；宜支持邊緣或終端設(shè)備上應(yīng)用的服務(wù)次數(shù)統(tǒng)計(jì)（如調(diào)用次數(shù)、調(diào)用成功率等）；宜支持基于多個(gè)邊緣設(shè)備形成資源池，實(shí)現(xiàn)以下功能：資源池創(chuàng)建、狀態(tài)查詢、配置修改（如修改描述、邊緣節(jié)點(diǎn)等）；池內(nèi)設(shè)備間的負(fù)載均衡，自動(dòng)分發(fā)請(qǐng)求、調(diào)度和利用邊緣或終端設(shè)備；池內(nèi)設(shè)備節(jié)點(diǎn)管理，包含節(jié)點(diǎn)創(chuàng)建、修改、刪除、激活、去活、狀態(tài)查詢。宜支持邊緣模型回流到云上的增量訓(xùn)練；宜支持邊緣節(jié)點(diǎn)從云側(cè)獲取鏡像完成本地更新；數(shù)據(jù)協(xié)同云邊數(shù)據(jù)協(xié)同，符合以下要求：應(yīng)實(shí)現(xiàn)梯度數(shù)據(jù)和增量樣本數(shù)據(jù)的云側(cè)壓縮和傳輸（在云側(cè)與邊緣或終端之間），包含邊緣推理數(shù)據(jù)（在授權(quán)狀態(tài)下）回流云側(cè)；應(yīng)用于多媒體處理場(chǎng)景的邊側(cè)或端側(cè)設(shè)備，符合以下要求：應(yīng)支持云側(cè)、其它邊側(cè)或終端設(shè)備之間的數(shù)據(jù)轉(zhuǎn)發(fā)或互訪；宜支持多媒體數(shù)據(jù)的轉(zhuǎn)碼、點(diǎn)播、直播、錄像和檢索；宜支持地圖數(shù)據(jù)的共享分發(fā)。邊側(cè)設(shè)備支持?jǐn)?shù)據(jù)存儲(chǔ)時(shí)，符合以下要求：應(yīng)能將推理結(jié)果的本地緩存；（如通過(guò)數(shù)據(jù)庫(kù)實(shí)現(xiàn)應(yīng)支持?jǐn)?shù)據(jù)實(shí)時(shí)傳遞（如監(jiān)視器或攝像機(jī)采集的視頻數(shù)據(jù)回傳云側(cè)分析）。多端協(xié)同要求多端數(shù)據(jù)協(xié)同圖5多端協(xié)同框架多端協(xié)同框架示意見(jiàn)圖5。多端數(shù)據(jù)協(xié)同，符合以下要求：應(yīng)能在多個(gè)終端設(shè)備間傳輸數(shù)據(jù)，實(shí)現(xiàn)設(shè)備間的數(shù)據(jù)讀寫；應(yīng)支持多端、多模數(shù)據(jù)（2）融合；宜實(shí)現(xiàn)離線時(shí)數(shù)據(jù)在端側(cè)設(shè)備的自動(dòng)保存；宜支持端側(cè)對(duì)云側(cè)或邊側(cè)的自動(dòng)數(shù)據(jù)同步（網(wǎng)絡(luò)狀態(tài)允許時(shí)）。多端設(shè)備協(xié)同多端協(xié)同系統(tǒng)，應(yīng)支持跨設(shè)備的輸入、輸出（如攝像機(jī)捕捉的影像，直接在大屏顯示，并不需在移動(dòng)通信終端等主控端介入或協(xié)調(diào)）。多端計(jì)算協(xié)同多端協(xié)同系統(tǒng)，符合以下計(jì)算協(xié)同要求：應(yīng)能拆分并分配任務(wù)到多個(gè)端側(cè)設(shè)備上，分別計(jì)算完成后整合、返回結(jié)果；應(yīng)支持以下推理計(jì)算任務(wù)：發(fā)起、拆分、分發(fā)和管理推理任務(wù)；端側(cè)設(shè)備能依據(jù)自身計(jì)算、存儲(chǔ)資源動(dòng)態(tài)加載對(duì)應(yīng)模型；端側(cè)設(shè)備能按節(jié)點(diǎn)狀態(tài)、網(wǎng)絡(luò)狀態(tài)、計(jì)算功耗等因素判斷并選擇協(xié)同模式；端側(cè)實(shí)現(xiàn)容錯(cuò)機(jī)制，包含異常檢測(cè)、任務(wù)重試和失敗重發(fā)。云邊端分布式計(jì)算協(xié)同接口邊緣節(jié)點(diǎn)管理概述邊緣AI計(jì)算節(jié)點(diǎn)管理過(guò)程的示意見(jiàn)圖6，管理操作含節(jié)點(diǎn)查詢、刪除和注冊(cè)等。注：管理組件一般部署在云側(cè)或按需獨(dú)立部署在特定服務(wù)器上。圖6邊緣節(jié)點(diǎn)和節(jié)點(diǎn)組的管理接口邊緣節(jié)點(diǎn)管理的接口，應(yīng)符合表1~表3的要求：1注冊(cè)設(shè)備名稱功能語(yǔ)義描述參數(shù)輸入/輸出備注批量注冊(cè)數(shù)量，默認(rèn)為1輸入可選設(shè)備描述輸入可選是否開(kāi)啟設(shè)備上的AI處理器輸入a可選日志配置輸入可選b備注冊(cè)注冊(cè)特定邊緣或終端設(shè)備到計(jì)算協(xié)同系統(tǒng)設(shè)備名輸入必選（用于提示設(shè)備分組。說(shuō)明設(shè)備可能的類型、分組。1個(gè)輸入可選設(shè)備可擁有多個(gè)標(biāo)簽。有效時(shí)間輸入可選設(shè)備標(biāo)識(shí)。設(shè)備注冊(cè)成功后，返回系統(tǒng)給予的設(shè)備標(biāo)識(shí)輸出必選ab適用于包含AI加速處理器的邊緣或終端設(shè)備。接口在特定系統(tǒng)中實(shí)現(xiàn)時(shí)，可根據(jù)系統(tǒng)需求增加參數(shù)（如指定AI加速處理器的型號(hào)）。2查詢?cè)O(shè)備名稱功能語(yǔ)義描述參數(shù)輸入/輸出備注查詢?cè)O(shè)b備狀態(tài)使用設(shè)備標(biāo)識(shí)查詢返回設(shè)備狀態(tài)設(shè)備標(biāo)識(shí)輸入必選設(shè)備處理器架構(gòu)輸出可選設(shè)備內(nèi)存空間輸出可選設(shè)備名字輸出必選設(shè)備描述輸出可選a設(shè)備組標(biāo)識(shí)符輸出可選a設(shè)備組狀態(tài)輸出可選a設(shè)備在設(shè)備組中的工作類型。包含管理節(jié)點(diǎn)，工作節(jié)點(diǎn)等輸出可選設(shè)備狀態(tài)。包含未注冊(cè)，運(yùn)行中，故障，停用，升級(jí)中等輸出必選中央處理器個(gè)數(shù)輸出可選AI加速處理器信息，包含個(gè)數(shù)、型號(hào)等輸出可選操作系統(tǒng)信息，包含名稱、版本、類型等輸出可選是否使用容器輸出必選是否啟用了AI加速器輸出可選設(shè)備標(biāo)簽列表輸出可選設(shè)備日志輸出可選a在系統(tǒng)支持或應(yīng)用設(shè)備編組時(shí)適用。b接口在特定系統(tǒng)中實(shí)現(xiàn)時(shí)，可根據(jù)系統(tǒng)需求增加參數(shù)（如指定AI加速處理器的型號(hào)）。表3刪除、啟動(dòng)或停止設(shè)備名稱功能語(yǔ)義描述參數(shù)輸入/輸出備注ab設(shè)備算任務(wù)的協(xié)同設(shè)備標(biāo)識(shí)輸入必選c操作類型輸入可選操作狀態(tài)輸出必選a接口在特定系統(tǒng)中實(shí)現(xiàn)時(shí)，可根據(jù)系統(tǒng)需求增加參數(shù)（如指定AI加速處理器的型號(hào)）。b在某些系統(tǒng)中，刪除、啟動(dòng)、停止設(shè)備可分為多個(gè)接口分別實(shí)現(xiàn)。c本參數(shù)僅對(duì)啟動(dòng)、停止操作有效。部署及更新概述接口模型或應(yīng)用在邊緣或終端節(jié)點(diǎn)上的部署和更新，應(yīng)符合表4~表7定義的接口：表4創(chuàng)建部署名稱功能語(yǔ)義描述參數(shù)輸入/輸出備注創(chuàng)建部b署創(chuàng)建應(yīng)用部署設(shè)備標(biāo)識(shí)列表輸入a可選設(shè)備組標(biāo)識(shí)輸入a可選應(yīng)用描述輸入可選許可證，包含使用時(shí)長(zhǎng)額度，計(jì)費(fèi)量綱，并發(fā)路數(shù)許可，允許的實(shí)例數(shù)等輸入可選部署名稱輸入必選部署標(biāo)簽輸入可選應(yīng)用標(biāo)識(shí)輸入可選應(yīng)用名字輸入必選應(yīng)用參數(shù)配置輸入可選應(yīng)用來(lái)源地址。如鏡像地址或存儲(chǔ)服務(wù)器中的地址輸入必選容器啟動(dòng)參數(shù)輸入可選容器啟動(dòng)命令輸入可選應(yīng)用版本輸入可選容器運(yùn)行資源配置。包含處理器數(shù)量，AI加速器數(shù)量，內(nèi)存數(shù)量等輸入c可選卷參數(shù)。如掛載路徑，卷類型，卷名稱，讀寫權(quán)限，卷來(lái)源等輸入可選每增加1路所需處理數(shù)據(jù)，增加的資源數(shù)量。用于滿足可伸縮邊緣計(jì)算的需要輸入可選部署操作狀態(tài)描述輸出可選已經(jīng)就需的實(shí)例節(jié)點(diǎn)數(shù)輸出可選實(shí)例節(jié)點(diǎn)數(shù)輸出可選創(chuàng)建時(shí)間輸出可選部署名稱輸出必選部署標(biāo)識(shí)輸出必選部署的狀態(tài)，包含運(yùn)行、創(chuàng)建中、創(chuàng)建失敗、啟動(dòng)中、啟動(dòng)失敗、停止中、停止失敗、刪除中、刪除失敗、休眠等輸出必選部署結(jié)果列表，包含每個(gè)節(jié)點(diǎn)上的部署結(jié)果（失敗的部署，含有錯(cuò)誤信息）輸出必選a設(shè)備標(biāo)識(shí)或設(shè)備組標(biāo)識(shí)應(yīng)至少選擇1項(xiàng)。b接口在特定系統(tǒng)中實(shí)現(xiàn)時(shí)，可根據(jù)系統(tǒng)需求增加參數(shù)。c在某些系統(tǒng)中，可指定2個(gè)資源配置，分別定義容器運(yùn)行可使用的最大資源和最小資源。表5更新部署名稱功能語(yǔ)義描述參數(shù)輸入/輸出備注更新部a署更新應(yīng)用部署部署名稱輸入必選部署標(biāo)簽輸入可選應(yīng)用標(biāo)識(shí)輸入可選應(yīng)用名字輸入必選應(yīng)用參數(shù)配置輸入可選應(yīng)用來(lái)源地址。如鏡像地址或存儲(chǔ)服務(wù)器中的地址輸入必選容器啟動(dòng)參數(shù)輸入可選容器啟動(dòng)命令輸入可選應(yīng)用版本輸入可選容器運(yùn)行資源配置。包含處理器數(shù)量，AI加速器數(shù)量，內(nèi)存數(shù)量等輸入b可選卷參數(shù)。如掛載路徑，卷類型，卷名稱，讀寫權(quán)限，卷來(lái)源等輸入可選每增加1路所需處理數(shù)據(jù)，增加的資源數(shù)量。用于滿足可伸縮邊緣計(jì)算的需要輸入可選部署操作狀態(tài)描述輸出可選已經(jīng)就需的實(shí)例節(jié)點(diǎn)數(shù)輸出可選實(shí)例節(jié)點(diǎn)數(shù)輸出可選創(chuàng)建時(shí)間輸出可選部署名稱輸出必選部署標(biāo)識(shí)輸出必選部署的狀態(tài)，包含運(yùn)行、創(chuàng)建中、創(chuàng)建失敗、啟動(dòng)中、啟動(dòng)失敗、停止中、停止失敗、刪除中、刪除失敗、休眠等輸出必選部署結(jié)果列表，包含每個(gè)節(jié)點(diǎn)上的部署結(jié)果（失敗的部署，含有錯(cuò)誤信息）輸出