人工智能 計算設(shè)備調(diào)度與協(xié)同 第2部分：分布式計算框架 征求意見稿

1GB/TXXXXX.1—XXXX人工智能計算設(shè)備調(diào)度與協(xié)同第2部分：分布式計算框架本文件確立了人工智能計算設(shè)備分布式計算的架構(gòu)，規(guī)定了功能和性能技術(shù)要求，定義了分布式計算協(xié)同接口。本文件適用于用于分布式人工智能計算的系統(tǒng)設(shè)計、開發(fā)和測試。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/TXXXXX.1—202X人工智能計算設(shè)備調(diào)度與協(xié)同第1部分：虛擬化與調(diào)度系統(tǒng)技術(shù)規(guī)范GB/TAAAAA—202X人工智能異構(gòu)人工智能加速器統(tǒng)一接口3術(shù)語和定義GB/T41867—2022，GB/T42018—2022，GB/TXXXXX.1—202X和GB/TAAAAA—202X中界定的以及下列術(shù)語和定義適用于本文件。3.1分布式機(jī)器學(xué)習(xí)distributedmachinelearning一種機(jī)器學(xué)習(xí)的方法或過程，利用互聯(lián)網(wǎng)絡(luò)作為首選通信載體，在不同子系統(tǒng)上完成同一個機(jī)器學(xué)習(xí)任務(wù)。[來源：ISO/IEC2382:2015,2178059，有修改]3.2聯(lián)邦機(jī)器學(xué)習(xí)federatedmachinelearning一種機(jī)器學(xué)習(xí)方法或過程，能讓多個參加者協(xié)作構(gòu)建及使用機(jī)器學(xué)習(xí)模型而不暴露參加者所擁有的原始數(shù)據(jù)或私有數(shù)據(jù)。[來源：IEEE3652.1，3.1]3.3增量學(xué)習(xí)incrementallearning一種分為多個階段的自適應(yīng)學(xué)習(xí)方法，其中在前驅(qū)階段學(xué)得的知識被轉(zhuǎn)化為適當(dāng)形式，以便為后繼階段的新知識提供基礎(chǔ)。2GB/TXXXXX.1—XXXX[來源：ISO/IEC2382:2015，2123002，有修改]3.4邊緣計算edgecomputing一種分布式計算方法或過程，其中處理及存儲過程發(fā)生在分布式系統(tǒng)的邊緣。[來源：ISO/IECTR23188:2020,3.1.3]3.5集合通信collectivecommunication一種通信模式，其所傳遞數(shù)據(jù)在一組處理器單元（稱為節(jié)點(diǎn)）上處理，其進(jìn)程或計算節(jié)點(diǎn)之間協(xié)同工作以進(jìn)行數(shù)據(jù)交換和同步。4縮略語下列縮略語適用于本文件。AI：人工智能（ArtificialIntelligence）CPU：中央處理單元（CentralProcessingUnit）FPGA：現(xiàn)場可編程邏輯門陣列（FieldProgrammableGateArray）GPU：圖形處理單元（GraphicsProcessingUnit）NPU：神經(jīng)網(wǎng)絡(luò)處理單元（Neural―networkProcessingUnit）RDMA：遠(yuǎn)程直接內(nèi)存訪問（RemoteDirectMemoryAccess）RoCE：基于融合以太網(wǎng)的遠(yuǎn)程直接內(nèi)存訪問（RDMAoverConvergedEthernet）SSL：安全套接字層（SecureSocketsLayer）5概述5.1總體框架AI分布式計算協(xié)同的總體框架見圖1，包含：a）提供AI任務(wù)生命周期內(nèi)的協(xié)同計算支持（如統(tǒng)一資源池化、分配、調(diào)度等）；b）支持設(shè)備(如云/邊/端設(shè)備)的分布式運(yùn)行環(huán)境；c）實(shí)現(xiàn)不同物理部署形態(tài)的設(shè)備間的通信、控制及任務(wù)管理；d）提升任務(wù)執(zhí)行保障能力，降低分布式應(yīng)用的作業(yè)延時，提升作業(yè)吞吐率；e）實(shí)現(xiàn)AI任務(wù)的分布式協(xié)同（如分布式訓(xùn)練、模型多端部署推理、增量訓(xùn)練、聯(lián)邦學(xué)3GB/TXXXXX.1—XXXX圖1AI分布式計算協(xié)同的總體框架5.2適用性在使用本文件時，應(yīng)基于計算協(xié)同系統(tǒng)的組成和目標(biāo)應(yīng)用場景，匹配協(xié)同模式（云云協(xié)同（見7.4）、云邊端協(xié)同（見7.5）、多端協(xié)同（見7.6）），并滿足相應(yīng)的技術(shù)要求。不要求單個特定系統(tǒng)符合所有的協(xié)同模式和技術(shù)要求。6計算設(shè)備技術(shù)要求6.1云側(cè)設(shè)備6.1.1概述云側(cè)AI計算設(shè)備及其使用：a）類型包含：1)云側(cè)訓(xùn)練（包含微調(diào)）；2)云側(cè)推理；3)增量訓(xùn)練；4)聯(lián)邦學(xué)習(xí)。b）遵循以下使用原則：1)訓(xùn)練過程與數(shù)據(jù)源分離；2)監(jiān)控AI任務(wù)全生命周期過程；3)共享計算資源；4)使用虛擬化技術(shù)管理計算資源；5)針對計算需求，彈性伸縮計算資源的使用。6.1.2技術(shù)要求云側(cè)AI計算設(shè)備，符合以下要求：a）符合GB/T42018—2022中6.1.1.1和6.1.1.2的要求；4GB/TXXXXX.1—XXXXb）應(yīng)支持模型訓(xùn)練所需的軟件和模式，包含：1)機(jī)器學(xué)習(xí)框架；2)云側(cè)分布式集群訓(xùn)練；3)過程可視化，包含訓(xùn)練過程、數(shù)據(jù)處理過程等。c）應(yīng)提供與邊緣設(shè)備或終端設(shè)備兼容的互操作協(xié)議及接口；d）應(yīng)支持訓(xùn)練或推理任務(wù)鏡像管理；e）宜支持異構(gòu)AI加速處理器的資源池化和統(tǒng)一調(diào)度。6.2邊緣設(shè)備6.2.1概述邊側(cè)AI計算設(shè)備參與協(xié)同計算，遵循以下使用原則：a）考慮將小規(guī)模的計算與服務(wù)部署在邊側(cè)或端側(cè)；b）考慮存儲、傳輸、計算和安全任務(wù)；c）在本地執(zhí)行數(shù)據(jù)處理，避免數(shù)據(jù)網(wǎng)絡(luò)傳輸中的風(fēng)險；d）考慮業(yè)務(wù)場景要求的實(shí)時性。6.2.2技術(shù)要求邊側(cè)AI計算設(shè)備，符合以下要求：注：邊緣AI計算設(shè)備包含但不限于應(yīng)用于邊緣計算場景的AI服務(wù)器、AIa）應(yīng)提供與終端設(shè)備或云側(cè)設(shè)備的協(xié)同接口；b）應(yīng)具備數(shù)據(jù)隔離措施，在受攻擊時只影響本地設(shè)備，而非其他參與協(xié)同的設(shè)備；c）宜支持視頻分析、文字識別、圖像識別、聲音處理等應(yīng)用；d）宜支持流數(shù)據(jù)的實(shí)時處理；e）宜能在邊緣存儲實(shí)時信息；f）宜能獨(dú)立本地監(jiān)控或配合云側(cè)設(shè)備監(jiān)控邊緣節(jié)點(diǎn)的運(yùn)行狀態(tài)；g）宜支持推理任務(wù)或訓(xùn)練任務(wù)。6.3終端設(shè)備6.3.1概述端側(cè)AI設(shè)備參與協(xié)同計算，一般部署在數(shù)據(jù)或處理需求發(fā)生（如數(shù)據(jù)源）的位置附近。6.3.2技術(shù)要求端側(cè)AI計算設(shè)備，符合以下要求：a）應(yīng)支持基于輕量化機(jī)器學(xué)習(xí)框架的運(yùn)行（訓(xùn)練或推理）；b）應(yīng)支持脫離機(jī)器學(xué)習(xí)框架的模型部署，在設(shè)備上直接運(yùn)行；c）宜支持分布式訓(xùn)練，包含：1)其他終端設(shè)備、云側(cè)設(shè)備或邊緣設(shè)備協(xié)同訓(xùn)練；2)兼容至少1種分布式訓(xùn)練框架；3)支持差分隱私機(jī)制。d）宜支持?jǐn)?shù)據(jù)預(yù)處理（如圖像縮放、圖像填充、圖像旋轉(zhuǎn)、聲音去噪等e）宜支持與邊緣設(shè)備或云側(cè)設(shè)備的交互，完成推理；f）宜支持多端協(xié)同，包含但不限于：5GB/TXXXXX.1—XXXX1)管理多個終端設(shè)備；2)多個終端設(shè)備之間的數(shù)據(jù)協(xié)同與共享；3)多個終端設(shè)備之間計算任務(wù)的調(diào)度與分發(fā)。7分布式計算協(xié)同技術(shù)要求7.1架構(gòu)AI計算設(shè)備分布式計算的架構(gòu)見圖2。圖2AI計算設(shè)備分布式計算架構(gòu)注：虛線框起的部分是GB/TXXXXX.1―202X中規(guī)定的內(nèi)容，也是分布式管理7.2通用要求AI計算設(shè)備分布式計算協(xié)同整體符合以下要求：a)應(yīng)能管理機(jī)器學(xué)習(xí)算法的運(yùn)行環(huán)境配置，包括支持云側(cè)設(shè)備、邊緣設(shè)備和終端設(shè)備；b)支持應(yīng)用在云側(cè)、邊側(cè)或端側(cè)的AI計算設(shè)備上的運(yùn)行，滿足以下要求：1)應(yīng)支持云側(cè)模型裁剪、壓縮和優(yōu)化；2)宜支持聯(lián)邦學(xué)習(xí)；3)宜支持云內(nèi)、云邊或云端協(xié)同推理；4)應(yīng)支持云側(cè)分布式訓(xùn)練，宜支持邊緣側(cè)分布式訓(xùn)練；5)宜支持云邊協(xié)同的增量訓(xùn)練。c)實(shí)現(xiàn)分布式計算過程，符合以下要求：1)應(yīng)具備容錯性，在訓(xùn)練過程中有節(jié)點(diǎn)或網(wǎng)絡(luò)連接出現(xiàn)故障（如節(jié)點(diǎn)、交換或路由設(shè)備不工作或性能下降）時，保證原有任務(wù)的繼續(xù)進(jìn)行，直到完成；2)宜提供統(tǒng)一的編程模型，屏蔽不同機(jī)器學(xué)習(xí)框架或異構(gòu)計算設(shè)備的差異；3)宜能利用集群中分布式存儲設(shè)備，根據(jù)不同的分布式計算場景（如云側(cè)內(nèi)部端云，邊云等）設(shè)置相應(yīng)的存儲方式；4)應(yīng)支持計算設(shè)備管理，能虛擬化并分配AI加速卡或AI加速處理器資源。注：計算設(shè)備的管理和調(diào)度，見GB/TXXXXd)分布式多終端協(xié)同，符合如下要求：1)宜實(shí)現(xiàn)去中心化的多終端設(shè)備AI任務(wù)協(xié)同；2)應(yīng)實(shí)現(xiàn)節(jié)點(diǎn)狀態(tài)的實(shí)時維護(hù)與共享（含節(jié)點(diǎn)資源使用狀態(tài)）；6GB/TXXXXX.1—XXXX3)應(yīng)實(shí)現(xiàn)在調(diào)度實(shí)時性保障機(jī)制（如超時機(jī)制等）；注：集群組網(wǎng)使用無線連接（如無線局域網(wǎng)或藍(lán)牙）時，可能會出現(xiàn)傳輸速4)宜實(shí)現(xiàn)設(shè)備狀態(tài)或能力適應(yīng)性協(xié)同策略（如按可用計算能力調(diào)度注：多終端設(shè)備結(jié)構(gòu)不同則能力不同，計算5)計算調(diào)度過程不應(yīng)影響其他設(shè)備或應(yīng)用的運(yùn)行（如正常的視頻播放任務(wù)不應(yīng)被打斷，或?qū)е虏シ趴D等）。7.3組件要求7.3.1機(jī)器學(xué)習(xí)框架用于分布式機(jī)器學(xué)習(xí)任務(wù)的機(jī)器學(xué)習(xí)框架，符合以下要求：a)應(yīng)能在云側(cè)、邊側(cè)設(shè)備或端側(cè)等設(shè)備上運(yùn)行；b)配備模型部署工具，符合以下要求：1)應(yīng)支持模型的云側(cè)部署；2)應(yīng)支持輕量化框架（特定場景中非必要組件被剪裁在云側(cè)訓(xùn)練的模型，能部署在端側(cè)或邊側(cè)；3)應(yīng)支持在內(nèi)存受限的設(shè)備或環(huán)境中的運(yùn)行。4)宜支持模型量化，并在用戶需求允許的誤差范圍內(nèi)，使模型從云側(cè)遷移至端側(cè)或邊側(cè)；c)應(yīng)支持以下至少1種計算協(xié)同模式：1)云側(cè)訓(xùn)練-端側(cè)推理；2)云側(cè)訓(xùn)練-邊側(cè)推理；3)云側(cè)-端側(cè)聯(lián)邦學(xué)習(xí)；4)云側(cè)-邊側(cè)聯(lián)邦學(xué)習(xí)；5)云側(cè)-邊側(cè)-端側(cè)聯(lián)合推理。d)宜支持云端邊AI計算協(xié)同模式，包含但不僅限于：1)云側(cè)訓(xùn)練-端側(cè)增量訓(xùn)練-端側(cè)推理；2)云側(cè)訓(xùn)練-邊側(cè)增量訓(xùn)練-邊側(cè)推理；3)云側(cè)訓(xùn)練-邊側(cè)增量訓(xùn)練-端側(cè)推理。e)宜在跨云側(cè)、邊側(cè)、端側(cè)應(yīng)用統(tǒng)一的計算圖中間表示，支持一次訓(xùn)練后的模型在端、邊、云上的無（格式）轉(zhuǎn)換部署。7.3.2虛擬化與調(diào)度組件AI加速處理器或AI加速卡的虛擬化與調(diào)度組件，符合以下技術(shù)要求：a)應(yīng)符合GB/TXXXXX.1―202X中規(guī)定的虛擬化要求；b)資源調(diào)度系統(tǒng)應(yīng)能調(diào)用AI加速卡或AI加速處理器及其虛擬化實(shí)例，包含：1)AI訓(xùn)練加速卡；2)AI推理加速卡；3)能用于訓(xùn)練及推理任務(wù)的AI加速卡。c)任務(wù)調(diào)度，符合以下要求：1)應(yīng)支持云側(cè)之間的訓(xùn)練任務(wù)調(diào)度，實(shí)施分布式訓(xùn)練；2)宜支持邊側(cè)之間的訓(xùn)練任務(wù)調(diào)度，支持邊側(cè)增量訓(xùn)練或分布式訓(xùn)練；7GB/TXXXXX.1—XXXX3)應(yīng)支持云側(cè)或邊側(cè)之間的推理任務(wù)調(diào)度，支持大模型推理，克服單處理器或單卡運(yùn)行時內(nèi)存限制；4)宜支持云側(cè)和邊側(cè)之間的訓(xùn)練任務(wù)調(diào)度，能完成云側(cè)訓(xùn)練—邊側(cè)增量訓(xùn)練的任5)宜支持云側(cè)和端側(cè)之間的訓(xùn)練任務(wù)調(diào)度，完成云側(cè)—端側(cè)協(xié)同訓(xùn)練任務(wù)（如聯(lián)邦學(xué)習(xí)）；6)宜支持云側(cè)和端側(cè)間的訓(xùn)推任務(wù)調(diào)度，完成云側(cè)訓(xùn)練—端側(cè)推理任務(wù)；7)宜支持邊側(cè)和端側(cè)間的訓(xùn)推任務(wù)調(diào)度，完成邊側(cè)訓(xùn)練（如增量訓(xùn)練）—端側(cè)推理的任務(wù)。7.3.3安全組件7.3.3.1安全原則AI分布式協(xié)同計算相關(guān)組件的應(yīng)用，應(yīng)按圖1規(guī)定的生命周期和流程識別以下風(fēng)險，包含但不限于：a)易受竊取等攻擊的資產(chǎn)及相關(guān)攻擊模式，包含：1)訓(xùn)練腳本或代碼文件；2)訓(xùn)練數(shù)據(jù)集文件；3)模型文件（包含預(yù)訓(xùn)練模型文件、訓(xùn)練結(jié)果文件和在計算節(jié)點(diǎn)中的模型文件）。b)模型文件，在云、邊、端側(cè)的完整性被破壞（如被修改）；c)模型及相關(guān)文件（含訓(xùn)練腳本、訓(xùn)練數(shù)據(jù)集、模型的參數(shù)文件等）的機(jī)密性被破壞；d)被惡意攻擊，導(dǎo)致輸出結(jié)果錯誤，或無法正常輸出結(jié)果；e)推理輸入數(shù)據(jù)被截獲或修改；f)云側(cè)或邊側(cè)的容器構(gòu)建、部署、運(yùn)行安全威脅；g)邊側(cè)接口的非授權(quán)接入和訪問；h)在無中心（如無云側(cè)）架構(gòu)系統(tǒng)中忽略使用熱備、冗余機(jī)制，造成數(shù)據(jù)丟失或業(yè)務(wù)7.3.3.2安全要求7.3.3.2.1為訓(xùn)練階段實(shí)現(xiàn)安全防護(hù)機(jī)制，符合以下要求：a)云側(cè)：1)應(yīng)能對上載到云側(cè)的加密模型、訓(xùn)練數(shù)據(jù)和訓(xùn)練腳本，實(shí)施解密；2)應(yīng)能在運(yùn)行訓(xùn)練腳本前，校驗(yàn)訓(xùn)練鏡像文件。b)邊側(cè)：1)應(yīng)支持云側(cè)下發(fā)鏡像校驗(yàn)和模型加解密；2)宜支持聯(lián)邦學(xué)習(xí)梯度信息的加解密；3)宜支持端側(cè)設(shè)備上傳數(shù)據(jù)的簽名和加密。c)端側(cè)，宜支持聯(lián)邦學(xué)習(xí)梯度數(shù)據(jù)的加密。7.3.3.2.2為推理階段實(shí)現(xiàn)安全防護(hù)機(jī)制，符合以下要求：a)云側(cè)：1)應(yīng)支持在云側(cè)配置模型所在容器的最小訪問權(quán)限；2)應(yīng)支持模型的解密；8GB/TXXXXX.1—XXXX3)應(yīng)能對加載到云側(cè)的鏡像實(shí)施完整性校驗(yàn)。b)邊側(cè)：1)宜支持秘鑰管理，能對云側(cè)下發(fā)的鏡像或模型實(shí)施校驗(yàn)；2)宜支持推理數(shù)據(jù)的加解密；3)宜支持入侵檢測，實(shí)現(xiàn)用戶權(quán)限管理，能記錄和警告非授權(quán)訪問；4)宜支持邊用戶身份校驗(yàn)，實(shí)現(xiàn)應(yīng)用授權(quán)訪問。c)端側(cè)：1)宜支持秘鑰管理，對云側(cè)下發(fā)到端側(cè)模型實(shí)施身份校驗(yàn)；2)宜支持推理數(shù)據(jù)本地加解密；3)宜能在模型上傳至云側(cè)或邊側(cè)進(jìn)行推理前，加密模型；4)宜能在終端設(shè)備使用虛擬機(jī)或容器時，在多終端設(shè)備間實(shí)現(xiàn)基于虛擬機(jī)或容器的安全隔離機(jī)制。7.3.4集合通信庫集合通信庫符合如下要求：a)應(yīng)實(shí)現(xiàn)AI加速卡間或AI加速器間通信（如云側(cè)內(nèi)部分布式訓(xùn)練所需的通信）；b)應(yīng)能在下列至少1項集合通信拓?fù)浣Y(jié)構(gòu)上工作：1）全網(wǎng)狀結(jié)構(gòu)(FullMesh)；2）星形拓?fù)浣Y(jié)構(gòu)（Star）；3）環(huán)形拓?fù)浣Y(jié)構(gòu)（Ring）；4）樹拓?fù)浣Y(jié)構(gòu)（Tree）；5）3DTorus拓?fù)浣Y(jié)構(gòu)；6）Dragonfly拓?fù)浣Y(jié)構(gòu)。c)宜實(shí)現(xiàn)同步機(jī)制或超時控制機(jī)制；d)應(yīng)支持或兼容至少1種集合通信協(xié)議，如RoCE或RDMA等；e)應(yīng)支持集合通信效率衡量指標(biāo)，如延時、延時方差、延時均值等；f)應(yīng)實(shí)現(xiàn)統(tǒng)一的集合通信接口，宜符合GB/TAAAAA—202X的要求。7.4云云協(xié)同要求云云協(xié)同的框架如圖3所示，協(xié)同過程符合以下要求：9GB/TXXXXX.1—XXXX圖3云云協(xié)同框架a)應(yīng)實(shí)現(xiàn)有中心調(diào)度或無中心調(diào)度（如基于云聯(lián)邦的調(diào)度）；b)對有中心調(diào)度，中心調(diào)度器：1)應(yīng)能收集和監(jiān)視全網(wǎng)計算資源的狀態(tài)；2)應(yīng)能跨云（或計算中心）調(diào)度作業(yè)，轉(zhuǎn)發(fā)和傳輸作業(yè)運(yùn)行數(shù)據(jù)；3)宜實(shí)現(xiàn)至少1種調(diào)度策略（如負(fù)載感知調(diào)度、價格感知調(diào)度、網(wǎng)絡(luò)感知調(diào)度或數(shù)據(jù)感知調(diào)度等）。c)對有中心調(diào)度，調(diào)度適配器：1)應(yīng)能收集調(diào)度器資源和作業(yè)執(zhí)行狀態(tài)信息，并上報至中心調(diào)度器；2)宜能向授權(quán)用戶提供統(tǒng)一視圖，使其能驅(qū)動特定計算資源執(zhí)行計算任務(wù)。d)宜實(shí)現(xiàn)基于統(tǒng)一賬戶的認(rèn)證和確權(quán)；e)宜實(shí)現(xiàn)統(tǒng)一計算消耗計量和計費(fèi)。7.5云邊端協(xié)同要求7.5.1管理協(xié)同GB/TXXXXX.1—XXXX圖4云邊端協(xié)同框架云邊端協(xié)同框架見圖4，管理協(xié)同符合如下要求：a)應(yīng)支持邊側(cè)或端側(cè)中單節(jié)點(diǎn)或節(jié)點(diǎn)組管理；b)應(yīng)支持邊緣或終端異構(gòu)設(shè)備（如使用不同類型的AI加速處理器）的管理，提供統(tǒng)一的管理接口；c)應(yīng)支持邊緣計算任務(wù)監(jiān)控，包含運(yùn)行于容器中的應(yīng)用；d)應(yīng)支持操作系統(tǒng)異構(gòu)（如基于Linux的操作系統(tǒng)，Android，Windows等）邊緣設(shè)備的管理和任務(wù)協(xié)同；e)應(yīng)為邊緣或終端設(shè)備提供統(tǒng)一運(yùn)行時組件，屏蔽邊緣或終端設(shè)備操作系統(tǒng)差異；f)應(yīng)支持邊緣許可證的管理和使用，宜能根據(jù)許可信息控制邊緣AI計算任務(wù)的數(shù)量、數(shù)據(jù)接入路數(shù)（如攝像頭視頻數(shù)據(jù)）、請求并發(fā)度閾值或使用時長；g)應(yīng)支持模型加密；h)應(yīng)支持秘鑰的云側(cè)加密保存；i)應(yīng)支持基于秘鑰的邊緣模型運(yùn)行控制（運(yùn)行前需解密模型）；j)應(yīng)支持秘鑰的云側(cè)導(dǎo)出和邊緣本地秘鑰導(dǎo)入解密；k)應(yīng)支持邊緣設(shè)備上用于模型解密的證書的合法性校驗(yàn)；l)宜支持遠(yuǎn)程安全鏈接（如SSL）登錄、監(jiān)視、調(diào)試邊緣設(shè)備；m)應(yīng)支持云側(cè)對邊緣設(shè)備的監(jiān)控，或邊緣設(shè)備本地的監(jiān)控，監(jiān)控的對象包含設(shè)備內(nèi)存、磁盤、AI加速處理器使用率，宜支持運(yùn)行異常警告；n)宜能管理不小于128個邊緣節(jié)點(diǎn)；o)宜支持至少2類設(shè)備的接入，如：1)移動通信終端（如手機(jī)、計算機(jī)）；2)攝像機(jī)；3)智能機(jī)器人；4)物聯(lián)網(wǎng)傳感器；5)激光雷達(dá)、毫米波雷達(dá)；6)信號機(jī)；7)氣象要素傳感器；8)道路單元。GB/TXXXXX.1—XXXXb)宜支持基于圖形界面的邊緣或終端設(shè)備管理。7.5.2任務(wù)協(xié)同云邊任務(wù)協(xié)同，符合以下要求：a)應(yīng)支持云上模型訓(xùn)練、邊緣或終端側(cè)部署、推理的協(xié)同模式；b)應(yīng)支持向邊緣設(shè)備或終端設(shè)備直接部署含有模型的容器；c)應(yīng)支持大模型在邊緣或終端的部署及推理（在邊緣或終端設(shè)備功能允許時）；d)應(yīng)支持邊緣或終端設(shè)備（在云側(cè)注冊后）的離線運(yùn)行；e)應(yīng)支持對邊緣或終端設(shè)備的功能或服務(wù)實(shí)施查詢和配置（如服務(wù)名稱、狀態(tài)、請求模式、部署方式、創(chuàng)建時間、描述等）；f)應(yīng)支持邊緣AI計算任務(wù)的啟動和停止；g)宜支持邊緣AI計算任務(wù)的創(chuàng)建、查詢、修改和刪除；h)宜支持設(shè)定邊緣AI計算任務(wù)的運(yùn)行計劃配置（如按時段或固定頻率）；i)宜支持邊緣或終端設(shè)備上應(yīng)用的服務(wù)次數(shù)統(tǒng)計（如調(diào)用次數(shù)、調(diào)用成功率等）；j)宜支持基于多個邊緣設(shè)備形成資源池，實(shí)現(xiàn)以下功能：1)資源池創(chuàng)建、狀態(tài)查詢、配置修改（如修改描述、邊緣節(jié)點(diǎn)等）；2)池內(nèi)設(shè)備間的負(fù)載均衡，自動分發(fā)請求、調(diào)度和利用邊緣或終端設(shè)備；3)池內(nèi)設(shè)備節(jié)點(diǎn)管理，包含節(jié)點(diǎn)創(chuàng)建、修改、刪除、激活、去活、狀態(tài)查詢。k)宜支持邊緣模型回流到云上的增量訓(xùn)練；l)宜支持邊緣節(jié)點(diǎn)從云側(cè)獲取鏡像完成本地更新；m)在邊緣或終端計算任務(wù)運(yùn)行期間，邊緣或終端設(shè)備宜能接收云側(cè)下發(fā)的模型，完成模型更新。7.5.3數(shù)據(jù)協(xié)同云邊數(shù)據(jù)協(xié)同，符合以下要求：a)應(yīng)實(shí)現(xiàn)梯度數(shù)據(jù)和增量樣本數(shù)據(jù)的云側(cè)壓縮和傳輸（在云側(cè)與邊緣或終端之間包含邊緣推理數(shù)據(jù)（在授權(quán)狀態(tài)下）回流云側(cè)；b)應(yīng)用于多媒體處理場景的邊側(cè)或端側(cè)設(shè)備，符合以下要求：1)應(yīng)支持云側(cè)、其它邊側(cè)或終端設(shè)備之間的數(shù)據(jù)轉(zhuǎn)發(fā)或互訪；2)宜支持多媒體數(shù)據(jù)的轉(zhuǎn)碼、點(diǎn)播、直播、錄像和檢索；3)宜支持地圖數(shù)據(jù)的共享分發(fā)。c)邊側(cè)設(shè)備支持?jǐn)?shù)據(jù)存儲時，符合以下要求：1)應(yīng)能將推理結(jié)果的本地緩存；2)應(yīng)能存儲媒體數(shù)據(jù)、關(guān)系型數(shù)據(jù)（如通過數(shù)據(jù)庫實(shí)現(xiàn)）、鍵值數(shù)據(jù)或時序數(shù)據(jù)。d)應(yīng)支持?jǐn)?shù)據(jù)實(shí)時傳遞（如監(jiān)視器或攝像機(jī)采集的視頻數(shù)據(jù)回傳云側(cè)分析）。7.6多端協(xié)同要求7.6.1多端數(shù)據(jù)協(xié)同GB/TXXXXX.1—XXXX圖5多端協(xié)同框架多端協(xié)同框架示意見圖5。多端數(shù)據(jù)協(xié)同，符合以下要求：a)應(yīng)能在多個終端設(shè)備間傳輸數(shù)據(jù)，實(shí)現(xiàn)設(shè)備間的數(shù)據(jù)讀寫；b)應(yīng)支持多端、多模數(shù)據(jù)（至少2種模態(tài)）融合；c)宜實(shí)現(xiàn)離線時數(shù)據(jù)在端側(cè)設(shè)備的自動保存；d)宜支持端側(cè)對云側(cè)或邊側(cè)的自動數(shù)據(jù)同步（網(wǎng)絡(luò)狀態(tài)允許時）。7.6.2多端設(shè)備協(xié)同多端協(xié)同系統(tǒng)，應(yīng)支持跨設(shè)備的輸入、輸出（如攝像機(jī)捕捉的影像，直接在大屏顯示，并不需在移動通信終端等主控端介入或協(xié)調(diào)）。7.6.3多端計算協(xié)同多端協(xié)同系統(tǒng)，符合以下計算協(xié)同要求：a)應(yīng)能拆分并分配任務(wù)到多個端側(cè)設(shè)備上，分別計算完成后整合、返回結(jié)果；b)應(yīng)支持以下推理計算任務(wù)：1)發(fā)起、拆分、分發(fā)和管理推理任務(wù)；2)端側(cè)設(shè)備能依據(jù)自身計算、存儲資源動態(tài)加載對應(yīng)模型；3)端側(cè)設(shè)備能按節(jié)點(diǎn)狀態(tài)、網(wǎng)絡(luò)狀態(tài)、計算功耗等因素判斷并選擇協(xié)同模式；4)端側(cè)實(shí)現(xiàn)容錯機(jī)制，包含異常檢測、任務(wù)重試和失敗重發(fā)。8云邊端分布式計算協(xié)同接口8.1邊緣節(jié)點(diǎn)管理8.1.1概述邊緣AI計算節(jié)點(diǎn)管理過程的示意見圖6，管理操作含節(jié)點(diǎn)查詢、刪除和注冊等。GB/TXXXXX.1—XXXX圖6邊緣節(jié)點(diǎn)和節(jié)點(diǎn)組的管理8.1.2接口邊緣節(jié)點(diǎn)管理的接口，應(yīng)符合表1~表3的要求：表1注冊設(shè)備邊緣或終端設(shè)注冊特定邊緣或終端接口在特定系統(tǒng)中實(shí)現(xiàn)時，可根據(jù)系統(tǒng)需求增加參數(shù)（如指定AI加速表2查詢設(shè)備查詢設(shè)使用設(shè)備標(biāo)識查詢返GB/TXXXXX.1—XXXX設(shè)備在設(shè)備組中的工作類型a。包接口在特定系統(tǒng)中實(shí)現(xiàn)時，可根據(jù)系統(tǒng)需求增加參數(shù)（如指定AI加速表3刪除、啟動或停止設(shè)備動或停止邊緣或終端在某些系統(tǒng)中，刪除、啟動、停止設(shè)備可分為多8.2部署及更新8.2.1概述模型或應(yīng)用從云