版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
ICS號(hào)
中國(guó)標(biāo)準(zhǔn)文獻(xiàn)分類(lèi)號(hào)
CES
團(tuán)體標(biāo)準(zhǔn)
T/CESXXX?XXXX
人工智能平臺(tái)多級(jí)協(xié)同規(guī)范
Multilevelcollaborationspecificationofartificialintelligenceplatforminpower
industry
(征求意見(jiàn)稿)
XXXX-XX-XX發(fā)布XXXX-XX-XX實(shí)施
T/CESXXX?XXXX
人工智能平臺(tái)多級(jí)協(xié)同規(guī)范
1范圍
本標(biāo)準(zhǔn)規(guī)定了面向輸電、變電、配電等電力領(lǐng)域的人工智能平臺(tái)多級(jí)協(xié)同規(guī)范,包括人工智能平臺(tái)
多級(jí)協(xié)同架構(gòu)、多級(jí)人工智能云平臺(tái)樣本協(xié)同要求、多級(jí)人工智能云平臺(tái)模型協(xié)同要求、邊端側(cè)樣本協(xié)
同要求、邊端側(cè)模型協(xié)同。
本標(biāo)準(zhǔn)適用于電工行業(yè)人工智能平臺(tái)多級(jí)云側(cè)、邊側(cè)、端側(cè)樣本、模型共享和管理的多級(jí)協(xié)同。
2規(guī)范性引用文件
下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件,僅注日期的版本適用于本文件。
凡是不注日期的引用文件,其最新版本(包括所有的修改單)適用于本文件。
GB/T5271.1—2000信息技術(shù)詞匯第1部分:基本術(shù)語(yǔ)
DL∕T1731-2017電力信息系統(tǒng)非功能性需求規(guī)范
3術(shù)語(yǔ)和定義
GB/T5271.1—2000界定的以及下列術(shù)語(yǔ)和定義適用于本文件。為了便于使用,以下重復(fù)列出了GB/T
5271.1—2000中的某些術(shù)語(yǔ)和定義。
3.1人工智能平臺(tái)artificialintelligenceplatform
具備樣本管理、模型管理、平臺(tái)管理、服務(wù)接口管理、安全管理及跨域協(xié)同功能的人工智能軟件系
統(tǒng)。平臺(tái)包含面向電工領(lǐng)域的算法模型庫(kù)和樣本數(shù)據(jù)庫(kù),整合多種主流機(jī)器學(xué)習(xí)計(jì)算框架,支持從數(shù)據(jù)
集選擇樣本、模型創(chuàng)建、訓(xùn)練并部署運(yùn)行為服務(wù)的全流程統(tǒng)一管理。
3.2樣本中心samplecenter
統(tǒng)一管理和存儲(chǔ)樣本數(shù)據(jù),并提供樣本資源的調(diào)用服務(wù),包含樣本索引、樣本源文件、樣本標(biāo)注、
樣本管理等,為模型訓(xùn)練等提供支撐,在多級(jí)協(xié)同中負(fù)責(zé)樣本協(xié)同,實(shí)現(xiàn)樣本的共享。
3.3模型中心modelcenter
統(tǒng)一管理和存儲(chǔ)模型,并提供模型資源的調(diào)用服務(wù),包含模型索引、模型文件、模型訓(xùn)練、模型部
署、模型管理,在多級(jí)協(xié)同中負(fù)責(zé)模型協(xié)同,實(shí)現(xiàn)模型的共享。
3.4資源resource
執(zhí)行所要求的操作而必需的數(shù)據(jù)處理系統(tǒng)的任何組成部分。
[GB/T5271.1—2000,定義01.01.23]
3.5配置configuration
4
T/CESXXX?XXXX
信息處理系統(tǒng)中的硬件和軟件組織和互連起來(lái)的方式。
[GB/T5271.1—2000,定義01.01.26]
3.6接口interface
兩個(gè)功能單元共享的邊界,它由各種特征(如功能、物理互連、信號(hào)交換等)來(lái)定義。
[GB/T5271.1—2000,定義01.01.38]
3.7數(shù)據(jù)標(biāo)注dataannotation
對(duì)未經(jīng)處理的數(shù)據(jù),包括語(yǔ)音、圖片、文本、視頻等進(jìn)行加工處理,轉(zhuǎn)換為機(jī)器可識(shí)別信息的過(guò)程。
3.8樣本索引sampleindex
樣本邏輯存儲(chǔ)的位置信息,包含樣本路徑、索引、管理服務(wù),按樣本來(lái)源、領(lǐng)域分類(lèi)。
3.9模型索引modelindex
模型邏輯存儲(chǔ)的位置信息,包含模型路徑、索引、管理服務(wù),按模型來(lái)源、領(lǐng)域分類(lèi)。
3.10模型部署modeldeployment
提供模型部署接口,封裝模型的屬性和實(shí)現(xiàn)細(xì)節(jié),設(shè)置屬性的讀取和修改的訪(fǎng)問(wèn)權(quán)限。
3.11邊側(cè)edgeside
網(wǎng)絡(luò)運(yùn)營(yíng)商或者服務(wù)提供商的IT資源,對(duì)數(shù)據(jù)進(jìn)行匯聚、存儲(chǔ)和處理。
3.12端側(cè)terminalside
終端設(shè)備,如無(wú)人機(jī)、機(jī)器人、攝像頭、智能執(zhí)法儀、智能融合終端、移動(dòng)終端、聲音采集裝置等。
3.13邊緣物聯(lián)網(wǎng)關(guān)IoTedgeagent
部署于邊緣側(cè)的裝置或軟件模塊,利用本地通信網(wǎng)絡(luò)對(duì)(智能)傳感器、采集控制終端、表計(jì)、監(jiān)
測(cè)裝置等終端進(jìn)行統(tǒng)一接入,實(shí)現(xiàn)對(duì)多種通信方式和協(xié)議規(guī)約的適配,根據(jù)統(tǒng)一邊緣計(jì)算框架對(duì)數(shù)據(jù)進(jìn)
行邊緣處理和標(biāo)準(zhǔn)化建模,并接受來(lái)自云側(cè)的模型文件并進(jìn)行下發(fā),安全連接至物聯(lián)網(wǎng)平臺(tái)。
3.14物聯(lián)網(wǎng)平臺(tái)IoTPlatform
連接邊側(cè)設(shè)備與云側(cè)相關(guān)業(yè)務(wù)系統(tǒng),提供資源配置、數(shù)據(jù)匯集、基礎(chǔ)管理的信息系統(tǒng),支持連接管
理,網(wǎng)絡(luò)管理,設(shè)備管理、用戶(hù)管理等功能,一方面位于物聯(lián)網(wǎng)設(shè)備層、物聯(lián)網(wǎng)網(wǎng)關(guān)之間,另一方面位
于應(yīng)用程序之間。
4縮略語(yǔ)
下列縮略語(yǔ)適用于本文件。
FTP:文件傳輸協(xié)議(FileTransferProtocol)
FTPS:加密文件傳輸協(xié)議(FTPoverSSL)
HTTPS:超文本傳輸安全協(xié)議(HyperTextTransferProtocoloverSecureSocketLayer)
JSON:JS對(duì)象簡(jiǎn)譜(JavaScriptObjectNotation)
NFS:網(wǎng)絡(luò)文件系統(tǒng)(NetworkFileSystem)
5
T/CESXXX?XXXX
POSIX:可移植操作系統(tǒng)接口(PortableOperatingSystemInterface)
RESTful:表述性狀態(tài)傳遞(RepresentationalStateTransfer)
S3:簡(jiǎn)單存儲(chǔ)服務(wù)(SimpleStorageService)
SFTP:安全文件傳輸協(xié)議(SecureFileTransferProtocol)
URL:統(tǒng)一資源定位器(UniformResourceLocator)
5G:第五代移動(dòng)通信技術(shù)(5thGenerationMobileCommunicationTechnology)
5人工智能平臺(tái)多級(jí)協(xié)同架構(gòu)
人工智能平臺(tái)主要組成部分包含樣本中心、模型中心,其中樣本中心主要作用為樣本資源管理,模
型中心主要作用為模型算法管理、模型服務(wù)部署,包括模型訓(xùn)練、算法管理、算力管理等。與一般信息
系統(tǒng)相比更加關(guān)注人工智能相關(guān)能力的整合,并且關(guān)注在多層級(jí)的電力企業(yè)組織結(jié)構(gòu)中不同層級(jí)平臺(tái)之
間的協(xié)同。特別在模型相關(guān)部分能夠整合算力資源、管理樣本、統(tǒng)籌部署模型服務(wù),使得組織能夠更高
效地支撐電力領(lǐng)域輸電、變電、配電人工智能需求。
5.1協(xié)同框架
人工智能平臺(tái)多級(jí)協(xié)同架構(gòu)從框架上規(guī)范樣本、模型數(shù)據(jù)在云-邊-端模式下的數(shù)據(jù)協(xié)同、流轉(zhuǎn)機(jī)制,
平臺(tái)分為云側(cè)、邊側(cè)、端層,其中云側(cè)又細(xì)分為中心云、區(qū)域云,對(duì)應(yīng)多層級(jí)電力企業(yè)組織結(jié)構(gòu)中的總
部側(cè)、下級(jí)單位側(cè),人工智能平臺(tái)云、邊、端多級(jí)協(xié)同結(jié)構(gòu)如圖1所示,下列為具體協(xié)同內(nèi)容:
圖1人工智能平臺(tái)多級(jí)協(xié)同總體架構(gòu)
a)云側(cè)中心云、云側(cè)區(qū)域云之間協(xié)同管理應(yīng)包括樣本資源、樣本管理、模型資源、模型管理,樣
本中心包含樣本源文件、樣本標(biāo)注、樣本元信息、樣本索引之間的協(xié)同管理,模型中心包含模
型源文件、模型元信息、模型索引之間的協(xié)同管理,物聯(lián)網(wǎng)平臺(tái)負(fù)責(zé)模型發(fā)送、模型服務(wù)、模
型狀態(tài)信息的協(xié)同管理;
b)云側(cè)、邊側(cè)之間協(xié)同管理應(yīng)包括樣本、模型,模型包含樣模型推送、模型服務(wù)、模型狀態(tài)信息、
物聯(lián)網(wǎng)關(guān)的協(xié)同,樣本包含樣本源文件、樣本元信息的協(xié)同;
6
T/CESXXX?XXXX
c)邊側(cè)、端側(cè)之間協(xié)同管理應(yīng)包括樣本、模型,模型包含樣模型發(fā)送、模型服務(wù)、模型狀態(tài)信息
的協(xié)同,樣本包含樣本元信息、樣本源文件的協(xié)同;
5.2協(xié)同機(jī)制
5.2.1云側(cè)中心云與云側(cè)區(qū)域云之間
中心云與區(qū)域云之間的協(xié)同機(jī)制包括模型協(xié)同機(jī)制和樣本協(xié)同機(jī)制,詳細(xì)機(jī)制如下:
a)樣本協(xié)同機(jī)制,中心云和區(qū)域云通過(guò)接口服務(wù)實(shí)現(xiàn)樣本協(xié)同。中心云樣本中心應(yīng)具有樣本資源
管理功能,并對(duì)區(qū)域云開(kāi)放服務(wù)接口,區(qū)域云樣本中心具有調(diào)用中心云樣本資源服務(wù)接口能力。
1)區(qū)域云應(yīng)能夠通過(guò)樣本中心調(diào)用中心云開(kāi)放的服務(wù)接口實(shí)現(xiàn)樣本中心中樣本資源索引的
增、刪、改、查,中心云樣本中心應(yīng)具備樣本資源索引的增、刪、改、查的能力;區(qū)域云
應(yīng)具備調(diào)用中心云開(kāi)放的文件上傳、下載服務(wù)能力;應(yīng)能夠調(diào)用中心云查詢(xún)服務(wù)接口,展
示中心云中樣本資源信息,中心云需開(kāi)放樣本上傳、下載接口,樣本資源查詢(xún)接口;
2)中心云應(yīng)具備樣本資源審查功能,對(duì)上傳、下載的文件審查,對(duì)上傳下載請(qǐng)求進(jìn)行審查,
審核通過(guò)后,完成文件在樣本中心之間的上傳和下載。
b)模型協(xié)同機(jī)制,中心云和區(qū)域云通過(guò)接口服務(wù)實(shí)現(xiàn)模型協(xié)同。中心云的模型中心應(yīng)具有模型資
源索引、模型文件、模型訓(xùn)練、模型服務(wù)等功能,并對(duì)區(qū)域云開(kāi)放服務(wù)接口,區(qū)域云模型中心
應(yīng)具有調(diào)用中心云模型資源索引、模型文件、模型服務(wù)、模型訓(xùn)練接口的能力。
1)區(qū)域云應(yīng)能夠調(diào)用中心云開(kāi)放的服務(wù)接口實(shí)現(xiàn)模型中心模型資源索引的增、刪、改、查,
中心云模型中心應(yīng)具備模型資源索引的增、刪、改、查的能力;區(qū)域云應(yīng)能夠調(diào)用中心云模文
件上傳、下載接口,實(shí)現(xiàn)模型源文件、模型元信息上傳至中心云的模型中心和下載至區(qū)域云的
模型中心;應(yīng)能夠調(diào)用中心云查詢(xún)接口,展示中心云中模型資源信息,中心云需開(kāi)放模型上傳、
下載接口,模型資源查詢(xún);
2)中心云應(yīng)具備模型資源審查能力,對(duì)上傳、下載的文件審查,對(duì)上傳下載請(qǐng)求進(jìn)行審查,
審核通過(guò)后,實(shí)現(xiàn)文件在模型中心之間的上傳和下載;
3)區(qū)域云應(yīng)能夠調(diào)用中心云模型推理服務(wù)接口,實(shí)現(xiàn)模型的云端調(diào)用,中心云需具有模型部
署能力并提供接口,并審查服務(wù)接口調(diào)用請(qǐng)求;區(qū)域云應(yīng)能夠調(diào)用中心云模型狀態(tài)接收接口,
實(shí)現(xiàn)模型運(yùn)行信息的上傳,中心云應(yīng)提供狀態(tài)信息接收服務(wù)、請(qǐng)求審查服務(wù);
4)區(qū)域云應(yīng)能夠調(diào)用中心云模型訓(xùn)練接口,實(shí)現(xiàn)模型的云端訓(xùn)練,中心云應(yīng)具有模型訓(xùn)練能
力并提供接口,并審查服務(wù)接口調(diào)用請(qǐng)求;區(qū)域云應(yīng)能夠調(diào)用中心云訓(xùn)練狀態(tài)查詢(xún)接口,展示
中心云中模型訓(xùn)練狀態(tài)信息,中心云應(yīng)提供狀態(tài)信息查詢(xún)服務(wù)、請(qǐng)求審查服務(wù)。
5.2.2區(qū)域云側(cè)與邊側(cè)之間
云側(cè)與邊側(cè)之間的協(xié)同機(jī)制包括模型協(xié)同機(jī)制和樣本協(xié)同機(jī)制,詳細(xì)機(jī)制如下所示:
a)樣本協(xié)同機(jī)制,區(qū)域云側(cè)與邊側(cè)通過(guò)邊緣物聯(lián)網(wǎng)關(guān)實(shí)現(xiàn)樣本協(xié)同。區(qū)域云側(cè)的樣本中心應(yīng)具有
樣本接收、樣本采集配置下發(fā)等功能和服務(wù),邊側(cè)應(yīng)具有樣本采集配置接收、樣本上傳的功能
和服務(wù);邊側(cè)應(yīng)能夠通過(guò)邊緣物聯(lián)網(wǎng)關(guān)實(shí)現(xiàn)樣本源文件、樣本元信息上傳至區(qū)域云;
b)模型協(xié)同機(jī)制,區(qū)域云側(cè)與邊側(cè)通過(guò)邊緣物聯(lián)網(wǎng)關(guān)實(shí)現(xiàn)模型協(xié)同。
1)區(qū)域云應(yīng)具有模型發(fā)送、更新、模型狀態(tài)信息接收等功能和服務(wù),邊側(cè)應(yīng)具有模型接收、
模型運(yùn)行、模型狀態(tài)信息上傳服務(wù);
7
T/CESXXX?XXXX
2)邊側(cè)應(yīng)具備模型部署運(yùn)行能力,并具有模型運(yùn)行狀態(tài)信息上傳接口,區(qū)域云應(yīng)能夠通過(guò)模
型狀態(tài)信息接收服務(wù)收集模型運(yùn)行狀態(tài)信息。
5.2.3邊側(cè)與端側(cè)之間
邊側(cè)與側(cè)之間的協(xié)同機(jī)制包括模型協(xié)同機(jī)制和樣本協(xié)同機(jī)制,詳細(xì)機(jī)制如下所:
a)樣本協(xié)同機(jī)制;
1)邊側(cè)應(yīng)具有樣本接收、樣本采集配置下發(fā)等功能和服務(wù),端側(cè)應(yīng)具有樣本采集配置接收、
樣本上傳的功能和服務(wù),實(shí)現(xiàn)端側(cè)樣本源文件、樣本元信息上傳至邊側(cè);樣本傳輸宜支持5G
方式,傳輸應(yīng)具備加密能力;
b)模型協(xié)同機(jī)制;
1)邊側(cè)應(yīng)具有模型發(fā)送、更新、模型狀態(tài)信息接收等功能和服務(wù),端側(cè)應(yīng)具有模型接收、模
型運(yùn)行、模型狀態(tài)信息上傳服務(wù),模型傳輸宜支持5G方式,傳輸應(yīng)具備加密能力;
2)端側(cè)應(yīng)具備模型部署運(yùn)行能力,應(yīng)具備模型運(yùn)行狀態(tài)信息上傳接口,邊側(cè)應(yīng)能夠通過(guò)模型
狀態(tài)信息接收服務(wù)收集模型運(yùn)行狀態(tài)信息。
5.3技術(shù)規(guī)范
5.3.1樣本協(xié)同機(jī)制規(guī)范
樣本數(shù)據(jù)規(guī)范與接口規(guī)范:
a)樣本元數(shù)據(jù)采用宜采用JSON或XML格式;
b)接口協(xié)議宜采用HTTP/HTTPS、SFTP、FTPS,HTTP/HTTPS請(qǐng)求宜采用GET、POST、PUT、PATCH
和DELETE方法;
c)服務(wù)接口風(fēng)格可采用RESTful方式進(jìn)行設(shè)計(jì)。
5.3.2模型協(xié)同機(jī)制規(guī)范
模型規(guī)范與接口規(guī)范:
a)模型文件格式應(yīng)為模型參數(shù)和模型結(jié)構(gòu)文件或模型鏡像;
b)模型元數(shù)據(jù)采用宜采用JSON或XML格式;
c)接口協(xié)議宜采用HTTP/HTTPS、SFTP、FTPS,HTTP/HTTPS請(qǐng)求宜采用GET、POST、PUT、PATCH
或DELETE方法;
d)服務(wù)接口可采用RESTful方式進(jìn)行設(shè)計(jì)。
6多級(jí)人工智能云平臺(tái)樣本中心協(xié)同要求
6.1概覽
8
T/CESXXX?XXXX
圖2人工智能平臺(tái)樣本多級(jí)協(xié)同架構(gòu)
多級(jí)人工智能云平臺(tái)以中心云側(cè)的樣本審查為為關(guān)鍵點(diǎn)實(shí)現(xiàn)樣本的協(xié)同,在中心云側(cè)具有樣本資源
相關(guān)文件的物理存儲(chǔ)和樣本索引相關(guān)的邏輯存儲(chǔ)功能。物理存儲(chǔ)過(guò)程為區(qū)域云側(cè)將樣本源文件、樣本標(biāo)
注等樣本資源上傳,中心云審查通過(guò)后,中心云側(cè)更新樣本資源,包含樣本文件、樣本索引的協(xié)同;邏
輯存儲(chǔ)過(guò)程為區(qū)域云側(cè)上傳樣本索引,中心云審查通過(guò)后,中心云側(cè)更新樣本索引,包含樣本索引的協(xié)
同。
6.2樣本傳輸機(jī)制
樣本元信息宜采用http/https接口方式實(shí)現(xiàn)上傳和下載,數(shù)據(jù)應(yīng)使用JSON格式。樣本源文件、樣本
標(biāo)注等文件資源可使用S3存儲(chǔ)協(xié)議、掛載方式posix協(xié)議或hdfs接口方式,實(shí)現(xiàn)單個(gè)或批量的樣本按來(lái)
源和領(lǐng)域傳輸至對(duì)象存儲(chǔ)服務(wù)器分區(qū)存儲(chǔ)。
6.3樣本資源協(xié)同機(jī)制
樣本資源協(xié)同機(jī)制包括樣本元信息上傳與下載、樣本元信息查詢(xún)、樣本源文件上傳與下載、標(biāo)注樣
本上傳與下載等能力。中心云側(cè)提供樣本資源上傳、下載、查詢(xún)服務(wù)與接口。
a)樣本資源上傳與下載。區(qū)域云側(cè)調(diào)用中心云樣本資源上傳接口,實(shí)現(xiàn)將樣本中心的樣本資源上
傳至中心云的樣本中心,區(qū)域云側(cè)調(diào)用中心云樣本資源下載接口,實(shí)現(xiàn)將中心云樣本中心的樣
本資源下載至區(qū)域云的樣本中心,樣本資源包含樣本源信息、樣本源文件、樣本標(biāo)注;
b)樣本資源查詢(xún)。區(qū)域云調(diào)用中心云的樣本資源查詢(xún)接口,中心云審查后,實(shí)現(xiàn)對(duì)中心云樣本中
心樣本資源的查詢(xún)。
6.4樣本索引協(xié)同機(jī)制
樣本索引的協(xié)同管理機(jī)制中,中心云側(cè)應(yīng)具有樣本索引新增、刪除、修改、查詢(xún)、上傳等能力和服
務(wù)。
9
T/CESXXX?XXXX
a)樣本索引上傳與新增。區(qū)域云通過(guò)調(diào)用中心云側(cè)樣本索引上傳接口,實(shí)現(xiàn)將區(qū)域云側(cè)樣本索引
上傳至中心云樣本中心,中心側(cè)審查通過(guò)后判斷是否為新增索引;
b)樣本索引修改與刪除。區(qū)域云通過(guò)調(diào)用中心云側(cè)樣本索引修改或刪除接口,中心側(cè)審查通過(guò)后,
實(shí)現(xiàn)對(duì)區(qū)域云側(cè)樣本中心中樣本索引的修改或刪除;
c)樣本索引查詢(xún)。區(qū)域云調(diào)用中心云的樣本索引查詢(xún)接口,中心云審查后,獲得樣本索引信息,
實(shí)現(xiàn)對(duì)中心云樣本中心樣本索引的查詢(xún)。
6.5技術(shù)規(guī)范
6.5.1樣本元信息定義要求
樣本元信息應(yīng)包含字段屬性見(jiàn)附錄B.1表B.1.1。
6.5.2樣本資源格式和大小要求
樣本資源文件應(yīng)以壓縮包方式進(jìn)行協(xié)同,對(duì)要協(xié)同的所有樣本應(yīng)打包成一個(gè)壓縮文件,具體要求如
下:
a)壓縮包應(yīng)支持tar、zip格式,大小宜限制在5GB以?xún)?nèi);
b)單個(gè)樣本資源壓縮包包含的樣本宜在10萬(wàn)個(gè)以?xún)?nèi)。
7多級(jí)人工智能云平臺(tái)模型中心協(xié)同要求
7.1概覽
圖3人工智能平臺(tái)模型多級(jí)協(xié)同架構(gòu)
多級(jí)人工智能云平臺(tái)以中心云側(cè)的模型審查為為關(guān)鍵點(diǎn)實(shí)現(xiàn)模型的協(xié)同,在中心云側(cè)具有模型資源
相關(guān)文件的物理存儲(chǔ)和模型索引相關(guān)的邏輯存儲(chǔ)功能。物理存儲(chǔ)過(guò)程為區(qū)域云側(cè)將模型源文件、模型元
10
T/CESXXX?XXXX
信息等模型資源上傳,中心云審查通過(guò)后,中心云側(cè)更新模型資源,包含模型源文件、模型元信息、模
型索引的協(xié)同;邏輯存儲(chǔ)過(guò)程為區(qū)域云側(cè)上傳模型索引,中心云審查通過(guò)后,中心云側(cè)更新模型索引,
包含模型索引的協(xié)同。
7.2模型資源傳輸機(jī)制
模型元信息宜采用http/https接口方式實(shí)現(xiàn)上傳和下載,數(shù)據(jù)應(yīng)使用JSON格式。模型源文件資源
可使用S3存儲(chǔ)協(xié)議、掛載方式posix協(xié)議或hdfs接口方式,實(shí)現(xiàn)單個(gè)或批量的模型資源按來(lái)源和領(lǐng)域
傳輸至對(duì)象存儲(chǔ)服務(wù)器分區(qū)存儲(chǔ)。
7.3模型資源協(xié)同機(jī)制
模型資源協(xié)同機(jī)制包括模型資源上傳與下載、模型元信息查詢(xún)等能力。中心云側(cè)提供模型資源上傳、
下載、查詢(xún)服務(wù)與接口。
a)模型資源上傳與下載。區(qū)域云側(cè)調(diào)用中心云模型資源上傳接口,實(shí)現(xiàn)將模型中心的模型資源上
傳至中心云的模型中心,區(qū)域云側(cè)調(diào)用中心云模型資源下載接口,實(shí)現(xiàn)將中心云模型中心的樣
本資源下載至區(qū)域云的模型中心,模型資源包含模型元信息、模型文件;
b)模型元信息查詢(xún)。區(qū)域云調(diào)用中心云的模型資源查詢(xún)接口,中心云審查后,實(shí)現(xiàn)對(duì)中心云模型
中心模型資源的查詢(xún);
7.4模型索引協(xié)同機(jī)制
模型索引的協(xié)同管理機(jī)制中,中心云側(cè)應(yīng)具有模型索引新增、刪除、修改、查詢(xún)、上傳等能力和服
務(wù)。
a)模型索引上傳與新增。區(qū)域云通過(guò)調(diào)用中心云側(cè)模型索引上傳接口,實(shí)現(xiàn)將區(qū)域云側(cè)模型索引
上傳至中心云模型中心,中心側(cè)審查通過(guò)后判斷是否為新增索引;
b)模型索引修改與刪除。區(qū)域云通過(guò)調(diào)用中心云側(cè)模型索引修改或刪除接口,中心側(cè)審查通過(guò)后,
實(shí)現(xiàn)對(duì)區(qū)域云側(cè)模型中心中樣本索引的修改或刪除;
c)模型索引查詢(xún)。區(qū)域云調(diào)用中心云的模型索引查詢(xún)接口,中心云審查后,獲得模型索引信息,
實(shí)現(xiàn)對(duì)中心云模型中心模型索引的查詢(xún)。
7.5模型服務(wù)協(xié)同機(jī)制
模型服務(wù)的協(xié)同管理機(jī)制中,包括模型運(yùn)行、模型狀態(tài)信息上傳等能力,中心云側(cè)應(yīng)具有模型運(yùn)行、
模型狀態(tài)信息收集服務(wù)。
a)模型運(yùn)行。中心云側(cè)應(yīng)具有模型運(yùn)行能力,并提供模型推理調(diào)用接口,區(qū)域云具有模型推理接
口調(diào)用能力,實(shí)現(xiàn)模型服務(wù)云端調(diào)用;
b)模型狀態(tài)信息上傳。區(qū)域云側(cè)具有模型狀態(tài)信息上傳服務(wù),中心云側(cè)審查通過(guò)后,具有模型狀
態(tài)信息接受能力。
7.6技術(shù)規(guī)范
7.6.1模型元信息字段定義
模型元信息應(yīng)包含字段屬性見(jiàn)附錄B.1表B.1.2。
11
T/CESXXX?XXXX
7.6.2模型資源格式和大小要求
模型資源文件應(yīng)以壓縮包方式進(jìn)行協(xié)同,模型格式包括鏡像文件和模型文件兩種,具體要求如下:
a)鏡像文件壓縮包宜為tar、zip格式,大小不宜超過(guò)5GB;
b)模型文件壓縮包宜為tar、zip格式,大小不宜超過(guò)2GB。
8邊端側(cè)樣本協(xié)同要求
8.1樣本協(xié)同機(jī)制
樣本協(xié)同流程包括端設(shè)備與邊緣物聯(lián)網(wǎng)關(guān)、邊緣物聯(lián)網(wǎng)關(guān)與物聯(lián)網(wǎng)平臺(tái)、物聯(lián)網(wǎng)平臺(tái)與人工智能平
臺(tái)樣本上傳和參數(shù)設(shè)置協(xié)同組成。
圖4邊端側(cè)樣本協(xié)同框架
8.2樣本數(shù)據(jù)采集
端側(cè)樣本宜由無(wú)人機(jī)、機(jī)器人、攝像頭、智能執(zhí)法儀、布控球、智能融合終端、移動(dòng)終端、聲音采
集裝置等設(shè)備獲取,以圖像、視頻、音頻等存儲(chǔ)方式形成樣本,邊側(cè)應(yīng)具備匯聚端側(cè)設(shè)備或者智能裝置
樣本能力。樣本采集要求如下:
a)邊端側(cè)設(shè)備應(yīng)具備接收由人工智能平臺(tái)、物聯(lián)網(wǎng)平臺(tái)下發(fā)的樣本采集任務(wù)能力,邊側(cè)以及端側(cè)
智能設(shè)備應(yīng)按照設(shè)定的頻率開(kāi)展樣本采樣;
12
T/CESXXX?XXXX
b)邊端側(cè)設(shè)備應(yīng)具備添加樣本采集地點(diǎn)、時(shí)間、設(shè)備等屬性信息能力,屬性信息存儲(chǔ)格式可為
xml、json格式;
c)邊側(cè)設(shè)備應(yīng)具有樣本初級(jí)處理能力,對(duì)來(lái)自端側(cè)的設(shè)備檢查數(shù)據(jù)有效性,實(shí)現(xiàn)數(shù)據(jù)的初步篩選
與優(yōu)化。
8.3樣本數(shù)據(jù)上傳
邊側(cè)設(shè)備匯聚端側(cè)上傳的樣本,經(jīng)過(guò)物聯(lián)網(wǎng)平臺(tái)上傳到區(qū)域人工智能平臺(tái)。邊端樣本上傳要求如下;
a)邊端側(cè)設(shè)備可設(shè)置定時(shí)或者觸發(fā)條件,定期將本側(cè)樣本源文件及樣本屬性信息上傳;
b)邊側(cè)設(shè)備具備接收和處理端側(cè)上傳樣本的能力,宜將樣本壓縮成tar、zip、rar等格式,將樣
本上傳至物聯(lián)網(wǎng)平臺(tái)。
8.4樣本技術(shù)要求
8.4.1通信方式
a)邊緣物聯(lián)代理向物聯(lián)網(wǎng)平臺(tái)上報(bào)樣本數(shù)據(jù)應(yīng)采用MQTT協(xié)議;
b)邊緣物聯(lián)代理向物聯(lián)網(wǎng)平臺(tái)上報(bào)樣本數(shù)據(jù)的主題和交互字段內(nèi)容應(yīng)滿(mǎn)足附錄A.3要求;
c)物聯(lián)網(wǎng)平臺(tái)向區(qū)域人工智能平臺(tái)上報(bào)樣本數(shù)據(jù)應(yīng)采用消息隊(duì)列方式;
d)物聯(lián)網(wǎng)平臺(tái)向區(qū)域人工智能平臺(tái)上報(bào)樣本數(shù)據(jù)交互字段應(yīng)滿(mǎn)足附錄A.4要求。
8.4.2響應(yīng)時(shí)限
邊端樣本上傳宜具備消息傳輸失敗響應(yīng)機(jī)制,響應(yīng)時(shí)應(yīng)滿(mǎn)足DL/T1713-2017《信息系統(tǒng)非功能性需
求規(guī)范》的規(guī)定。
8.4.3可靠性
邊側(cè)和端側(cè)的網(wǎng)絡(luò)設(shè)備、通信線(xiàn)路和集群系統(tǒng)宜采用冗余,保證高可用性,在無(wú)不可抗力環(huán)境下應(yīng)
滿(mǎn)足7×24小時(shí)服務(wù)不中斷,具體要求為:
a)數(shù)據(jù)完整性:存儲(chǔ)節(jié)點(diǎn)發(fā)生故障時(shí),應(yīng)確保數(shù)據(jù)完整;
b)消息完整性:消息隊(duì)列節(jié)點(diǎn)發(fā)生故障時(shí),應(yīng)確保消息不丟失,且不影響消息正常提交和消費(fèi);
c)任務(wù)調(diào)度完整性:任務(wù)調(diào)度節(jié)點(diǎn)發(fā)生故障時(shí),應(yīng)不影響任務(wù)調(diào)度和執(zhí)行;
d)網(wǎng)絡(luò)完整性:網(wǎng)絡(luò)發(fā)生故障并恢復(fù)后,系統(tǒng)和任務(wù)、服務(wù)均可自動(dòng)繼續(xù)運(yùn)行。
8.4.4安全要求
人工智能樣本采集、處理、上傳的安全要求包括:
a)應(yīng)符合GB/T18336—2015《信息技術(shù)安全技術(shù)信息技術(shù)安全評(píng)估準(zhǔn)則》的規(guī)定;
b)應(yīng)符合GB/T22239-2019《信息安全技術(shù)網(wǎng)絡(luò)安全等級(jí)保護(hù)基本要求》的規(guī)定;
c)應(yīng)符合《中華人民共和國(guó)數(shù)據(jù)安全法》的規(guī)定。
13
T/CESXXX?XXXX
9邊端側(cè)模型協(xié)同要求
9.1模型協(xié)同機(jī)制
模型協(xié)同流程應(yīng)包括區(qū)域人工智能平臺(tái)向物聯(lián)網(wǎng)平臺(tái)進(jìn)行模型傳輸、物聯(lián)網(wǎng)平臺(tái)向邊緣物聯(lián)代理進(jìn)
行模型傳輸并收集運(yùn)行指標(biāo)、邊緣物聯(lián)代理向端側(cè)進(jìn)行模型傳輸并收集運(yùn)行指標(biāo)。
圖5邊端側(cè)模型協(xié)同框架
9.2模型部署
模型部署包括物聯(lián)網(wǎng)平臺(tái)向邊緣物聯(lián)網(wǎng)關(guān)、邊緣物聯(lián)網(wǎng)關(guān)向端側(cè)進(jìn)行模型部署、更新。具體要求如
下:
a)區(qū)域人工智能平臺(tái)應(yīng)根據(jù)邊端側(cè)設(shè)備類(lèi)型及特點(diǎn),支持將待部署模型進(jìn)行模型優(yōu)化、轉(zhuǎn)換和封
裝,實(shí)現(xiàn)模型與設(shè)備的匹配;
b)物聯(lián)網(wǎng)平臺(tái)向邊端側(cè)下發(fā)的模型部署時(shí)應(yīng)進(jìn)行身份鑒別和服務(wù)類(lèi)型校驗(yàn);
c)區(qū)域人工智能平臺(tái)可將模型的運(yùn)行指標(biāo)參數(shù)通過(guò)物聯(lián)網(wǎng)平臺(tái)發(fā)送至邊端側(cè),邊端側(cè)對(duì)模型部署
請(qǐng)求進(jìn)行校驗(yàn),校驗(yàn)通過(guò)后,邊端側(cè)接受模型并部署模型;
d)邊端側(cè)宜支持灰度更新模式,新模型部署前將舊模型進(jìn)行本地備份,待新模型運(yùn)行指標(biāo)滿(mǎn)足要
求后,進(jìn)行舊模型本地自動(dòng)刪除,并將更新信息寫(xiě)入日志文件;
e)邊側(cè)部署多個(gè)模型時(shí),應(yīng)支持多模型資源目錄服務(wù)和模型版本管理功能。
9.3模型運(yùn)行指標(biāo)上傳
14
T/CESXXX?XXXX
邊側(cè)設(shè)備匯聚端側(cè)模型運(yùn)行指標(biāo),經(jīng)過(guò)物聯(lián)網(wǎng)平臺(tái)上傳到區(qū)域人工智能平臺(tái)。模型運(yùn)行指標(biāo)上傳要
求如下:
a)邊側(cè)設(shè)備應(yīng)支持結(jié)構(gòu)化和非結(jié)構(gòu)化模型運(yùn)行指標(biāo)上傳物聯(lián)網(wǎng)平臺(tái);
b)邊端側(cè)完成模型部署后,應(yīng)具備上傳模型運(yùn)行時(shí)計(jì)算資源占用、存儲(chǔ)資源占用等信息的能力。
同時(shí),邊端側(cè)設(shè)備將模型運(yùn)行信息寫(xiě)入日志文件,日志應(yīng)支持本地存儲(chǔ),支持物聯(lián)網(wǎng)平臺(tái)召測(cè)
日志文件的能力
9.4模型技術(shù)要求
邊端側(cè)模型協(xié)同技術(shù)要求包括模型性能和兼容性,具體要求如下:
a)邊端側(cè)模型性能要求;
1)邊端側(cè)模型部署后,邊端側(cè)設(shè)備CPU利用率、內(nèi)存利用率應(yīng)滿(mǎn)足DL/T1713-2017《信息
系統(tǒng)非功能性需求規(guī)范》的規(guī)定;
2)邊端側(cè)模型部署后的單次推理響應(yīng)時(shí)間應(yīng)滿(mǎn)足DL/T1713-2017《信息系統(tǒng)非功能性需求
規(guī)范》的規(guī)定;
3)邊端側(cè)模型部署后,邊側(cè)設(shè)備承載全部模型的運(yùn)行性能應(yīng)能滿(mǎn)足各模型運(yùn)行要求,不發(fā)生
因計(jì)算資源沖突導(dǎo)致的運(yùn)行異常問(wèn)題。
b)邊端側(cè)模型兼容性要求。邊端側(cè)模型應(yīng)根據(jù)邊側(cè)設(shè)備的芯片、架構(gòu)(armv7l、arm64、amd64
等多種架構(gòu))平臺(tái)進(jìn)行模型轉(zhuǎn)換。
9.4.1安全要求
人工智能模型部署、處理、上傳的安全要求包括:
a)應(yīng)符合GB/T18336—2015《信息技術(shù)安全技術(shù)信息技術(shù)安全評(píng)估準(zhǔn)則》的規(guī)定;
b)應(yīng)符合GB/T22239-2019《信息安全技術(shù)網(wǎng)絡(luò)安全等級(jí)保護(hù)基本要求》的規(guī)定;
c)應(yīng)符合《中華人民共和國(guó)數(shù)據(jù)安全法》的規(guī)定。
15
T/CESXXX?XXXX
附錄A
(資料性附錄)
A.1人工智能平臺(tái)下發(fā)模型
功能說(shuō)明:人工智能平臺(tái)下發(fā)模型文件至物聯(lián)網(wǎng)平臺(tái)。
請(qǐng)求URL:/iot/task/model。
其中請(qǐng)求體中的參數(shù)如表A1.1所示:
表A1.1請(qǐng)求體body字段描述
名稱(chēng)類(lèi)型是否必選描述
taskNameString是任務(wù)名稱(chēng)
deviceListList<device>是設(shè)備列表
文件名稱(chēng)
enfileNameString是模型驗(yàn)證、安裝、升級(jí)時(shí)選擇
文件的英文名稱(chēng)
fileVersionString是文件版本
命令推送速率
pushCommandPolicyInt是
0,100,500,1000
重試間隔
”0”:立即重試;
retryIntervalString是“30”:隔30分鐘重試;
“60”:隔60分鐘重試;
“-1”:不重試;
retryLimitInt否重試上限,分1、3、5、10次
任務(wù)類(lèi)型
app_download:模型安裝
taskTypeString是
app_upgrade:模型升級(jí)
app_verify:模型驗(yàn)證
appEnvironmentConfigObject條件可選模型環(huán)境配置信息
其中,device定義如表A1.2所示:
表A1.2device參數(shù)描述
名稱(chēng)類(lèi)型是否必需描述
devIdlong否邊設(shè)備ID
devSnString是設(shè)備SN
outerIdString否外部系統(tǒng)設(shè)備id
productCodeString是設(shè)備類(lèi)型對(duì)應(yīng)的唯一編碼
16
T/CESXXX?XXXX
其中,appEnvironmentConfig定義如表A1.3所示:
表A1.3appEnvironmentConfig參數(shù)描述
名稱(chēng)類(lèi)型是否必需描述
cpuNumberInt否CPU核數(shù)
cpuLimitInt否CPU監(jiān)控閾值,例如50表示50%
memUnitInt否內(nèi)存限值,單位:以M為單位
memLimitInt否內(nèi)存監(jiān)控閾值,例如50表示50%
響應(yīng)參數(shù)如表A1.4所示:
表A1.4響應(yīng)參數(shù)描述
名稱(chēng)類(lèi)型描述
midsJsonArray命令數(shù)
A.2物聯(lián)網(wǎng)平臺(tái)下發(fā)模型
A2.1下發(fā)模型到邊側(cè)
功能說(shuō)明:物聯(lián)網(wǎng)平臺(tái)下發(fā)模型至邊側(cè)設(shè)備。
報(bào)文頭部參數(shù)具體字段補(bǔ)充說(shuō)明如下:
a)type字段取值為:CMD_APP_INSTALL;
b)param字段定義如表A2.1所示:
表A2.1param字段參數(shù)描述
字段類(lèi)型是否必選描述
jobIdnumber是任務(wù)ID
從接收到該安裝指令時(shí)間后開(kāi)始安裝
policynumber否的時(shí)間間隔(單位:秒),缺省或等于
0時(shí),表示立即升級(jí)
versionstring是應(yīng)用版本號(hào)
cpuobject否cpu資源配置參數(shù)
memobject否memory資源配置參數(shù)
appNameString是應(yīng)用名稱(chēng)
aiProcessorString否邊緣物聯(lián)代理AI加速卡類(lèi)型
gpuSharedString否是否使用GPU共享,是/否
gpuCapacityString否GPU共享分配顯存容量,單位MB
A2.2文件下載
功能說(shuō)明:通過(guò)文件下載路徑下載安裝文件
請(qǐng)求URL:/iot/files/{projectId}/up/{remoteFileName}
17
T/CESXXX?XXXX
其中projectId由物聯(lián)網(wǎng)平臺(tái)提供,remoteFileName為傳輸?shù)奈募?/p>
請(qǐng)求頭header里參數(shù)詳細(xì)說(shuō)明:
字段類(lèi)型是否必選描述
為空時(shí),認(rèn)為是全量下載;如果range:
rangeString否bytes=0-9,表示下載該文件的前10個(gè)
字節(jié)
A2.3部署結(jié)果上報(bào)
功能說(shuō)明:當(dāng)應(yīng)用安裝指令被執(zhí)行完畢后,邊側(cè)設(shè)備將執(zhí)行結(jié)果主動(dòng)上報(bào)給物聯(lián)網(wǎng)平臺(tái)。
邊設(shè)備發(fā)布Topic:/v1/${edgeId}/app/data。
報(bào)文頭部參數(shù)具體字段說(shuō)明如下:
a)type字段取值為:REP_JOB_RESULT;
b)param字段定義如表A2.2所示:
表A2.2param字段參數(shù)描述
字段類(lèi)型是否必選描述
jobIdnumber是安裝操作作為一個(gè)工作任務(wù),分配的ID
resultnumber是應(yīng)用安裝結(jié)果編碼
infostring否安裝失敗的描述,例如下載地址不可用
A.3邊緣物聯(lián)網(wǎng)關(guān)上報(bào)樣本數(shù)據(jù)
功能說(shuō)明:邊緣物理網(wǎng)關(guān)上報(bào)樣本數(shù)據(jù)至物聯(lián)網(wǎng)平臺(tái)。
報(bào)文頭部參數(shù)具體字段補(bǔ)充說(shuō)明如下:
a)type字段取值:
傳輸樣本數(shù)據(jù)時(shí)為:AI_SAMPLE
傳輸結(jié)果數(shù)據(jù)時(shí)為:AI_RESULT
b)param字段定義如表A3.1所示:
表A3.1param字段描述
字段類(lèi)型是否必選描述
methodstring是服務(wù)的命令名
datajson是數(shù)據(jù)以物模型規(guī)范的數(shù)據(jù)格式上報(bào)
A.4物聯(lián)網(wǎng)平臺(tái)推送樣本數(shù)據(jù)
功能說(shuō)明:物聯(lián)網(wǎng)平臺(tái)推送樣本數(shù)據(jù)至人工智能平臺(tái)。
交互主題:service_data
報(bào)文頭部參數(shù)具體字段補(bǔ)充說(shuō)明如下:
a)type字段取值,傳輸樣本數(shù)據(jù)時(shí)為:AI_SAMPLE,傳輸結(jié)果數(shù)據(jù)時(shí)為:AI_RESULT;
b)param字段定義如表A4.1所示:
18
T/CESXXX?XXXX
表A4.1param字段描述
字段類(lèi)型是否必選描述
cmdstring是服務(wù)的命令名
datajson是數(shù)據(jù)以物模型規(guī)范的數(shù)據(jù)格式上報(bào)
附錄B
B.1元信息字段
表B.1.1樣本資源元信息定義
序號(hào)字段名稱(chēng)字段描述
1樣本資源索引ID樣本所屬的上級(jí)索引。
2樣本名稱(chēng)樣本名稱(chēng)
3樣本描述樣本基本信息
4樣本大小以MB為單位
5樣本類(lèi)別
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024年度二零二四年度三方債權(quán)債務(wù)轉(zhuǎn)讓與知識(shí)產(chǎn)權(quán)交易合同3篇
- 2024年度醫(yī)療服務(wù)合同標(biāo)的為高端私立醫(yī)院就診2篇
- 2024年標(biāo)準(zhǔn)第三人執(zhí)行擔(dān)保協(xié)議模板版
- 2024年度音樂(lè)錄音棚場(chǎng)地租賃合同
- 2024年橋涵施工勞務(wù)總承包合作協(xié)議3篇
- 2024年度醫(yī)療機(jī)構(gòu)病歷資料保密及合作協(xié)議3篇
- 2024年度托管班教師特殊兒童教育能力聘用合同3篇
- 2024年度泰州二手房買(mǎi)賣(mài)法律文件2篇
- 2024年標(biāo)準(zhǔn)施工合同示范文本與實(shí)際應(yīng)用
- 2024年度木材運(yùn)輸委托合同書(shū)環(huán)保運(yùn)輸標(biāo)準(zhǔn)2篇
- 《負(fù)荊請(qǐng)罪》改成劇本
- 廣西民族大學(xué)?;招?biāo)
- 車(chē)輛駕駛員管理臺(tái)帳
- DBJ50T-123-2020 建筑護(hù)欄技術(shù)標(biāo)準(zhǔn)
- 2021知到答案【音樂(lè)的美及其鑒賞】智慧樹(shù)網(wǎng)課章節(jié)測(cè)試答案
- 小學(xué)足球課時(shí)教案:足球隊(duì)訓(xùn)練計(jì)劃
- 流感疫苗PPT課件
- 招投標(biāo)法律責(zé)任知識(shí)講解(PPT講稿)
- 硅酸鹽水泥熟料礦物組成及其配料計(jì)教案
- 契稅補(bǔ)貼申請(qǐng)表
- 螺旋千斤頂課程設(shè)計(jì)說(shuō)明書(shū)
評(píng)論
0/150
提交評(píng)論