2023人工智能 面向機(jī)器學(xué)習(xí)的系統(tǒng)技術(shù)要求

人工智能面向機(jī)器學(xué)習(xí)的系統(tǒng)技術(shù)要求II目??次前 言 II范圍 1規(guī)范性引用文件 1術(shù)語(yǔ)和定義 1縮略語(yǔ) 2系統(tǒng)框架 2概述 2機(jī)器學(xué)習(xí)框架 3機(jī)器學(xué)習(xí)服務(wù) 3機(jī)器學(xué)習(xí)運(yùn)行時(shí)組件 錯(cuò)誤！未定義書(shū)簽。工具 4數(shù)據(jù)管理 4模型管理 4運(yùn)維管理 4技術(shù)要求 4概述 4功能要求 4可靠性要求 8兼容性要求 9安全性要求 9可擴(kuò)展性要求 9PAGEPAGE10人工智能面向機(jī)器學(xué)習(xí)的系統(tǒng)技術(shù)要求范圍本文件給出了面向機(jī)器學(xué)習(xí)的系統(tǒng)的框架，規(guī)定了系統(tǒng)的技術(shù)要求。規(guī)范性引用文件（包括所有的修改單適用于本文件。GB/T41867-2022信息技術(shù)人工智能術(shù)語(yǔ)GB/T42018-2022信息技術(shù)人工智能平臺(tái)計(jì)算資源規(guī)范術(shù)語(yǔ)和定義GB/T41867-2022、GB/T42018-2022界定的以及下列術(shù)語(yǔ)和定義適用于本文件。3.1面向機(jī)器學(xué)習(xí)的系統(tǒng)（機(jī)器學(xué)習(xí)系統(tǒng)）systemofmachinelearning一種能運(yùn)行或用于開(kāi)發(fā)機(jī)器學(xué)習(xí)模型、算法及相關(guān)應(yīng)用的軟件系統(tǒng)。3.2機(jī)器學(xué)習(xí)框架machinelearningframework3.3機(jī)器學(xué)習(xí)軟件平臺(tái)machinelearningsoftwareplatform(software)為機(jī)器學(xué)習(xí)應(yīng)用提供各類(lèi)資源的軟件系統(tǒng)。注：機(jī)器學(xué)習(xí)軟件平臺(tái)一般包含，人工智能加速器使能軟件、機(jī)器學(xué)習(xí)框架、機(jī)器學(xué)習(xí)計(jì)算加速引擎、機(jī)器學(xué)習(xí)服務(wù)組件。3.4機(jī)器學(xué)習(xí)服務(wù)machinelearningservice算法在部署后的運(yùn)行態(tài)，支撐用戶(hù)使用機(jī)器學(xué)習(xí)系統(tǒng)開(kāi)發(fā)行業(yè)應(yīng)用。注：算法服務(wù)接受用戶(hù)的應(yīng)用請(qǐng)求，對(duì)輸入數(shù)據(jù)進(jìn)行處理，返回處理結(jié)果。3.5[機(jī)器學(xué)習(xí)]模型編譯器[machinelearning]modelcompiler[來(lái)源：ISO/IEC/IEEE24765-2017，3.681，有修改]3.6資源池resourcepool各類(lèi)系統(tǒng)資源的集合。3.7作業(yè)job機(jī)器學(xué)習(xí)訓(xùn)練或推理任務(wù)的邏輯組合。注：一個(gè)作業(yè)屬于且僅屬于某一個(gè)資源池，一個(gè)作業(yè)包括一個(gè)或多個(gè)任務(wù)。3.8任務(wù)task被調(diào)度的訓(xùn)練/推理對(duì)象。注：任務(wù)用于完成一個(gè)相對(duì)獨(dú)立的業(yè)務(wù)功能。一個(gè)任務(wù)屬于且僅屬于一個(gè)作業(yè)。縮略語(yǔ)下列縮略語(yǔ)適用于本文件。AI：人工智能(Artificial Intelligence)ASIC：專(zhuān)用集成電路(Application-Specific Integrated CPU：中央處理器(Central Processing Unit)DAG：有向無(wú)環(huán)圖（Directed Acyclic Graph）FPGA：現(xiàn)場(chǎng)可編程邏輯門(mén)陣列(Field Programmable Gate GPU：圖形處理器(Graphic Processing Unit)IDE：集成開(kāi)發(fā)環(huán)境(Integrated Development Environment)NLP：自然語(yǔ)言處理（Natural Language Processing）REST：表現(xiàn)層狀態(tài)轉(zhuǎn)換（Representational State Transfer）ONNX：開(kāi)放式神經(jīng)網(wǎng)絡(luò)交換（OpenNeuralNetworkExchange）SOA：面向服務(wù)的架構(gòu)（Service-OrientedArchitecture）RPC：遠(yuǎn)程過(guò)程調(diào)用（RemoteProcedureCall）JSON：Javascript對(duì)象注記法（JavaScriptObjectNotation）XML：可擴(kuò)展置標(biāo)語(yǔ)言（ExtensibleMarkupLanguage）系統(tǒng)框架（機(jī)器學(xué)習(xí)領(lǐng)域組件注：圖中實(shí)線框起的部分對(duì)應(yīng)本文件規(guī)定的范疇，虛線框起的部分僅為表明人工智能平臺(tái)的參考架構(gòu)，不屬于本文件規(guī)定的范疇。圖1面向機(jī)器學(xué)習(xí)的系統(tǒng)架構(gòu)圖機(jī)器學(xué)習(xí)運(yùn)行時(shí)組件機(jī)器學(xué)習(xí)運(yùn)行時(shí)組件是為保障機(jī)器學(xué)習(xí)應(yīng)用按照預(yù)期在特定機(jī)器學(xué)習(xí)系統(tǒng)上運(yùn)行所必要的軟件環(huán)境，包括設(shè)備驅(qū)動(dòng)軟件和算子庫(kù)。機(jī)器學(xué)習(xí)框架機(jī)器學(xué)習(xí)框架包含模型訓(xùn)練、模型推理及機(jī)器學(xué)習(xí)算法庫(kù)三個(gè)模塊，為機(jī)器學(xué)習(xí)應(yīng)用開(kāi)發(fā)、優(yōu)化、驗(yàn)證和部署過(guò)程中提供工具支撐。注：面向不同的機(jī)器學(xué)習(xí)任務(wù)，框架的模塊可進(jìn)行針對(duì)性取舍。機(jī)器學(xué)習(xí)服務(wù)組件機(jī)器學(xué)習(xí)服務(wù)是人工智能行業(yè)應(yīng)用訪問(wèn)、利用機(jī)器學(xué)習(xí)能力和資源的主要方式，支持工作流管理、工具數(shù)據(jù)管理工具（模型管理工具開(kāi)發(fā)環(huán)境模型編譯器運(yùn)維管理組件（（技術(shù)要求機(jī)器學(xué)習(xí)系統(tǒng)應(yīng)具備機(jī)器學(xué)習(xí)運(yùn)行時(shí)組件、機(jī)器學(xué)習(xí)框架、工具及運(yùn)維管理組件（架構(gòu)見(jiàn)圖1），功能要求機(jī)器學(xué)習(xí)運(yùn)行時(shí)組件機(jī)器學(xué)習(xí)運(yùn)行時(shí)組件的要求包括：應(yīng)具備算法程序正常運(yùn)行所需的基礎(chǔ)軟件組件，如設(shè)備驅(qū)動(dòng)、通用算子庫(kù)、操作系統(tǒng)等；應(yīng)具備基于設(shè)備定制開(kāi)發(fā)的優(yōu)化算子庫(kù)；應(yīng)具備算子級(jí)的執(zhí)行控制和調(diào)度優(yōu)化；應(yīng)具備對(duì)環(huán)境中運(yùn)行程序的訪問(wèn)權(quán)限控制和資源隔離；應(yīng)支持計(jì)算資源的虛擬化與調(diào)度；2Tensrflw,Ptorhindpor，PaddlePaddle應(yīng)具備或集成集合通信庫(kù)，面向單機(jī)多卡及多機(jī)多卡的環(huán)境下，支持集合通信操作包括Broadcast,allreduce,allgather,reduce-scatter等。機(jī)器學(xué)習(xí)框架機(jī)器學(xué)習(xí)框架的要求：訓(xùn)練模塊要求如下：應(yīng)提供編程范式支持用戶(hù)自定義數(shù)據(jù)的預(yù)處理，包括圖像的伸縮變換、音頻特征提取、文本分詞；應(yīng)提供編程范式支持用戶(hù)自定義實(shí)現(xiàn)機(jī)器學(xué)習(xí)模型，包括基本單元（如神經(jīng)網(wǎng)絡(luò)層）的基類(lèi)，損失函數(shù)基類(lèi)，用于參數(shù)更新的優(yōu)化器基類(lèi)；ReLU應(yīng)提供接口獲取訓(xùn)練過(guò)程信息，包括神經(jīng)網(wǎng)絡(luò)層的權(quán)重、偏置參數(shù)；應(yīng)支持靜態(tài)圖或動(dòng)態(tài)圖的執(zhí)行模式；API應(yīng)支持面向參數(shù)服務(wù)器和集合通信兩種分布式架構(gòu)的分布式并行；應(yīng)支持包括自動(dòng)數(shù)據(jù)并行和模型并行結(jié)合的自動(dòng)混合數(shù)據(jù)并行；宜提供計(jì)算圖融合重組優(yōu)化等優(yōu)化；EpochStep注1：Epoch指訓(xùn)練時(shí)數(shù)據(jù)集的一次完整遍歷；注2：Step指訓(xùn)練時(shí)完成一次前向計(jì)算和反向傳播；（FP32注：根據(jù)IEEE754的定義，浮點(diǎn)數(shù)據(jù)類(lèi)型分為雙精度（FP64）、單精度（FP32）、半精度（FP16）三種推理模塊要求如下：CPU,GPU,NPU2C++，Python，Java宜支持多個(gè)模型的并發(fā)推理；宜支持模型推理加速優(yōu)化，如模型量化，內(nèi)存復(fù)用，算子融合；算法庫(kù)要求如下：應(yīng)提供模型評(píng)價(jià)函數(shù)，如Accuracy，Precision，MAE和MS等；應(yīng)提供損失函數(shù)，如KL散度，L1損失等；應(yīng)提供優(yōu)化器算法，如二階優(yōu)化器THOR等；應(yīng)封裝訓(xùn)練過(guò)程中常用的張量操作，包括池化運(yùn)算，卷積操作；應(yīng)提供激活函數(shù)，如線性單元激活函數(shù)，高斯誤差線性單元激活函數(shù)；應(yīng)提供數(shù)學(xué)運(yùn)算函數(shù)。機(jī)器學(xué)習(xí)服務(wù)組件面向機(jī)器學(xué)習(xí)的系統(tǒng)提供通用服務(wù)能力，機(jī)器學(xué)習(xí)服務(wù)組件應(yīng)包括：具備一種或多種算法服務(wù)，包括圖像、視頻、語(yǔ)音、文本處理等；AI具備一種或多種離線服務(wù)（例如模型自學(xué)習(xí)服務(wù)、批量推理服務(wù)等）；具備一種或多種在線實(shí)時(shí)服務(wù)（例如實(shí)時(shí)推理服務(wù)等）；提供統(tǒng)一服務(wù)框架（SOA、微服務(wù)等）；提供統(tǒng)一、易用的算法服務(wù)接口框架（RESTful、RPC）；具備常見(jiàn)的消息報(bào)文體格式（JSON、XML）；具備同一算法服務(wù)的多實(shí)例部署；具備不同算法服務(wù)并發(fā)調(diào)用，各服務(wù)獨(dú)立運(yùn)行；具備獨(dú)立部署和運(yùn)行，并具備服務(wù)動(dòng)態(tài)擴(kuò)容；具備服務(wù)容錯(cuò)，包括熔斷、隔離、限流和降級(jí)等容錯(cuò)機(jī)制，來(lái)保證服務(wù)持續(xù)可用性；具備可擴(kuò)展性，可方便增加新服務(wù)、動(dòng)態(tài)調(diào)整服務(wù)節(jié)點(diǎn)等。機(jī)器學(xué)習(xí)運(yùn)行時(shí)組件機(jī)器學(xué)習(xí)運(yùn)行時(shí)組件的要求包括：應(yīng)具備算法程序正常運(yùn)行所需的基礎(chǔ)軟件組件，如設(shè)備驅(qū)動(dòng)、通用算子庫(kù)、操作系統(tǒng)等；應(yīng)具備基于設(shè)備定制開(kāi)發(fā)的優(yōu)化算子庫(kù)；應(yīng)具備算子級(jí)的執(zhí)行控制和調(diào)度優(yōu)化；應(yīng)具備對(duì)環(huán)境中運(yùn)行程序的訪問(wèn)權(quán)限控制和資源隔離；應(yīng)具備異構(gòu)計(jì)算硬件的執(zhí)行調(diào)度；應(yīng)具備多設(shè)備分布式部署和并行計(jì)算；宜具備異構(gòu)計(jì)算資源池化，實(shí)現(xiàn)CPU、GPU、NPU、專(zhuān)用加速器等資源動(dòng)態(tài)配比。工具數(shù)據(jù)管理工具數(shù)據(jù)管理的要求包括：（例如傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)應(yīng)具備多形態(tài)數(shù)據(jù)采集，包括單表采集、多表采集、增量采集、批數(shù)據(jù)采集、流數(shù)據(jù)采集；應(yīng)具備圖像類(lèi)數(shù)據(jù)格式采集（GB/T17235.1—1998、ISO/IEC15948—2003GB/T20090.2—2013ISO/IEC13818.3—1998parquet、carbondata應(yīng)具備數(shù)據(jù)可視化展示能力；應(yīng)具備對(duì)各類(lèi)數(shù)據(jù)進(jìn)行標(biāo)注（例如視頻、圖片、語(yǔ)音、文本等）；應(yīng)具備對(duì)訓(xùn)練數(shù)據(jù)集、測(cè)試數(shù)據(jù)集、驗(yàn)證數(shù)據(jù)集獨(dú)立提供數(shù)據(jù)生存周期管理；應(yīng)具備對(duì)原始數(shù)據(jù)、中間數(shù)據(jù)及產(chǎn)出數(shù)據(jù)進(jìn)行增刪改查及數(shù)據(jù)檢索等操作；應(yīng)提供數(shù)據(jù)訪問(wèn)及權(quán)限控制和版本控制，具備表粒度、字段粒度權(quán)限控制；IDESQL、Python應(yīng)具備對(duì)敏感數(shù)據(jù)進(jìn)行溯源管理；宜具備原始數(shù)據(jù)的診斷，如數(shù)據(jù)完整性檢查、空值檢查、規(guī)則校驗(yàn)、統(tǒng)計(jì)指標(biāo)校驗(yàn)等；宜具備原始數(shù)據(jù)的相似度檢測(cè)，過(guò)濾相似數(shù)據(jù)；宜具備多種元數(shù)據(jù)管理方法（例如數(shù)據(jù)元信息生成、增刪改查、血緣管理等）；宜具備多種數(shù)據(jù)預(yù)處理手段（例如數(shù)據(jù)的拆分、聚合、過(guò)濾、排序等）；宜具備用戶(hù)數(shù)據(jù)集多版本管理；宜具備多人協(xié)同標(biāo)注，并且具備多人協(xié)作任務(wù)的管理；宜具備不同數(shù)據(jù)集版本之間的數(shù)據(jù)分析統(tǒng)計(jì)，對(duì)比數(shù)據(jù)分布差異；宜具備推理結(jié)果數(shù)據(jù)回傳采集模式。模型管理工具模型管理的要求包括：應(yīng)集成典型機(jī)器學(xué)習(xí)模型，支持模型的二次訓(xùn)練，支持保存模型多版本參數(shù)；應(yīng)基于多用戶(hù)的權(quán)限控制，實(shí)現(xiàn)模型的安全管控；應(yīng)提供模型封裝和發(fā)布的能力，通過(guò)統(tǒng)一的接口提供模型服務(wù)的調(diào)用；應(yīng)具備模型超參數(shù)的設(shè)置和保存功能；應(yīng)提供用戶(hù)友好的模型管理界面，展示模型的基本信息；應(yīng)具備包括算法、超參數(shù)、參數(shù)、模型輸入規(guī)范、模型輸出規(guī)范五個(gè)要素的模型存儲(chǔ)功能；宜提供多種形式的建模方式（DAGNotebook）；宜提供多人協(xié)同建模能力；宜提供完整的模型分析報(bào)告，提高用戶(hù)的模型選擇和決策能力。開(kāi)發(fā)環(huán)境開(kāi)發(fā)環(huán)境的要求包括：API應(yīng)具備應(yīng)用開(kāi)發(fā)的單步調(diào)試功能；應(yīng)具備自定義算子開(kāi)發(fā)和算子級(jí)別性能分析；應(yīng)提供模型壓縮、模型轉(zhuǎn)換和模型可視化工具；應(yīng)提供模型訓(xùn)練可視化和調(diào)優(yōu)工具；宜具備邊云協(xié)同的服務(wù)插件開(kāi)發(fā)，如實(shí)現(xiàn)模型的邊云同步、License宜具備算子開(kāi)發(fā)的自動(dòng)調(diào)優(yōu)、仿真調(diào)試調(diào)優(yōu)和最優(yōu)算子搜索工具。模型編譯器模型編譯器的要求包括：應(yīng)提供編譯器，對(duì)機(jī)器學(xué)習(xí)前端框架表達(dá)的計(jì)算過(guò)程進(jìn)行圖級(jí)、算子級(jí)編譯；應(yīng)具備多種機(jī)器學(xué)習(xí)算法模型和算子到設(shè)備可執(zhí)行代碼的自動(dòng)映射；應(yīng)具備機(jī)器學(xué)習(xí)算法程序的編譯優(yōu)化功能，如表達(dá)式化簡(jiǎn)、內(nèi)存復(fù)用等；應(yīng)具備自定義算子注冊(cè)和編譯；應(yīng)具備計(jì)算圖的自動(dòng)切分，以便支持分布式部署；應(yīng)具備編譯結(jié)果的存儲(chǔ)、載入；scope宜具備面向計(jì)算性能或內(nèi)存空間的編譯參數(shù)自動(dòng)尋優(yōu)。運(yùn)維管理運(yùn)維管理的要求包括：應(yīng)提供多用戶(hù)管理，具備多用戶(hù)的權(quán)限管理，具備身份認(rèn)證系統(tǒng)（Kerberos）；應(yīng)提供多租戶(hù)管理，具備租戶(hù)間的應(yīng)用隔離、數(shù)據(jù)隔離、資源隔離、運(yùn)行隔離；應(yīng)提供備份與恢復(fù)能力，具備安裝包、數(shù)據(jù)或模型參數(shù)文件的備份，以供故障后的系統(tǒng)恢復(fù)；應(yīng)提供運(yùn)行環(huán)境的監(jiān)控能力，包括底層資源的統(tǒng)一監(jiān)控（CPU）；應(yīng)提供日志管理，可以根據(jù)日志進(jìn)行故障定位及排查；應(yīng)提供針對(duì)監(jiān)控指標(biāo)及日志的告警能力；宜提供主要監(jiān)控指標(biāo)的可視化展示功能。可靠性要求可靠性要求包括：應(yīng)支持跟蹤任務(wù)的執(zhí)行狀態(tài)，并對(duì)異常任務(wù)進(jìn)行告警；應(yīng)提供基于模型的測(cè)試覆蓋率要求以進(jìn)行模型的可靠性驗(yàn)證；應(yīng)支持代碼實(shí)現(xiàn)算法功能的正確性分析，包括代碼規(guī)范性、代碼漏洞檢查；應(yīng)支持?jǐn)?shù)據(jù)集規(guī)模、均衡性、標(biāo)注質(zhì)量和污染情況對(duì)算法結(jié)果的影響分析；應(yīng)提供系統(tǒng)實(shí)際運(yùn)行中環(huán)境干擾的影響分析，包括噪聲干擾、數(shù)據(jù)分布遷移等；應(yīng)提供系統(tǒng)在遇到異常輸入或危險(xiǎn)操作時(shí)的預(yù)警功能；應(yīng)實(shí)現(xiàn)容錯(cuò)機(jī)制，支持系統(tǒng)在檢測(cè)出異常輸入或操作時(shí)的錯(cuò)誤提示功能；應(yīng)提供對(duì)誤操作的抵御能力，確保誤操作后系統(tǒng)的正常運(yùn)行；應(yīng)提供為不同容量場(chǎng)景過(guò)載控制機(jī)制提出要求，例如：提供的服務(wù)應(yīng)具備過(guò)載控制機(jī)制；應(yīng)提供為系統(tǒng)的故障隔離能力提出要求，例如：集群訓(xùn)練，單一節(jié)點(diǎn)故障，可隔離；應(yīng)提供為系統(tǒng)故障診斷能力要求，例如：框架可以保存關(guān)鍵運(yùn)行數(shù)據(jù)以用于故障定位；宜支持異常數(shù)據(jù)的存儲(chǔ)、導(dǎo)出；宜提供系統(tǒng)狀態(tài)文件的冗余備份功能與容災(zāi)能力。兼容性要求軟件兼容性要求軟件兼容性要求包括：不應(yīng)依賴(lài)特定的軟件運(yùn)行環(huán)境；應(yīng)支持系統(tǒng)運(yùn)行的可移植性；應(yīng)支持系統(tǒng)接口兼容主流操作系統(tǒng)，支持多種編程語(yǔ)言指令；應(yīng)兼容開(kāi)源的通用接口，根據(jù)系統(tǒng)要求在最新版本中增強(qiáng)或優(yōu)化；應(yīng)支持模塊間及模塊內(nèi)接口信息傳遞、互操作；應(yīng)支持異源數(shù)據(jù)、異構(gòu)數(shù)據(jù)庫(kù)、新舊數(shù)據(jù)接口的轉(zhuǎn)換；應(yīng)兼容不同場(chǎng)景應(yīng)用，支持特定應(yīng)用系統(tǒng)下的優(yōu)化和擴(kuò)展。硬件兼容性要求硬件兼容性要求包括：CPU、GPU、FPGA、ASIC應(yīng)支持不同的存儲(chǔ)系統(tǒng)，例如分布式云存儲(chǔ)、本地存儲(chǔ)等；應(yīng)支持不同的網(wǎng)絡(luò)連接方式，例如以太網(wǎng)、Infiniband宜支持不同的計(jì)算平臺(tái)，例如服務(wù)器、移動(dòng)通信終端（手機(jī)、平板式計(jì)算機(jī)）、可穿戴設(shè)備、嵌入式系統(tǒng)等。安全性要求安全性要求包括：應(yīng)提供對(duì)訓(xùn)練數(shù)據(jù)、部署模型、算法程序和服務(wù)接口的訪問(wèn)權(quán)限管理；應(yīng)提供抵御對(duì)抗