2021 人工智能平臺架構(gòu)及技術(shù)要求 第1：總體架構(gòu)與技術(shù)要求

1II目??次前言 II范圍 1規(guī)范性引用文件 1術(shù)語和定義 1縮略語 3架構(gòu)要求 3概述 3總體架構(gòu) 3功能架構(gòu) 5技術(shù)架構(gòu) 6數(shù)據(jù)架構(gòu) 7多級協(xié)同 8技術(shù)要求 9功能要求 9性能要求 10安全要求 10硬件要求 10編制說明 11PAGEPAGE11PAGEPAGE10人工智能平臺架構(gòu)及技術(shù)要求第1部分：總體架構(gòu)與技術(shù)要求范圍本部分規(guī)定了人工智能平臺建設(shè)的架構(gòu)要求和技術(shù)要求。本部分適用于人工智能平臺的規(guī)劃、設(shè)計、建設(shè)和運維。規(guī)范性引用文件GB/T5271.1—2000信息技術(shù)詞匯第1部分：基本術(shù)語GB/T5271.28—2001信息技術(shù)詞匯第28部分：人工智能基本概念與專家系統(tǒng)GB/T5271.29—2006信息技術(shù)詞匯第29部分：人工智能語音識別與合成GB/T5271.31—2006信息技術(shù)詞匯第31部分：人工智能機器學習GB/T5271.34—2006信息技術(shù)詞匯第34部分：人工智能神經(jīng)網(wǎng)絡術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1人工智能artificialintelligence（如推理和學習相關(guān)的各種功能的模型和系統(tǒng)。[GB/T5271.28—2001,定義28.01.01]3.2機器學習machinelearning功能單元通過獲取新知識或技能，或通過整理已有的知識或技能來改進其性能的過程。[GB/T5271.31—2006,定義31.01.02]3.3神經(jīng)網(wǎng)絡neuralnetwork[GB/T5271.34—2006,定義34.01.06]3.4訓練（在神經(jīng)網(wǎng)絡中）training（inneuralnetwork）教會神經(jīng)網(wǎng)絡在輸入值的樣本和正確輸出值之間作出結(jié)合的步驟。[GB/T5271.34—2006,定義34.03.18]3.5樣本數(shù)據(jù)sampledata其具備的特征能夠反映總體數(shù)據(jù)情況的一部分個體數(shù)據(jù)。3.6推理inference從已知前提導出結(jié)論的推理方法。1：2：術(shù)語“推理”既指過程也指結(jié)果。[GB/T5271.28—2001,定義28.03.01]3.7深度學習deeplearning3.8深度學習框架deeplearningframework一種支持深度學習模型設(shè)計、訓練和推理的工具。3.9資源resource執(zhí)行所要求的操作而必需的數(shù)據(jù)處理系統(tǒng)的任何組成部分。[GB/T5271.1—2000,定義01.01.23]3.10配置configuration信息處理系統(tǒng)中的硬件和軟件組織和互連起來的方式。[GB/T5271.1—2000,定義01.01.26]3.11接口interface兩個功能單元共享的邊界，它由各種特征（如功能、物理互連、信號交換等）來定義。[GB/T5271.1—2000,定義01.01.38]3.12計算機視覺computervision功能單元獲取、處理和理解可視數(shù)據(jù)的能力。[GB/T5271.28—2001,定義28.01.19]3.13語音識別speechrecognition利用功能單元進行的，從語音信號到語音內(nèi)容的某一表示的轉(zhuǎn)換。[GB/T5271.29—2006,定義29.01.30]3.14數(shù)據(jù)標注dataannotation通過分類、畫框、注釋等方式對數(shù)據(jù)進行標記，形成可供計算機分析識別的數(shù)據(jù)?？s略語下列縮略語適用于本文件。SVM：支持向量機（SupportVectorMachines）SVD：奇異值分解（SingularValueDecomposition）PCA：主成分分析（PrincipalComponentAnalysis）OLS：最小二乘法（OrdinaryLeastSquares）CNN：卷積神經(jīng)網(wǎng)絡（ConvolutionalNeuralNetworks）DNN：深度神經(jīng)網(wǎng)絡（DeepNeuralNetworks）YOLO：YOLO模型（YouOnlyLookOnce）TFLOPS：萬億次浮點運算每秒（TeraFloating-pointOperationsPerSecond）FMI：FMI指數(shù)（FowlkesandMallowsIndex）架構(gòu)要求人工智能平臺架構(gòu)要求包括：總體架構(gòu)：規(guī)定人工智能平臺總體結(jié)構(gòu)以及和其它平臺及組件的關(guān)系；功能架構(gòu)：規(guī)定人工智能平臺總體功能結(jié)構(gòu)；技術(shù)架構(gòu)：規(guī)定人工智能平臺主體組件的技術(shù)選型和技術(shù)范圍；數(shù)據(jù)架構(gòu)：規(guī)定人工智能平臺數(shù)據(jù)的架構(gòu)；多級協(xié)同：規(guī)定人工智能平臺的總部、省、地市、邊緣端的多級結(jié)構(gòu)?？傮w架構(gòu)33部分基于國網(wǎng)云提供的基礎(chǔ)CPUAI實驗訓練應使用樣本庫的樣本集，通過訓練得到可用的模型，模型可輸出至模型庫；模型庫存放訓練出的算法模型或采購來的第三方算法模型；人工智能平臺應提供模型推送功能，可通過云邊協(xié)同套件推送至邊側(cè)設(shè)備；人工智能中臺可支撐設(shè)備運維、電網(wǎng)調(diào)度、客戶服務、安全管控和企業(yè)經(jīng)營等電力業(yè)務；邊緣側(cè)設(shè)備的樣本數(shù)據(jù)可通過云邊協(xié)同套件上傳至樣本庫；平臺層支撐各類人工智能服務，并通過服務支撐應用層的業(yè)務應用。圖1人工智能平臺總體架構(gòu)圖訓練運行平臺訓練運行平臺應包括：模型訓練、模型部署、模型評估和服務發(fā)布等4部分。各部分應滿足的要求為：不同框架的環(huán)境創(chuàng)建采用統(tǒng)一的操作入口；模型開發(fā)提供命令行式全功能操作方式；模型訓練包括命令行式訓練、可視化建模和自動化建模；模型評估包括模型選擇、驗證集選擇、驗證環(huán)境選擇和結(jié)果展示。模型庫模型庫應包括：模型管理和鏡像封裝2部分。模型庫支撐的服務層的具體要求為：基礎(chǔ)模型服務可包括：智能語音：語音識別和語音合成等；自然語言處理：信息檢索和問答對話等；計算機視覺：圖像識別和視頻分析等；知識圖譜：圖譜構(gòu)建和圖譜服務等。業(yè)務模型服務可包括但不限于以下幾方面：1）變壓器滲漏油識別；客服工單分析；客服語音質(zhì)檢；電網(wǎng)設(shè)備故障事件抽?。痪€路金具缺銷釘識別；電力文本查重；變壓器聲紋識別；電網(wǎng)事件演進關(guān)系抽??；未戴安全帽違章識別；輿情分析預警；設(shè)備故障診斷；缺陷設(shè)備屬性抽取。模型管理服務應包括：對模型進行統(tǒng)一生命周期管理；對模型進行標簽、收藏等特定服務；支持多廠商多框架多功能模型統(tǒng)一納管。樣本庫樣本庫應包括：樣本管理和樣本標注2部分，應滿足如下要求：樣本管理包括：樣本數(shù)據(jù)集管理、標簽管理和樣本信息管理等；樣本標注包括：文本標注、視頻標注、音頻標注和圖像標注。功能架構(gòu)人工智能平臺功能應包括：樣本庫、模型庫和訓練運行平臺。人工智能平臺功能架構(gòu)如下圖2，功能架構(gòu)應滿足如下要求：訓練運行平臺可分為訓練環(huán)境和運行環(huán)境，訓練環(huán)境包括：模型開發(fā)、模型訓練、模型評估、模型庫包括：模型資源服務目錄、模型文件存儲、模型鏡像封裝、模型版本管理、模型調(diào)試、模型同步和模型下載。圖2人工智能平臺功能架構(gòu)圖技術(shù)架構(gòu)圖3人工智能平臺技術(shù)架構(gòu)圖人工智能平臺技術(shù)架構(gòu)要求為：APISDKGUIKubernetesDocker算法集成應包括算法模塊：SVM、SVD、PCA、OLS、CNN、DNN、YOLO學習框架應包括主流的開源深度學習框架；KettleSqoopNumpy、Scikit-learnCeph平臺應支持多租戶；ISC；配置管理模塊宜采用配置引擎的方式開發(fā)；Harbor；資源應支持動態(tài)分配；AIGPUNPUCentOS7.3Ubuntu16.04數(shù)據(jù)架構(gòu)訓練組件讀取樣本庫的數(shù)據(jù)和模型庫的模型，并將訓練好的模型入庫存儲到模型庫；總部和省公司的樣本庫可實現(xiàn)樣本目錄同步；總部和省公司的模型庫可實現(xiàn)模型目錄同步；模型庫的模型可通過云邊協(xié)同套件下發(fā)到邊緣端。圖4人工智能平臺數(shù)據(jù)架構(gòu)多級協(xié)同邊緣端應至少具備推理計算及業(yè)務模型服務能力；公司級人工智能平臺應為公司各業(yè)務部門、各省公司及各地市公司提供高效共享的算法訓練、驗證、管理及推理服務；省公司級人工智能平臺應為省公司各業(yè)務部門及各地市公司提供人工智能服務能力；公司級和省公司級人工智能平臺應具備模型推送能力。圖5人工智能平臺多級協(xié)同結(jié)構(gòu)圖技術(shù)要求功能要求訓練運行平臺訓練運行平臺功能要求為：項目管理：項目創(chuàng)建、項目切換、項目刪除和項目監(jiān)控；MindSporeTensorFlowMXNetPyTorchCaffe模型評估：評估指標和評估報告管理，按算法類型分為：分類算法：準確率指標評估、召回率指標評估、F1回歸算法：誤差平方和、決定系數(shù)和校正決定系數(shù)；聚類算法：緊密型、間隔性、純度、標準化互信息、蘭德指數(shù)、FMI、Jaccard算法管理：算法上架、算法分類和算法下架等容器管理：容器鏡像文件導入和導出。模型庫模型庫功能要求為：模型管理：模型導入、模型刪除、版本管理、模型標簽、模型收藏和模型共享；樣本庫樣本庫功能要求為：數(shù)據(jù)接入：本地文件導入、HDFSFTPNFS數(shù)據(jù)預處理：特征提取、灰度校正和平滑去噪等；數(shù)據(jù)標注：宜支持智能標注，以模型來給未標注數(shù)據(jù)進行標注。性能要求響應時限人工智能平臺響應時限應符合Q/GDW/Z11212-2014《信息系統(tǒng)非功能性需求規(guī)范》的規(guī)定可靠性數(shù)據(jù)完整性：存儲節(jié)點發(fā)生故障時，應確保數(shù)據(jù)完整；算力完整性：計算節(jié)點發(fā)生故障時，應不影響訓練和推理的執(zhí)行結(jié)果；消息完整性：消息隊列節(jié)點發(fā)生故障時，應確保消息不丟失，且不影響消息正常提交和消費；任務調(diào)度完整性：任務調(diào)度節(jié)點發(fā)生故障時，應不影響任務調(diào)度和執(zhí)行；網(wǎng)絡完整性：網(wǎng)絡發(fā)生故障并恢復后，系統(tǒng)和任務、服務均應自動繼續(xù)運行?？蓴U展性安全要求人工智能平臺的安全要求包括：GB/T18336—2015GB/T22239-2019《信息安全技術(shù)網(wǎng)絡安全等級保護基本要求》的規(guī)定；平臺中人工智能算法在支撐業(yè)務應用時，應充分考慮算法計算精度突然降低、計算結(jié)果出錯、計算結(jié)果超時等狀