2021電力物聯(lián)網(wǎng)數(shù)據(jù)中臺技術(shù)和功能規(guī)范

電力物聯(lián)網(wǎng)數(shù)據(jù)中臺技術(shù)和功能規(guī)范目??次前?言 II范圍 1規(guī)范性引用文件 1術(shù)語和定義 1縮略語 1數(shù)據(jù)中臺架構(gòu) 2總體架構(gòu) 2總體要求 2功能架構(gòu) 3功能要求 4數(shù)據(jù)接入 4存儲計算 5數(shù)據(jù)分析 8數(shù)據(jù)服務(wù) 9數(shù)據(jù)資產(chǎn)管理 10運營管理 11非功能性要求 13性能要求 13可靠性要求 14易用性要求 14可擴展性要求 15連續(xù)性要求 15安全要求 15附錄A（資料性附錄）平臺定位 16附錄B（資料性附錄）部署架構(gòu) 17編制說明 18IPAGEPAGE11PAGEPAGE10電力物聯(lián)網(wǎng)數(shù)據(jù)中臺技術(shù)和功能規(guī)范范圍本標(biāo)準(zhǔn)規(guī)定了數(shù)據(jù)中臺技術(shù)和功能要求，包括數(shù)據(jù)接入、存儲計算、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)、數(shù)據(jù)資產(chǎn)管理、運營管理等功能要求以及非功能性要求。本標(biāo)準(zhǔn)適用于國家電網(wǎng)有限公司數(shù)據(jù)中臺規(guī)劃、設(shè)計、開發(fā)、建設(shè)、運維等環(huán)節(jié)。規(guī)范性引用文件下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。Q/GDW1597國家電網(wǎng)公司應(yīng)用軟件系統(tǒng)通用安全要求Q/GDW11816全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心總體架構(gòu)和技術(shù)要求Q/GDW12098電力物聯(lián)網(wǎng)術(shù)語術(shù)語和定義Q/GDW12098和Q/GDW11816界定的以及下列術(shù)語和定義適用于本文件。3.1列式存儲columnarstorage按單列而不是多行進行的數(shù)據(jù)連續(xù)存儲方式。3.2時序數(shù)據(jù)庫timeseriesdatabase存儲與時間相關(guān)的數(shù)據(jù)，該數(shù)據(jù)是在時間上分布的一系列值?？s略語下列縮略語適用于本文件。API：應(yīng)用程序編程接口（ApplicationProgrammingInterface）ETL:數(shù)據(jù)抽取轉(zhuǎn)換加載(ExtractTransformLoad)GB：吉字節(jié)（Gigabyte）GE：千兆以太網(wǎng)（GigabitEthernet）HTTP:超文本傳輸協(xié)議（HyperTextTransferProtocol)JDBC：Java數(shù)據(jù)庫連接（JavaDataBaseConnectivity）JMS：Java消息服務(wù)（JavaMessagingService）JS：一種直譯式腳本語言（JavaScript）MB：兆字節(jié)（Mbyte）MPP：大規(guī)模并行處理（Massivelyparallelprocessing）ODBC：開放數(shù)據(jù)庫連接（OpenDataBaseConnectivity）PB：拍字節(jié)（PetaByte）RESTFUL：一種網(wǎng)絡(luò)應(yīng)用程序的設(shè)計風(fēng)格和開發(fā)方式（RepresentationalStateTransfer）RPC：遠(yuǎn)程過程調(diào)用協(xié)議（RemoteProcedureCallProtocol）SQL：結(jié)構(gòu)化查詢語言（StructuredQueryLanguage）SSD：固態(tài)硬盤（SolidStateDisk）TB：太字節(jié)（Terabyte）TCP：傳輸控制協(xié)議（TransmissionControlProtocol）TPS：事務(wù)處理系統(tǒng)（Transactionprocessingsystems）URL：統(tǒng)一資源定位符（UniformResourceLocator）XML(ExtensibleMarkupLanguage)數(shù)據(jù)中臺架構(gòu)總體架構(gòu)數(shù)據(jù)中臺包含貼源層、共享層、分析層、統(tǒng)一數(shù)據(jù)服務(wù)、數(shù)據(jù)資產(chǎn)管理和運營管理，總體架構(gòu)如圖1所示。圖1數(shù)據(jù)中臺總體架構(gòu)總體要求數(shù)據(jù)中臺應(yīng)滿足對多源異構(gòu)數(shù)據(jù)接入存儲、多樣化數(shù)據(jù)計算分析、數(shù)據(jù)服務(wù)化提供等相關(guān)應(yīng)用要求，具體如下：數(shù)據(jù)中臺應(yīng)支持對結(jié)構(gòu)化、非結(jié)構(gòu)化、采集量測等多源異構(gòu)的數(shù)據(jù)接入；數(shù)據(jù)中臺應(yīng)提供滿足批量離線計算、實時流式計算、多維數(shù)據(jù)分析、報表分析、數(shù)據(jù)挖掘等支撐能力，支持主流應(yīng)用構(gòu)建技術(shù)及算法自定義；數(shù)據(jù)中臺應(yīng)提供滿足數(shù)據(jù)業(yè)務(wù)化以數(shù)據(jù)服務(wù)方式對外提供服務(wù)，靈活支撐企業(yè)級數(shù)據(jù)共享及應(yīng)用，并可實現(xiàn)在線調(diào)度監(jiān)測、自動化執(zhí)行、敏捷化應(yīng)用等。E格式文件和特定規(guī)約的消息數(shù)據(jù)等；支持集群規(guī)模靈活擴展；系統(tǒng)運行指標(biāo)方面支持與信息通信一體化調(diào)度運行支撐平臺集成；具備完善的整體數(shù)據(jù)安全和隱私保護措施。功能架構(gòu)功能架構(gòu)圖圖2數(shù)據(jù)中臺功能架構(gòu)功能描述數(shù)據(jù)中臺功能主要包括：數(shù)據(jù)接入是指從數(shù)據(jù)中臺外部將各類業(yè)務(wù)數(shù)據(jù)匯聚到數(shù)據(jù)中臺貼源層的基本服務(wù)能力。數(shù)據(jù)E格式文件和特定規(guī)約的消息數(shù)據(jù)。源端可以是各類業(yè)務(wù)系統(tǒng)、終端設(shè)備和外部第三方服務(wù)提供商。其中數(shù)據(jù)交換能力應(yīng)具備橫向和縱向級聯(lián)數(shù)據(jù)傳輸能力；存儲計算是數(shù)據(jù)中臺數(shù)據(jù)核心處理引擎。數(shù)據(jù)存儲是指各類業(yè)務(wù)數(shù)據(jù)接入數(shù)據(jù)中臺后的落地過程。數(shù)據(jù)計算是指根據(jù)需求對數(shù)據(jù)進行計算加工的處理過程；數(shù)據(jù)分析是為分析模型和分析算法提供管理，為數(shù)據(jù)報表與可視化展示提供工具集；Restful等各類形式的API服務(wù)接口的統(tǒng)一注冊、管理和調(diào)度；數(shù)據(jù)資產(chǎn)管理對數(shù)據(jù)資產(chǎn)體系的模型、目錄、數(shù)據(jù)標(biāo)簽等進行全面管控；運營管理為數(shù)據(jù)中臺的使用過程提供各種管理支撐工具，對數(shù)據(jù)服務(wù)和脫敏規(guī)則等進行參數(shù)配置，對鏈路進行安全監(jiān)控和調(diào)度計量，對數(shù)據(jù)開發(fā)提供在線交互功能，是實現(xiàn)數(shù)據(jù)全生命周期監(jiān)控的基本工具集，數(shù)據(jù)運營能力包括對模型、指標(biāo)、標(biāo)簽、策略等開展持續(xù)運營的能力。功能要求數(shù)據(jù)接入消息隊列消息隊列具體功能應(yīng)包括：為數(shù)據(jù)中臺提供基于消息的事件類或采集量測類數(shù)據(jù)接入能力；支持點對點、發(fā)布/訂閱等多種通信模型；支持可靠消息，代理節(jié)點保證消息收且只被接收一次；支持保序消息，代理節(jié)點保證消息的順序接收；支持事務(wù)消息，多條消息支持以事務(wù)方式發(fā)送；持久化消息，消息在代理節(jié)點持久化到硬盤，防止丟失；JMS規(guī)范，支持字節(jié)流、字符串、二進制流、序列化對象等多種易處理消息類型；支持同步發(fā)送/異步發(fā)送，源端與目標(biāo)端可通過代理進行同步/異步通信；APIjava、c++等；支持?jǐn)?shù)據(jù)路由，多套消息中間件間可實現(xiàn)消息路由轉(zhuǎn)發(fā)；支持集群部署，支持高可用，具備運行節(jié)點橫向擴展能力。數(shù)據(jù)復(fù)制數(shù)據(jù)復(fù)制具體功能應(yīng)包括：支持通過在線日志或歸檔日志的數(shù)據(jù)增量捕獲，非侵入式的實現(xiàn)數(shù)據(jù)庫之間數(shù)據(jù)復(fù)制；Oracle、MySQL等常見關(guān)系數(shù)據(jù)庫；具備多種比對策略，支持表結(jié)構(gòu)、表記錄等多對象的一致性比對；具備高比率的數(shù)據(jù)壓縮，能夠?qū)崿F(xiàn)斷點續(xù)傳，并能在傳輸過程中進行安全的數(shù)據(jù)加密；具備對復(fù)制過程各個環(huán)節(jié)的運行情況進行記錄和監(jiān)控的能力；具備實時/準(zhǔn)實時數(shù)據(jù)復(fù)制能力；支持多種接口與第三方系統(tǒng)對接，提供增量數(shù)據(jù)變化描述的中間數(shù)據(jù)；支持基于事務(wù)的數(shù)據(jù)同步。數(shù)據(jù)抽取轉(zhuǎn)換數(shù)據(jù)抽取轉(zhuǎn)換具體功能應(yīng)包括：OracleMySQLPostgreSQLSQLServerOracleRDBDB2GreenplumSybaseMSAccess、SQLite等主流數(shù)據(jù)庫；txt、csv、xml等主流格式文件；Hbase、Hive、HDFS、Kafkakerberos安全認(rèn)證機制；支持達(dá)夢、金倉、GBase8aE文件等格式文件；具備完善的數(shù)據(jù)整合處理能力，支持值映射、拆分字段、合并字段、字段選擇、排序、編碼轉(zhuǎn)換、計算、行列轉(zhuǎn)換、剪切字符串、去重、唯一行（哈希值）、增加常量、增加序列、字符串替換、行扁平化、設(shè)置字段值、正則表達(dá)式替換等；OracleMySQLPostgreSQLGbase8a支持調(diào)度接口，支持與第三方應(yīng)用交互，并反饋運行結(jié)果；支持可視化任務(wù)編排，支持可視化開發(fā)工具、可視化調(diào)度監(jiān)控；支持批量配置；支持集群部署，具備運行節(jié)點橫向擴展能力；B/S架構(gòu)對系統(tǒng)進行管理。數(shù)據(jù)交換數(shù)據(jù)交換具體功能應(yīng)包括：滑動窗口不穩(wěn)定等問題；webservice方式進行數(shù)據(jù)交換；OracleMySQLPostgreSQLGbase8a、DB2、GreenplumHadoop的數(shù)據(jù)交換和同步；支持基于文件的批量數(shù)據(jù)交換，不區(qū)分文件格式；支持基于消息的高頻數(shù)據(jù)交換，提供兩級集群消息通道服務(wù)，支持發(fā)布/訂閱模式；支持可視化配置，支持?jǐn)?shù)據(jù)交換任務(wù)可視化配置、支持兩級任務(wù)可視化管理、支持可視化運行監(jiān)控；支持任務(wù)批量配置；支持?jǐn)?shù)據(jù)失敗補償機制、增量機制、人工干預(yù)機制；支持集群部署，具備運行節(jié)點橫向擴展能力；實現(xiàn)多視角的數(shù)據(jù)流向和數(shù)據(jù)狀態(tài)展現(xiàn)視圖及分析報表功能；實現(xiàn)數(shù)據(jù)質(zhì)量檢查功能；實現(xiàn)交換任務(wù)自動檢查功能；實現(xiàn)交換任務(wù)智能統(tǒng)計分析功能。存儲計算批量計算批量計算具體功能應(yīng)包括：具備任務(wù)定義、提交、調(diào)度、監(jiān)控能力；支持多種數(shù)據(jù)來源及輸出，包括關(guān)系數(shù)據(jù)庫、分布式文件系統(tǒng)、分布式列式存儲等，滿足各業(yè)務(wù)系統(tǒng)根據(jù)業(yè)務(wù)需求進行各類型統(tǒng)計分析任務(wù)的定義；具備錯誤檢測和恢復(fù)機制，支持節(jié)點自動重啟技術(shù)，使集群和計算框架具有應(yīng)對節(jié)點失效的健壯性，能有效處理失效節(jié)點的檢測和恢復(fù)；API實現(xiàn)批量計算邏輯；支持橫向擴展，可動態(tài)擴展節(jié)點，用于批量計算。流計算流計算具體功能應(yīng)包括：支持多種內(nèi)建的字符串、時間、統(tǒng)計、邏輯運算表達(dá)式等類型函數(shù)，支持用戶自定義計算函數(shù)，自定義輸入、輸出數(shù)據(jù)源；支持消息驅(qū)動的實時計算，支持對接不同的數(shù)據(jù)源，以毫秒級時延實現(xiàn)數(shù)據(jù)的聚合、拆分、過濾等處理；SQL任務(wù)，支持多種輸入、輸出數(shù)據(jù)源及相關(guān)的序列化、反序列化方式；SQL能力至少包括：基于窗口的計算能力、提供窗口數(shù)據(jù)的統(tǒng)計能力、關(guān)聯(lián)能力；支持自動、手動性能調(diào)優(yōu)和監(jiān)控報警；流計算集群支持線性擴展，具備容錯機制，支持作業(yè)級容錯；API實現(xiàn)流計算邏輯。內(nèi)存計算內(nèi)存計算具體功能應(yīng)包括：應(yīng)提供對事件處理的可靠保證；支持冗余/高可用的配置，能夠保證模塊無單點故障；API實現(xiàn)內(nèi)存計算邏輯；具備任務(wù)定義、提交、調(diào)度、監(jiān)控能力；Java、Scala、Python編程語言。分布式列式數(shù)據(jù)庫分布式列式數(shù)據(jù)庫具體功能應(yīng)包括：提供列式存儲、在線快速讀寫、線性擴展、監(jiān)控管理等能力；支持大規(guī)模集群部署、PB級數(shù)據(jù)存儲；APISQLODBC、JDBC等開發(fā)接口；支持二級索引，能夠支持本地以及全局二級索引，并且能夠支持組合字段索引，支持為已經(jīng)APIPhoenix創(chuàng)建二級索引；支持與全文檢索服務(wù)對接，支持在數(shù)據(jù)庫數(shù)據(jù)加載過程中實時生成全文索引，提供快速、簡單的內(nèi)容檢索方案；MOB技術(shù)，滿足小文件（比如圖像數(shù)據(jù)、文檔等）的高效存儲和檢索；SM3/SM4國密算法。分布式關(guān)系型數(shù)據(jù)庫分布式關(guān)系型數(shù)據(jù)庫具體功能應(yīng)包括：支持?jǐn)?shù)據(jù)冗余存儲、分庫分表、透明讀寫分離、數(shù)據(jù)存儲平滑擴容、分布式運維指令集、分布式事務(wù)等功能；支持?jǐn)?shù)據(jù)庫在線擴容、在線備份；支持?jǐn)?shù)據(jù)庫狀態(tài)管理和監(jiān)控能力；SQLODBC、JDBC等開發(fā)接口；支持大規(guī)模集群部署，集群具備高并發(fā)響應(yīng)能力；SM3/SM4國密算法。圖數(shù)據(jù)庫圖數(shù)據(jù)庫具體功能應(yīng)包括：支持以圖數(shù)據(jù)結(jié)構(gòu)進行存儲、處理、查詢等；支持分布式部署；支持并行處理；csv、txt等文件形式導(dǎo)入；支持可視化展示圖結(jié)果查詢；支持動態(tài)更新節(jié)點、邊、屬性；API功能,能夠和其他平臺完成對接和交互；支持拓?fù)潢P(guān)系數(shù)據(jù)存儲和分析能力；支持在線備份（完整備份和增量備份），寫操作支持線程安全；AQL、Pregel、Cypher等，并支持算法擴展。數(shù)據(jù)融合存儲數(shù)據(jù)融合存儲包括數(shù)據(jù)分類、分層、分區(qū)和存儲技術(shù)兩部分：數(shù)據(jù)分類、分層、分區(qū)包括：數(shù)據(jù)分類是根據(jù)數(shù)據(jù)本身特點、分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；ETL數(shù)據(jù)分區(qū)是對一個數(shù)據(jù)在特定維度上再次細(xì)化分類。存儲技術(shù)要求包括：支持在線查詢或離線計算的數(shù)據(jù)訪問需求；支持高吞吐的數(shù)據(jù)讀取和寫入；PB提供更靈活的存儲和計算資源管理手段，提高存儲和計算的擴展性；提供高并發(fā)在線應(yīng)用所需的低延遲業(yè)務(wù)數(shù)據(jù)查詢。MPPMPP數(shù)據(jù)庫具體功能應(yīng)包括：支持表、視圖、函數(shù)、主鍵、約束、索引、存儲過程、游標(biāo)等數(shù)據(jù)庫基礎(chǔ)對象；支持分組、排序、匯總、聯(lián)合、子查詢等功能；支持分布式事務(wù)、全局事務(wù)等；Linux操作系統(tǒng)，支持主流硬件廠商的硬件；支持基于節(jié)點間無共享的存儲架構(gòu)；支持在線擴展(刪除)節(jié)點服務(wù)器而不影響應(yīng)用系統(tǒng)持續(xù)運行；SQL92、SQL99、SQL2003、SQL2008SQL標(biāo)準(zhǔn)；C、C++、、C#、Python開發(fā)語言和工具的支持；提供對易用并具有廣泛適應(yīng)性的接口程序，如：JDBC、ODBC等；支持PB級結(jié)構(gòu)化數(shù)據(jù)存儲；提供數(shù)據(jù)備份和恢復(fù)機制；支持多種數(shù)據(jù)容錯機制，包括針對磁盤錯誤等硬件錯誤的容錯手段；提供統(tǒng)一的圖形化數(shù)據(jù)庫管理工具，可對多套數(shù)據(jù)庫進行集中式的統(tǒng)一管理；提供圖形界面的數(shù)據(jù)庫性能監(jiān)控和動態(tài)性能調(diào)整等功能，能為管理員提供調(diào)優(yōu)建議，提供系統(tǒng)自動參數(shù)調(diào)優(yōu)功能。時序數(shù)據(jù)庫時序數(shù)據(jù)庫具體功能應(yīng)包括：支持實時、高并發(fā)寫入，無須更新或刪除操作，時序數(shù)據(jù)會按照指定的時間粒度持續(xù)寫入；支持分級存儲、SQL查詢；支持?jǐn)?shù)據(jù)壓縮功能，降低存儲成本；支持分片，水平擴展；支持歷史查詢、插值查詢以及聚合計算，能滿足各種復(fù)雜的業(yè)務(wù)數(shù)據(jù)查詢場景；支持高效的數(shù)據(jù)壓縮技術(shù)，減少磁盤空間占用；支持批量歷史數(shù)據(jù)查詢、歷史時刻斷面數(shù)據(jù)查詢等多種數(shù)據(jù)訪問方式。數(shù)據(jù)分析數(shù)據(jù)分析需求目錄數(shù)據(jù)分析需求目錄具體功能應(yīng)包括：支持按專業(yè)對業(yè)務(wù)需求進行分類；支持對業(yè)務(wù)分析挖掘需求信息的新增、刪除、編輯、版本管理；支持業(yè)務(wù)分析挖掘需求信息發(fā)布，包括業(yè)務(wù)分析背景、目標(biāo)、范圍、要求等信息發(fā)布；支持業(yè)務(wù)分析挖掘需求信息查詢、瀏覽、交流、標(biāo)注、評價。自助式分析自助式分析具體功能應(yīng)包括：支持?jǐn)?shù)據(jù)源接入配置、管理，提供對各類數(shù)據(jù)源的維護，可支持主流數(shù)據(jù)庫、文件以及第三API接口等；支持基于用戶數(shù)據(jù)使用權(quán)限進行字段級的數(shù)據(jù)加密、脫敏；內(nèi)置常用的數(shù)據(jù)預(yù)處理算子，支持?jǐn)?shù)據(jù)清洗、轉(zhuǎn)換、集成、數(shù)據(jù)規(guī)約等功能；支持對數(shù)據(jù)的使用行為、使用流程、方式等進行審計、標(biāo)注；提供直觀、易用的拖放式界面，能通過選擇主題相關(guān)的表及相應(yīng)的圖表、文字等展現(xiàn)形式，設(shè)置布局、樣式等信息，形成相關(guān)圖表分析功能,內(nèi)置主流可視化圖表控件，支持動態(tài)集成第三方可視化控件，對數(shù)據(jù)進行探索分析和數(shù)據(jù)標(biāo)注；內(nèi)置主流的數(shù)據(jù)挖掘算法，支持動態(tài)集成第三方算法，支持通過在線拖拉方式，實現(xiàn)分析挖掘模型構(gòu)建與訓(xùn)練、評估、優(yōu)化；支持模型以工具的形式部署到用戶使用的平臺或系統(tǒng)中。數(shù)據(jù)可視化數(shù)據(jù)可視化具體功能應(yīng)包括：支持?jǐn)?shù)據(jù)源管理，提供對各類數(shù)據(jù)源的維護,API接口等；支持對數(shù)據(jù)集進行數(shù)據(jù)類型轉(zhuǎn)換、字符長度截取等簡單的數(shù)據(jù)預(yù)處理；支持可視化分析設(shè)計，提供圖形化拖拽等簡易配置可視化場景的能力，提供豐富的可視化組件庫，滿足不同業(yè)務(wù)的展示需求；支持基于模板快速構(gòu)建可視化場景，預(yù)置多種業(yè)務(wù)典型模板；實現(xiàn)對海量數(shù)據(jù)的快速響應(yīng)、實時在線、詳細(xì)展示；具備對多種復(fù)雜數(shù)據(jù)格式和場景的展示，包括實景地圖、3D建模、VR仿真建模等；支持集成第三方可視化工具。報表分析報表分析具體功能應(yīng)包括：支持?jǐn)?shù)據(jù)源管理，提供對各類數(shù)據(jù)源的維護,API接口等；支持報表的創(chuàng)建、數(shù)據(jù)自定義報送、報表數(shù)據(jù)自定義時間采集、執(zhí)行任務(wù)列表查看等業(yè)務(wù)需求；支持業(yè)務(wù)應(yīng)用個性化自助報表設(shè)計、查詢、圖形化展現(xiàn)等業(yè)務(wù)需求；提供機器人儀表盤、作業(yè)管理、運行監(jiān)測、機器人配置管理、部署管理等能力。成果應(yīng)用管理分析成果管理具體功能應(yīng)包括：支持分析挖掘模型成果、可視化看板、報表成果的提交、審核、編輯、版本管理、發(fā)布、下架等；支持對分析成果進行下載、使用、分享；支持分析成果信息瀏覽、查看、標(biāo)注、評價；支持對分析成果應(yīng)用使用情況的跟蹤、反饋、評估；支持對分析成果的成果數(shù)量、瀏覽次數(shù)、下載及引用次數(shù)等進行多維分析。數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)目錄數(shù)據(jù)服務(wù)目錄具體功能應(yīng)包括：支持基于元數(shù)據(jù)，構(gòu)建數(shù)據(jù)服務(wù)目錄、資源分類、編碼管理等接口；提供對數(shù)據(jù)服務(wù)的統(tǒng)一注冊與發(fā)布、編排（組合編排）、訂閱、授權(quán)、檢索以及應(yīng)用接入管理能力；webservicerestful等接口形式進行注冊、發(fā)布等配置；具備管理、繪制各個數(shù)據(jù)服務(wù)標(biāo)簽的能力，為調(diào)用方提供快捷的目錄檢索功能；支持管理前端業(yè)務(wù)應(yīng)用對數(shù)據(jù)服務(wù)的訂閱，為已訂閱的前端業(yè)務(wù)應(yīng)用提供服務(wù)消息通知；支持記錄管理前端業(yè)務(wù)應(yīng)用對數(shù)據(jù)服務(wù)的訪問痕跡、訪問狀態(tài)、資源使用情況等；token、Basic等認(rèn)證形式；支持?jǐn)?shù)據(jù)服務(wù)版本管理，可追溯數(shù)據(jù)服務(wù)變更記錄；支持對數(shù)據(jù)服務(wù)的運行狀態(tài)、服務(wù)數(shù)量、服務(wù)調(diào)用頻度等多維分析。RESTfulRESTful服務(wù)具體功能應(yīng)包括：URL；支持驗證來自客戶端的所有輸入，避免注入攻擊；支持會話機制，對客戶端此次請求進行權(quán)限認(rèn)證；URL敏感數(shù)據(jù)監(jiān)測。WebserviceWebservice服務(wù)具體功能應(yīng)包括：支持通過封裝、規(guī)則、協(xié)議進行數(shù)據(jù)交換，并提供各類數(shù)據(jù)服務(wù)接口的生成、注冊、發(fā)布等配置功能；IP認(rèn)證以及加密傳輸?shù)?。第三方接口服?wù)第三方接口服務(wù)具體功能應(yīng)包括：JS接口、HTTP接口等第三方集成接口服務(wù)，并提供各類數(shù)據(jù)服務(wù)接口的生成、注冊、發(fā)布等配置功能；IP認(rèn)證以及加密傳輸?shù)?。?shù)據(jù)資產(chǎn)管理數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)資產(chǎn)目錄具體功能應(yīng)包括：支持主流數(shù)據(jù)庫元數(shù)據(jù)動態(tài)采集；支持在線動態(tài)創(chuàng)建不同類型數(shù)據(jù)資產(chǎn)目錄及資源綁定；支持?jǐn)?shù)據(jù)資產(chǎn)目錄和數(shù)據(jù)血緣關(guān)系的可視化展示；支持?jǐn)?shù)據(jù)資產(chǎn)檢索、數(shù)據(jù)自助獲取等功能。標(biāo)簽管理標(biāo)簽管理具體功能應(yīng)包括：支持對不同類型標(biāo)簽的增加、修改、下線等全生命周期管理功能，并自動創(chuàng)建相關(guān)標(biāo)簽信息庫；支持在建立標(biāo)簽主體對象后，通過配置規(guī)則自動對不同數(shù)據(jù)對象打標(biāo)簽；支持查詢單個數(shù)據(jù)對象的所有標(biāo)簽信息；支持查詢某個群體的標(biāo)簽信息。數(shù)據(jù)模型管理數(shù)據(jù)模型管理具體功能應(yīng)包括：支持總部側(cè)標(biāo)準(zhǔn)設(shè)計模型一鍵式在線發(fā)布至各單位；支持總部與各單位個性化數(shù)據(jù)模型的管理；支持模型可視化展示及一鍵式查詢；支持模型多版本管理及版本間差異分析；支持設(shè)計態(tài)模型與運行態(tài)模型比對管理與分析。數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理具體功能應(yīng)包括：支持用戶自定義數(shù)據(jù)質(zhì)量規(guī)則配置（完整性、準(zhǔn)確性、及時性等規(guī)則），動態(tài)構(gòu)建質(zhì)量核查規(guī)則庫、清洗規(guī)則庫，支撐業(yè)務(wù)層和數(shù)據(jù)層的數(shù)據(jù)質(zhì)量工作；支持質(zhì)量核查任務(wù)的動態(tài)創(chuàng)建及調(diào)度配置，根據(jù)調(diào)度策略執(zhí)行核查任務(wù)，并生成相關(guān)核查結(jié)果；支持?jǐn)?shù)據(jù)剖析，自動檢測數(shù)據(jù)內(nèi)容、結(jié)構(gòu)、關(guān)聯(lián)關(guān)系，發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，概覽大數(shù)據(jù)集數(shù)據(jù)情況；支撐數(shù)據(jù)質(zhì)量模型配置，提供業(yè)務(wù)級、算法級等質(zhì)量模型接口，快速集成數(shù)據(jù)質(zhì)量模型。主數(shù)據(jù)管理主數(shù)據(jù)管理具體功能應(yīng)包括：支持對企業(yè)主數(shù)據(jù)對象的新增、變更、凍結(jié)、解凍、審批、分發(fā)等全過程管理；支持將主數(shù)據(jù)服務(wù)能力統(tǒng)一發(fā)布至數(shù)據(jù)服務(wù)目錄。運營管理安全管理安全管理具體功能應(yīng)包括：支持?jǐn)?shù)據(jù)共享級別管理，依據(jù)數(shù)據(jù)分類分級的方法，能夠?qū)?shù)據(jù)共享分級信息進行維護，實現(xiàn)數(shù)據(jù)分級分類權(quán)限與訪問控制管理，以及數(shù)據(jù)權(quán)限的規(guī)范管理及應(yīng)用；支持對數(shù)據(jù)安全相關(guān)法規(guī)形成的數(shù)據(jù)安全詞庫進行管理；支持對敏感數(shù)據(jù)的結(jié)構(gòu)信息和存儲分布進行實時監(jiān)控，支持對敏感字段分布的在線查詢與可視化展現(xiàn)，同時在其定義與結(jié)構(gòu)信息發(fā)生變化時自動推送變更信息至數(shù)據(jù)責(zé)任人；支持記錄、分析、追查數(shù)據(jù)庫安全事件能力；支持對中臺中大數(shù)據(jù)基礎(chǔ)軟件的安全配置進行集中管理，滿足等級保護第三級要求；支持對數(shù)據(jù)管理專業(yè)與對數(shù)據(jù)安全相關(guān)法規(guī)形成的數(shù)據(jù)安全詞庫管理；支持自動識別標(biāo)記數(shù)據(jù)的安全等級，構(gòu)建并描繪敏感數(shù)據(jù)在企業(yè)內(nèi)的分布情況；支持基于不同權(quán)限的差異化脫敏策略，支持脫敏算法的啟?？刂?、新增維護、在線測試功能及脫敏模板維護功能；支持實時記錄數(shù)據(jù)庫活動，支持?jǐn)?shù)據(jù)全面審計、無漏審；支持?jǐn)?shù)據(jù)水印等功能；支持提供敏感詞維護、敏感識別策略維護及啟停控制等功能。數(shù)據(jù)開發(fā)數(shù)據(jù)開發(fā)具體功能應(yīng)包括：AI等工具集和開發(fā)管理于一體的數(shù)據(jù)開發(fā)能力合集；AI支持快速完成數(shù)據(jù)開發(fā)，封裝、發(fā)布數(shù)據(jù)服務(wù)，為數(shù)據(jù)開發(fā)用戶提供便捷、開放、高效的開發(fā)構(gòu)建體驗。數(shù)據(jù)脫敏數(shù)據(jù)脫敏具體功能應(yīng)包括：支持對全局脫敏作業(yè)任務(wù)進行實時監(jiān)控；支持屏蔽信息時保留其原始數(shù)據(jù)格式和特定屬性要求，以滿足基于脫敏數(shù)據(jù)的開發(fā)與測試要求；支持基于不同權(quán)限的差異化脫敏，滿足運維人員實時訪問數(shù)據(jù)時的敏感數(shù)據(jù)保護；支持脫敏算法的啟?？刂?、新增維護、在線測試功能及脫敏模板維護功能。服務(wù)管理服務(wù)管理具體功能應(yīng)包括：支持管理、繪制各個服務(wù)的標(biāo)簽，為用戶提供清晰的服務(wù)畫像；支持管理前端業(yè)務(wù)應(yīng)用對數(shù)據(jù)服務(wù)的訂閱，為已訂閱的前端業(yè)務(wù)應(yīng)用提供服務(wù)消息通知；支持記錄前端業(yè)務(wù)應(yīng)用對數(shù)據(jù)服務(wù)的訪問痕跡、訪問狀態(tài)、資源使用情況等；支持各類數(shù)據(jù)服務(wù)的授權(quán)配置功能，前端業(yè)務(wù)應(yīng)用僅能訪問已授權(quán)的數(shù)據(jù)服務(wù)；支持各類數(shù)據(jù)服務(wù)的配置、注冊、發(fā)布等管理功能，支撐數(shù)據(jù)服務(wù)。計量管理計量管理具體功能應(yīng)包括：支持制定數(shù)據(jù)中臺的收費標(biāo)準(zhǔn)；支持提供數(shù)據(jù)服務(wù)的使用頻率統(tǒng)計功能。鏈路監(jiān)測鏈路監(jiān)測具體功能應(yīng)包括：支持吞吐量、響應(yīng)時間、錯誤記錄等監(jiān)測功能；支持鏈路追蹤和故障快速定位可視化功能；支持?jǐn)?shù)據(jù)鏈路優(yōu)化功能，對各個調(diào)用環(huán)節(jié)的可用性和服務(wù)依賴關(guān)系進行優(yōu)化；具備吞吐量、響應(yīng)時間、錯誤記錄等監(jiān)測功能。監(jiān)控警告監(jiān)控警告具體功能應(yīng)包括：CPU、內(nèi)存、IO、網(wǎng)絡(luò)等基礎(chǔ)資源監(jiān)控告警功能；支持對應(yīng)用場景監(jiān)測，提供數(shù)據(jù)中臺的各類應(yīng)用場景運行情況監(jiān)控告警功能；支持對數(shù)據(jù)服務(wù)監(jiān)測，提供服務(wù)運行狀態(tài)、服務(wù)調(diào)用次數(shù)、是否調(diào)用成功等數(shù)據(jù)服務(wù)監(jiān)測告警功能；支持對信息通信一體化調(diào)度運行支撐平臺的統(tǒng)一運維監(jiān)測，提供對數(shù)據(jù)中臺組件的監(jiān)控告警功能。任務(wù)調(diào)度任務(wù)調(diào)度具體功能應(yīng)包括：支持作業(yè)任務(wù)管理，提供作業(yè)任務(wù)添加、變更及刪除等功能，支持?jǐn)?shù)據(jù)接入、數(shù)據(jù)計算（內(nèi)存計算、離線計算、流計算）等作業(yè)任務(wù)配置管理；支持任務(wù)持久化和定時任務(wù)；10w個任務(wù)調(diào)度管理；具備分布式任務(wù)調(diào)度功能、支持失效轉(zhuǎn)移。非功能性要求性能要求平臺響應(yīng)性能數(shù)據(jù)中臺進行多用戶并發(fā)操作時，應(yīng)滿足如下要求：13秒；2002000個；3秒；執(zhí)行千萬級數(shù)據(jù)量分析處10秒；執(zhí)行復(fù)雜的綜合業(yè)務(wù)（同時包括查詢、添加、刪除等操作請求）時，平均響應(yīng)時間不得超過7秒；CPU65%CPU利用率不得連續(xù)30秒超過80%；70%6080%的要求；0.1%。數(shù)據(jù)采集性能數(shù)據(jù)中臺的數(shù)據(jù)接入組件數(shù)據(jù)采集性能應(yīng)滿足如下要求：30M/S；10M/S；20M/S；30M/S；數(shù)據(jù)采集組件需支持集群化部署，且性能可線性擴展。數(shù)據(jù)讀取性能數(shù)據(jù)中臺的數(shù)據(jù)存儲組件數(shù)據(jù)讀取性能應(yīng)滿足如下要求：110秒以內(nèi)；25M/S。數(shù)據(jù)服務(wù)應(yīng)用性能數(shù)據(jù)中臺的數(shù)據(jù)服務(wù)組件數(shù)據(jù)應(yīng)用性能應(yīng)滿足如下要求：10M/S；0.1%；分布式的數(shù)據(jù)服務(wù)調(diào)用節(jié)點發(fā)生故障時，應(yīng)確保數(shù)據(jù)服務(wù)正?？捎?。數(shù)據(jù)計算性能數(shù)據(jù)中臺的存儲計算組件數(shù)據(jù)計算性能應(yīng)滿足如下要求：10萬條/S50M/S；1GB每分鐘；1GB每分鐘。彈性式分布彈性式分布應(yīng)滿足如下要求：執(zhí)行資源具有擴縮容功能，同時提供移除異常實例、自動關(guān)聯(lián)負(fù)載均衡等功能；容器具有自我保護模式的功能，當(dāng)容器執(zhí)行的任務(wù)占用資源過大，容器會開啟自保護模式，防止有新的任務(wù)進入，當(dāng)容器恢復(fù)后再自動接收新的任務(wù)。高可用指標(biāo)高可用指標(biāo)應(yīng)滿足如下要求：99.99%；調(diào)度的分布式轉(zhuǎn)實例，具備容災(zāi)能力、自動恢復(fù)能力、集群自檢查能力和彈性的數(shù)據(jù)讀寫能力；當(dāng)容器異常（包括網(wǎng)絡(luò)異常、硬件異常），應(yīng)保證任務(wù)正常執(zhí)行。可靠性要求數(shù)據(jù)中臺在可靠性方面應(yīng)滿足如下要求：7×24小時不間斷工作；10000小時；大規(guī)模用戶上線使用時，不降低已有用戶體驗；出現(xiàn)故障時，應(yīng)及時告警；具備自動或手動恢復(fù)措施，以便在發(fā)生錯誤時能夠快速地恢復(fù)正常運行；154小時；分布式存儲節(jié)點發(fā)生故障時，應(yīng)確保數(shù)據(jù)完整，且不影響數(shù)據(jù)存取的正常服務(wù)；分布式計算節(jié)點發(fā)生故障時，應(yīng)確保計算結(jié)果正確，且不影響數(shù)據(jù)分析計算的正常服務(wù)和流轉(zhuǎn)；分布式消息隊列節(jié)點發(fā)生故障時，應(yīng)確保消息不丟失，且不影響消息正常提交和消費；分布式任務(wù)調(diào)度節(jié)點發(fā)生故障時，應(yīng)確保任務(wù)計劃按時調(diào)度和執(zhí)行。易用性要求數(shù)據(jù)中臺在易用性方面應(yīng)滿足如下要求：針對每種類型的用戶提供較為清晰的工作界面，界面組織條理清晰，便于用戶查找需要的功能；數(shù)據(jù)中臺基本工作界面上應(yīng)提供日志管理、配置管理、集群管理、插件系統(tǒng)、調(diào)試工作臺等功能；提供用戶自助服務(wù)門戶，為每類用戶提供至少一個功能匯集界面，對該類型用戶關(guān)注的主要功能和信息進行統(tǒng)一展現(xiàn)；提供數(shù)據(jù)敏捷應(yīng)用功能，業(yè)務(wù)用戶進行簡單的學(xué)習(xí)即可通過平臺進行數(shù)據(jù)應(yīng)用、可視化的拖拽、報表分析等操作?？蓴U展性要求數(shù)據(jù)中臺在可擴展性方面應(yīng)滿足如下要求：API，便于系統(tǒng)的二次開發(fā)和與其它系統(tǒng)進行數(shù)據(jù)與信息的交換；支持與第三方采集和分析工具無縫連接、快速集成；具備業(yè)務(wù)處理的靈活配置，能隨著業(yè)務(wù)功能的變化靈活重組與調(diào)整。連續(xù)性要求數(shù)據(jù)中臺在連續(xù)性方面應(yīng)滿足如下要求：提供主要網(wǎng)絡(luò)設(shè)備、通信線路和集群系統(tǒng)的硬件冗余，保證平臺的高可用性；提供異地數(shù)據(jù)備份功能，利用通信網(wǎng)絡(luò)將關(guān)鍵數(shù)據(jù)定時批量傳送至備用場地；分布式集群應(yīng)采用集中管理的方式；提供簡單易用的備份軟件，支持向?qū)降膫浞莶僮骱吞崾?，以便用戶在最短時間內(nèi)對相關(guān)數(shù)據(jù)進行保護；提供基于任務(wù)計劃形式的統(tǒng)一調(diào)度管理的備份功能，可實時跟蹤、監(jiān)控和查看備份作業(yè)的執(zhí)行情況；建立對業(yè)務(wù)系統(tǒng)的數(shù)據(jù)保護機制，全面預(yù)防數(shù)據(jù)泄密和篡改。安全要求數(shù)據(jù)中臺應(yīng)遵守Q/GDW1597中規(guī)定的通用要求，還應(yīng)滿足以下要求：支持通過控制連接用戶的數(shù)據(jù)權(quán)限控制數(shù)據(jù)訪問和接入的范圍；數(shù)據(jù)訪問應(yīng)進行安全性認(rèn)證，應(yīng)支持對表、列、值等的訪問權(quán)限控制；數(shù)據(jù)的存儲、傳輸應(yīng)采用加密處理，應(yīng)支持對敏感數(shù)據(jù)的嚴(yán)格訪問控制及脫敏操作，在訪問前應(yīng)進行必要的審批和授權(quán)，在訪問時應(yīng)對操作進行日志記錄；支持對用戶訪問主數(shù)據(jù)的權(quán)限控制，為不同用戶提供不同的主數(shù)據(jù)訪問權(quán)限；數(shù)據(jù)服務(wù)組件應(yīng)具備消息安