版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
ICS
CCS
團(tuán)體標(biāo)準(zhǔn)
T/COSOCCXXXX—XXXX
信息技術(shù)應(yīng)用創(chuàng)新經(jīng)營管理系統(tǒng)數(shù)據(jù)管理
技術(shù)規(guī)范
Informationtechnologyapplicationinnovation—Datamanagementtechnical
specificationsforoperationmanagementsystem
(征求意見稿)
(本草案完成時間:2023.11.24)
在提交反饋意見時,請將您知道的相關(guān)專利連同支持性文件一并附上。
XXXX-XX-XX發(fā)布XXXX-XX-XX實施
中國基本建設(shè)優(yōu)化研究會發(fā)布
T/COSOCCXXXX—XXXX
信息技術(shù)應(yīng)用創(chuàng)新經(jīng)營管理系統(tǒng)數(shù)據(jù)管理技術(shù)規(guī)范
1范圍
本標(biāo)準(zhǔn)給出了經(jīng)營管理系統(tǒng)的數(shù)據(jù)管理體系以及相應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)整理與建模、元數(shù)據(jù)管理、
主數(shù)據(jù)管理、數(shù)據(jù)集成和共享、數(shù)據(jù)安全和數(shù)據(jù)質(zhì)量等方面的技術(shù)規(guī)范要求。
本標(biāo)準(zhǔn)適用于組織和機(jī)構(gòu)對經(jīng)營管理系統(tǒng)在數(shù)據(jù)管理與數(shù)據(jù)應(yīng)用能力建設(shè)的指導(dǎo)和評估。
2規(guī)范性引用文件
下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中,注日期的引用文件,
僅該日期對應(yīng)的版本適用于本文件;不注日期的引用文件,其最新版本(包括所有的修改單)適用于本
文件。
GB/T36073—2018數(shù)據(jù)管理能力成熟度評估模型
GB/T42450—2023信息技術(shù)大數(shù)據(jù)數(shù)據(jù)資源規(guī)劃
3術(shù)語和定義
GB/T36073—2018、GB/T42450—2023界定的以及下列術(shù)語和定義適用于本文件。
數(shù)據(jù)倉庫datawarehouse
一種用于分析和報告來自多個來源的結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的,面向商務(wù)智能活動的數(shù)據(jù)管理系
統(tǒng)。
數(shù)據(jù)湖datalake
一種用于以原生格式存儲、處理和保護(hù)大量結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的集中存儲區(qū)。
數(shù)據(jù)治理datagovernance
對數(shù)據(jù)進(jìn)行處置、格式化和規(guī)范化的過程。
注1:數(shù)據(jù)治理是數(shù)據(jù)和數(shù)據(jù)系統(tǒng)管理的基本要素。
注2:數(shù)據(jù)治理涉及數(shù)據(jù)全生存周期管理,無論數(shù)據(jù)是處于靜態(tài)、動態(tài)、未完成狀態(tài)還是交易狀態(tài)。
[來源:GB/T36073—2018,3.5]
元數(shù)據(jù)metadata
關(guān)于數(shù)據(jù)或數(shù)據(jù)元素的數(shù)據(jù)(可能包括其數(shù)據(jù)描述),以及關(guān)于數(shù)據(jù)擁有權(quán)、存取路徑、訪問權(quán)和
數(shù)據(jù)易變性的數(shù)據(jù)。
[來源:GB/T36073—2018,3.8]
元模型metamodel
規(guī)定一個或多個其他數(shù)據(jù)模型的數(shù)據(jù)模型。
[來源:GB/T36073—2018,3.9]
數(shù)據(jù)質(zhì)量dataquality
在指定條件下使用時,數(shù)據(jù)的特性滿足明確的和隱含的要求的程度。
1
T/COSOCCXXXX—XXXX
[來源:GB/T36073—2018,3.10]
數(shù)據(jù)安全datasecurity
數(shù)據(jù)的機(jī)密性、完整性和可用性。
[來源:GB/T36073—2018,3.11]
主數(shù)據(jù)masterdata
組織中需要跨系統(tǒng)、跨部門進(jìn)行共享的核心業(yè)務(wù)實體數(shù)據(jù)。
[來源:GB/T36073—2018,3.12]
數(shù)據(jù)元dataelement
有一組屬性規(guī)定其定義、標(biāo)識、表示和允許值的數(shù)據(jù)單元。
[來源:GB/T36073—2018,3.15]
數(shù)據(jù)管理datamanagement
在數(shù)據(jù)處理系統(tǒng)中,提供對數(shù)據(jù)的訪問,執(zhí)行或監(jiān)控數(shù)據(jù)的存儲,以及控制輸入輸出操作等功能。
[來源:GB/T42450—2023,3.5]
4縮略語
下列縮略語適用于本文件。
API:應(yīng)用程序接口(ApplicationProgrammingInterface)
ERP:企業(yè)資源計劃(EnterpriseResourcePlanning)
DAMA:數(shù)據(jù)管理協(xié)會(DataManagementAssociation)
DCMM:數(shù)據(jù)管理能力成熟度評估模型(DatamanagementCapabilityMaturityassessmentModel)
DML:數(shù)據(jù)操縱語言(DataManipulationLanguage)
ETL:數(shù)據(jù)的提取、轉(zhuǎn)換和加載(ExtractTransformLoad)
HTTP:超文本傳輸協(xié)議(HypertextTransferProtocol)
HTTPS:超文本加密傳輸協(xié)議(HypertextTransferProtocoloverSecureSocketLayer)
IP:互聯(lián)網(wǎng)協(xié)議(InternetProtocol)
REST:一組架構(gòu)約束條件和原則(RepresentationalStateTransfer)
PDF:可攜帶文件格式(PortableDocumentFormat)
SCM:軟件配置管理(SoftwareConfigurationManagement)
TCP:傳輸控制協(xié)議(TransmissionControlProtocol)
ODBC:開放數(shù)據(jù)庫連接(開放數(shù)據(jù)庫連接)
JDBC:Java數(shù)據(jù)庫連接(JavaDatabaseconnect)
CWM:公共倉庫元模型(CommonWarehouseMetamodel)
CMIS:內(nèi)容管理互操作性服務(wù)標(biāo)準(zhǔn)協(xié)議(ContentManagementInteroperabilityServices)
OLTP:聯(lián)機(jī)事務(wù)處理過程(On-LineTransactionProcessing)
OLAP:聯(lián)機(jī)分析處理(OnlineAnalyticalProcessing)
XML:可擴(kuò)展標(biāo)記語言(eXtensibleMarkupLanguage)
JSON:JS對象簡譜一種輕量級的數(shù)據(jù)交換格式(JavaScriptObjectNotation)
CSV:字符分隔值,一種通用的、相對簡單的文件格式(Comma-SeparatedValues)
PKI:公鑰基礎(chǔ)設(shè)施(PublicKeyInfrastructure)
CA:證書授權(quán)(CertificateAuthority)
2
T/COSOCCXXXX—XXXX
5數(shù)據(jù)對象范圍
數(shù)據(jù)對象性質(zhì)
5.1.1可描述性
經(jīng)營管理系統(tǒng)數(shù)據(jù)應(yīng)表現(xiàn)其具備的業(yè)務(wù)屬性,包括類型、來源、格式、結(jié)構(gòu)、內(nèi)容、質(zhì)量、時間、
所有權(quán)、訪問權(quán)、位置、客戶信息等能力。
5.1.2可集成性
經(jīng)營管理系統(tǒng)數(shù)據(jù)應(yīng)具備可通過API、數(shù)據(jù)庫連接、數(shù)據(jù)集成工具、文本傳輸協(xié)議、消息隊列、ETL
工具、Web服務(wù)、數(shù)據(jù)共享平臺等技術(shù)手段,實現(xiàn)系統(tǒng)間應(yīng)用集成和數(shù)據(jù)共享的能力。
5.1.3可重構(gòu)性
經(jīng)營管理系統(tǒng)數(shù)據(jù)應(yīng)能適應(yīng)企業(yè)內(nèi)外部環(huán)境和管理要求的變化,應(yīng)具備數(shù)據(jù)轉(zhuǎn)換能力,可適應(yīng)不同
的數(shù)據(jù)結(jié)構(gòu)和標(biāo)準(zhǔn)。
5.1.4可配置性
經(jīng)營管理系統(tǒng)數(shù)據(jù)應(yīng)具備參數(shù)化配置性質(zhì),以滿足不同場景需求,例如定制規(guī)則引擎、工作流程設(shè)
計器、報表和儀表板定制、數(shù)據(jù)導(dǎo)出和導(dǎo)入、擴(kuò)展性插件、多語言支持等。
數(shù)據(jù)對象類別
5.2.1主數(shù)據(jù)
應(yīng)對經(jīng)營管理系統(tǒng)主數(shù)據(jù)進(jìn)行收集,包括但不限于物料清單、工作中心能力和成本費率、工藝路線、
倉庫和貨位代碼、會計科目等內(nèi)容。此類數(shù)據(jù)需要按需定期維護(hù),保持其準(zhǔn)確性。
5.2.2業(yè)務(wù)生產(chǎn)數(shù)據(jù)
應(yīng)對經(jīng)營管理系統(tǒng)運行過程中,由生產(chǎn)經(jīng)營活動在進(jìn)行中所產(chǎn)生的數(shù)據(jù)進(jìn)行收集。如客戶合同、庫
存記錄、銷售訂單、財務(wù)憑證等。此類數(shù)據(jù)會隨著業(yè)務(wù)發(fā)展不斷增減修訂,需要隨時維護(hù)。
5.2.3業(yè)務(wù)加工數(shù)據(jù)
應(yīng)對經(jīng)營管理系統(tǒng)運行過程中,由信息系統(tǒng)按照既定的程序邏輯,對數(shù)據(jù)按生產(chǎn)業(yè)務(wù)需求進(jìn)行運算
處理后得到的業(yè)務(wù)加工數(shù)據(jù)進(jìn)行收集。此類數(shù)據(jù)可以更好的供管理人員掌握生產(chǎn)經(jīng)營狀況,進(jìn)行分析和
決策。
6數(shù)據(jù)管理體系
概述
經(jīng)營管理系統(tǒng)數(shù)據(jù)管理體系見圖1,參考GB/T36073—2018中對DCMM8個數(shù)據(jù)管理能力域的劃分,
關(guān)注經(jīng)營管理系統(tǒng)數(shù)據(jù)從收集、治理到應(yīng)用的過程。以元數(shù)據(jù)和主數(shù)據(jù)管理為基礎(chǔ),以數(shù)據(jù)標(biāo)準(zhǔn)體系為
支撐,標(biāo)準(zhǔn)化數(shù)據(jù)建模和數(shù)據(jù)開發(fā)過程,形成數(shù)據(jù)集成與共享能力。數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)安全管理為整
體過程提供質(zhì)量和安全保障。
3
T/COSOCCXXXX—XXXX
圖1經(jīng)營管理系統(tǒng)數(shù)據(jù)管理體系
體系設(shè)計
6.2.1元數(shù)據(jù)管理
經(jīng)營管理系統(tǒng)元數(shù)據(jù)應(yīng)包含但不限于以下三種類型:業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和操作元數(shù)據(jù)。其
可針對不同應(yīng)用領(lǐng)域和功能,滿足對數(shù)據(jù)對象的描述、定位、檢索、管理、評估和交互的操作要求。
6.2.2主數(shù)據(jù)管理
經(jīng)營管理系統(tǒng)主數(shù)據(jù)應(yīng)是具備高價值、高共享、相對穩(wěn)定的基礎(chǔ)數(shù)據(jù)。主數(shù)據(jù)技術(shù)體系應(yīng)具備主
數(shù)據(jù)平臺和主數(shù)據(jù)集成兩個層面的設(shè)計。平臺層面應(yīng)包括但不限于元模型管理、主數(shù)據(jù)清洗、主數(shù)據(jù)
質(zhì)量、數(shù)據(jù)映射及轉(zhuǎn)換等方面能力;集成層面應(yīng)明確規(guī)范接口的集成方式、協(xié)議類型、參數(shù)、地址、
對接要求等內(nèi)容。
6.2.3數(shù)據(jù)建模
經(jīng)營管理系統(tǒng)數(shù)據(jù)模型具有強業(yè)務(wù)屬性,數(shù)據(jù)模型應(yīng)具備解釋和可解釋性,能夠解釋模型的工作
原理和結(jié)果,以便理解和接受模型的決策。數(shù)據(jù)模型向上應(yīng)能承接業(yè)務(wù)需求,向下應(yīng)能對接數(shù)據(jù)庫系
統(tǒng),能夠為主數(shù)據(jù)和元數(shù)據(jù)提供清晰、一致的數(shù)據(jù)結(jié)構(gòu)定義。
6.2.4數(shù)據(jù)標(biāo)準(zhǔn)體系
數(shù)據(jù)標(biāo)準(zhǔn)體系應(yīng)明確規(guī)范企業(yè)經(jīng)營管理業(yè)務(wù)活動中所涉及數(shù)據(jù)的規(guī)范化定義和統(tǒng)一解釋,如數(shù)據(jù)
命名和命名約定、數(shù)據(jù)分類和層次機(jī)構(gòu)、數(shù)據(jù)格式和數(shù)據(jù)類型、數(shù)據(jù)采集和錄入規(guī)則、數(shù)據(jù)交換和集
成標(biāo)準(zhǔn)等。
6.2.5數(shù)據(jù)集成和共享
經(jīng)營管理系統(tǒng)數(shù)據(jù)集成和共享應(yīng)能橫貫企業(yè)內(nèi)外部的目標(biāo)異構(gòu)系統(tǒng)、應(yīng)用、數(shù)據(jù)源,具備實現(xiàn)各
經(jīng)營管理業(yè)務(wù)板塊和數(shù)據(jù)倉庫等系統(tǒng)的應(yīng)用協(xié)同和數(shù)據(jù)共享的能力。應(yīng)明確集成和共享的數(shù)據(jù)源、系
統(tǒng)和格式,明確使用的工具和技術(shù),包括但不限于數(shù)據(jù)庫間點對點集成、微服務(wù)或總線型應(yīng)用集成、
基于數(shù)據(jù)倉庫的結(jié)構(gòu)化數(shù)據(jù)集成、基于數(shù)據(jù)湖的多類型數(shù)據(jù)融合等。
6.2.6數(shù)據(jù)質(zhì)量管理
應(yīng)在數(shù)據(jù)模型設(shè)計、數(shù)據(jù)資產(chǎn)管理、主數(shù)據(jù)管理、數(shù)據(jù)倉庫等解決方案和過程中執(zhí)行數(shù)據(jù)質(zhì)量管
理,以確保數(shù)據(jù)在整個數(shù)據(jù)生命周期中保持高質(zhì)量。通過數(shù)據(jù)驗證、數(shù)據(jù)質(zhì)量度量、數(shù)據(jù)質(zhì)量監(jiān)控、
4
T/COSOCCXXXX—XXXX
數(shù)據(jù)質(zhì)量報告、數(shù)據(jù)質(zhì)量規(guī)劃與策略以及相關(guān)數(shù)據(jù)質(zhì)量工具和技術(shù),可改善各維度的數(shù)據(jù)問題,提高
數(shù)據(jù)質(zhì)量。
6.2.7數(shù)據(jù)安全管理
應(yīng)制定并采取各種策略、技術(shù)和活動,包括但不限于從組織建設(shè)、業(yè)務(wù)流程、規(guī)章制度、技術(shù)工
具等方面確保數(shù)據(jù)的可用性、完整性和保密性,以及能夠控制數(shù)據(jù)安全風(fēng)險或?qū)L(fēng)險帶來的影響降至
最低。
7元數(shù)據(jù)管理
數(shù)據(jù)來源
企業(yè)經(jīng)營管理系統(tǒng)的元數(shù)據(jù)應(yīng)包含但不限于業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和操作元數(shù)據(jù)三類,要求如下:
a)數(shù)據(jù)來源應(yīng)具有唯一性,確保數(shù)據(jù)在一個數(shù)據(jù)集中或整個數(shù)據(jù)管理環(huán)境中的唯一性,包括使用
主鍵、唯一性約束、數(shù)據(jù)去重、數(shù)據(jù)匹配與合并等能力保障每個數(shù)據(jù)實體只有一個唯一的表示;
b)業(yè)務(wù)元數(shù)據(jù)應(yīng)包括對數(shù)據(jù)的定義、結(jié)構(gòu)、來源、更新頻率、質(zhì)量評級等信息,范圍包含但不限
于ERP系統(tǒng)的所有經(jīng)營管理領(lǐng)域系統(tǒng);
c)技術(shù)元數(shù)據(jù)應(yīng)包括數(shù)據(jù)庫架構(gòu)、應(yīng)用程序代碼、系統(tǒng)配置、安全權(quán)限等信息,范圍包含但不限
于ERP系統(tǒng)的所有經(jīng)營管理領(lǐng)域系統(tǒng);
d)操作元數(shù)據(jù)應(yīng)包括系統(tǒng)日志、用戶活動日志、性能指標(biāo)、配置更改歷史等信息,范圍包含但不
限于ERP系統(tǒng)的所有經(jīng)營管理領(lǐng)域系統(tǒng);
e)數(shù)據(jù)平臺的元數(shù)據(jù)應(yīng)包含但不限于數(shù)據(jù)倉庫、數(shù)據(jù)湖;
f)數(shù)據(jù)處理工具的元數(shù)據(jù)應(yīng)包含但不限于各種ETL工具;
g)應(yīng)支持半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)元數(shù)據(jù)提取。
數(shù)據(jù)采集
企業(yè)經(jīng)營管理系統(tǒng)的元數(shù)據(jù)采集具體應(yīng)符合下列要求:
a)支持采用JDBC等數(shù)據(jù)庫連接方式和API接口調(diào)用提取結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)信息;
b)支持全量抽取、增量抽取、基于日志的抽取等抽取模式;
c)支持對半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)采用圖像識別、自然語言處理等人工智能技術(shù)識別和采集元
數(shù)據(jù)。
元模型管理
企業(yè)經(jīng)營管理系統(tǒng)的元模型管理,應(yīng)符合下列要求:
a)基于元數(shù)據(jù)管理工具構(gòu)建符合CWM規(guī)范的元數(shù)據(jù)倉庫,實現(xiàn)集中化管理;
b)提供對元數(shù)據(jù)增、改、刪、查、發(fā)布等管理功能;
c)支持元數(shù)據(jù)版本管理,支持按版本的查詢、對比和回溯操作;
d)提供統(tǒng)一的元數(shù)據(jù)訪問接口服務(wù),支持ODBC、JDBC、RESTAPI、CMIS等,兼容WebService
等接口協(xié)議。
元數(shù)據(jù)分析
7.4.1資源地圖
以拓?fù)浞绞缴傻钠髽I(yè)經(jīng)營管理系統(tǒng)數(shù)據(jù)資源地圖,應(yīng)符合下列要求:
a)資源地圖內(nèi)容范圍包括業(yè)務(wù)流程、部門和職能、數(shù)據(jù)資產(chǎn)、應(yīng)用程序、模塊和功能、報表和分
析、集成和接口、安全和權(quán)限等內(nèi)容;
b)支持可視化展示、支持自動布局算法的拓?fù)洳季郑?/p>
c)支持不同數(shù)據(jù)源導(dǎo)入生成資源地圖,對于動態(tài)變化的資源信息,資源地圖需支持實時更新;
d)支持資源之間的關(guān)聯(lián)和依賴關(guān)系的呈現(xiàn),支持相關(guān)資源進(jìn)行分組、支持利用標(biāo)簽進(jìn)行資源說明;
e)支持用戶通過鼠標(biāo)或觸控交互來展開或收起子圖、放大或縮小圖形、查看節(jié)點的詳細(xì)信息等;
f)支持對于包含敏感信息的資源地圖的權(quán)限控制能力;
5
T/COSOCCXXXX—XXXX
g)支持資源地圖導(dǎo)出為常見圖片格式或PDF文件;
h)支持針對大規(guī)模資源地圖對于加載速度和渲染性能的要求。
7.4.2血緣分析
追蹤數(shù)據(jù)的來源和去向,識別數(shù)據(jù)之間的關(guān)系和傳遞路徑,應(yīng)符合下列要求:
a)血緣分析的內(nèi)容應(yīng)包括數(shù)據(jù)來源、數(shù)據(jù)去向、數(shù)據(jù)傳遞路徑、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)關(guān)系、數(shù)據(jù)質(zhì)量、
數(shù)據(jù)版本控制等;
b)支持通過日志記錄、元數(shù)據(jù)提取、數(shù)據(jù)倉庫或數(shù)據(jù)湖等方式對數(shù)據(jù)進(jìn)行采集和追蹤;
c)支持建立元數(shù)據(jù)管理系統(tǒng),使用ApacheAtlas、Collibra、或國內(nèi)自主可控的、先進(jìn)的相關(guān)
工具對數(shù)據(jù)源、表結(jié)構(gòu)、字段信息、數(shù)據(jù)轉(zhuǎn)換規(guī)則等內(nèi)容進(jìn)行維護(hù)和管理;
d)支持使用如ApacheNiFi、Talend、Kettle或國內(nèi)自主可控的、先進(jìn)安全的ETL工具,整合不
同數(shù)據(jù)源數(shù)據(jù);使用如InformaticaDataQuality、Trifacta、或國內(nèi)自主可控的、先進(jìn)的
技術(shù)工具進(jìn)行數(shù)據(jù)清洗與去重;
e)支持構(gòu)建數(shù)據(jù)關(guān)系建模,利用數(shù)據(jù)庫的關(guān)系模型或圖數(shù)據(jù)庫建立數(shù)據(jù)之間的關(guān)聯(lián);
f)支持利用自動化腳本根據(jù)預(yù)定義的規(guī)則和算法,自動追蹤和分析數(shù)據(jù)的來源和去向;
g)支持可視化展示技術(shù),利用圖形化工具或Web可視化庫,并以樹狀圖、流程圖等形式呈現(xiàn)血緣
關(guān)系。
7.4.3影響分析
識別和評估數(shù)據(jù)或資源變更對組織或系統(tǒng)的影響,應(yīng)符合下列要求:
a)當(dāng)元數(shù)據(jù)發(fā)生變化時,應(yīng)評估影響的范圍,包括變更對數(shù)據(jù)之間的依賴關(guān)系變化的影響、變更
對業(yè)務(wù)過程產(chǎn)生的影響、變更對數(shù)據(jù)質(zhì)量的影響、變更對性能和資源消耗的影響、變更對應(yīng)用
程序和系統(tǒng)的影響、變更對數(shù)據(jù)訪問權(quán)限和數(shù)據(jù)安全性的影響等;
b)支持使用數(shù)據(jù)監(jiān)控工具或具備同等能力的數(shù)據(jù)平臺能力對數(shù)據(jù)變更進(jìn)行實時監(jiān)控,收集變更
信息;
c)支持使用數(shù)據(jù)質(zhì)量工具或具備同等能力的數(shù)據(jù)平臺能力對數(shù)據(jù)進(jìn)行質(zhì)量評估和分析,識別變
更過程中可能產(chǎn)生的數(shù)據(jù)質(zhì)量問題;
d)支持在數(shù)據(jù)變更后仍具備嚴(yán)格的數(shù)據(jù)訪問權(quán)限控制措施和數(shù)據(jù)安全策略的能力;
e)支持使用圖形化工具或自主研發(fā)可自定義的可視化界面,將影響分析結(jié)果以圖表或報表的形
式進(jìn)行展示;
f)支持使用版本控制機(jī)制,記錄和管理元數(shù)據(jù)的歷史變更,提供變更歷史回溯能力。
7.4.4冷熱度分析
評估元數(shù)據(jù)使用頻率和訪問熱度,按活躍度分類元數(shù)據(jù),應(yīng)符合下列要求:
a)元數(shù)據(jù)冷熱度分析內(nèi)容應(yīng)包括但不限于數(shù)據(jù)訪問頻率、數(shù)據(jù)訪問模式(周期性訪問、突發(fā)性訪
問)、數(shù)據(jù)熱度、數(shù)據(jù)冷度等內(nèi)容;
b)支持使用數(shù)據(jù)監(jiān)控工具,如ApacheNiFi、ApacheKafka或國內(nèi)自主可控的、先進(jìn)的技術(shù)工
具,實時采集和監(jiān)控數(shù)據(jù)的訪問信息,如數(shù)據(jù)的訪問次數(shù)和時間戳等信息;
c)支持使用數(shù)據(jù)分析技術(shù)(如Python的pandas庫、R語言、國內(nèi)自主可控的、先進(jìn)的數(shù)據(jù)分析
工具等),對數(shù)據(jù)訪問日志進(jìn)行分析和挖掘;
d)支持在數(shù)據(jù)庫中添加數(shù)據(jù)訪問時間戳字段,定期清理冷數(shù)據(jù),優(yōu)化數(shù)據(jù)庫性能;
e)支持使用緩存技術(shù),將熱數(shù)據(jù)緩存在高速緩存中,加快數(shù)據(jù)訪問速度;
f)支持對數(shù)據(jù)進(jìn)行分級存儲,將熱數(shù)據(jù)存儲在高速存儲介質(zhì)中(如SSD),將冷數(shù)據(jù)存儲在低成
本存儲介質(zhì)中(如磁盤存儲)。
元數(shù)據(jù)應(yīng)用
7.5.1應(yīng)用開發(fā)
基于反向工程將元數(shù)據(jù)模型(通常是邏輯模型)轉(zhuǎn)換為應(yīng)用系統(tǒng)數(shù)據(jù)庫中的物理表,實現(xiàn)數(shù)據(jù)模型
與實際數(shù)據(jù)庫的同步,應(yīng)符合下列要求:
6
T/COSOCCXXXX—XXXX
a)應(yīng)支持定義元數(shù)據(jù)模型,在設(shè)計工具或建模工具中創(chuàng)建邏輯數(shù)據(jù)模型,其中包含實體、屬性、
關(guān)系等;
b)應(yīng)使用有權(quán)限控制的應(yīng)用系統(tǒng)數(shù)據(jù)庫連接;
c)應(yīng)使用適合的反向工程工具,如IBMInfoSphereDataArchitect、SAPPowerDesigner、
OracleSQLDeveloperDataModeler或國內(nèi)自主可控的、先進(jìn)的技術(shù)工具。
d)應(yīng)支持利用反向工程工具映射元數(shù)據(jù)模型到數(shù)據(jù)庫表,將元數(shù)據(jù)模型中的實體、屬性、關(guān)系等
映射到數(shù)據(jù)庫表結(jié)構(gòu)的能力;
e)應(yīng)支持生成和執(zhí)行DDL語句的能力。
7.5.2數(shù)據(jù)倉庫建模
利用元數(shù)據(jù)記錄和管理數(shù)據(jù)在數(shù)據(jù)倉庫內(nèi)的流轉(zhuǎn)過程,對數(shù)據(jù)倉庫的設(shè)計和建模過程進(jìn)行輔助和
支持,元數(shù)據(jù)應(yīng)記錄以下屬性和內(nèi)容:
a)數(shù)據(jù)表信息:記錄數(shù)據(jù)倉庫中的數(shù)據(jù)表,包括表名稱、描述、創(chuàng)建時間、修改時間等;
b)數(shù)據(jù)字段信息:記錄數(shù)據(jù)表中的字段,包括字段名稱、描述、數(shù)據(jù)類型、長度、精度、是否允
許為空等;
c)數(shù)據(jù)關(guān)系信息:記錄數(shù)據(jù)表之間的關(guān)聯(lián)關(guān)系,包括外鍵約束、主鍵-外鍵關(guān)系等;
d)維度信息:記錄維度表的名稱、描述、屬性、層次結(jié)構(gòu)等信息;
e)事實信息:記錄事實表的名稱、描述、度量等信息;
f)數(shù)據(jù)質(zhì)量規(guī)則:定義數(shù)據(jù)質(zhì)量規(guī)則和指標(biāo),用于衡量數(shù)據(jù)的準(zhǔn)確性、完整性和一致性;
g)數(shù)據(jù)血緣關(guān)系:記錄數(shù)據(jù)的來源和去向,用于追蹤數(shù)據(jù)的傳遞路徑和依賴關(guān)系;
h)數(shù)據(jù)安全和權(quán)限控制:記錄數(shù)據(jù)表或字段的安全策略、權(quán)限控制信息,以確保數(shù)據(jù)的訪問控制;
i)數(shù)據(jù)變更歷史:記錄數(shù)據(jù)表或字段的變更歷史,包括創(chuàng)建時間、修改時間等;
j)數(shù)據(jù)文檔化:記錄數(shù)據(jù)表和字段的文檔描述,如數(shù)據(jù)字典、數(shù)據(jù)模型、ETL流程等;
k)數(shù)據(jù)可視化和報表設(shè)計:記錄數(shù)據(jù)可視化和報表的設(shè)計信息,以支持?jǐn)?shù)據(jù)倉庫中的分析和報表
展現(xiàn);
l)數(shù)據(jù)源信息:記錄數(shù)據(jù)倉庫中數(shù)據(jù)源的信息,包括數(shù)據(jù)源名稱、描述、類型等;
m)數(shù)據(jù)變換規(guī)則:記錄數(shù)據(jù)抽取、轉(zhuǎn)換和加載(ETL)過程中的數(shù)據(jù)變換規(guī)則和映射。
8主數(shù)據(jù)管理
主數(shù)據(jù)建模
企業(yè)經(jīng)營管理系統(tǒng)主數(shù)據(jù)建模要求如下:
a)應(yīng)支持主數(shù)據(jù)分類,按一定的維度和特征對主數(shù)據(jù)劃分,包括但不限于根據(jù)數(shù)據(jù)域分類、根據(jù)
數(shù)據(jù)特性分類、根據(jù)數(shù)據(jù)管理責(zé)任分類、根據(jù)數(shù)據(jù)使用分類、根據(jù)數(shù)據(jù)的生命周期分類、根據(jù)
數(shù)據(jù)關(guān)聯(lián)性分類等,方便主數(shù)據(jù)的管理和使用;
b)應(yīng)支持主數(shù)據(jù)編碼,支持設(shè)置碼段、碼位、步長等,以滿足不同業(yè)務(wù)需求,編碼方式包括特征
值編碼、固定值編碼、日期碼、流水碼、組合碼等;
c)應(yīng)支持設(shè)置中文名稱、英文名稱、字段類型、長度、唯一性約束、校驗規(guī)則等主數(shù)據(jù)屬性;
d)應(yīng)提供主數(shù)據(jù)管理視圖配置功能,支持為不同分類主數(shù)據(jù)分配不同的屬性。
變更管理
企業(yè)經(jīng)營管理系統(tǒng)主數(shù)據(jù)應(yīng)具備變更、凍結(jié)和歸檔功能,應(yīng)符合下列要求:
a)主數(shù)據(jù)編碼不允許修改,以多版本形式維護(hù)屬性定義;
b)業(yè)務(wù)流程無法使用凍結(jié)的主數(shù)據(jù)記錄,記錄維護(hù)主數(shù)據(jù)狀態(tài)的歷史信息;
c)對于失效的主數(shù)據(jù)記錄進(jìn)行歸檔操作,即遷移至歷史數(shù)據(jù)庫,對歸檔的主數(shù)據(jù)不可修改,只能
查詢。
主數(shù)據(jù)分析
支持跟蹤主數(shù)據(jù)的血緣關(guān)系,通過可視化方式有效的管理數(shù)據(jù)變化和異常情況,應(yīng)符合下列要求:
7
T/COSOCCXXXX—XXXX
a)記錄主數(shù)據(jù)的最初來源以及數(shù)據(jù)的變換和處理步驟;
b)建立主數(shù)據(jù)之間的關(guān)系模型,包括數(shù)據(jù)源、數(shù)據(jù)倉庫和數(shù)據(jù)消費者之間的關(guān)聯(lián)關(guān)系;
c)實時或定期跟蹤和監(jiān)控主數(shù)據(jù)的傳遞和使用情況;
d)記錄主數(shù)據(jù)的血緣關(guān)系,編制數(shù)據(jù)血緣文檔,便于后續(xù)的數(shù)據(jù)溯源和審計。
主數(shù)據(jù)集成
支持以數(shù)據(jù)庫、消息中間件和Web服務(wù)等方式實現(xiàn)主數(shù)據(jù)的集成共享,應(yīng)符合下列要求:
a)支持包含國產(chǎn)數(shù)據(jù)庫在內(nèi)的多數(shù)據(jù)源抽取數(shù)據(jù),并能將數(shù)據(jù)加載到目標(biāo)系統(tǒng)或數(shù)據(jù)倉庫的能
力;
b)具備數(shù)據(jù)類型轉(zhuǎn)換、數(shù)據(jù)規(guī)范化等能力;
c)具備數(shù)據(jù)匹配和去重能力,對于主數(shù)據(jù)集成,具備識別和處理不同數(shù)據(jù)源中的重復(fù)數(shù)據(jù),并進(jìn)
行數(shù)據(jù)匹配,確保主數(shù)據(jù)唯一性的能力;
d)具備檢測和修復(fù)數(shù)據(jù)質(zhì)量問題的能力;
e)具備數(shù)據(jù)安全和權(quán)限控制能力,主數(shù)據(jù)集成涉及敏感數(shù)據(jù),需具備嚴(yán)格的數(shù)據(jù)安全和權(quán)限控制
措施;
f)具備實時的數(shù)據(jù)抽取和傳輸能力;
g)具備定義和管理數(shù)據(jù)轉(zhuǎn)換規(guī)則和映射關(guān)系的能力,確保數(shù)據(jù)在不同系統(tǒng)之間的正確轉(zhuǎn)換;
h)具備容錯和數(shù)據(jù)回滾能力,在主數(shù)據(jù)集成過程中,對于可能會出現(xiàn)的錯誤或失敗情況,具備有
效處置的能力;
i)具備滿足多規(guī)模、多需求的主數(shù)據(jù)集成場景能力。
9數(shù)據(jù)建模
可視化建模
9.1.1數(shù)據(jù)結(jié)構(gòu)化和標(biāo)準(zhǔn)化
業(yè)務(wù)數(shù)據(jù)應(yīng)以結(jié)構(gòu)化的方式進(jìn)行組織和存儲,確保數(shù)據(jù)的一致性和可比性,包括采用統(tǒng)一的數(shù)據(jù)標(biāo)
準(zhǔn)和命名規(guī)范等。
9.1.2數(shù)據(jù)完整性和準(zhǔn)確性
數(shù)據(jù)模型應(yīng)能夠確保業(yè)務(wù)數(shù)據(jù)的完整性和準(zhǔn)確性,可定義適當(dāng)?shù)臄?shù)據(jù)約束和驗證規(guī)則,確保數(shù)據(jù)在
采集、存儲和處理過程中沒有缺失、錯誤或沖突。
9.1.3數(shù)據(jù)可擴(kuò)展性
應(yīng)采用合適的數(shù)據(jù)結(jié)構(gòu)(如列表、數(shù)據(jù)、字典、樹、圖等)和關(guān)系模型(如表格、視圖、主外鍵、
范式等),設(shè)計靈活可擴(kuò)展的數(shù)據(jù)模型。
9.1.4數(shù)據(jù)一致性和關(guān)聯(lián)性
數(shù)據(jù)模型應(yīng)能夠準(zhǔn)確地反映業(yè)務(wù)實體之間的關(guān)聯(lián)關(guān)系,保持?jǐn)?shù)據(jù)的一致性。通過定義適當(dāng)?shù)闹麈I、
外鍵和關(guān)聯(lián)規(guī)則,確保數(shù)據(jù)的關(guān)聯(lián)性和關(guān)系完整性,避免數(shù)據(jù)的冗余和不一致。
9.1.5數(shù)據(jù)性能和查詢效率
應(yīng)合理設(shè)計索引、分區(qū)和分片策略,優(yōu)化數(shù)據(jù)訪問路徑和查詢性能,提高數(shù)據(jù)的檢索和分析效率。
9.1.6數(shù)據(jù)安全和權(quán)限控制
業(yè)務(wù)數(shù)據(jù)模型應(yīng)考慮數(shù)據(jù)的安全性和權(quán)限控制,采用適當(dāng)?shù)臄?shù)據(jù)加密和權(quán)限管理機(jī)制,確保數(shù)據(jù)的
機(jī)密性和訪問控制,防止未經(jīng)授權(quán)的訪問和數(shù)據(jù)泄露。
9.1.7數(shù)據(jù)可視化和報表支持
8
T/COSOCCXXXX—XXXX
數(shù)據(jù)模型應(yīng)具備數(shù)據(jù)可視化和報表支持的能力,通過圖表、報表和可視化工具,呈現(xiàn)數(shù)據(jù)的洞察和
趨勢。
9.1.8支持系統(tǒng)級數(shù)據(jù)模型開發(fā)
數(shù)據(jù)倉庫、應(yīng)用系統(tǒng)的數(shù)據(jù)模型均應(yīng)可基于企業(yè)級數(shù)據(jù)模型進(jìn)行擴(kuò)展,實現(xiàn)系統(tǒng)模型的正向建模。
9.1.9支持?jǐn)?shù)據(jù)模型的反向采集
應(yīng)支持將Oracle、Mysql等關(guān)系型數(shù)據(jù)庫和主流國產(chǎn)關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)結(jié)構(gòu)采集到數(shù)據(jù)模型管
理工具中進(jìn)行統(tǒng)一管理。
數(shù)據(jù)模型查詢
數(shù)據(jù)模型查詢功能應(yīng)符合下列要求:
a)支持通過但不限于模型分類、標(biāo)簽分級等能力進(jìn)行查找定位;
b)支持全業(yè)務(wù)域模型總覽,能識別模型間拓?fù)潢P(guān)系,支持模型的逐級下鉆。
數(shù)據(jù)模型管理
數(shù)據(jù)模型管理應(yīng)具備基本的創(chuàng)建維護(hù)功能。在狀態(tài)和屬性發(fā)生變更時,能自動識別出當(dāng)前服務(wù)的上
下游引用對象,幫助用戶評估影響范圍,應(yīng)符合下列要求:
a)支持?jǐn)?shù)據(jù)模型的增刪改等一系列基礎(chǔ)維護(hù)功能;
b)支持模型變更管理和發(fā)布,按企業(yè)管理需要,支持簡單的審批流程配置功能;
c)支持模型分版本管理,支持版本回溯。
模型對比分析
支持不同模型間對比、模型內(nèi)不同版本對比,識別模型差異,形成差異報告。
模型開發(fā)
數(shù)據(jù)模型的開發(fā)應(yīng)同時面向業(yè)務(wù)應(yīng)用的開發(fā)和數(shù)據(jù)倉庫的模型開發(fā),應(yīng)符合下列要求:
a)在面向業(yè)務(wù)應(yīng)用開發(fā)方面(OLTP),應(yīng)提供面向需求的數(shù)據(jù)概念模型、面向設(shè)計的數(shù)據(jù)邏輯模
型、面向開發(fā)的數(shù)據(jù)物理模型;
b)在面向數(shù)據(jù)倉庫應(yīng)用開發(fā)方面(OLAP),應(yīng)能夠提供相應(yīng)的元數(shù)據(jù)和主數(shù)據(jù)輔助建模開發(fā),并
支持模型標(biāo)準(zhǔn)校驗。
10數(shù)據(jù)標(biāo)準(zhǔn)體系
標(biāo)準(zhǔn)內(nèi)容
10.1.1業(yè)務(wù)術(shù)語標(biāo)準(zhǔn)
應(yīng)詳細(xì)、準(zhǔn)確定義企業(yè)級公共業(yè)務(wù)詞匯表,提供業(yè)務(wù)術(shù)語上下文的關(guān)聯(lián)和控制。
10.1.2數(shù)據(jù)元值域標(biāo)準(zhǔn)
應(yīng)詳細(xì)、準(zhǔn)確定義數(shù)據(jù)字典,包括數(shù)據(jù)元分類、數(shù)據(jù)元名稱、數(shù)據(jù)元編碼、數(shù)據(jù)元值域范圍等。
10.1.3數(shù)據(jù)指標(biāo)標(biāo)準(zhǔn)
應(yīng)詳細(xì)、準(zhǔn)確涵蓋指標(biāo)的業(yè)務(wù)屬性、技術(shù)屬性和管理屬性,例如指標(biāo)名稱、業(yè)務(wù)含義、統(tǒng)計維度、
計算方式等信息。
標(biāo)準(zhǔn)版本管理
應(yīng)提供數(shù)據(jù)標(biāo)準(zhǔn)版本管理功能,包括版本查看、版本發(fā)布、版本對比和回溯等功能。
標(biāo)準(zhǔn)稽查管理
9
T/COSOCCXXXX—XXXX
應(yīng)提供數(shù)據(jù)稽查能力,參照數(shù)據(jù)管理標(biāo)準(zhǔn),可實現(xiàn)對數(shù)據(jù)模型、數(shù)據(jù)字典等進(jìn)行對比分析的能力,
確保模型質(zhì)量和標(biāo)準(zhǔn)的落地執(zhí)行。
11數(shù)據(jù)存儲
存儲的性能和可靠性
經(jīng)營管理系統(tǒng)數(shù)據(jù)存儲的性能和可靠性應(yīng)符合下列要求:
a)具有快速的響應(yīng)時間,確保用戶能夠快速訪問和操作數(shù)據(jù);
b)支持足夠的吞吐量,滿足同時處理用戶請求和數(shù)據(jù)交互的要求;
c)具備可擴(kuò)展的能力,可以根據(jù)需求進(jìn)行水平或垂直擴(kuò)展,以滿足業(yè)務(wù)增長的需求;
d)具備均衡的數(shù)據(jù)分布能力,經(jīng)營管理系統(tǒng)數(shù)據(jù)量龐大,數(shù)據(jù)顆粒度較細(xì),應(yīng)確保資源分配均勻,
不會出現(xiàn)過度負(fù)荷的情況;
e)具備緩存和性能優(yōu)化能力,減少數(shù)據(jù)訪問時間,提高系統(tǒng)性能;
f)具備定期數(shù)據(jù)備份能力,以應(yīng)對意外數(shù)據(jù)丟失或損壞的情況,確保數(shù)據(jù)的可恢復(fù)性;
g)具備冗余和容錯性,防止硬件故障引發(fā)數(shù)據(jù)丟失,可通過但不限于RAID、備用服務(wù)器或云存
儲的冗余機(jī)制來實現(xiàn);
h)確保數(shù)據(jù)的一致性,避免數(shù)據(jù)損壞或不一致的情況,例如,可通過事務(wù)處理和ACID(原子性、
一致性、隔離性、持久性)屬性來實現(xiàn);
i)具備快速的故障恢復(fù)機(jī)制,以最小化系統(tǒng)停機(jī)時間,保持系統(tǒng)的可靠性;
j)具備對數(shù)據(jù)存儲系統(tǒng)進(jìn)行實時監(jiān)控,設(shè)置警報機(jī)制,及時發(fā)現(xiàn)并處置問題的能力;
k)確保存儲系統(tǒng)的高可用性,可通過使用冗余和負(fù)載均衡等方式來實現(xiàn)。
存儲的安全和數(shù)據(jù)保護(hù)
經(jīng)營管理系統(tǒng)數(shù)據(jù)存儲安全和數(shù)據(jù)保護(hù)應(yīng)符合下列要求:
a)具備數(shù)據(jù)加密的能力,保護(hù)數(shù)據(jù)安全,對涉及到個人隱私或者企業(yè)機(jī)密的敏感信息進(jìn)行加密,
例如姓名、身份證號、銀行賬號、密碼等;
b)具備多層防御的能力,采用防火墻、入侵檢測系統(tǒng)、反病毒軟件等技術(shù)工具構(gòu)建多層防御策略
略;
c)具備訪問控制能力,根據(jù)不同的用戶角色設(shè)定不同的訪問權(quán)限,防止未授權(quán)的訪問和非法操作;
d)定期組織安全審計,檢查是否存在安全隱患,及時發(fā)現(xiàn)和修復(fù)漏洞;
e)建立完備的容災(zāi)恢復(fù)能力,構(gòu)建災(zāi)難恢復(fù)計劃,在出現(xiàn)數(shù)據(jù)丟失或者系統(tǒng)崩潰的情況時,具備
快速恢復(fù)數(shù)據(jù)和業(yè)務(wù)的能力。
存儲的控制和合規(guī)
經(jīng)營管理系統(tǒng)數(shù)據(jù)存儲應(yīng)滿足以下控制和合規(guī)性要求:
a)保障數(shù)據(jù)完整性,確保數(shù)據(jù)在整個生命周期內(nèi)保持完整性和一致性不受破壞、刪除、修改或者
未經(jīng)授權(quán)的訪問;
b)對數(shù)據(jù)實施嚴(yán)格的訪問控制,只允許經(jīng)過授權(quán)的人員訪問相關(guān)數(shù)據(jù),限制訪問權(quán)限和活動范圍;
c)根據(jù)數(shù)據(jù)的重要性及其敏感程度,將數(shù)據(jù)分為不同級別,分別設(shè)置相應(yīng)的安全策略和保護(hù)措施;
d)定期備份關(guān)鍵數(shù)據(jù),防止意外損失,同時具備快速恢復(fù)數(shù)據(jù)的能力,在遭遇災(zāi)難時盡快恢復(fù)正
常運營;
e)對在網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)進(jìn)行加密,以防數(shù)據(jù)被竊取或篡改;
f)記錄并保留所有涉及數(shù)據(jù)的高危操作,以便進(jìn)行事后審查和追蹤,確保數(shù)據(jù)的安全性和合規(guī)性;
g)保障相關(guān)技術(shù)的合規(guī)性要求;
h)定期對系統(tǒng)進(jìn)行安全評估,檢查系統(tǒng)的安全性是否符合預(yù)期的標(biāo)準(zhǔn),找出存在的安全風(fēng)險并采
取相應(yīng)的防護(hù)措施。
12數(shù)據(jù)集成和共享
10
T/COSOCCXXXX—XXXX
數(shù)據(jù)交換
企業(yè)經(jīng)營管理系統(tǒng)數(shù)據(jù)交換要求如下:
a)應(yīng)提供基于接口、文件的服務(wù)訪問方式,以滿足實時服務(wù)和批量服務(wù)的發(fā)布要求;
b)應(yīng)支持多種標(biāo)準(zhǔn)的數(shù)據(jù)格式,如XML、JSON、CSV等,以確保不同系統(tǒng)之間可以解釋和處理數(shù)
據(jù);
c)應(yīng)在數(shù)據(jù)接收端應(yīng)進(jìn)行數(shù)據(jù)完整性檢查,以確保數(shù)據(jù)沒有被損壞或篡改;
d)應(yīng)在數(shù)據(jù)交換系統(tǒng)內(nèi)形成備容錯機(jī)制,以應(yīng)對網(wǎng)絡(luò)故障或其他不可預(yù)見的問題;
e)應(yīng)考慮性能優(yōu)化,以確保在大量數(shù)據(jù)交換場景下保障數(shù)據(jù)傳輸?shù)男屎退俣龋?/p>
f)應(yīng)提供租戶隔離機(jī)制,基于不同的服務(wù)實例實現(xiàn)不同消費者對相同數(shù)據(jù)服務(wù)的獨立訪問;
g)應(yīng)遵從數(shù)據(jù)分級管理要求,在發(fā)布服務(wù)時對相關(guān)數(shù)據(jù)資產(chǎn)共享風(fēng)險進(jìn)行評估;
h)可在傳輸過程中使用數(shù)據(jù)壓縮技術(shù),以減少帶寬占用和提高傳輸效率。
數(shù)據(jù)清洗
企業(yè)經(jīng)營管理系統(tǒng)數(shù)據(jù)清洗應(yīng)符合下列要求:
a)對數(shù)據(jù)進(jìn)行驗證,確保其符合預(yù)定的數(shù)據(jù)格式、范圍和規(guī)則,包括但不限于驗證數(shù)值字段、日
期字段、文本字段等的有效性;
b)檢測和移除重復(fù)的數(shù)據(jù),標(biāo)準(zhǔn)化數(shù)據(jù)以確保一致性,例如,將日期格式標(biāo)準(zhǔn)化為統(tǒng)一的日期時
間格式;
c)處理缺失數(shù)據(jù),可以填充缺失值、刪除包含缺失值的記錄,或者使用適當(dāng)?shù)牟逖a方法來填充缺
失數(shù)據(jù);
d)檢測和處理異常數(shù)據(jù),如超出范圍的數(shù)值、不符合規(guī)則的文本等,異常值可以被糾正、刪除或
進(jìn)一步調(diào)查;
e)將數(shù)據(jù)格式化為一致的數(shù)據(jù)類型,如日期、時間、貨幣等,以便進(jìn)行分析和報告;
f)確保數(shù)據(jù)在不同數(shù)據(jù)源之間的一致性,包括標(biāo)準(zhǔn)化單位、貨幣、單位代碼等。
數(shù)據(jù)轉(zhuǎn)換
企業(yè)經(jīng)營管理系統(tǒng)數(shù)據(jù)轉(zhuǎn)換應(yīng)符合下列要求:
a)提供數(shù)據(jù)校驗功能,包括空值檢測、長度檢查、數(shù)值范圍檢查、正則表達(dá)式校驗等;
b)提供數(shù)據(jù)表轉(zhuǎn)換功能,包括字段值替換、值映射、列轉(zhuǎn)行、行轉(zhuǎn)列、記錄合并、記錄排序、去
除重復(fù)記錄等;
c)提供數(shù)據(jù)運算處理功能,包括求和、最大值、最小值、平均值等;
d)提供基于代碼映射的自動轉(zhuǎn)換功能。
標(biāo)簽管理
標(biāo)簽管理包括數(shù)據(jù)的標(biāo)識、分類和搜索,通過為數(shù)據(jù)添加標(biāo)簽來實現(xiàn)更精準(zhǔn)的數(shù)據(jù)發(fā)現(xiàn)和利用,應(yīng)
符合下列要求:
a)建立統(tǒng)一的標(biāo)簽體系,確保標(biāo)簽的一致性和標(biāo)準(zhǔn)化,標(biāo)簽定義明確,并與業(yè)務(wù)需求和數(shù)據(jù)特征
相匹配;
b)建立相應(yīng)的標(biāo)簽分類和層次結(jié)構(gòu)體系,標(biāo)簽的分類能夠覆蓋經(jīng)營管理領(lǐng)域的不同維度和主題,
以支持不同層次的數(shù)據(jù)分類和搜索;
c)具備唯一性和標(biāo)識性,并能夠準(zhǔn)確地標(biāo)識數(shù)據(jù)的某種特征或?qū)傩?,?biāo)簽的命名清晰、簡潔、易
理解;
d)提供維護(hù)和更新功能,包括標(biāo)簽的創(chuàng)建、編輯、刪除等功能;
e)提供高效的標(biāo)簽搜索和檢索功能,用戶能夠根據(jù)關(guān)鍵字、屬性或標(biāo)簽進(jìn)行數(shù)據(jù)的查找和篩選,
搜索結(jié)果準(zhǔn)確、快速;
f)提供對標(biāo)簽的版本管理功能,標(biāo)簽有修改和更新時記錄標(biāo)簽的歷史變更和版本信息,支持用戶
追溯和回滾標(biāo)簽的使用情況。
數(shù)據(jù)目錄
11
T/COSOCCXXXX—XXXX
12.5.1概述
數(shù)據(jù)目錄提供了數(shù)據(jù)資源的可管理性和可發(fā)現(xiàn)性,支持?jǐn)?shù)據(jù)驅(qū)動的決策和合作,并確保數(shù)據(jù)的安全
性和合規(guī)性。
12.5.2數(shù)據(jù)分類和組織
業(yè)務(wù)數(shù)據(jù)目錄應(yīng)能對數(shù)據(jù)進(jìn)行有效的分類和組織,包含對數(shù)據(jù)目錄的層次結(jié)構(gòu)設(shè)計、數(shù)據(jù)分類標(biāo)準(zhǔn)
和元數(shù)據(jù)管理等內(nèi)容。
12.5.3數(shù)據(jù)檢索和搜索
業(yè)務(wù)數(shù)據(jù)目錄應(yīng)提供方便快捷的數(shù)據(jù)檢索和搜索功能,包含但不限于通過關(guān)鍵字、標(biāo)簽、屬性等進(jìn)
行數(shù)據(jù)的查找和篩選,利用高效的搜索引擎和索引機(jī)制,支持快速的數(shù)據(jù)檢索和定位。
12.5.4數(shù)據(jù)質(zhì)量和準(zhǔn)確性
應(yīng)具有對數(shù)據(jù)質(zhì)量指標(biāo)的定義和計算、數(shù)據(jù)質(zhì)量規(guī)則的管理和應(yīng)用、數(shù)據(jù)質(zhì)量報告、數(shù)據(jù)審計等能
力。
12.5.5數(shù)據(jù)安全和權(quán)限控制
業(yè)務(wù)數(shù)據(jù)目錄應(yīng)具備數(shù)據(jù)安全和權(quán)限控制的能力,技術(shù)上包括對敏感數(shù)據(jù)的加密和脫敏處理、用戶
和角色的權(quán)限管理、雙因素認(rèn)證、水印防篡改、數(shù)據(jù)可追溯、訪問審計等安全措施,以保護(hù)數(shù)據(jù)的機(jī)密
性和完整性。
12.5.6可視化和用戶界面
數(shù)據(jù)目錄應(yīng)具備直觀易用的用戶界面和可視化展示能力。
12.5.7可擴(kuò)展性和集成性
應(yīng)支持與行業(yè)主流及主流國產(chǎn)化系統(tǒng)數(shù)據(jù)源、數(shù)據(jù)倉庫和分析工具集成能力,實現(xiàn)數(shù)據(jù)的無縫流動
和交互。
13數(shù)據(jù)質(zhì)量管理
質(zhì)量管理工具
經(jīng)營管理系統(tǒng)數(shù)據(jù)質(zhì)量管理應(yīng)包含如下工具:
a)數(shù)據(jù)標(biāo)準(zhǔn)化稽核工具:評估、驗證和監(jiān)控數(shù)據(jù)是否符合指定的數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范;
b)數(shù)據(jù)清理工具:刪除不正確或重復(fù)數(shù)據(jù)條目,修整數(shù)據(jù)項的值域;
c)數(shù)據(jù)分析工具:收集數(shù)據(jù)質(zhì)量統(tǒng)計信息,評估和度量數(shù)據(jù)質(zhì)量;
d)質(zhì)量監(jiān)控工具:對數(shù)據(jù)質(zhì)量狀態(tài)進(jìn)行監(jiān)控,及時發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題。
數(shù)據(jù)質(zhì)量測量
從業(yè)務(wù)實體的角度,以信息項為單位對質(zhì)量指標(biāo)進(jìn)行描述,對每一個指標(biāo)信息項確定質(zhì)量核驗方法。
可以為每一個核驗方法定義測量腳本,配置調(diào)度任務(wù),定時執(zhí)行腳本,記錄測量的數(shù)據(jù)質(zhì)量結(jié)果,并提
供用戶查詢?nèi)肟凇?/p>
數(shù)據(jù)質(zhì)量分析
經(jīng)營管理系統(tǒng)數(shù)據(jù)質(zhì)量分析應(yīng)包含如下內(nèi)容:
a)應(yīng)對數(shù)據(jù)進(jìn)行結(jié)構(gòu)分析,解析數(shù)據(jù)與格式描述是否一致。測量數(shù)據(jù)屬性的最小值、最大值,確
定數(shù)據(jù)是否在值域范圍內(nèi),以及其他格式錯誤等。
b)應(yīng)具備分析數(shù)據(jù)集、數(shù)據(jù)記錄、數(shù)據(jù)庫字段或數(shù)據(jù)實體之間的關(guān)聯(lián)關(guān)系的能力。識別數(shù)據(jù)集中
可能出現(xiàn)的數(shù)據(jù)重復(fù)、數(shù)據(jù)參照不完整等問題。
數(shù)據(jù)質(zhì)量評價指標(biāo)
12
T/COSOCCXXXX—XXXX
經(jīng)營管理系統(tǒng)數(shù)據(jù)質(zhì)量評價要求如下:
a)指標(biāo)應(yīng)是可測量的,可以通過定量或定性方式來評估數(shù)據(jù)質(zhì)量,而不是主觀判斷;
b)指標(biāo)應(yīng)與經(jīng)營管理系統(tǒng)的業(yè)務(wù)目標(biāo)和需求相關(guān)
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 課題申報參考:教育元宇宙的應(yīng)用倫理研究
- 2025年嚴(yán)于修身學(xué)習(xí)心得體會(5篇)
- 疫情防護(hù)2025年度企業(yè)員工培訓(xùn)與心理咨詢合同3篇
- 二零二五年度城市綠化養(yǎng)護(hù)勞務(wù)分包合同書4篇
- 二零二五年度城市住宅出售協(xié)議書(含裝修及家具配置)4篇
- 二零二五年鍋爐維修工程承包與環(huán)保驗收協(xié)議3篇
- 2024手繪藝術(shù)作品拍賣合同協(xié)議3篇
- 安徽省二零二五年度住房租賃市場租賃糾紛處理合同
- 2025年護(hù)林員勞動合同書(含森林資源保護(hù)培訓(xùn))3篇
- 2025版土地經(jīng)營權(quán)租賃與農(nóng)業(yè)產(chǎn)業(yè)扶貧合同3篇
- 消防產(chǎn)品目錄(2025年修訂本)
- 地方性分異規(guī)律下的植被演替課件高三地理二輪專題復(fù)習(xí)
- 光伏項目風(fēng)險控制與安全方案
- 9.2提高防護(hù)能力教學(xué)設(shè)計 2024-2025學(xué)年統(tǒng)編版道德與法治七年級上冊
- 催收培訓(xùn)制度
- ISO 22003-1:2022《食品安全-第 1 部分:食品安全管理體系 審核與認(rèn)證機(jī)構(gòu)要求》中文版(機(jī)翻)
- 2024年廣東省高考地理真題(解析版)
- 2024高考物理廣東卷押題模擬含解析
- 人教版五年級上冊數(shù)學(xué)簡便計算大全600題及答案
- GB/T 15945-1995電能質(zhì)量電力系統(tǒng)頻率允許偏差
- GB 32311-2015水電解制氫系統(tǒng)能效限定值及能效等級
評論
0/150
提交評論