《信息技術(shù)應(yīng)用創(chuàng)新 經(jīng)營管理系統(tǒng)數(shù)據(jù)管理技術(shù)規(guī)范》_第1頁
《信息技術(shù)應(yīng)用創(chuàng)新 經(jīng)營管理系統(tǒng)數(shù)據(jù)管理技術(shù)規(guī)范》_第2頁
《信息技術(shù)應(yīng)用創(chuàng)新 經(jīng)營管理系統(tǒng)數(shù)據(jù)管理技術(shù)規(guī)范》_第3頁
《信息技術(shù)應(yīng)用創(chuàng)新 經(jīng)營管理系統(tǒng)數(shù)據(jù)管理技術(shù)規(guī)范》_第4頁
《信息技術(shù)應(yīng)用創(chuàng)新 經(jīng)營管理系統(tǒng)數(shù)據(jù)管理技術(shù)規(guī)范》_第5頁
已閱讀5頁,還剩11頁未讀 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

ICS

CCS

團(tuán)體標(biāo)準(zhǔn)

T/COSOCCXXXX—XXXX

信息技術(shù)應(yīng)用創(chuàng)新經(jīng)營管理系統(tǒng)數(shù)據(jù)管理

技術(shù)規(guī)范

Informationtechnologyapplicationinnovation—Datamanagementtechnical

specificationsforoperationmanagementsystem

(征求意見稿)

(本草案完成時間:2023.11.24)

在提交反饋意見時,請將您知道的相關(guān)專利連同支持性文件一并附上。

XXXX-XX-XX發(fā)布XXXX-XX-XX實施

中國基本建設(shè)優(yōu)化研究會發(fā)布

T/COSOCCXXXX—XXXX

信息技術(shù)應(yīng)用創(chuàng)新經(jīng)營管理系統(tǒng)數(shù)據(jù)管理技術(shù)規(guī)范

1范圍

本標(biāo)準(zhǔn)給出了經(jīng)營管理系統(tǒng)的數(shù)據(jù)管理體系以及相應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)整理與建模、元數(shù)據(jù)管理、

主數(shù)據(jù)管理、數(shù)據(jù)集成和共享、數(shù)據(jù)安全和數(shù)據(jù)質(zhì)量等方面的技術(shù)規(guī)范要求。

本標(biāo)準(zhǔn)適用于組織和機(jī)構(gòu)對經(jīng)營管理系統(tǒng)在數(shù)據(jù)管理與數(shù)據(jù)應(yīng)用能力建設(shè)的指導(dǎo)和評估。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中,注日期的引用文件,

僅該日期對應(yīng)的版本適用于本文件;不注日期的引用文件,其最新版本(包括所有的修改單)適用于本

文件。

GB/T36073—2018數(shù)據(jù)管理能力成熟度評估模型

GB/T42450—2023信息技術(shù)大數(shù)據(jù)數(shù)據(jù)資源規(guī)劃

3術(shù)語和定義

GB/T36073—2018、GB/T42450—2023界定的以及下列術(shù)語和定義適用于本文件。

數(shù)據(jù)倉庫datawarehouse

一種用于分析和報告來自多個來源的結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的,面向商務(wù)智能活動的數(shù)據(jù)管理系

統(tǒng)。

數(shù)據(jù)湖datalake

一種用于以原生格式存儲、處理和保護(hù)大量結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的集中存儲區(qū)。

數(shù)據(jù)治理datagovernance

對數(shù)據(jù)進(jìn)行處置、格式化和規(guī)范化的過程。

注1:數(shù)據(jù)治理是數(shù)據(jù)和數(shù)據(jù)系統(tǒng)管理的基本要素。

注2:數(shù)據(jù)治理涉及數(shù)據(jù)全生存周期管理,無論數(shù)據(jù)是處于靜態(tài)、動態(tài)、未完成狀態(tài)還是交易狀態(tài)。

[來源:GB/T36073—2018,3.5]

元數(shù)據(jù)metadata

關(guān)于數(shù)據(jù)或數(shù)據(jù)元素的數(shù)據(jù)(可能包括其數(shù)據(jù)描述),以及關(guān)于數(shù)據(jù)擁有權(quán)、存取路徑、訪問權(quán)和

數(shù)據(jù)易變性的數(shù)據(jù)。

[來源:GB/T36073—2018,3.8]

元模型metamodel

規(guī)定一個或多個其他數(shù)據(jù)模型的數(shù)據(jù)模型。

[來源:GB/T36073—2018,3.9]

數(shù)據(jù)質(zhì)量dataquality

在指定條件下使用時,數(shù)據(jù)的特性滿足明確的和隱含的要求的程度。

1

T/COSOCCXXXX—XXXX

[來源:GB/T36073—2018,3.10]

數(shù)據(jù)安全datasecurity

數(shù)據(jù)的機(jī)密性、完整性和可用性。

[來源:GB/T36073—2018,3.11]

主數(shù)據(jù)masterdata

組織中需要跨系統(tǒng)、跨部門進(jìn)行共享的核心業(yè)務(wù)實體數(shù)據(jù)。

[來源:GB/T36073—2018,3.12]

數(shù)據(jù)元dataelement

有一組屬性規(guī)定其定義、標(biāo)識、表示和允許值的數(shù)據(jù)單元。

[來源:GB/T36073—2018,3.15]

數(shù)據(jù)管理datamanagement

在數(shù)據(jù)處理系統(tǒng)中,提供對數(shù)據(jù)的訪問,執(zhí)行或監(jiān)控數(shù)據(jù)的存儲,以及控制輸入輸出操作等功能。

[來源:GB/T42450—2023,3.5]

4縮略語

下列縮略語適用于本文件。

API:應(yīng)用程序接口(ApplicationProgrammingInterface)

ERP:企業(yè)資源計劃(EnterpriseResourcePlanning)

DAMA:數(shù)據(jù)管理協(xié)會(DataManagementAssociation)

DCMM:數(shù)據(jù)管理能力成熟度評估模型(DatamanagementCapabilityMaturityassessmentModel)

DML:數(shù)據(jù)操縱語言(DataManipulationLanguage)

ETL:數(shù)據(jù)的提取、轉(zhuǎn)換和加載(ExtractTransformLoad)

HTTP:超文本傳輸協(xié)議(HypertextTransferProtocol)

HTTPS:超文本加密傳輸協(xié)議(HypertextTransferProtocoloverSecureSocketLayer)

IP:互聯(lián)網(wǎng)協(xié)議(InternetProtocol)

REST:一組架構(gòu)約束條件和原則(RepresentationalStateTransfer)

PDF:可攜帶文件格式(PortableDocumentFormat)

SCM:軟件配置管理(SoftwareConfigurationManagement)

TCP:傳輸控制協(xié)議(TransmissionControlProtocol)

ODBC:開放數(shù)據(jù)庫連接(開放數(shù)據(jù)庫連接)

JDBC:Java數(shù)據(jù)庫連接(JavaDatabaseconnect)

CWM:公共倉庫元模型(CommonWarehouseMetamodel)

CMIS:內(nèi)容管理互操作性服務(wù)標(biāo)準(zhǔn)協(xié)議(ContentManagementInteroperabilityServices)

OLTP:聯(lián)機(jī)事務(wù)處理過程(On-LineTransactionProcessing)

OLAP:聯(lián)機(jī)分析處理(OnlineAnalyticalProcessing)

XML:可擴(kuò)展標(biāo)記語言(eXtensibleMarkupLanguage)

JSON:JS對象簡譜一種輕量級的數(shù)據(jù)交換格式(JavaScriptObjectNotation)

CSV:字符分隔值,一種通用的、相對簡單的文件格式(Comma-SeparatedValues)

PKI:公鑰基礎(chǔ)設(shè)施(PublicKeyInfrastructure)

CA:證書授權(quán)(CertificateAuthority)

2

T/COSOCCXXXX—XXXX

5數(shù)據(jù)對象范圍

數(shù)據(jù)對象性質(zhì)

5.1.1可描述性

經(jīng)營管理系統(tǒng)數(shù)據(jù)應(yīng)表現(xiàn)其具備的業(yè)務(wù)屬性,包括類型、來源、格式、結(jié)構(gòu)、內(nèi)容、質(zhì)量、時間、

所有權(quán)、訪問權(quán)、位置、客戶信息等能力。

5.1.2可集成性

經(jīng)營管理系統(tǒng)數(shù)據(jù)應(yīng)具備可通過API、數(shù)據(jù)庫連接、數(shù)據(jù)集成工具、文本傳輸協(xié)議、消息隊列、ETL

工具、Web服務(wù)、數(shù)據(jù)共享平臺等技術(shù)手段,實現(xiàn)系統(tǒng)間應(yīng)用集成和數(shù)據(jù)共享的能力。

5.1.3可重構(gòu)性

經(jīng)營管理系統(tǒng)數(shù)據(jù)應(yīng)能適應(yīng)企業(yè)內(nèi)外部環(huán)境和管理要求的變化,應(yīng)具備數(shù)據(jù)轉(zhuǎn)換能力,可適應(yīng)不同

的數(shù)據(jù)結(jié)構(gòu)和標(biāo)準(zhǔn)。

5.1.4可配置性

經(jīng)營管理系統(tǒng)數(shù)據(jù)應(yīng)具備參數(shù)化配置性質(zhì),以滿足不同場景需求,例如定制規(guī)則引擎、工作流程設(shè)

計器、報表和儀表板定制、數(shù)據(jù)導(dǎo)出和導(dǎo)入、擴(kuò)展性插件、多語言支持等。

數(shù)據(jù)對象類別

5.2.1主數(shù)據(jù)

應(yīng)對經(jīng)營管理系統(tǒng)主數(shù)據(jù)進(jìn)行收集,包括但不限于物料清單、工作中心能力和成本費率、工藝路線、

倉庫和貨位代碼、會計科目等內(nèi)容。此類數(shù)據(jù)需要按需定期維護(hù),保持其準(zhǔn)確性。

5.2.2業(yè)務(wù)生產(chǎn)數(shù)據(jù)

應(yīng)對經(jīng)營管理系統(tǒng)運行過程中,由生產(chǎn)經(jīng)營活動在進(jìn)行中所產(chǎn)生的數(shù)據(jù)進(jìn)行收集。如客戶合同、庫

存記錄、銷售訂單、財務(wù)憑證等。此類數(shù)據(jù)會隨著業(yè)務(wù)發(fā)展不斷增減修訂,需要隨時維護(hù)。

5.2.3業(yè)務(wù)加工數(shù)據(jù)

應(yīng)對經(jīng)營管理系統(tǒng)運行過程中,由信息系統(tǒng)按照既定的程序邏輯,對數(shù)據(jù)按生產(chǎn)業(yè)務(wù)需求進(jìn)行運算

處理后得到的業(yè)務(wù)加工數(shù)據(jù)進(jìn)行收集。此類數(shù)據(jù)可以更好的供管理人員掌握生產(chǎn)經(jīng)營狀況,進(jìn)行分析和

決策。

6數(shù)據(jù)管理體系

概述

經(jīng)營管理系統(tǒng)數(shù)據(jù)管理體系見圖1,參考GB/T36073—2018中對DCMM8個數(shù)據(jù)管理能力域的劃分,

關(guān)注經(jīng)營管理系統(tǒng)數(shù)據(jù)從收集、治理到應(yīng)用的過程。以元數(shù)據(jù)和主數(shù)據(jù)管理為基礎(chǔ),以數(shù)據(jù)標(biāo)準(zhǔn)體系為

支撐,標(biāo)準(zhǔn)化數(shù)據(jù)建模和數(shù)據(jù)開發(fā)過程,形成數(shù)據(jù)集成與共享能力。數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)安全管理為整

體過程提供質(zhì)量和安全保障。

3

T/COSOCCXXXX—XXXX

圖1經(jīng)營管理系統(tǒng)數(shù)據(jù)管理體系

體系設(shè)計

6.2.1元數(shù)據(jù)管理

經(jīng)營管理系統(tǒng)元數(shù)據(jù)應(yīng)包含但不限于以下三種類型:業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和操作元數(shù)據(jù)。其

可針對不同應(yīng)用領(lǐng)域和功能,滿足對數(shù)據(jù)對象的描述、定位、檢索、管理、評估和交互的操作要求。

6.2.2主數(shù)據(jù)管理

經(jīng)營管理系統(tǒng)主數(shù)據(jù)應(yīng)是具備高價值、高共享、相對穩(wěn)定的基礎(chǔ)數(shù)據(jù)。主數(shù)據(jù)技術(shù)體系應(yīng)具備主

數(shù)據(jù)平臺和主數(shù)據(jù)集成兩個層面的設(shè)計。平臺層面應(yīng)包括但不限于元模型管理、主數(shù)據(jù)清洗、主數(shù)據(jù)

質(zhì)量、數(shù)據(jù)映射及轉(zhuǎn)換等方面能力;集成層面應(yīng)明確規(guī)范接口的集成方式、協(xié)議類型、參數(shù)、地址、

對接要求等內(nèi)容。

6.2.3數(shù)據(jù)建模

經(jīng)營管理系統(tǒng)數(shù)據(jù)模型具有強業(yè)務(wù)屬性,數(shù)據(jù)模型應(yīng)具備解釋和可解釋性,能夠解釋模型的工作

原理和結(jié)果,以便理解和接受模型的決策。數(shù)據(jù)模型向上應(yīng)能承接業(yè)務(wù)需求,向下應(yīng)能對接數(shù)據(jù)庫系

統(tǒng),能夠為主數(shù)據(jù)和元數(shù)據(jù)提供清晰、一致的數(shù)據(jù)結(jié)構(gòu)定義。

6.2.4數(shù)據(jù)標(biāo)準(zhǔn)體系

數(shù)據(jù)標(biāo)準(zhǔn)體系應(yīng)明確規(guī)范企業(yè)經(jīng)營管理業(yè)務(wù)活動中所涉及數(shù)據(jù)的規(guī)范化定義和統(tǒng)一解釋,如數(shù)據(jù)

命名和命名約定、數(shù)據(jù)分類和層次機(jī)構(gòu)、數(shù)據(jù)格式和數(shù)據(jù)類型、數(shù)據(jù)采集和錄入規(guī)則、數(shù)據(jù)交換和集

成標(biāo)準(zhǔn)等。

6.2.5數(shù)據(jù)集成和共享

經(jīng)營管理系統(tǒng)數(shù)據(jù)集成和共享應(yīng)能橫貫企業(yè)內(nèi)外部的目標(biāo)異構(gòu)系統(tǒng)、應(yīng)用、數(shù)據(jù)源,具備實現(xiàn)各

經(jīng)營管理業(yè)務(wù)板塊和數(shù)據(jù)倉庫等系統(tǒng)的應(yīng)用協(xié)同和數(shù)據(jù)共享的能力。應(yīng)明確集成和共享的數(shù)據(jù)源、系

統(tǒng)和格式,明確使用的工具和技術(shù),包括但不限于數(shù)據(jù)庫間點對點集成、微服務(wù)或總線型應(yīng)用集成、

基于數(shù)據(jù)倉庫的結(jié)構(gòu)化數(shù)據(jù)集成、基于數(shù)據(jù)湖的多類型數(shù)據(jù)融合等。

6.2.6數(shù)據(jù)質(zhì)量管理

應(yīng)在數(shù)據(jù)模型設(shè)計、數(shù)據(jù)資產(chǎn)管理、主數(shù)據(jù)管理、數(shù)據(jù)倉庫等解決方案和過程中執(zhí)行數(shù)據(jù)質(zhì)量管

理,以確保數(shù)據(jù)在整個數(shù)據(jù)生命周期中保持高質(zhì)量。通過數(shù)據(jù)驗證、數(shù)據(jù)質(zhì)量度量、數(shù)據(jù)質(zhì)量監(jiān)控、

4

T/COSOCCXXXX—XXXX

數(shù)據(jù)質(zhì)量報告、數(shù)據(jù)質(zhì)量規(guī)劃與策略以及相關(guān)數(shù)據(jù)質(zhì)量工具和技術(shù),可改善各維度的數(shù)據(jù)問題,提高

數(shù)據(jù)質(zhì)量。

6.2.7數(shù)據(jù)安全管理

應(yīng)制定并采取各種策略、技術(shù)和活動,包括但不限于從組織建設(shè)、業(yè)務(wù)流程、規(guī)章制度、技術(shù)工

具等方面確保數(shù)據(jù)的可用性、完整性和保密性,以及能夠控制數(shù)據(jù)安全風(fēng)險或?qū)L(fēng)險帶來的影響降至

最低。

7元數(shù)據(jù)管理

數(shù)據(jù)來源

企業(yè)經(jīng)營管理系統(tǒng)的元數(shù)據(jù)應(yīng)包含但不限于業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和操作元數(shù)據(jù)三類,要求如下:

a)數(shù)據(jù)來源應(yīng)具有唯一性,確保數(shù)據(jù)在一個數(shù)據(jù)集中或整個數(shù)據(jù)管理環(huán)境中的唯一性,包括使用

主鍵、唯一性約束、數(shù)據(jù)去重、數(shù)據(jù)匹配與合并等能力保障每個數(shù)據(jù)實體只有一個唯一的表示;

b)業(yè)務(wù)元數(shù)據(jù)應(yīng)包括對數(shù)據(jù)的定義、結(jié)構(gòu)、來源、更新頻率、質(zhì)量評級等信息,范圍包含但不限

于ERP系統(tǒng)的所有經(jīng)營管理領(lǐng)域系統(tǒng);

c)技術(shù)元數(shù)據(jù)應(yīng)包括數(shù)據(jù)庫架構(gòu)、應(yīng)用程序代碼、系統(tǒng)配置、安全權(quán)限等信息,范圍包含但不限

于ERP系統(tǒng)的所有經(jīng)營管理領(lǐng)域系統(tǒng);

d)操作元數(shù)據(jù)應(yīng)包括系統(tǒng)日志、用戶活動日志、性能指標(biāo)、配置更改歷史等信息,范圍包含但不

限于ERP系統(tǒng)的所有經(jīng)營管理領(lǐng)域系統(tǒng);

e)數(shù)據(jù)平臺的元數(shù)據(jù)應(yīng)包含但不限于數(shù)據(jù)倉庫、數(shù)據(jù)湖;

f)數(shù)據(jù)處理工具的元數(shù)據(jù)應(yīng)包含但不限于各種ETL工具;

g)應(yīng)支持半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)元數(shù)據(jù)提取。

數(shù)據(jù)采集

企業(yè)經(jīng)營管理系統(tǒng)的元數(shù)據(jù)采集具體應(yīng)符合下列要求:

a)支持采用JDBC等數(shù)據(jù)庫連接方式和API接口調(diào)用提取結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)信息;

b)支持全量抽取、增量抽取、基于日志的抽取等抽取模式;

c)支持對半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)采用圖像識別、自然語言處理等人工智能技術(shù)識別和采集元

數(shù)據(jù)。

元模型管理

企業(yè)經(jīng)營管理系統(tǒng)的元模型管理,應(yīng)符合下列要求:

a)基于元數(shù)據(jù)管理工具構(gòu)建符合CWM規(guī)范的元數(shù)據(jù)倉庫,實現(xiàn)集中化管理;

b)提供對元數(shù)據(jù)增、改、刪、查、發(fā)布等管理功能;

c)支持元數(shù)據(jù)版本管理,支持按版本的查詢、對比和回溯操作;

d)提供統(tǒng)一的元數(shù)據(jù)訪問接口服務(wù),支持ODBC、JDBC、RESTAPI、CMIS等,兼容WebService

等接口協(xié)議。

元數(shù)據(jù)分析

7.4.1資源地圖

以拓?fù)浞绞缴傻钠髽I(yè)經(jīng)營管理系統(tǒng)數(shù)據(jù)資源地圖,應(yīng)符合下列要求:

a)資源地圖內(nèi)容范圍包括業(yè)務(wù)流程、部門和職能、數(shù)據(jù)資產(chǎn)、應(yīng)用程序、模塊和功能、報表和分

析、集成和接口、安全和權(quán)限等內(nèi)容;

b)支持可視化展示、支持自動布局算法的拓?fù)洳季郑?/p>

c)支持不同數(shù)據(jù)源導(dǎo)入生成資源地圖,對于動態(tài)變化的資源信息,資源地圖需支持實時更新;

d)支持資源之間的關(guān)聯(lián)和依賴關(guān)系的呈現(xiàn),支持相關(guān)資源進(jìn)行分組、支持利用標(biāo)簽進(jìn)行資源說明;

e)支持用戶通過鼠標(biāo)或觸控交互來展開或收起子圖、放大或縮小圖形、查看節(jié)點的詳細(xì)信息等;

f)支持對于包含敏感信息的資源地圖的權(quán)限控制能力;

5

T/COSOCCXXXX—XXXX

g)支持資源地圖導(dǎo)出為常見圖片格式或PDF文件;

h)支持針對大規(guī)模資源地圖對于加載速度和渲染性能的要求。

7.4.2血緣分析

追蹤數(shù)據(jù)的來源和去向,識別數(shù)據(jù)之間的關(guān)系和傳遞路徑,應(yīng)符合下列要求:

a)血緣分析的內(nèi)容應(yīng)包括數(shù)據(jù)來源、數(shù)據(jù)去向、數(shù)據(jù)傳遞路徑、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)關(guān)系、數(shù)據(jù)質(zhì)量、

數(shù)據(jù)版本控制等;

b)支持通過日志記錄、元數(shù)據(jù)提取、數(shù)據(jù)倉庫或數(shù)據(jù)湖等方式對數(shù)據(jù)進(jìn)行采集和追蹤;

c)支持建立元數(shù)據(jù)管理系統(tǒng),使用ApacheAtlas、Collibra、或國內(nèi)自主可控的、先進(jìn)的相關(guān)

工具對數(shù)據(jù)源、表結(jié)構(gòu)、字段信息、數(shù)據(jù)轉(zhuǎn)換規(guī)則等內(nèi)容進(jìn)行維護(hù)和管理;

d)支持使用如ApacheNiFi、Talend、Kettle或國內(nèi)自主可控的、先進(jìn)安全的ETL工具,整合不

同數(shù)據(jù)源數(shù)據(jù);使用如InformaticaDataQuality、Trifacta、或國內(nèi)自主可控的、先進(jìn)的

技術(shù)工具進(jìn)行數(shù)據(jù)清洗與去重;

e)支持構(gòu)建數(shù)據(jù)關(guān)系建模,利用數(shù)據(jù)庫的關(guān)系模型或圖數(shù)據(jù)庫建立數(shù)據(jù)之間的關(guān)聯(lián);

f)支持利用自動化腳本根據(jù)預(yù)定義的規(guī)則和算法,自動追蹤和分析數(shù)據(jù)的來源和去向;

g)支持可視化展示技術(shù),利用圖形化工具或Web可視化庫,并以樹狀圖、流程圖等形式呈現(xiàn)血緣

關(guān)系。

7.4.3影響分析

識別和評估數(shù)據(jù)或資源變更對組織或系統(tǒng)的影響,應(yīng)符合下列要求:

a)當(dāng)元數(shù)據(jù)發(fā)生變化時,應(yīng)評估影響的范圍,包括變更對數(shù)據(jù)之間的依賴關(guān)系變化的影響、變更

對業(yè)務(wù)過程產(chǎn)生的影響、變更對數(shù)據(jù)質(zhì)量的影響、變更對性能和資源消耗的影響、變更對應(yīng)用

程序和系統(tǒng)的影響、變更對數(shù)據(jù)訪問權(quán)限和數(shù)據(jù)安全性的影響等;

b)支持使用數(shù)據(jù)監(jiān)控工具或具備同等能力的數(shù)據(jù)平臺能力對數(shù)據(jù)變更進(jìn)行實時監(jiān)控,收集變更

信息;

c)支持使用數(shù)據(jù)質(zhì)量工具或具備同等能力的數(shù)據(jù)平臺能力對數(shù)據(jù)進(jìn)行質(zhì)量評估和分析,識別變

更過程中可能產(chǎn)生的數(shù)據(jù)質(zhì)量問題;

d)支持在數(shù)據(jù)變更后仍具備嚴(yán)格的數(shù)據(jù)訪問權(quán)限控制措施和數(shù)據(jù)安全策略的能力;

e)支持使用圖形化工具或自主研發(fā)可自定義的可視化界面,將影響分析結(jié)果以圖表或報表的形

式進(jìn)行展示;

f)支持使用版本控制機(jī)制,記錄和管理元數(shù)據(jù)的歷史變更,提供變更歷史回溯能力。

7.4.4冷熱度分析

評估元數(shù)據(jù)使用頻率和訪問熱度,按活躍度分類元數(shù)據(jù),應(yīng)符合下列要求:

a)元數(shù)據(jù)冷熱度分析內(nèi)容應(yīng)包括但不限于數(shù)據(jù)訪問頻率、數(shù)據(jù)訪問模式(周期性訪問、突發(fā)性訪

問)、數(shù)據(jù)熱度、數(shù)據(jù)冷度等內(nèi)容;

b)支持使用數(shù)據(jù)監(jiān)控工具,如ApacheNiFi、ApacheKafka或國內(nèi)自主可控的、先進(jìn)的技術(shù)工

具,實時采集和監(jiān)控數(shù)據(jù)的訪問信息,如數(shù)據(jù)的訪問次數(shù)和時間戳等信息;

c)支持使用數(shù)據(jù)分析技術(shù)(如Python的pandas庫、R語言、國內(nèi)自主可控的、先進(jìn)的數(shù)據(jù)分析

工具等),對數(shù)據(jù)訪問日志進(jìn)行分析和挖掘;

d)支持在數(shù)據(jù)庫中添加數(shù)據(jù)訪問時間戳字段,定期清理冷數(shù)據(jù),優(yōu)化數(shù)據(jù)庫性能;

e)支持使用緩存技術(shù),將熱數(shù)據(jù)緩存在高速緩存中,加快數(shù)據(jù)訪問速度;

f)支持對數(shù)據(jù)進(jìn)行分級存儲,將熱數(shù)據(jù)存儲在高速存儲介質(zhì)中(如SSD),將冷數(shù)據(jù)存儲在低成

本存儲介質(zhì)中(如磁盤存儲)。

元數(shù)據(jù)應(yīng)用

7.5.1應(yīng)用開發(fā)

基于反向工程將元數(shù)據(jù)模型(通常是邏輯模型)轉(zhuǎn)換為應(yīng)用系統(tǒng)數(shù)據(jù)庫中的物理表,實現(xiàn)數(shù)據(jù)模型

與實際數(shù)據(jù)庫的同步,應(yīng)符合下列要求:

6

T/COSOCCXXXX—XXXX

a)應(yīng)支持定義元數(shù)據(jù)模型,在設(shè)計工具或建模工具中創(chuàng)建邏輯數(shù)據(jù)模型,其中包含實體、屬性、

關(guān)系等;

b)應(yīng)使用有權(quán)限控制的應(yīng)用系統(tǒng)數(shù)據(jù)庫連接;

c)應(yīng)使用適合的反向工程工具,如IBMInfoSphereDataArchitect、SAPPowerDesigner、

OracleSQLDeveloperDataModeler或國內(nèi)自主可控的、先進(jìn)的技術(shù)工具。

d)應(yīng)支持利用反向工程工具映射元數(shù)據(jù)模型到數(shù)據(jù)庫表,將元數(shù)據(jù)模型中的實體、屬性、關(guān)系等

映射到數(shù)據(jù)庫表結(jié)構(gòu)的能力;

e)應(yīng)支持生成和執(zhí)行DDL語句的能力。

7.5.2數(shù)據(jù)倉庫建模

利用元數(shù)據(jù)記錄和管理數(shù)據(jù)在數(shù)據(jù)倉庫內(nèi)的流轉(zhuǎn)過程,對數(shù)據(jù)倉庫的設(shè)計和建模過程進(jìn)行輔助和

支持,元數(shù)據(jù)應(yīng)記錄以下屬性和內(nèi)容:

a)數(shù)據(jù)表信息:記錄數(shù)據(jù)倉庫中的數(shù)據(jù)表,包括表名稱、描述、創(chuàng)建時間、修改時間等;

b)數(shù)據(jù)字段信息:記錄數(shù)據(jù)表中的字段,包括字段名稱、描述、數(shù)據(jù)類型、長度、精度、是否允

許為空等;

c)數(shù)據(jù)關(guān)系信息:記錄數(shù)據(jù)表之間的關(guān)聯(lián)關(guān)系,包括外鍵約束、主鍵-外鍵關(guān)系等;

d)維度信息:記錄維度表的名稱、描述、屬性、層次結(jié)構(gòu)等信息;

e)事實信息:記錄事實表的名稱、描述、度量等信息;

f)數(shù)據(jù)質(zhì)量規(guī)則:定義數(shù)據(jù)質(zhì)量規(guī)則和指標(biāo),用于衡量數(shù)據(jù)的準(zhǔn)確性、完整性和一致性;

g)數(shù)據(jù)血緣關(guān)系:記錄數(shù)據(jù)的來源和去向,用于追蹤數(shù)據(jù)的傳遞路徑和依賴關(guān)系;

h)數(shù)據(jù)安全和權(quán)限控制:記錄數(shù)據(jù)表或字段的安全策略、權(quán)限控制信息,以確保數(shù)據(jù)的訪問控制;

i)數(shù)據(jù)變更歷史:記錄數(shù)據(jù)表或字段的變更歷史,包括創(chuàng)建時間、修改時間等;

j)數(shù)據(jù)文檔化:記錄數(shù)據(jù)表和字段的文檔描述,如數(shù)據(jù)字典、數(shù)據(jù)模型、ETL流程等;

k)數(shù)據(jù)可視化和報表設(shè)計:記錄數(shù)據(jù)可視化和報表的設(shè)計信息,以支持?jǐn)?shù)據(jù)倉庫中的分析和報表

展現(xiàn);

l)數(shù)據(jù)源信息:記錄數(shù)據(jù)倉庫中數(shù)據(jù)源的信息,包括數(shù)據(jù)源名稱、描述、類型等;

m)數(shù)據(jù)變換規(guī)則:記錄數(shù)據(jù)抽取、轉(zhuǎn)換和加載(ETL)過程中的數(shù)據(jù)變換規(guī)則和映射。

8主數(shù)據(jù)管理

主數(shù)據(jù)建模

企業(yè)經(jīng)營管理系統(tǒng)主數(shù)據(jù)建模要求如下:

a)應(yīng)支持主數(shù)據(jù)分類,按一定的維度和特征對主數(shù)據(jù)劃分,包括但不限于根據(jù)數(shù)據(jù)域分類、根據(jù)

數(shù)據(jù)特性分類、根據(jù)數(shù)據(jù)管理責(zé)任分類、根據(jù)數(shù)據(jù)使用分類、根據(jù)數(shù)據(jù)的生命周期分類、根據(jù)

數(shù)據(jù)關(guān)聯(lián)性分類等,方便主數(shù)據(jù)的管理和使用;

b)應(yīng)支持主數(shù)據(jù)編碼,支持設(shè)置碼段、碼位、步長等,以滿足不同業(yè)務(wù)需求,編碼方式包括特征

值編碼、固定值編碼、日期碼、流水碼、組合碼等;

c)應(yīng)支持設(shè)置中文名稱、英文名稱、字段類型、長度、唯一性約束、校驗規(guī)則等主數(shù)據(jù)屬性;

d)應(yīng)提供主數(shù)據(jù)管理視圖配置功能,支持為不同分類主數(shù)據(jù)分配不同的屬性。

變更管理

企業(yè)經(jīng)營管理系統(tǒng)主數(shù)據(jù)應(yīng)具備變更、凍結(jié)和歸檔功能,應(yīng)符合下列要求:

a)主數(shù)據(jù)編碼不允許修改,以多版本形式維護(hù)屬性定義;

b)業(yè)務(wù)流程無法使用凍結(jié)的主數(shù)據(jù)記錄,記錄維護(hù)主數(shù)據(jù)狀態(tài)的歷史信息;

c)對于失效的主數(shù)據(jù)記錄進(jìn)行歸檔操作,即遷移至歷史數(shù)據(jù)庫,對歸檔的主數(shù)據(jù)不可修改,只能

查詢。

主數(shù)據(jù)分析

支持跟蹤主數(shù)據(jù)的血緣關(guān)系,通過可視化方式有效的管理數(shù)據(jù)變化和異常情況,應(yīng)符合下列要求:

7

T/COSOCCXXXX—XXXX

a)記錄主數(shù)據(jù)的最初來源以及數(shù)據(jù)的變換和處理步驟;

b)建立主數(shù)據(jù)之間的關(guān)系模型,包括數(shù)據(jù)源、數(shù)據(jù)倉庫和數(shù)據(jù)消費者之間的關(guān)聯(lián)關(guān)系;

c)實時或定期跟蹤和監(jiān)控主數(shù)據(jù)的傳遞和使用情況;

d)記錄主數(shù)據(jù)的血緣關(guān)系,編制數(shù)據(jù)血緣文檔,便于后續(xù)的數(shù)據(jù)溯源和審計。

主數(shù)據(jù)集成

支持以數(shù)據(jù)庫、消息中間件和Web服務(wù)等方式實現(xiàn)主數(shù)據(jù)的集成共享,應(yīng)符合下列要求:

a)支持包含國產(chǎn)數(shù)據(jù)庫在內(nèi)的多數(shù)據(jù)源抽取數(shù)據(jù),并能將數(shù)據(jù)加載到目標(biāo)系統(tǒng)或數(shù)據(jù)倉庫的能

力;

b)具備數(shù)據(jù)類型轉(zhuǎn)換、數(shù)據(jù)規(guī)范化等能力;

c)具備數(shù)據(jù)匹配和去重能力,對于主數(shù)據(jù)集成,具備識別和處理不同數(shù)據(jù)源中的重復(fù)數(shù)據(jù),并進(jìn)

行數(shù)據(jù)匹配,確保主數(shù)據(jù)唯一性的能力;

d)具備檢測和修復(fù)數(shù)據(jù)質(zhì)量問題的能力;

e)具備數(shù)據(jù)安全和權(quán)限控制能力,主數(shù)據(jù)集成涉及敏感數(shù)據(jù),需具備嚴(yán)格的數(shù)據(jù)安全和權(quán)限控制

措施;

f)具備實時的數(shù)據(jù)抽取和傳輸能力;

g)具備定義和管理數(shù)據(jù)轉(zhuǎn)換規(guī)則和映射關(guān)系的能力,確保數(shù)據(jù)在不同系統(tǒng)之間的正確轉(zhuǎn)換;

h)具備容錯和數(shù)據(jù)回滾能力,在主數(shù)據(jù)集成過程中,對于可能會出現(xiàn)的錯誤或失敗情況,具備有

效處置的能力;

i)具備滿足多規(guī)模、多需求的主數(shù)據(jù)集成場景能力。

9數(shù)據(jù)建模

可視化建模

9.1.1數(shù)據(jù)結(jié)構(gòu)化和標(biāo)準(zhǔn)化

業(yè)務(wù)數(shù)據(jù)應(yīng)以結(jié)構(gòu)化的方式進(jìn)行組織和存儲,確保數(shù)據(jù)的一致性和可比性,包括采用統(tǒng)一的數(shù)據(jù)標(biāo)

準(zhǔn)和命名規(guī)范等。

9.1.2數(shù)據(jù)完整性和準(zhǔn)確性

數(shù)據(jù)模型應(yīng)能夠確保業(yè)務(wù)數(shù)據(jù)的完整性和準(zhǔn)確性,可定義適當(dāng)?shù)臄?shù)據(jù)約束和驗證規(guī)則,確保數(shù)據(jù)在

采集、存儲和處理過程中沒有缺失、錯誤或沖突。

9.1.3數(shù)據(jù)可擴(kuò)展性

應(yīng)采用合適的數(shù)據(jù)結(jié)構(gòu)(如列表、數(shù)據(jù)、字典、樹、圖等)和關(guān)系模型(如表格、視圖、主外鍵、

范式等),設(shè)計靈活可擴(kuò)展的數(shù)據(jù)模型。

9.1.4數(shù)據(jù)一致性和關(guān)聯(lián)性

數(shù)據(jù)模型應(yīng)能夠準(zhǔn)確地反映業(yè)務(wù)實體之間的關(guān)聯(lián)關(guān)系,保持?jǐn)?shù)據(jù)的一致性。通過定義適當(dāng)?shù)闹麈I、

外鍵和關(guān)聯(lián)規(guī)則,確保數(shù)據(jù)的關(guān)聯(lián)性和關(guān)系完整性,避免數(shù)據(jù)的冗余和不一致。

9.1.5數(shù)據(jù)性能和查詢效率

應(yīng)合理設(shè)計索引、分區(qū)和分片策略,優(yōu)化數(shù)據(jù)訪問路徑和查詢性能,提高數(shù)據(jù)的檢索和分析效率。

9.1.6數(shù)據(jù)安全和權(quán)限控制

業(yè)務(wù)數(shù)據(jù)模型應(yīng)考慮數(shù)據(jù)的安全性和權(quán)限控制,采用適當(dāng)?shù)臄?shù)據(jù)加密和權(quán)限管理機(jī)制,確保數(shù)據(jù)的

機(jī)密性和訪問控制,防止未經(jīng)授權(quán)的訪問和數(shù)據(jù)泄露。

9.1.7數(shù)據(jù)可視化和報表支持

8

T/COSOCCXXXX—XXXX

數(shù)據(jù)模型應(yīng)具備數(shù)據(jù)可視化和報表支持的能力,通過圖表、報表和可視化工具,呈現(xiàn)數(shù)據(jù)的洞察和

趨勢。

9.1.8支持系統(tǒng)級數(shù)據(jù)模型開發(fā)

數(shù)據(jù)倉庫、應(yīng)用系統(tǒng)的數(shù)據(jù)模型均應(yīng)可基于企業(yè)級數(shù)據(jù)模型進(jìn)行擴(kuò)展,實現(xiàn)系統(tǒng)模型的正向建模。

9.1.9支持?jǐn)?shù)據(jù)模型的反向采集

應(yīng)支持將Oracle、Mysql等關(guān)系型數(shù)據(jù)庫和主流國產(chǎn)關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)結(jié)構(gòu)采集到數(shù)據(jù)模型管

理工具中進(jìn)行統(tǒng)一管理。

數(shù)據(jù)模型查詢

數(shù)據(jù)模型查詢功能應(yīng)符合下列要求:

a)支持通過但不限于模型分類、標(biāo)簽分級等能力進(jìn)行查找定位;

b)支持全業(yè)務(wù)域模型總覽,能識別模型間拓?fù)潢P(guān)系,支持模型的逐級下鉆。

數(shù)據(jù)模型管理

數(shù)據(jù)模型管理應(yīng)具備基本的創(chuàng)建維護(hù)功能。在狀態(tài)和屬性發(fā)生變更時,能自動識別出當(dāng)前服務(wù)的上

下游引用對象,幫助用戶評估影響范圍,應(yīng)符合下列要求:

a)支持?jǐn)?shù)據(jù)模型的增刪改等一系列基礎(chǔ)維護(hù)功能;

b)支持模型變更管理和發(fā)布,按企業(yè)管理需要,支持簡單的審批流程配置功能;

c)支持模型分版本管理,支持版本回溯。

模型對比分析

支持不同模型間對比、模型內(nèi)不同版本對比,識別模型差異,形成差異報告。

模型開發(fā)

數(shù)據(jù)模型的開發(fā)應(yīng)同時面向業(yè)務(wù)應(yīng)用的開發(fā)和數(shù)據(jù)倉庫的模型開發(fā),應(yīng)符合下列要求:

a)在面向業(yè)務(wù)應(yīng)用開發(fā)方面(OLTP),應(yīng)提供面向需求的數(shù)據(jù)概念模型、面向設(shè)計的數(shù)據(jù)邏輯模

型、面向開發(fā)的數(shù)據(jù)物理模型;

b)在面向數(shù)據(jù)倉庫應(yīng)用開發(fā)方面(OLAP),應(yīng)能夠提供相應(yīng)的元數(shù)據(jù)和主數(shù)據(jù)輔助建模開發(fā),并

支持模型標(biāo)準(zhǔn)校驗。

10數(shù)據(jù)標(biāo)準(zhǔn)體系

標(biāo)準(zhǔn)內(nèi)容

10.1.1業(yè)務(wù)術(shù)語標(biāo)準(zhǔn)

應(yīng)詳細(xì)、準(zhǔn)確定義企業(yè)級公共業(yè)務(wù)詞匯表,提供業(yè)務(wù)術(shù)語上下文的關(guān)聯(lián)和控制。

10.1.2數(shù)據(jù)元值域標(biāo)準(zhǔn)

應(yīng)詳細(xì)、準(zhǔn)確定義數(shù)據(jù)字典,包括數(shù)據(jù)元分類、數(shù)據(jù)元名稱、數(shù)據(jù)元編碼、數(shù)據(jù)元值域范圍等。

10.1.3數(shù)據(jù)指標(biāo)標(biāo)準(zhǔn)

應(yīng)詳細(xì)、準(zhǔn)確涵蓋指標(biāo)的業(yè)務(wù)屬性、技術(shù)屬性和管理屬性,例如指標(biāo)名稱、業(yè)務(wù)含義、統(tǒng)計維度、

計算方式等信息。

標(biāo)準(zhǔn)版本管理

應(yīng)提供數(shù)據(jù)標(biāo)準(zhǔn)版本管理功能,包括版本查看、版本發(fā)布、版本對比和回溯等功能。

標(biāo)準(zhǔn)稽查管理

9

T/COSOCCXXXX—XXXX

應(yīng)提供數(shù)據(jù)稽查能力,參照數(shù)據(jù)管理標(biāo)準(zhǔn),可實現(xiàn)對數(shù)據(jù)模型、數(shù)據(jù)字典等進(jìn)行對比分析的能力,

確保模型質(zhì)量和標(biāo)準(zhǔn)的落地執(zhí)行。

11數(shù)據(jù)存儲

存儲的性能和可靠性

經(jīng)營管理系統(tǒng)數(shù)據(jù)存儲的性能和可靠性應(yīng)符合下列要求:

a)具有快速的響應(yīng)時間,確保用戶能夠快速訪問和操作數(shù)據(jù);

b)支持足夠的吞吐量,滿足同時處理用戶請求和數(shù)據(jù)交互的要求;

c)具備可擴(kuò)展的能力,可以根據(jù)需求進(jìn)行水平或垂直擴(kuò)展,以滿足業(yè)務(wù)增長的需求;

d)具備均衡的數(shù)據(jù)分布能力,經(jīng)營管理系統(tǒng)數(shù)據(jù)量龐大,數(shù)據(jù)顆粒度較細(xì),應(yīng)確保資源分配均勻,

不會出現(xiàn)過度負(fù)荷的情況;

e)具備緩存和性能優(yōu)化能力,減少數(shù)據(jù)訪問時間,提高系統(tǒng)性能;

f)具備定期數(shù)據(jù)備份能力,以應(yīng)對意外數(shù)據(jù)丟失或損壞的情況,確保數(shù)據(jù)的可恢復(fù)性;

g)具備冗余和容錯性,防止硬件故障引發(fā)數(shù)據(jù)丟失,可通過但不限于RAID、備用服務(wù)器或云存

儲的冗余機(jī)制來實現(xiàn);

h)確保數(shù)據(jù)的一致性,避免數(shù)據(jù)損壞或不一致的情況,例如,可通過事務(wù)處理和ACID(原子性、

一致性、隔離性、持久性)屬性來實現(xiàn);

i)具備快速的故障恢復(fù)機(jī)制,以最小化系統(tǒng)停機(jī)時間,保持系統(tǒng)的可靠性;

j)具備對數(shù)據(jù)存儲系統(tǒng)進(jìn)行實時監(jiān)控,設(shè)置警報機(jī)制,及時發(fā)現(xiàn)并處置問題的能力;

k)確保存儲系統(tǒng)的高可用性,可通過使用冗余和負(fù)載均衡等方式來實現(xiàn)。

存儲的安全和數(shù)據(jù)保護(hù)

經(jīng)營管理系統(tǒng)數(shù)據(jù)存儲安全和數(shù)據(jù)保護(hù)應(yīng)符合下列要求:

a)具備數(shù)據(jù)加密的能力,保護(hù)數(shù)據(jù)安全,對涉及到個人隱私或者企業(yè)機(jī)密的敏感信息進(jìn)行加密,

例如姓名、身份證號、銀行賬號、密碼等;

b)具備多層防御的能力,采用防火墻、入侵檢測系統(tǒng)、反病毒軟件等技術(shù)工具構(gòu)建多層防御策略

略;

c)具備訪問控制能力,根據(jù)不同的用戶角色設(shè)定不同的訪問權(quán)限,防止未授權(quán)的訪問和非法操作;

d)定期組織安全審計,檢查是否存在安全隱患,及時發(fā)現(xiàn)和修復(fù)漏洞;

e)建立完備的容災(zāi)恢復(fù)能力,構(gòu)建災(zāi)難恢復(fù)計劃,在出現(xiàn)數(shù)據(jù)丟失或者系統(tǒng)崩潰的情況時,具備

快速恢復(fù)數(shù)據(jù)和業(yè)務(wù)的能力。

存儲的控制和合規(guī)

經(jīng)營管理系統(tǒng)數(shù)據(jù)存儲應(yīng)滿足以下控制和合規(guī)性要求:

a)保障數(shù)據(jù)完整性,確保數(shù)據(jù)在整個生命周期內(nèi)保持完整性和一致性不受破壞、刪除、修改或者

未經(jīng)授權(quán)的訪問;

b)對數(shù)據(jù)實施嚴(yán)格的訪問控制,只允許經(jīng)過授權(quán)的人員訪問相關(guān)數(shù)據(jù),限制訪問權(quán)限和活動范圍;

c)根據(jù)數(shù)據(jù)的重要性及其敏感程度,將數(shù)據(jù)分為不同級別,分別設(shè)置相應(yīng)的安全策略和保護(hù)措施;

d)定期備份關(guān)鍵數(shù)據(jù),防止意外損失,同時具備快速恢復(fù)數(shù)據(jù)的能力,在遭遇災(zāi)難時盡快恢復(fù)正

常運營;

e)對在網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)進(jìn)行加密,以防數(shù)據(jù)被竊取或篡改;

f)記錄并保留所有涉及數(shù)據(jù)的高危操作,以便進(jìn)行事后審查和追蹤,確保數(shù)據(jù)的安全性和合規(guī)性;

g)保障相關(guān)技術(shù)的合規(guī)性要求;

h)定期對系統(tǒng)進(jìn)行安全評估,檢查系統(tǒng)的安全性是否符合預(yù)期的標(biāo)準(zhǔn),找出存在的安全風(fēng)險并采

取相應(yīng)的防護(hù)措施。

12數(shù)據(jù)集成和共享

10

T/COSOCCXXXX—XXXX

數(shù)據(jù)交換

企業(yè)經(jīng)營管理系統(tǒng)數(shù)據(jù)交換要求如下:

a)應(yīng)提供基于接口、文件的服務(wù)訪問方式,以滿足實時服務(wù)和批量服務(wù)的發(fā)布要求;

b)應(yīng)支持多種標(biāo)準(zhǔn)的數(shù)據(jù)格式,如XML、JSON、CSV等,以確保不同系統(tǒng)之間可以解釋和處理數(shù)

據(jù);

c)應(yīng)在數(shù)據(jù)接收端應(yīng)進(jìn)行數(shù)據(jù)完整性檢查,以確保數(shù)據(jù)沒有被損壞或篡改;

d)應(yīng)在數(shù)據(jù)交換系統(tǒng)內(nèi)形成備容錯機(jī)制,以應(yīng)對網(wǎng)絡(luò)故障或其他不可預(yù)見的問題;

e)應(yīng)考慮性能優(yōu)化,以確保在大量數(shù)據(jù)交換場景下保障數(shù)據(jù)傳輸?shù)男屎退俣龋?/p>

f)應(yīng)提供租戶隔離機(jī)制,基于不同的服務(wù)實例實現(xiàn)不同消費者對相同數(shù)據(jù)服務(wù)的獨立訪問;

g)應(yīng)遵從數(shù)據(jù)分級管理要求,在發(fā)布服務(wù)時對相關(guān)數(shù)據(jù)資產(chǎn)共享風(fēng)險進(jìn)行評估;

h)可在傳輸過程中使用數(shù)據(jù)壓縮技術(shù),以減少帶寬占用和提高傳輸效率。

數(shù)據(jù)清洗

企業(yè)經(jīng)營管理系統(tǒng)數(shù)據(jù)清洗應(yīng)符合下列要求:

a)對數(shù)據(jù)進(jìn)行驗證,確保其符合預(yù)定的數(shù)據(jù)格式、范圍和規(guī)則,包括但不限于驗證數(shù)值字段、日

期字段、文本字段等的有效性;

b)檢測和移除重復(fù)的數(shù)據(jù),標(biāo)準(zhǔn)化數(shù)據(jù)以確保一致性,例如,將日期格式標(biāo)準(zhǔn)化為統(tǒng)一的日期時

間格式;

c)處理缺失數(shù)據(jù),可以填充缺失值、刪除包含缺失值的記錄,或者使用適當(dāng)?shù)牟逖a方法來填充缺

失數(shù)據(jù);

d)檢測和處理異常數(shù)據(jù),如超出范圍的數(shù)值、不符合規(guī)則的文本等,異常值可以被糾正、刪除或

進(jìn)一步調(diào)查;

e)將數(shù)據(jù)格式化為一致的數(shù)據(jù)類型,如日期、時間、貨幣等,以便進(jìn)行分析和報告;

f)確保數(shù)據(jù)在不同數(shù)據(jù)源之間的一致性,包括標(biāo)準(zhǔn)化單位、貨幣、單位代碼等。

數(shù)據(jù)轉(zhuǎn)換

企業(yè)經(jīng)營管理系統(tǒng)數(shù)據(jù)轉(zhuǎn)換應(yīng)符合下列要求:

a)提供數(shù)據(jù)校驗功能,包括空值檢測、長度檢查、數(shù)值范圍檢查、正則表達(dá)式校驗等;

b)提供數(shù)據(jù)表轉(zhuǎn)換功能,包括字段值替換、值映射、列轉(zhuǎn)行、行轉(zhuǎn)列、記錄合并、記錄排序、去

除重復(fù)記錄等;

c)提供數(shù)據(jù)運算處理功能,包括求和、最大值、最小值、平均值等;

d)提供基于代碼映射的自動轉(zhuǎn)換功能。

標(biāo)簽管理

標(biāo)簽管理包括數(shù)據(jù)的標(biāo)識、分類和搜索,通過為數(shù)據(jù)添加標(biāo)簽來實現(xiàn)更精準(zhǔn)的數(shù)據(jù)發(fā)現(xiàn)和利用,應(yīng)

符合下列要求:

a)建立統(tǒng)一的標(biāo)簽體系,確保標(biāo)簽的一致性和標(biāo)準(zhǔn)化,標(biāo)簽定義明確,并與業(yè)務(wù)需求和數(shù)據(jù)特征

相匹配;

b)建立相應(yīng)的標(biāo)簽分類和層次結(jié)構(gòu)體系,標(biāo)簽的分類能夠覆蓋經(jīng)營管理領(lǐng)域的不同維度和主題,

以支持不同層次的數(shù)據(jù)分類和搜索;

c)具備唯一性和標(biāo)識性,并能夠準(zhǔn)確地標(biāo)識數(shù)據(jù)的某種特征或?qū)傩?,?biāo)簽的命名清晰、簡潔、易

理解;

d)提供維護(hù)和更新功能,包括標(biāo)簽的創(chuàng)建、編輯、刪除等功能;

e)提供高效的標(biāo)簽搜索和檢索功能,用戶能夠根據(jù)關(guān)鍵字、屬性或標(biāo)簽進(jìn)行數(shù)據(jù)的查找和篩選,

搜索結(jié)果準(zhǔn)確、快速;

f)提供對標(biāo)簽的版本管理功能,標(biāo)簽有修改和更新時記錄標(biāo)簽的歷史變更和版本信息,支持用戶

追溯和回滾標(biāo)簽的使用情況。

數(shù)據(jù)目錄

11

T/COSOCCXXXX—XXXX

12.5.1概述

數(shù)據(jù)目錄提供了數(shù)據(jù)資源的可管理性和可發(fā)現(xiàn)性,支持?jǐn)?shù)據(jù)驅(qū)動的決策和合作,并確保數(shù)據(jù)的安全

性和合規(guī)性。

12.5.2數(shù)據(jù)分類和組織

業(yè)務(wù)數(shù)據(jù)目錄應(yīng)能對數(shù)據(jù)進(jìn)行有效的分類和組織,包含對數(shù)據(jù)目錄的層次結(jié)構(gòu)設(shè)計、數(shù)據(jù)分類標(biāo)準(zhǔn)

和元數(shù)據(jù)管理等內(nèi)容。

12.5.3數(shù)據(jù)檢索和搜索

業(yè)務(wù)數(shù)據(jù)目錄應(yīng)提供方便快捷的數(shù)據(jù)檢索和搜索功能,包含但不限于通過關(guān)鍵字、標(biāo)簽、屬性等進(jìn)

行數(shù)據(jù)的查找和篩選,利用高效的搜索引擎和索引機(jī)制,支持快速的數(shù)據(jù)檢索和定位。

12.5.4數(shù)據(jù)質(zhì)量和準(zhǔn)確性

應(yīng)具有對數(shù)據(jù)質(zhì)量指標(biāo)的定義和計算、數(shù)據(jù)質(zhì)量規(guī)則的管理和應(yīng)用、數(shù)據(jù)質(zhì)量報告、數(shù)據(jù)審計等能

力。

12.5.5數(shù)據(jù)安全和權(quán)限控制

業(yè)務(wù)數(shù)據(jù)目錄應(yīng)具備數(shù)據(jù)安全和權(quán)限控制的能力,技術(shù)上包括對敏感數(shù)據(jù)的加密和脫敏處理、用戶

和角色的權(quán)限管理、雙因素認(rèn)證、水印防篡改、數(shù)據(jù)可追溯、訪問審計等安全措施,以保護(hù)數(shù)據(jù)的機(jī)密

性和完整性。

12.5.6可視化和用戶界面

數(shù)據(jù)目錄應(yīng)具備直觀易用的用戶界面和可視化展示能力。

12.5.7可擴(kuò)展性和集成性

應(yīng)支持與行業(yè)主流及主流國產(chǎn)化系統(tǒng)數(shù)據(jù)源、數(shù)據(jù)倉庫和分析工具集成能力,實現(xiàn)數(shù)據(jù)的無縫流動

和交互。

13數(shù)據(jù)質(zhì)量管理

質(zhì)量管理工具

經(jīng)營管理系統(tǒng)數(shù)據(jù)質(zhì)量管理應(yīng)包含如下工具:

a)數(shù)據(jù)標(biāo)準(zhǔn)化稽核工具:評估、驗證和監(jiān)控數(shù)據(jù)是否符合指定的數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范;

b)數(shù)據(jù)清理工具:刪除不正確或重復(fù)數(shù)據(jù)條目,修整數(shù)據(jù)項的值域;

c)數(shù)據(jù)分析工具:收集數(shù)據(jù)質(zhì)量統(tǒng)計信息,評估和度量數(shù)據(jù)質(zhì)量;

d)質(zhì)量監(jiān)控工具:對數(shù)據(jù)質(zhì)量狀態(tài)進(jìn)行監(jiān)控,及時發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題。

數(shù)據(jù)質(zhì)量測量

從業(yè)務(wù)實體的角度,以信息項為單位對質(zhì)量指標(biāo)進(jìn)行描述,對每一個指標(biāo)信息項確定質(zhì)量核驗方法。

可以為每一個核驗方法定義測量腳本,配置調(diào)度任務(wù),定時執(zhí)行腳本,記錄測量的數(shù)據(jù)質(zhì)量結(jié)果,并提

供用戶查詢?nèi)肟凇?/p>

數(shù)據(jù)質(zhì)量分析

經(jīng)營管理系統(tǒng)數(shù)據(jù)質(zhì)量分析應(yīng)包含如下內(nèi)容:

a)應(yīng)對數(shù)據(jù)進(jìn)行結(jié)構(gòu)分析,解析數(shù)據(jù)與格式描述是否一致。測量數(shù)據(jù)屬性的最小值、最大值,確

定數(shù)據(jù)是否在值域范圍內(nèi),以及其他格式錯誤等。

b)應(yīng)具備分析數(shù)據(jù)集、數(shù)據(jù)記錄、數(shù)據(jù)庫字段或數(shù)據(jù)實體之間的關(guān)聯(lián)關(guān)系的能力。識別數(shù)據(jù)集中

可能出現(xiàn)的數(shù)據(jù)重復(fù)、數(shù)據(jù)參照不完整等問題。

數(shù)據(jù)質(zhì)量評價指標(biāo)

12

T/COSOCCXXXX—XXXX

經(jīng)營管理系統(tǒng)數(shù)據(jù)質(zhì)量評價要求如下:

a)指標(biāo)應(yīng)是可測量的,可以通過定量或定性方式來評估數(shù)據(jù)質(zhì)量,而不是主觀判斷;

b)指標(biāo)應(yīng)與經(jīng)營管理系統(tǒng)的業(yè)務(wù)目標(biāo)和需求相關(guān)

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論