數(shù)據(jù)管控規(guī)范

1、1數(shù)據(jù)管理架構1.1 數(shù)據(jù)管理平臺功能藍圖數(shù)據(jù)管理就是對交易中心現(xiàn)有的業(yè)務支撐系統(tǒng)的數(shù)據(jù)進行統(tǒng)一的數(shù)據(jù)管理、質量管控、并且通過標準的共享模式，實現(xiàn)核心數(shù)據(jù)統(tǒng)一存儲，維護和使用的問題，提升交易中心現(xiàn)有數(shù)據(jù)的安全存儲和高效使用等能力，并更加深入地進行數(shù)據(jù)挖掘等工作，為中心創(chuàng)造更多的價值。未來的數(shù)據(jù)管理平臺將對中心現(xiàn)有系統(tǒng)的數(shù)據(jù)進行統(tǒng)一的數(shù)據(jù)的整合、數(shù)據(jù)的管控，并運用數(shù)據(jù)進行統(tǒng)一的服務管控來提升服務共享的水平，為中心的服務提供全方面的數(shù)據(jù)支撐。數(shù)據(jù)管理平臺的功能藍圖如圖所示：數(shù)據(jù)整合域，是對現(xiàn)有業(yè)務系統(tǒng)的數(shù)據(jù)進行采集和清洗轉換，并對采集過程中的數(shù)據(jù)進行質量檢測，來確保整合數(shù)據(jù)的準確性和可靠性。數(shù)據(jù)管

2、控域，對采集到數(shù)據(jù)按照其不同的屬性進行分類存儲管控，對數(shù)據(jù)的質量、數(shù)據(jù)的安全以及信息的生命周期進行統(tǒng)一的管理，并對數(shù)據(jù)在使用過程的各種信息進行統(tǒng)計分析。服務共享域，利用數(shù)據(jù)管理平臺已有的數(shù)據(jù)資源，進行自定義的數(shù)據(jù)服務配置，定制出符合要求的服務，進行相關服務流程的編排，通過數(shù)據(jù)中心將服務進行發(fā)布。服務管理域，主要是對提供的服務進行管理，包括服務應用的管理，服務流程的管理以及服務監(jiān)控。1.2 數(shù)據(jù)集成數(shù)據(jù)整合就是將離散于各個業(yè)務系統(tǒng)中的數(shù)據(jù)進行集中化。數(shù)據(jù)整合階段主要分為以下三個步驟執(zhí)行：數(shù)據(jù)類型識別根據(jù)業(yè)務使用情況分析目前各個系統(tǒng)中的數(shù)據(jù)實體，其中哪些是主數(shù)據(jù)，哪些是非主數(shù)據(jù)但需要共享的數(shù)據(jù)，哪

3、些是私有數(shù)據(jù)。數(shù)據(jù)類型會作為制定同步規(guī)則和清洗規(guī)則的重要依據(jù)。數(shù)據(jù)同步規(guī)則確定分析采集的各種數(shù)據(jù)需要達到的同步頻率，從實時、準實時到天、月不等，針對不同的同步頻率需求結合每次同步的數(shù)據(jù)量來選擇同步方式，ETL（抽取-轉化-加載）和ESB（企業(yè)服務總線）分別適用于不同場景。ETL本身也有多種具體的技術手段來實現(xiàn)各種情況下的同步，如Hotplug、全表對比、時間戳等。在這里，將根據(jù)不同的數(shù)據(jù)類別和數(shù)據(jù)使用頻度和需求頻度等情況，制定出相應的數(shù)據(jù)同步的機制，采用實時數(shù)據(jù)整合和批量數(shù)據(jù)整合兩種方式進行數(shù)據(jù)的整合。數(shù)據(jù)清洗規(guī)則確定在進行數(shù)據(jù)整合過程中，由于不同系統(tǒng)中可能重復出現(xiàn)的數(shù)據(jù)，以及數(shù)據(jù)本身的缺失和

4、錯誤等問題，為了避免由于不同系統(tǒng)中相同數(shù)據(jù)由于編碼規(guī)則、格式之間的差異，在清洗過程中需要制定統(tǒng)一的數(shù)據(jù)清洗規(guī)則，對數(shù)據(jù)進行清洗和轉換，確保數(shù)據(jù)管理平臺中的數(shù)據(jù)能夠保持一致性。同時，在數(shù)據(jù)清洗的過程中，需要對采集數(shù)據(jù)的質量以及清洗后數(shù)據(jù)的質量進行檢測。其中，在數(shù)據(jù)采集過程中，對采集的數(shù)據(jù)進行整合，確保采集的數(shù)據(jù)都能滿足質量要求，能夠通過正確的清洗和轉換；對于轉換完成的數(shù)據(jù)，通過再次的檢測，保證轉換數(shù)據(jù)的一致性和正確性，從而確保數(shù)據(jù)的準確行和權威性。1.3 數(shù)據(jù)管控數(shù)據(jù)管控就是對于進行整合后的數(shù)據(jù)進行相關的管控，使其能夠滿足交易中心管理對于數(shù)據(jù)使用的各種需求。1.3.1 數(shù)據(jù)生命周期規(guī)劃數(shù)據(jù)生命周

5、期規(guī)劃，就是對數(shù)據(jù)從在各個應用系統(tǒng)的中產生，然后通過各種采集整合手段聚合到數(shù)據(jù)管理平臺，直至最終通過建立各種主題數(shù)據(jù)倉庫提供各種數(shù)據(jù)服務的整個過程進行規(guī)劃，使數(shù)據(jù)能夠滿足各種業(yè)務的使用需要。數(shù)據(jù)生命周期規(guī)劃，把數(shù)據(jù)劃分為以下3個域，分別保存不同階段的數(shù)據(jù):ADB應用數(shù)據(jù)庫數(shù)據(jù)管理平臺數(shù)據(jù)倉庫核心功能為操作型應用提供數(shù)據(jù)存儲和訪問提供領域內統(tǒng)一、一致的數(shù)據(jù)視圖，包含MDM主數(shù)據(jù)管理1、存儲數(shù)據(jù)管理平臺歷史數(shù)據(jù)2、為分析應用提供多維數(shù)據(jù)基礎數(shù)據(jù)模型應用自身的數(shù)據(jù)模型共享數(shù)據(jù)模型共享關系模型，多維分析模型數(shù)據(jù)存儲類型關系型數(shù)據(jù)庫關系型數(shù)據(jù)庫關系型數(shù)據(jù)庫、多維數(shù)據(jù)庫、或多維數(shù)據(jù)引擎軟件數(shù)據(jù)內容本應用需

6、要的所有細節(jié)信息運營共享信息數(shù)據(jù)管理平臺的所有歷史數(shù)據(jù)ADB應用數(shù)據(jù)庫數(shù)據(jù)管理平臺數(shù)據(jù)倉庫支撐的應用實時應用A視圖、準實時/實時的數(shù)據(jù)訪問支撐分析型應用數(shù)據(jù)更新頻率秒分鐘到1天1天-1周數(shù)據(jù)存儲周期3-12個月3-12個月所有ADB應用數(shù)據(jù)庫應用數(shù)據(jù)庫主要是為交易中心主要的業(yè)務支撐系統(tǒng)和內部管理系統(tǒng)的應用提供數(shù)據(jù)存儲和訪問。在應用數(shù)據(jù)庫只存儲支撐本系統(tǒng)運行的數(shù)據(jù)資源，以滿足本系統(tǒng)的使用要求。應用數(shù)據(jù)庫的數(shù)據(jù)在進行日常業(yè)務處理的過程中，不斷的進行更新，以便同實際的業(yè)務情況保持一致。數(shù)據(jù)管理平臺應用數(shù)據(jù)庫的數(shù)據(jù)，經(jīng)過統(tǒng)一的清洗和轉換后，進入數(shù)據(jù)管理平臺進行統(tǒng)一的存儲管理。在數(shù)據(jù)管理平臺，將通過建立

7、統(tǒng)一的數(shù)據(jù)視圖，為各種數(shù)據(jù)服務提供數(shù)據(jù)。數(shù)據(jù)管理平臺的數(shù)據(jù)更新根據(jù)不同的數(shù)據(jù)需求和應用系統(tǒng)的實際情況進行區(qū)分，通過實時的數(shù)據(jù)采集和批量數(shù)據(jù)采集兩種方式進行。數(shù)據(jù)倉庫數(shù)據(jù)倉庫是為了滿足某一特定的決策支持和聯(lián)機分析而建立的結構化數(shù)據(jù)環(huán)境。交易中心在進行業(yè)務活動和內部管理的過程中形成了大量的數(shù)據(jù)資源，利用數(shù)據(jù)倉庫，對已有的數(shù)據(jù)資源進行深入的挖掘和聯(lián)機分析，即可以滿足交易中心日常的數(shù)據(jù)查詢要求；又可充分挖掘數(shù)據(jù)內涵的意義，為中心的各項業(yè)務決策提供良好的支持。例如，根據(jù)交易中心目前的使用要求，建立交易信息、企業(yè)信息、專家信息的主題數(shù)據(jù)倉庫，為中心的各項活動提供業(yè)務支持。1.3.2 元數(shù)據(jù)管理元數(shù)據(jù)是關于

8、數(shù)據(jù)的數(shù)據(jù)，元數(shù)據(jù)主要用于在數(shù)據(jù)倉庫里描述數(shù)據(jù)及其環(huán)境，它是在數(shù)據(jù)倉庫建設過程中所產生的有關數(shù)據(jù)源定義，目標定義，轉換規(guī)則等相關的關鍵數(shù)據(jù)。因此，元數(shù)據(jù)的管理對于數(shù)據(jù)倉庫有著重要的意義。在目前的數(shù)據(jù)管理平臺上，將提供對各數(shù)據(jù)的實體定義和流程管控管理兩方面的元數(shù)據(jù)進行管理。其中，數(shù)據(jù)實體管理是對各個數(shù)據(jù)實體來進行實體定義，對實體之間的關系進行約束，實現(xiàn)對數(shù)據(jù)管理平臺里所有數(shù)據(jù)實體的管理。對于流程管控管理方面，通過制定規(guī)范的數(shù)據(jù)流程制度，嚴格控制數(shù)據(jù)的流向以及數(shù)據(jù)在各流程中的情況，對數(shù)據(jù)管理平臺中的各項數(shù)據(jù)流程進行管控。1.3.3 主數(shù)據(jù)管理主數(shù)據(jù)是描述核心業(yè)務實體（如招標項目、企業(yè)和專家）的一個

9、或多個屬性，主數(shù)據(jù)管理具有很高的重要性。首先，完善的主數(shù)據(jù)管理可以使各個業(yè)務視角能獲得一致的數(shù)據(jù)基礎，減少數(shù)據(jù)差異帶來的業(yè)務錯誤和客戶投訴，還可以充分發(fā)揮各個業(yè)務視角數(shù)據(jù)管理和維護的能力，而不加重業(yè)務部門的負擔，另外，主數(shù)據(jù)管理是SOA實施過程中，關鍵業(yè)務對象抽象的重要基礎。主數(shù)據(jù)管理具備以下功能特點：整合：在組織層面上整合了現(xiàn)有應用系統(tǒng)的主數(shù)據(jù)信息，進行主數(shù)據(jù)的集中處理。共享：主數(shù)據(jù)作為組織權威的統(tǒng)一、一致的數(shù)據(jù)，為組織各應用系統(tǒng)提供準確的共享數(shù)據(jù)。統(tǒng)一：實現(xiàn)對于客戶、產品和供應商都通用的主數(shù)據(jù)形式，加速數(shù)據(jù)輸入、檢索和分析。并行管理：支持數(shù)據(jù)的多用戶管理，包括限制某些用戶添加、更新或查看維

10、護主數(shù)據(jù)的流程的能力。集成能力：集成產品信息管理、客戶關系管理、客戶數(shù)據(jù)集成以及可對主數(shù)據(jù)進行分析的其他解決方案。在交易中心的系統(tǒng)中，主要的主數(shù)據(jù)為招投標項目主數(shù)據(jù)、企業(yè)主數(shù)據(jù)和專家主數(shù)據(jù)，各個主數(shù)據(jù)又由若干個相關實體組成。通過統(tǒng)一的主數(shù)據(jù)管理，可以規(guī)范數(shù)據(jù)的錄入和使用，使得數(shù)據(jù)的存儲的一致性，使用的規(guī)范性。以下為各主數(shù)據(jù)在進行主數(shù)據(jù)管理前后的情況列表。主數(shù)據(jù)主系統(tǒng)（生產系統(tǒng)）從屬系統(tǒng)（使用系統(tǒng)）招標項目項目基本信息網(wǎng)上填報編碼系統(tǒng)，交易系統(tǒng)，評標系統(tǒng)，企業(yè)庫，專家?guī)?，電子化資審，誠信平臺項目編碼編碼系統(tǒng)交易系統(tǒng)，評標系統(tǒng)，企業(yè)庫，專家?guī)?，電子化資審，誠信平臺正式投標人交易系統(tǒng)評標系統(tǒng)，企業(yè)庫

11、，專家?guī)?，誠信平臺定標結果交易系統(tǒng)企業(yè)庫，專家?guī)欤\信平臺中標公示交易系統(tǒng)企業(yè)庫，專家?guī)?，誠彳言平臺專家抽取信息交易系統(tǒng)專家?guī)鞂＜液灥叫畔⒔灰紫到y(tǒng)專家?guī)鞂＜覍＜一拘畔＜規(guī)旖灰紫到y(tǒng)，評標系統(tǒng)專家回避單位專家?guī)旖灰紫到y(tǒng)，評標系統(tǒng)人員指紋庫專家?guī)旖灰紫到y(tǒng)，評標系統(tǒng)企業(yè)企業(yè)基本信息企業(yè)庫交易系統(tǒng)，電子化資審，誠信平臺企業(yè)項目信息企業(yè)庫交易系統(tǒng)，電子化資審，誠信平臺企業(yè)人員信息企業(yè)庫交易系統(tǒng)，電子化資審，誠信平臺表1應用系統(tǒng)整合前主數(shù)據(jù)情況主數(shù)據(jù)主系統(tǒng)（生產造系統(tǒng)）從屬系統(tǒng)（使用系統(tǒng)）招項目基本信息交易系統(tǒng)評標系統(tǒng)，企業(yè)庫，專家?guī)鞓隧椖烤幋a交易系統(tǒng)評標系統(tǒng)，企業(yè)庫，專家?guī)祉椪酵稑巳私灰紫到y(tǒng)評標系統(tǒng)

12、，企業(yè)庫，專家?guī)炷慷私Y果交易系統(tǒng)企業(yè)庫，專家?guī)熘袠斯窘灰紫到y(tǒng)企業(yè)庫，專家?guī)鞂＜页槿⌒畔⒔灰紫到y(tǒng)專家?guī)鞂＜液灥叫畔⒔灰紫到y(tǒng)專家?guī)鞂＜一拘畔＜規(guī)旖灰紫到y(tǒng)，評標系統(tǒng)家專家回避單位專家?guī)旖灰紫到y(tǒng)，評標系統(tǒng)人員指紋庫專家?guī)旖灰紫到y(tǒng)，評標系統(tǒng)企企業(yè)基本信息企業(yè)庫交易系統(tǒng)業(yè)企業(yè)項目信息企業(yè)庫交易系統(tǒng)企業(yè)人員信息企業(yè)庫交易系統(tǒng)表2應用系統(tǒng)整合后主數(shù)據(jù)情況通過對于系統(tǒng)的整合和主數(shù)據(jù)管理后，對于數(shù)據(jù)的使用和管理都更為明晰，使得系統(tǒng)間的數(shù)據(jù)交互更加清晰，系統(tǒng)間的耦合程度大為降低，系統(tǒng)的效率大為提高。1.3.4 數(shù)據(jù)質量管理數(shù)據(jù)質量的好壞是數(shù)據(jù)應用的基礎，因此，在數(shù)據(jù)管理平臺中，對于數(shù)據(jù)質量的管理也是數(shù)據(jù)管

13、理的重點。對于數(shù)據(jù)質量的管理，主要分為對數(shù)據(jù)使用的流程進行管理，以保證數(shù)據(jù)的使用符合規(guī)范的流程，保證了數(shù)據(jù)使用的規(guī)劃；對數(shù)據(jù)使用的應用服務進行管理，以便對于各項數(shù)據(jù)服務的情況有一個全面、細致的了解；最后，對于數(shù)據(jù)服務的信息進行監(jiān)測，對于異常情況進行預警，并輸出服務信息報表,以便對服務情況進行分析。1.4 服務共享數(shù)據(jù)共享的基本思路是將現(xiàn)存系統(tǒng)中點對點的網(wǎng)狀結構改造為基于數(shù)據(jù)總線的模式。通過運用數(shù)據(jù)總線的模式，通過統(tǒng)一規(guī)范的數(shù)據(jù)共享機制使得對于數(shù)據(jù)管理的可以大大降低后續(xù)對數(shù)據(jù)維護的成本。卜表為獨立接口和總線模式的各種效率對比。比較項獨立接口數(shù)據(jù)總線接口數(shù)量多n*(n-1)少(n)耦合程度緊松開發(fā)

14、復雜性復雜，手工編碼簡單管理與維護混亂容易，集中管理擴展性困難易擴展實施周期長短通過在交易中心的系統(tǒng)調研，我們整理出現(xiàn)有的系統(tǒng)的數(shù)據(jù)接口以及系統(tǒng)接口的數(shù)據(jù)交換情況，并以此進行數(shù)據(jù)總線的改造，形成基于總線的數(shù)據(jù)共享模式，以期達到服務共享的目的。整合前的系統(tǒng)之間的數(shù)據(jù)交互關系復雜，且企業(yè)庫等系統(tǒng)同交易系統(tǒng)形成一個大的系統(tǒng)，不便于數(shù)據(jù)服務的共享。運用數(shù)據(jù)總線的思想，我們構建了基于總線的數(shù)據(jù)服務形式，情況如下圖所示。如圖所示，通過數(shù)據(jù)總線的形式，我們整合了所有系統(tǒng)的數(shù)據(jù)，并通過數(shù)據(jù)總線的形式，提供了統(tǒng)一的數(shù)據(jù)服務，使得數(shù)據(jù)的管理和使用能夠有一個統(tǒng)一的機制，以便能夠更好的達到服務共享的目的。1.5 服務治理在總線上實現(xiàn)數(shù)據(jù)服務共享后，為了使用戶更好的了解數(shù)據(jù)服務的應用情況，需要在為系統(tǒng)上搭建數(shù)據(jù)服務的維護管理功能。用戶可通過圖形化的方式實現(xiàn)對數(shù)據(jù)服務的監(jiān)控、統(tǒng)計和分析。服務治理功能主要用來對眾多的服務進行管理和控制（包括此處的數(shù)據(jù)服務，也包括今后將實現(xiàn)的業(yè)務服務），為服務消費者、服務供應商、SOA運營人員提供