數(shù)據(jù)管控要求規(guī)范

數(shù)據(jù)管理就是對交易中心現(xiàn)有的業(yè)務支撐系統(tǒng)的數(shù)據(jù)進行統(tǒng)一的數(shù)據(jù)管理、質(zhì)量管控、并且通過標準的共享模式，實現(xiàn)核心數(shù)據(jù)統(tǒng)一存儲，維護和使用的問題，提升交易中心現(xiàn)有數(shù)據(jù)的安全存儲和高效使用等能力，并更加深入地進行數(shù)據(jù)挖掘等工作，為中心創(chuàng)造更多的價值。未來的數(shù)據(jù)管理平臺將對中心現(xiàn)有系統(tǒng)的數(shù)據(jù)進行統(tǒng)一的數(shù)據(jù)的整合、數(shù)據(jù)的管控，并運用數(shù)據(jù)進行統(tǒng)一的服務管控來提升服務共享的水平，為中心的服務提供全方面的數(shù)據(jù)支撐。數(shù)據(jù)管理平臺的功能藍圖如圖所示：l數(shù)據(jù)整合域，是對現(xiàn)有業(yè)務系統(tǒng)的數(shù)據(jù)進行采集和清洗轉(zhuǎn)換，并對采集過程中的數(shù)據(jù)進行質(zhì)量檢測，來確保整合數(shù)據(jù)的準確性和可靠性。l數(shù)據(jù)管控域，對采集到數(shù)據(jù)按照其不同的屬性進行分類存儲管控，對數(shù)據(jù)的質(zhì)量、數(shù)據(jù)的安全以及信息的生命周期進行統(tǒng)一的管理，并對數(shù)據(jù)在使用過程的各種信息l服務共享域，利用數(shù)據(jù)管理平臺已有的數(shù)據(jù)資源，進行自定義的數(shù)據(jù)服務配置，l服務管理域，主要是對提供的服務進行管理，包括服務應用的管理，服務流程的管數(shù)據(jù)整合就是將離散于各個業(yè)務系統(tǒng)中的數(shù)據(jù)進行集中化。數(shù)據(jù)整合階段主要分為以下根據(jù)業(yè)務使用情況分析目前各個系統(tǒng)中的數(shù)據(jù)實體，其中哪些是主數(shù)據(jù)，哪些是非主數(shù)據(jù)但需要共享的數(shù)據(jù)，哪些是私有數(shù)據(jù)。數(shù)據(jù)類型會作為制定同步規(guī)則和清洗規(guī)則的重要依分析采集的各種數(shù)據(jù)需要達到的同步頻率，從實時、準實時到天、月不等，針對不同的同步頻率需求結(jié)合每次同步的數(shù)據(jù)量來選擇同步方式，ETL（抽取-轉(zhuǎn)化-加載）和ESB（企業(yè)服務總線）分別適用于不同場景。ETL本身也有多種具體的技術(shù)手段來實現(xiàn)各種情況下的同步，如Hotplug、全表對比、時間戳等。在這里，將根據(jù)不同的數(shù)據(jù)類別和數(shù)據(jù)使用頻度和需求頻度等情況，制定出相應的數(shù)據(jù)同步的機制，采用實時數(shù)據(jù)整合和批量數(shù)據(jù)整合兩種方式進行數(shù)據(jù)的整合。在進行數(shù)據(jù)整合過程中，由于不同系統(tǒng)中可能重復出現(xiàn)的數(shù)據(jù)，以及數(shù)據(jù)本身的缺失和錯誤等問題，為了避免由于不同系統(tǒng)中相同數(shù)據(jù)由于編碼規(guī)則、格式之間的差異，在清洗過程中需要制定統(tǒng)一的數(shù)據(jù)清洗規(guī)則，對數(shù)據(jù)進行清洗和轉(zhuǎn)換，確保數(shù)據(jù)管理平臺中的數(shù)據(jù)能夠保持一致性。同時，在數(shù)據(jù)清洗的過程中，需要對采集數(shù)據(jù)的質(zhì)量以及清洗后數(shù)據(jù)的質(zhì)量進行檢測。其中，在數(shù)據(jù)采集過程中，對采集的數(shù)據(jù)進行整合，確保采集的數(shù)據(jù)都能滿足質(zhì)量要求，能夠通過正確的清洗和轉(zhuǎn)換；對于轉(zhuǎn)換完成的數(shù)據(jù)，通過再次的檢測，保證轉(zhuǎn)換數(shù)據(jù)的一致性和正確性，從而確保數(shù)據(jù)的準確行和權(quán)威性。數(shù)據(jù)管控就是對于進行整合后的數(shù)據(jù)進行相關(guān)的管控，使其能夠滿足交易中心管理對于數(shù)據(jù)使用的各種需求。數(shù)據(jù)生命周期規(guī)劃，就是對數(shù)據(jù)從在各個應用系統(tǒng)的中產(chǎn)生，然后通過各種采集整合手段聚合到數(shù)據(jù)管理平臺，直至最終通過建立各種主題數(shù)據(jù)倉庫提供各種數(shù)據(jù)服務的整個過程進行規(guī)劃，使數(shù)據(jù)能夠滿足各種業(yè)務的使用需要。數(shù)據(jù)生命周期規(guī)劃，把數(shù)據(jù)劃分為以下3個域，分別保存不同階段的數(shù)據(jù)：ADBADB應用數(shù)據(jù)庫數(shù)據(jù)管理平臺數(shù)據(jù)倉庫為操作型應用提供核心功能數(shù)據(jù)存儲和訪問管理1、存儲數(shù)據(jù)管理平臺歷史數(shù)據(jù)2、為分析應用提供多維數(shù)據(jù)基礎(chǔ)應用自身的數(shù)據(jù)模數(shù)據(jù)模型型數(shù)據(jù)存儲類型關(guān)系型數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫本應用需要的所有數(shù)據(jù)容細節(jié)信息關(guān)系型數(shù)據(jù)庫、多維數(shù)據(jù)庫、或多維數(shù)據(jù)引擎軟件數(shù)據(jù)管理平臺的所有歷史數(shù)據(jù)共享數(shù)據(jù)模型共享關(guān)系模型，多維分析模型運營共享信息ADBADB應用數(shù)據(jù)庫數(shù)據(jù)管理平臺數(shù)據(jù)倉庫統(tǒng)一視圖、準實時/實時的數(shù)據(jù)訪問3-12個月數(shù)據(jù)更新頻率數(shù)據(jù)存儲周期秒3-12個月所有支撐分析型應用支撐的應用實時應用應用數(shù)據(jù)庫主要是為交易中心主要的業(yè)務支撐系統(tǒng)和部管理系統(tǒng)的應用提供數(shù)據(jù)存儲數(shù)據(jù)庫的數(shù)據(jù)在進行日常業(yè)務處理的過程中，不斷的進行更新，以便同實際的業(yè)務情況保持在數(shù)據(jù)管理平臺，將通過建立統(tǒng)一的數(shù)據(jù)視圖，為各種數(shù)據(jù)服務提供數(shù)據(jù)。數(shù)據(jù)管理平臺的數(shù)據(jù)更新根據(jù)不同的數(shù)據(jù)需求和應用系統(tǒng)的實際情況進行區(qū)分，通過實時的數(shù)據(jù)采集和批量數(shù)據(jù)采集兩種方式進行。數(shù)據(jù)倉庫是為了滿足某一特定的決策支持和聯(lián)機分析而建立的結(jié)構(gòu)化數(shù)據(jù)環(huán)境。交易中心在進行業(yè)務活動和部管理的過程中形成了大量的數(shù)據(jù)資資源進行深入的挖掘和聯(lián)機分析，即可以滿足交易中心日常的數(shù)據(jù)查詢要求；又可充分挖掘數(shù)據(jù)涵的意義，為中心的各項業(yè)務決策提供良好的支持。例如，根據(jù)交易中心目前的使用要元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)，元數(shù)據(jù)主要用于在數(shù)據(jù)倉庫里描述數(shù)據(jù)及其環(huán)境，它是在數(shù)元數(shù)據(jù)的管理對于數(shù)據(jù)倉庫有著重要的意義。在目前的數(shù)據(jù)管理平臺上，將提供對各數(shù)據(jù)的實體定義和流程管控管理兩方面的元數(shù)據(jù)進行管理。其中，數(shù)據(jù)實體管理是對各個數(shù)據(jù)實體來進行實體定義，對實體之間的關(guān)系進行約束，實現(xiàn)對數(shù)據(jù)管理平臺里所有數(shù)據(jù)實體的管理。對于流程管控管理方面，通過制定規(guī)的數(shù)據(jù)流程制度，嚴格控制數(shù)據(jù)的流向以及數(shù)據(jù)在各流程中的情況，對數(shù)據(jù)管理平臺中的各項數(shù)據(jù)流程進行管控。主數(shù)據(jù)是描述核心業(yè)務實體（如招標項目、企業(yè)和專家）的一個或多個屬性，主數(shù)據(jù)管減少數(shù)據(jù)差異帶來的業(yè)務錯誤和客戶投訴，還可以充分發(fā)揮各個業(yè)務視角數(shù)據(jù)管理和維護的能力，而不加重業(yè)務部門的負擔，另外，主數(shù)據(jù)管理是SOA實施過程中，關(guān)鍵業(yè)務對象抽象的重要基礎(chǔ)。主數(shù)據(jù)管理具備以下功能特點：u整合：在組織層面上整合了現(xiàn)有應用系統(tǒng)的主數(shù)據(jù)信息，進行主數(shù)據(jù)的集中處理。u共享：主數(shù)據(jù)作為組織權(quán)威的統(tǒng)一、一致的數(shù)據(jù)，為組織各應用系統(tǒng)提供準確的共u統(tǒng)一：實現(xiàn)對于客戶、產(chǎn)品和供應商都通用的主數(shù)據(jù)形式，加速數(shù)據(jù)輸入、檢索和u并行管理：支持數(shù)據(jù)的多用戶管理，包括限制某些用戶添加、更新或查看維護主數(shù)據(jù)的流程的能力。u集成能力：集成產(chǎn)品信息管理、客戶關(guān)系管理、客戶數(shù)據(jù)集成以及可對主數(shù)據(jù)進行分析的其他解決方案。在交易中心的系統(tǒng)中，主要的主數(shù)據(jù)為招投標項目主數(shù)據(jù)、企業(yè)主數(shù)據(jù)和專家主數(shù)據(jù)，各個主數(shù)據(jù)又由若干個相關(guān)實體組成。通過統(tǒng)一的主數(shù)據(jù)管理，可以規(guī)數(shù)據(jù)的錄入和使用，主系統(tǒng)（生產(chǎn)系主系統(tǒng)（生產(chǎn)系項目基本信息編碼系統(tǒng)，交易系統(tǒng)，評標系統(tǒng)，企業(yè)庫，專家項目基本信息庫，電子化資審，誠信平臺項目編碼編碼系統(tǒng)交易系統(tǒng)，評標系統(tǒng)，企業(yè)庫，專家?guī)欤娮踊椖烤幋a編碼系統(tǒng)資審，誠信平臺正式投標人正式投標人專家抽取信息專家簽到信息專家基本信息專家回避單位人員指紋庫企業(yè)基本信息企業(yè)項目信息企業(yè)人員信息交易系統(tǒng)交易系統(tǒng)交易系統(tǒng)交易系統(tǒng)交易系統(tǒng)企業(yè)庫企業(yè)庫企業(yè)庫企業(yè)庫，專家?guī)?，誠信平臺企業(yè)庫，專家?guī)欤\信平臺交易系統(tǒng)，評標系統(tǒng)交易系統(tǒng)，評標系統(tǒng)交易系統(tǒng)，評標系統(tǒng)交易系統(tǒng)，電子化資審，誠信平臺交易系統(tǒng)，電子化資審，誠信平臺交易系統(tǒng)，電子化資審，誠信平臺表1應用系統(tǒng)整合前主數(shù)據(jù)情況交易系統(tǒng)交易系統(tǒng)交易系統(tǒng)交易系統(tǒng)交易系統(tǒng)交易系統(tǒng)交易系統(tǒng)交易系統(tǒng)交易系統(tǒng)交易系統(tǒng)交易系統(tǒng)企業(yè)庫企業(yè)庫企業(yè)庫項目基本信息項目編碼正式投標人專家抽取信息專家簽到信息專家基本信息專家回避單位人員指紋庫企業(yè)基本信息企業(yè)項目信息企業(yè)人員信息評標系統(tǒng)，企業(yè)庫，專家?guī)煸u標系統(tǒng)，企業(yè)庫，專家?guī)炱髽I(yè)庫，專家?guī)炱髽I(yè)庫，專家?guī)旖灰紫到y(tǒng)，評標系統(tǒng)交易系統(tǒng)，評標系統(tǒng)交易系統(tǒng)，評標系統(tǒng)交易系統(tǒng)交易系統(tǒng)交易系統(tǒng)表2應用系統(tǒng)整合后主數(shù)據(jù)情況通過對于系統(tǒng)的整合和主數(shù)據(jù)管理后，對于數(shù)據(jù)的使用和管理都更為明晰，使得系統(tǒng)間的數(shù)據(jù)交互更加清晰，系統(tǒng)間的耦合程度大為降低，系統(tǒng)的效率大為提高。是數(shù)據(jù)管理的重點。對于數(shù)據(jù)質(zhì)量的管理，主要分為對數(shù)據(jù)使用據(jù)的使用符合規(guī)的流程，保證了數(shù)據(jù)使用的規(guī)劃；對數(shù)據(jù)使于各項數(shù)據(jù)服務的情況有一個全面、細致的了解；最后，對于數(shù)據(jù)服務的信息進行監(jiān)測，對于異常情況進行預警，并輸出服務信息報表，以便對服務情況進行分析。數(shù)據(jù)共享的基本思路是將現(xiàn)存系統(tǒng)中點對點的網(wǎng)狀結(jié)構(gòu)改造為基于數(shù)據(jù)總線的模式。通過運用數(shù)據(jù)總線的模式，通過統(tǒng)一規(guī)的數(shù)據(jù)共享機制使得對于數(shù)據(jù)管理的可以大大降低后續(xù)對數(shù)據(jù)維護的成本。下表為獨立接口和總線模式的各種效率對比。數(shù)據(jù)總線數(shù)據(jù)總線容易，集中管理短接口數(shù)量耦合程度開發(fā)復雜性獨立接口通過在交易中心的系統(tǒng)調(diào)研，我們整理出現(xiàn)有的系統(tǒng)的數(shù)據(jù)接口以及系統(tǒng)接口的數(shù)據(jù)交換情況，并以此進行數(shù)據(jù)總線的改造，形成基于總線的數(shù)據(jù)共享模式，以期達到服務共享的整合前的系統(tǒng)之間的數(shù)據(jù)交互關(guān)系復雜，且企業(yè)庫等系統(tǒng)同交易系統(tǒng)形成一個大的系統(tǒng)，不便于數(shù)據(jù)服務的共享。運用數(shù)據(jù)總線的思想，我們構(gòu)建了基于總線的數(shù)據(jù)服務形式，息信務財息信務財示公標中息信標中息信標招息信到簽單名家專息信務財息信員人、息信業(yè)企果結(jié)審資、果結(jié)標評息信據(jù)數(shù)目項息信標中、息信標招息信到簽議會標評、目項、函請申家專息信家專息信家專標評息信目項息信業(yè)企息信員人息信標中果結(jié)標評息信家專果結(jié)標評、審資息信信誠業(yè)企果結(jié)審資息信業(yè)企、目項專家?guī)焯峁┝私y(tǒng)一的數(shù)據(jù)服務，使得數(shù)據(jù)的管理和使用能夠有一個統(tǒng)一的機制，以便能夠更好的達到服務共享的目的。在總線上實現(xiàn)數(shù)據(jù)服務共享后，為了使用戶更好的了解數(shù)據(jù)服務的應用情況，需要在為系統(tǒng)上搭建數(shù)據(jù)服務的維護管理功能。用戶可通過圖形化的方式實現(xiàn)對數(shù)據(jù)服務的監(jiān)控、統(tǒng)服務治理功能主要用來對眾多的服