中國(guó)海關(guān)督察內(nèi)審司審計(jì)領(lǐng)域大數(shù)據(jù)項(xiàng)目管理項(xiàng)目設(shè)計(jì)(草案)

中國(guó)海關(guān)督察內(nèi)審司審計(jì)領(lǐng)域大數(shù)據(jù)項(xiàng)目管理項(xiàng)目設(shè)計(jì)(草案)

序?yàn)榇龠M(jìn)大數(shù)據(jù)創(chuàng)新及技術(shù)應(yīng)用在中國(guó)重要行業(yè)的推廣和應(yīng)用,結(jié)合中國(guó)海關(guān)督察內(nèi)審司大數(shù)據(jù)項(xiàng)目的實(shí)際需求,結(jié)合清華大學(xué)課題組歷年的研究成果,作大數(shù)據(jù)概要設(shè)計(jì)(草案)

目錄一、項(xiàng)目背景 4二、目前面臨的問(wèn)題 5三、針對(duì)問(wèn)題的解決方案以及背景支撐 63.1數(shù)據(jù)的去條形化管理 63.1.1使用數(shù)據(jù)倉(cāng)庫(kù)的優(yōu)勢(shì) 73.1.3背景支撐：福建漁業(yè)漁政大數(shù)據(jù)中心 103.2數(shù)據(jù)整合處理 123.2.1建設(shè)元數(shù)據(jù)管理平臺(tái)的重要性 123.2.2背景支撐：標(biāo)準(zhǔn)元數(shù)據(jù)的大數(shù)據(jù)管理平臺(tái) 143.3增強(qiáng)信息監(jiān)管 173.3.1 日志管理系統(tǒng)的重要作用 183.3.2 背景支撐：海軍安全項(xiàng)目 22

一、項(xiàng)目背景隨著經(jīng)濟(jì)全球化發(fā)展，中國(guó)對(duì)外貿(mào)易量迅速增長(zhǎng)，海關(guān)作為國(guó)家進(jìn)出關(guān)境的監(jiān)督管理機(jī)關(guān)，其進(jìn)出口監(jiān)管業(yè)務(wù)量及進(jìn)出口征稅額也隨之迅猛增長(zhǎng)。與此同時(shí)，給海關(guān)業(yè)務(wù)執(zhí)法領(lǐng)域與非執(zhí)法領(lǐng)域各項(xiàng)工作帶來(lái)了更大的執(zhí)法風(fēng)險(xiǎn)和廉政風(fēng)險(xiǎn)。這些均對(duì)海關(guān)內(nèi)部監(jiān)督工作的重要組成部分———內(nèi)部審計(jì)提出了新的挑戰(zhàn)。伴隨著社會(huì)信息化管理水平的提高、海關(guān)征管模式的發(fā)展以及審計(jì)人員對(duì)海關(guān)審計(jì)認(rèn)識(shí)的逐步加深，海關(guān)計(jì)算機(jī)審計(jì)研究和發(fā)展的環(huán)境將得到不斷的改善，審計(jì)的內(nèi)容和領(lǐng)域?qū)⒏訌V泛，審計(jì)的技術(shù)手段和方法也要同步先進(jìn)化。海關(guān)審計(jì)信息化，實(shí)質(zhì)上是利用海關(guān)業(yè)務(wù)電子數(shù)據(jù)之間內(nèi)在的或者外在的各種因果邏輯關(guān)系和時(shí)間順序關(guān)系、內(nèi)容數(shù)量包含關(guān)系等非因果邏輯關(guān)系，對(duì)海關(guān)業(yè)務(wù)進(jìn)行抽象、建模，并通過(guò)審查模型在實(shí)際業(yè)務(wù)管理中是否成立的方式發(fā)現(xiàn)疑點(diǎn)和線索。因此，認(rèn)真研究海關(guān)業(yè)務(wù)數(shù)據(jù)的含義、特點(diǎn)和彼此之間的規(guī)律，是開(kāi)展海關(guān)審計(jì)信息化的關(guān)鍵。目前，審計(jì)人員主要是總結(jié)以往的審計(jì)經(jīng)驗(yàn)，將審計(jì)經(jīng)驗(yàn)轉(zhuǎn)化為對(duì)相應(yīng)電子數(shù)據(jù)含義、特點(diǎn)和規(guī)律的掌握。為此，我們重點(diǎn)研究海關(guān)內(nèi)部執(zhí)法監(jiān)督工作制度，海關(guān)系統(tǒng)內(nèi)部審計(jì)工作制度，海關(guān)管理審計(jì)工作制度、財(cái)政財(cái)務(wù)收支、基建、采購(gòu)，以及常規(guī)督察審計(jì)、專項(xiàng)督察審計(jì)的組織實(shí)施方法。在此基礎(chǔ)上，結(jié)合課題組大數(shù)據(jù)研究的成果，構(gòu)建一套滿足審計(jì)業(yè)務(wù)、管理和決策支持的應(yīng)用系統(tǒng)，一套滿足審計(jì)業(yè)務(wù)開(kāi)展的數(shù)據(jù)資源，一套推動(dòng)審計(jì)信息化建設(shè)的管理機(jī)制，一支適應(yīng)信息化建設(shè)的審計(jì)人才隊(duì)伍，達(dá)到以信息化手段實(shí)現(xiàn)審計(jì)監(jiān)督工作“全覆蓋”，實(shí)現(xiàn)審計(jì)業(yè)務(wù)開(kāi)展、過(guò)程管理信息化、智能化。最后，為了實(shí)現(xiàn)海關(guān)基礎(chǔ)數(shù)據(jù)資源互聯(lián)互通，需要豐富海關(guān)執(zhí)法相關(guān)領(lǐng)域基礎(chǔ)數(shù)據(jù)源，打破部門(mén)之間存在數(shù)據(jù)壁壘，實(shí)現(xiàn)緝私行政執(zhí)法數(shù)據(jù)、稽查數(shù)據(jù)、監(jiān)管場(chǎng)所信息、口岸單位數(shù)據(jù)等的關(guān)聯(lián)比對(duì)，打破目前各關(guān)區(qū)之間的數(shù)據(jù)壁壘，實(shí)現(xiàn)對(duì)不同關(guān)區(qū)數(shù)據(jù)的橫向比對(duì)分析，推行國(guó)務(wù)院建議的“把握總體、突出重點(diǎn)、關(guān)聯(lián)分析、精準(zhǔn)延伸、系統(tǒng)判斷”的數(shù)字化審計(jì)方法，發(fā)揮大數(shù)據(jù)的整合優(yōu)勢(shì)。并且引入海關(guān)現(xiàn)行通用財(cái)務(wù)管理、罰沒(méi)財(cái)物管理、固定資產(chǎn)管理等現(xiàn)有信息系統(tǒng)的基礎(chǔ)數(shù)據(jù)，實(shí)現(xiàn)“財(cái)”與“物”的聯(lián)動(dòng)比對(duì)和對(duì)碰分析。還要推動(dòng)海關(guān)對(duì)物資采購(gòu)、基建修繕等領(lǐng)域信息系統(tǒng)的開(kāi)發(fā)建設(shè)，實(shí)現(xiàn)財(cái)務(wù)管理、政府采購(gòu)、基建修繕、資產(chǎn)管理的橫向聯(lián)動(dòng)分析以及總署-直屬海關(guān)-隸屬海關(guān)三級(jí)縱向聯(lián)動(dòng)分析。最終建立“多專業(yè)融合、多數(shù)據(jù)關(guān)聯(lián)、多視角分析、多層級(jí)關(guān)聯(lián)”的集約化運(yùn)作機(jī)制，提高海關(guān)審計(jì)大數(shù)據(jù)的處理、分析、挖掘的質(zhì)量。二、目前面臨的問(wèn)題當(dāng)前亟待解決的問(wèn)題：目前海關(guān)內(nèi)部關(guān)于數(shù)據(jù)的管理?xiàng)l形化過(guò)重，模塊化管理設(shè)計(jì)不合理。主要原因有以下幾點(diǎn)：數(shù)據(jù)無(wú)處不在：數(shù)據(jù)量十分龐大，擁有眾多的數(shù)據(jù)源，但是各種數(shù)據(jù)被鎖定存儲(chǔ)在各個(gè)不同的系統(tǒng)當(dāng)中，收集集成起來(lái)有著很大困難。數(shù)據(jù)的正確使用：當(dāng)前的信息系統(tǒng)是面向各個(gè)部門(mén)系統(tǒng)的應(yīng)用層面的建立的，其數(shù)據(jù)的組織僅按照具體的應(yīng)用處理來(lái)劃分，并不適合督察內(nèi)審司的業(yè)務(wù)以及決策分析。數(shù)據(jù)分析效率低：針對(duì)各種數(shù)據(jù)的整理分析沒(méi)有聚合、實(shí)時(shí)的信息視圖，將大量的時(shí)間花費(fèi)在整合數(shù)據(jù)上。無(wú)法通過(guò)可視化以及先進(jìn)的科學(xué)方法對(duì)數(shù)據(jù)進(jìn)行分析和展示。數(shù)據(jù)的可追溯性：各個(gè)海關(guān)部門(mén)的數(shù)據(jù)庫(kù)主要關(guān)心當(dāng)前某一個(gè)時(shí)間段內(nèi)的數(shù)據(jù)，而審計(jì)業(yè)務(wù)通常需要?dú)v史信息。通過(guò)對(duì)各部門(mén)的數(shù)據(jù)的整理，可以得到相當(dāng)大的數(shù)據(jù)集，這是對(duì)數(shù)據(jù)進(jìn)行分析以及建立大數(shù)據(jù)模型的基礎(chǔ)。但是建立大數(shù)據(jù)模型仍然面臨數(shù)據(jù)質(zhì)量等問(wèn)題。在建模的過(guò)程中，將這些概念映射到數(shù)據(jù)模型時(shí)缺乏統(tǒng)一的認(rèn)識(shí)標(biāo)準(zhǔn)，會(huì)產(chǎn)生不同的抽象標(biāo)準(zhǔn)和約束理念，現(xiàn)有的系統(tǒng)無(wú)法管理不同的約束理念和抽象標(biāo)準(zhǔn)，所以很難實(shí)現(xiàn)系統(tǒng)內(nèi)數(shù)據(jù)的有效互聯(lián)。特別是當(dāng)一個(gè)系統(tǒng)需要對(duì)應(yīng)不同的數(shù)據(jù)庫(kù)管理系統(tǒng)，應(yīng)用不同的數(shù)據(jù)庫(kù)設(shè)計(jì)時(shí)龐大的數(shù)據(jù)源更加難以管理。增強(qiáng)信息監(jiān)管：因?yàn)槟壳昂ｊP(guān)部門(mén)的數(shù)據(jù)庫(kù)采用的是各級(jí)分管制度，有部分?jǐn)?shù)據(jù)庫(kù)在基層—即數(shù)據(jù)存在著異地管理的問(wèn)題，如何保證數(shù)據(jù)在總部和基層不被修改，保證數(shù)據(jù)的一致性。如果數(shù)據(jù)被修改，采用什么樣的方式可以修復(fù)數(shù)據(jù)、追蹤數(shù)據(jù)或者是查看歷史版本以便審查。三、針對(duì)問(wèn)題的解決方案以及背景支撐3.1數(shù)據(jù)的去條形化管理由于信息化建設(shè)的階段性導(dǎo)致各個(gè)信息系統(tǒng)之間有著很大的差距以及不同，所以在數(shù)據(jù)的傳輸以及管理上呈現(xiàn)很明顯的條形化現(xiàn)象—即數(shù)據(jù)存儲(chǔ)和傳輸有著明顯的隔閡，需要花費(fèi)大量的時(shí)間和精力去做到數(shù)據(jù)的全面分析。同時(shí)無(wú)法對(duì)數(shù)據(jù)有全面的了解掌控。針對(duì)以上問(wèn)題，提出的解決方案是建設(shè)督察內(nèi)審司的審計(jì)大數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)集合的成熟方案，它是為更高層次上的數(shù)據(jù)應(yīng)用而提出的一中解決的方案。數(shù)據(jù)倉(cāng)庫(kù)作為決策支持系統(tǒng)服務(wù)的基礎(chǔ)，是用于分析型處理的數(shù)據(jù)集合，也是供查詢和決策分析用的集成化的信息倉(cāng)庫(kù)。3.1.1使用數(shù)據(jù)倉(cāng)庫(kù)的優(yōu)勢(shì)針對(duì)上一節(jié)提到的目前督察內(nèi)審司可能遇到的問(wèn)題，使用大數(shù)據(jù)倉(cāng)庫(kù)的優(yōu)勢(shì)在于：數(shù)據(jù)無(wú)處不在：數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是從原有分散的各個(gè)海關(guān)部門(mén)的數(shù)據(jù)庫(kù)的數(shù)據(jù)中抽取、集成得到的。事務(wù)數(shù)據(jù)與支持決策分析的數(shù)據(jù)之間差別甚大，數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是用于支持決策的，因此在數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)之前，必然要經(jīng)過(guò)抽取、加工與集成，這一步也是數(shù)據(jù)倉(cāng)庫(kù)建設(shè)中最關(guān)鍵、最復(fù)雜的一步。有時(shí)還要將從不同數(shù)據(jù)庫(kù)（可能是異構(gòu)的）中提取的數(shù)據(jù)按統(tǒng)一的模型和模式組織。數(shù)據(jù)的正確使用：根據(jù)督察內(nèi)審司的審計(jì)業(yè)務(wù)在較高層次上建立對(duì)數(shù)據(jù)進(jìn)行綜合、歸類和分析利用的各種主題，如一個(gè)海關(guān)部門(mén)有各種海關(guān)業(yè)務(wù)的應(yīng)用數(shù)據(jù)庫(kù)，這些數(shù)據(jù)庫(kù)僅僅是針對(duì)該部門(mén)的橫向數(shù)據(jù)。但是通過(guò)建立大數(shù)據(jù)倉(cāng)庫(kù)，便可以從時(shí)間，稅務(wù)等不同角度對(duì)查看分析所有部門(mén)的縱向數(shù)據(jù)。不需要在去訪問(wèn)收集各個(gè)部門(mén)的數(shù)據(jù)，直接從大數(shù)據(jù)倉(cāng)庫(kù)中可以獲得需要的（通過(guò)模型的建立抽取需要的數(shù)據(jù)，自動(dòng)過(guò)濾掉不需要的數(shù)據(jù)）所有部門(mén)的數(shù)據(jù)。數(shù)據(jù)分析效率低：數(shù)據(jù)倉(cāng)庫(kù)支持多維分析。多維分析通過(guò)把一個(gè)（業(yè)務(wù)）實(shí)體的屬性定義成維度，使能方便地從多個(gè)角度匯總、計(jì)算數(shù)據(jù)，增強(qiáng)了數(shù)據(jù)的分析處理能力，通過(guò)對(duì)不同維度數(shù)據(jù)的比較和分析，增強(qiáng)了信息處理能力。提供了標(biāo)準(zhǔn)的報(bào)表和圖表展示功能，數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的數(shù)據(jù)來(lái)源于不同海關(guān)的業(yè)務(wù)處理系統(tǒng)，而數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)展示的數(shù)據(jù)是所有部門(mén)的數(shù)據(jù)集成，數(shù)據(jù)倉(cāng)庫(kù)的作用就是利用這些最寶貴的業(yè)務(wù)數(shù)據(jù)作出最明智的決策。數(shù)據(jù)的可追溯性：各個(gè)海關(guān)部門(mén)的數(shù)據(jù)庫(kù)主要關(guān)心當(dāng)前某一個(gè)時(shí)間段內(nèi)的數(shù)據(jù)，而數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了督察內(nèi)審司從過(guò)去某一時(shí)點(diǎn)到目前的各個(gè)階段的所有需要的信息，通過(guò)這些信息，可以做出定量分析和預(yù)測(cè)。3.1.3背景支撐：福建漁業(yè)漁政大數(shù)據(jù)中心項(xiàng)目建設(shè)內(nèi)容：漁業(yè)漁政大數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)對(duì)接海漁廳以及其他海洋相關(guān)業(yè)務(wù)單位的各類業(yè)務(wù)系統(tǒng)；收集，匯總，存儲(chǔ)，加工包括海洋地理基礎(chǔ)數(shù)據(jù)、海洋氣象水文環(huán)境觀測(cè)數(shù)據(jù)、人類漁業(yè)生產(chǎn)活動(dòng)數(shù)據(jù)、海洋以及海岸線開(kāi)發(fā)與經(jīng)濟(jì)數(shù)據(jù)等，形成海洋與漁業(yè)第二數(shù)據(jù)生產(chǎn)中心。漁業(yè)漁政數(shù)據(jù)管理平臺(tái)大數(shù)據(jù)中心后端數(shù)據(jù)業(yè)務(wù)流程管理平臺(tái)，包括數(shù)據(jù)資源管理、數(shù)據(jù)加載（ETL）管理、大數(shù)據(jù)加工管理、大數(shù)據(jù)分析建模、數(shù)據(jù)存儲(chǔ)與生命周期管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)分發(fā)管理、運(yùn)維監(jiān)控管理、安全管理審計(jì)等功能。漁業(yè)漁政統(tǒng)一數(shù)據(jù)交換平臺(tái)建設(shè)基于ESB企業(yè)服務(wù)總線技術(shù)的統(tǒng)一數(shù)據(jù)交換平臺(tái)，提供易于擴(kuò)展和可伸縮的統(tǒng)一數(shù)據(jù)交換服務(wù)，解決海洋云大數(shù)據(jù)中心以及海漁其他相關(guān)業(yè)務(wù)系統(tǒng)采用不同的平臺(tái)和技術(shù)構(gòu)建，各業(yè)務(wù)整合參與方屬性不同，數(shù)據(jù)定義、數(shù)據(jù)格式上差異較大，數(shù)據(jù)難以互聯(lián)互通的問(wèn)題。使?jié)O業(yè)漁政大數(shù)據(jù)中心的數(shù)據(jù)匯聚和數(shù)據(jù)共享成為可能。3.2數(shù)據(jù)整合處理隨著中國(guó)信息化程度越來(lái)越高，包括海關(guān)已經(jīng)使用了很多數(shù)字化的信息系統(tǒng)，但是因?yàn)閿?shù)據(jù)量的龐大，高效地存儲(chǔ)和計(jì)算問(wèn)題的解決迫在眉睫。雖然有了數(shù)據(jù)倉(cāng)庫(kù)這一有效的數(shù)據(jù)集成方案，但是這并沒(méi)有解決數(shù)據(jù)中的冗余和沖突問(wèn)題。甚至數(shù)據(jù)沖突和冗余更頻繁地出現(xiàn)在后者中，后期進(jìn)行數(shù)據(jù)清洗、數(shù)據(jù)維護(hù)的成本也相當(dāng)高。例如：某部門(mén)A在其系統(tǒng)中定義了一個(gè)長(zhǎng)度為100的字段，另一個(gè)部門(mén)B在自己系統(tǒng)將相同的字段定義成長(zhǎng)度101?？此撇罹嗪苄?，但是在數(shù)據(jù)融合時(shí)系統(tǒng)無(wú)法自動(dòng)判定他們是同一個(gè)含義的。包括審計(jì)業(yè)務(wù)在內(nèi)，語(yǔ)義的歧義，數(shù)據(jù)的不標(biāo)準(zhǔn)都是很大的隱患。所以大數(shù)據(jù)管理平臺(tái)的核心解決方案就是建設(shè)元數(shù)據(jù)管理平臺(tái)。3.2.1建設(shè)元數(shù)據(jù)管理平臺(tái)的重要性解決數(shù)據(jù)質(zhì)量問(wèn)題：隨著數(shù)據(jù)量的增加，數(shù)據(jù)中的錯(cuò)誤也會(huì)越來(lái)越多。有幾類常見(jiàn)的數(shù)據(jù)錯(cuò)誤：數(shù)據(jù)冗余：由于大數(shù)據(jù)倉(cāng)庫(kù)的建立是將各個(gè)海關(guān)系統(tǒng)中所有的數(shù)據(jù)整合起來(lái)，所以有可能會(huì)出現(xiàn)重復(fù)的數(shù)據(jù)。數(shù)據(jù)與定義不符：某筆稅務(wù)當(dāng)中涉及的某字段要求用數(shù)字表述，但是建立數(shù)據(jù)的時(shí)候沒(méi)有按照要求設(shè)置字段。多個(gè)相同數(shù)據(jù)的定義沖突：表示相同含義的數(shù)據(jù)在不同的數(shù)據(jù)庫(kù)中使用的不同的單位（數(shù)據(jù)庫(kù)1中以元為單位，數(shù)據(jù)庫(kù)2中以萬(wàn)元為單位）。還有很多數(shù)據(jù)問(wèn)題，都可以通過(guò)元數(shù)據(jù)管理平臺(tái)來(lái)進(jìn)行數(shù)據(jù)的處理，保障數(shù)據(jù)的穩(wěn)定和正確在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中，元數(shù)據(jù)可以幫助數(shù)據(jù)倉(cāng)庫(kù)管理員和數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)人員非常方便地找到他們所關(guān)心的數(shù)據(jù)；元數(shù)據(jù)是描述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)。元數(shù)據(jù)知識(shí)庫(kù)元數(shù)據(jù)知識(shí)庫(kù)業(yè)務(wù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)即席查詢析數(shù)據(jù)挖掘企業(yè)數(shù)據(jù)模型、多維數(shù)據(jù)模型數(shù)據(jù)倉(cāng)庫(kù)RDBMS外部數(shù)據(jù)源操作環(huán)境層數(shù)據(jù)倉(cāng)庫(kù)層業(yè)務(wù)層3.2.2背景支撐：標(biāo)準(zhǔn)元數(shù)據(jù)的大數(shù)據(jù)管理平臺(tái)該平臺(tái)是以一種基于標(biāo)準(zhǔn)元數(shù)據(jù)統(tǒng)一約束的可視化建模平臺(tái)展現(xiàn)。該平臺(tái)通過(guò)構(gòu)建標(biāo)準(zhǔn)元數(shù)據(jù)文件，實(shí)現(xiàn)數(shù)據(jù)模型標(biāo)準(zhǔn)化和元數(shù)據(jù)的標(biāo)準(zhǔn)化。平臺(tái)由數(shù)據(jù)交換層、模型層、運(yùn)算控制層、視圖層四個(gè)部分構(gòu)成。具體描述如圖1所示。數(shù)據(jù)交換層：執(zhí)行與數(shù)據(jù)庫(kù)、操作系統(tǒng)的數(shù)據(jù)交換功能。模型層：位于模型層的是經(jīng)過(guò)統(tǒng)一約束的數(shù)據(jù)模型，數(shù)據(jù)模型由模型元素構(gòu)成。運(yùn)算控制層：執(zhí)行模型構(gòu)建、模型維護(hù)、模型存儲(chǔ)、模型加載和模型實(shí)例化的功能。其中模型存儲(chǔ)表示存儲(chǔ)模型的數(shù)據(jù)信息和圖形信息的過(guò)程，具體是指其中可視化建模平臺(tái)將其中數(shù)據(jù)模型中的模型元素按照統(tǒng)一約束和標(biāo)準(zhǔn)元數(shù)據(jù)要求寫(xiě)入本地模型文件中；模型加載表示其中平臺(tái)可將存儲(chǔ)的模型的數(shù)據(jù)信息和圖形信息讀取到其中視圖層，以供用戶進(jìn)行查看，編輯，保存操作；模型維護(hù)是指用戶可以可視化地生成概念模型和物理模型并相互轉(zhuǎn)換，生成、拖拽模型元素并修改數(shù)據(jù)元素屬性，同時(shí)編輯多個(gè)模型；模型實(shí)例化是指導(dǎo)出數(shù)據(jù)模型到數(shù)據(jù)庫(kù)。視圖層：位于視圖層的是其中模型元素對(duì)應(yīng)的圖形對(duì)象。其中圖形對(duì)象包含模型元素顯示的相關(guān)信息，如圖形符號(hào)的形狀、顏色、大小以及坐標(biāo)等?；跇?biāo)準(zhǔn)元數(shù)據(jù)的大數(shù)據(jù)管理平臺(tái)主要特性如下：1.模型元素可視化2.提供多樣化模型構(gòu)建方法3.以標(biāo)準(zhǔn)元數(shù)據(jù)作為元數(shù)據(jù)管理的核心4.基于統(tǒng)一約束的模型構(gòu)建方法5.支持多種軟硬件環(huán)境6.支持多種軟件環(huán)境：平臺(tái)兼容的操作系統(tǒng)，包括Windows操作系統(tǒng)、Ubuntu系統(tǒng)、CentOS系統(tǒng)、中標(biāo)麒麟系統(tǒng)。平臺(tái)兼容的目標(biāo)數(shù)據(jù)庫(kù)管理系統(tǒng)是其中物理模型需要針對(duì)的特定數(shù)據(jù)庫(kù)管理系統(tǒng)，包括SQLServer數(shù)據(jù)庫(kù)管理系統(tǒng)、MySQL、Oracle、達(dá)夢(mèng)數(shù)據(jù)庫(kù)管理系統(tǒng)、人大金倉(cāng)數(shù)據(jù)庫(kù)管理系統(tǒng)、神通數(shù)據(jù)庫(kù)管理系統(tǒng)。數(shù)據(jù)庫(kù)抽取生成數(shù)據(jù)模型：從數(shù)據(jù)庫(kù)中，按照標(biāo)準(zhǔn)數(shù)據(jù)元和統(tǒng)一約束抽取數(shù)據(jù)及關(guān)聯(lián)關(guān)系，生成數(shù)據(jù)模型。不同系統(tǒng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)、不同名稱的數(shù)據(jù)，如果對(duì)應(yīng)相同的標(biāo)準(zhǔn)元數(shù)據(jù)，那么可以交換。從模型文件生成數(shù)據(jù)模型：從存儲(chǔ)中讀取模型文件并解析出數(shù)據(jù)模型，是模型存儲(chǔ)的逆向操作。從標(biāo)準(zhǔn)元數(shù)據(jù)生成數(shù)據(jù)模型：標(biāo)準(zhǔn)元數(shù)據(jù)生成數(shù)據(jù)模型過(guò)程中可以通過(guò)數(shù)據(jù)項(xiàng)映射進(jìn)行數(shù)據(jù)的清洗和標(biāo)準(zhǔn)化。從公共模型庫(kù)讀取模型文件生成數(shù)據(jù)模型：公共模型庫(kù)是模型倉(cāng)庫(kù)，用戶可以下載存儲(chǔ)的數(shù)據(jù)模型或者上傳自己制作的數(shù)據(jù)模型。這種方式可以實(shí)現(xiàn)數(shù)據(jù)模型的協(xié)同管理，并提高了數(shù)據(jù)模型的可遷移性。建模平臺(tái)接入一個(gè)有多數(shù)據(jù)源的大型系統(tǒng)，表示同一含義的字段可能具有不同的數(shù)據(jù)類型或者類型相同但是長(zhǎng)度不同，建模平臺(tái)接入部署在局域網(wǎng)或者私有云中的公共模型庫(kù)。其中標(biāo)準(zhǔn)元數(shù)據(jù)存儲(chǔ)為一種嚴(yán)格定義的xml文件，以標(biāo)準(zhǔn)元數(shù)據(jù)描述的數(shù)據(jù)表名或者對(duì)象名來(lái)命名，根節(jié)點(diǎn)是DataElements，每個(gè)DataElement節(jié)點(diǎn)下是組成數(shù)據(jù)元素的多個(gè)數(shù)據(jù)項(xiàng)，每個(gè)數(shù)據(jù)項(xiàng)是實(shí)體或者聯(lián)系的一個(gè)屬性，具有描述這個(gè)屬性的多個(gè)標(biāo)識(shí)符。其中物理模型可以轉(zhuǎn)換為數(shù)據(jù)庫(kù)模式定義語(yǔ)言DDL，也可以通過(guò)ODBCAPI和JDBCAPI直接操作數(shù)據(jù)庫(kù)管理系統(tǒng)執(zhí)行SQL命令。物理模型、其中概念模型都是邏輯概念，其中xml模型則是物理概念，物理模型和概念模型對(duì)應(yīng)的xml模型則有相似的存儲(chǔ)結(jié)構(gòu)。3.3增強(qiáng)信息監(jiān)管作為督察內(nèi)審司的主要業(yè)務(wù)來(lái)說(shuō)，最大的問(wèn)題就是數(shù)據(jù)的安全性。因?yàn)閿?shù)據(jù)的基層分管制度，讓數(shù)據(jù)的安全收到了一定的威脅?；鶎訑?shù)據(jù)庫(kù)的數(shù)據(jù)與總部數(shù)據(jù)庫(kù)的數(shù)據(jù)的不一致將直接影響審計(jì)工作，所以如何保障數(shù)據(jù)的安全是數(shù)據(jù)管理系統(tǒng)的重中之重。為了防止審計(jì)系統(tǒng)存在審計(jì)數(shù)據(jù)信息被蓄意地修改、插入、刪除等等問(wèn)題，而由此形成的虛假信息將使審計(jì)結(jié)論嚴(yán)重失實(shí)的情況需要建立數(shù)據(jù)的日志管理系統(tǒng)。日志管理系統(tǒng)的重要作用通過(guò)建立日志管理系統(tǒng)來(lái)確保數(shù)據(jù)安全，日志管理系統(tǒng)如圖1所示。1.建立日志存儲(chǔ)系統(tǒng)日志是指系統(tǒng)所指定對(duì)象的某些操作和其操作結(jié)果按時(shí)間有序的集合，每個(gè)日志文件由日志記錄組成，每條日志記錄描述了一次單獨(dú)的系統(tǒng)事件。日志文件為服務(wù)器、工作站、防火墻和應(yīng)用軟件等IT資源相關(guān)活動(dòng)記錄必要的、有價(jià)值的信息。針對(duì)整個(gè)系統(tǒng)建立統(tǒng)一的日志存儲(chǔ)系統(tǒng)。事務(wù)提交時(shí)，同時(shí)發(fā)起寫(xiě)日志操作，將日志寫(xiě)到日志存儲(chǔ)系統(tǒng)。主數(shù)據(jù)庫(kù)系統(tǒng)此時(shí)等待次日志操作成功返回之后，才返回給從數(shù)據(jù)庫(kù)系統(tǒng)事務(wù)提交成功消息，如圖2所示。由于事務(wù)提交操作返回給從數(shù)據(jù)庫(kù)系統(tǒng)時(shí)，事務(wù)產(chǎn)生的日志在日志存儲(chǔ)系統(tǒng)上都已經(jīng)存在。所以，當(dāng)更新操作寫(xiě)日志、事務(wù)提交時(shí)，保證將事務(wù)產(chǎn)生的日志先刷到日志存儲(chǔ)系統(tǒng)上，保證整個(gè)事務(wù)的更新操作數(shù)據(jù)不丟失。此日志管理系統(tǒng)可工作在最大性能，最大可用，最大保護(hù)三種模式下，其中第三種最大保護(hù)模式，采用的就是圖2中的基本思想.2.建立日志監(jiān)控系統(tǒng)監(jiān)控每一個(gè)日志操作。當(dāng)有日志操作時(shí)，觸發(fā)日志分析系統(tǒng)。3.建立日志分析系統(tǒng)通過(guò)對(duì)系統(tǒng)日志的收集和分析，及時(shí)察覺(jué)數(shù)據(jù)庫(kù)系統(tǒng)的異常行為并找出數(shù)據(jù)安全問(wèn)題所在，及時(shí)報(bào)警。3.1主數(shù)據(jù)庫(kù)系統(tǒng)與從數(shù)據(jù)庫(kù)系統(tǒng)中數(shù)據(jù)不一致的異常檢測(cè)如圖3所示，當(dāng)日志監(jiān)測(cè)系統(tǒng)監(jiān)測(cè)到日志存儲(chǔ)系統(tǒng)有日志操作，觸發(fā)日志分析系統(tǒng)。當(dāng)日志分析系統(tǒng)分析到該日志操作是日志更新操作，日志分析系統(tǒng)從日志存儲(chǔ)系統(tǒng)中取到日志更新操作的詳細(xì)信息后，便從主數(shù)據(jù)庫(kù)系統(tǒng)和從數(shù)據(jù)庫(kù)系統(tǒng)中取到相應(yīng)的數(shù)據(jù)進(jìn)行比較。如果兩者不相符，則監(jiān)測(cè)到相關(guān)數(shù)據(jù)異常，從而觸發(fā)日志報(bào)警系統(tǒng)。否則，進(jìn)行主數(shù)據(jù)庫(kù)系統(tǒng)與從數(shù)據(jù)庫(kù)系統(tǒng)中數(shù)據(jù)一致的異常檢測(cè)。3.2主數(shù)據(jù)庫(kù)系統(tǒng)與從數(shù)據(jù)庫(kù)系統(tǒng)中數(shù)據(jù)一致的異常檢測(cè)如圖4所示，當(dāng)日志監(jiān)測(cè)系統(tǒng)監(jiān)測(cè)到日志存儲(chǔ)系統(tǒng)有日志操作，觸發(fā)日志分析系統(tǒng)。當(dāng)日志分析系統(tǒng)分析到該日志操作是日志更新操作時(shí)。日志分析系統(tǒng)從日志存儲(chǔ)系統(tǒng)中取到日志更新操作的詳細(xì)信息后，便從主數(shù)據(jù)庫(kù)系統(tǒng)和從數(shù)據(jù)庫(kù)系統(tǒng)中取到相應(yīng)的數(shù)據(jù)進(jìn)行比較。如果兩者相符，則調(diào)用日志還原系統(tǒng)。日志還原系統(tǒng)對(duì)從數(shù)據(jù)庫(kù)系統(tǒng)中相應(yīng)數(shù)據(jù)進(jìn)行還原。如果從數(shù)據(jù)庫(kù)中還原數(shù)據(jù)與更新數(shù)據(jù)不相等時(shí)，則監(jiān)測(cè)到相關(guān)數(shù)據(jù)異常，從而觸發(fā)日志報(bào)警系統(tǒng)。3.3基于數(shù)據(jù)挖掘?qū)θ罩具M(jìn)行深入分析基于數(shù)據(jù)挖掘的分析方法是從海量日志數(shù)據(jù)中提取出異常的數(shù)據(jù)信息，抽象出有利于進(jìn)行判斷和比較的特征模型，根據(jù)這些特征向量模型和行為描述模型，采用相應(yīng)的數(shù)據(jù)挖掘算法判斷出當(dāng)前數(shù)據(jù)異常的深層聯(lián)系。4.建立日志報(bào)警系統(tǒng)當(dāng)日志報(bào)警系統(tǒng)被觸發(fā)時(shí)，日志報(bào)警系統(tǒng)利用基于機(jī)器學(xué)習(xí)的分析方法對(duì)數(shù)據(jù)異常情況進(jìn)行深入分析?；跈C(jī)器學(xué)習(xí)的分析方法是利用日志的信息來(lái)學(xué)習(xí)用戶的異常行為模式，通過(guò)日志的歷史事件用一些學(xué)習(xí)算法來(lái)預(yù)測(cè)此用戶未來(lái)的異常行為。因此，日志報(bào)警系統(tǒng)可以提供數(shù)