數(shù)據(jù)倉庫和平臺

數(shù)據(jù)倉庫及

稅源監(jiān)控分析平臺袁芳

2011年11月什么是數(shù)數(shù)據(jù)倉庫庫數(shù)據(jù)倉庫庫之父WilliamH..Inmon在1991年出版的的“BuildingtheDataWarehouse””一書中所所提出的的定義被被廣泛接接受——數(shù)據(jù)倉庫庫是一個(gè)個(gè)面向主主題的、、集成的的、相對對穩(wěn)定的的、反映映歷史變變化的數(shù)數(shù)據(jù)集合合，用于于支持管管理決策策。數(shù)據(jù)倉庫庫特點(diǎn)——面向主題題操作型數(shù)數(shù)據(jù)庫的的數(shù)據(jù)組組織面向向事務(wù)處處理任務(wù)務(wù)，各個(gè)個(gè)業(yè)務(wù)系系統(tǒng)之間間各自分分離，而而數(shù)據(jù)倉倉庫中的的數(shù)據(jù)是是按照一一定的主主題域進(jìn)進(jìn)行組織織的。主題是與與傳統(tǒng)數(shù)數(shù)據(jù)庫的的面向應(yīng)應(yīng)用相對對應(yīng)的，，是一個(gè)個(gè)抽象概概念，是是在較高高層次上上將企業(yè)業(yè)信息系系統(tǒng)中的的數(shù)據(jù)綜綜合、歸歸類并進(jìn)進(jìn)行分析析利用的的抽象。。每一個(gè)個(gè)主題對對應(yīng)一個(gè)個(gè)宏觀的的分析領(lǐng)領(lǐng)域。數(shù)數(shù)據(jù)倉庫庫排除對對于決策策無用的的數(shù)據(jù)，，提供特特定主題題的簡明明視圖。。數(shù)據(jù)倉庫庫特點(diǎn)——集成的數(shù)據(jù)倉庫庫中的數(shù)數(shù)據(jù)是在在對原有有分散的的數(shù)據(jù)庫庫數(shù)據(jù)抽抽取、清清理的基基礎(chǔ)上經(jīng)經(jīng)過系統(tǒng)統(tǒng)加工、、匯總和和整理得得到的，，必須消消除源數(shù)數(shù)據(jù)中的的不一致致性，以以保證數(shù)數(shù)據(jù)倉庫庫內(nèi)的信信息是關(guān)關(guān)于整個(gè)個(gè)企業(yè)的的一致的的全局信信息。數(shù)據(jù)倉庫庫特點(diǎn)——相對穩(wěn)定定的數(shù)據(jù)倉庫庫的數(shù)據(jù)據(jù)主要供供企業(yè)決決策分析析之用，，所涉及及的數(shù)據(jù)據(jù)操作主主要是數(shù)數(shù)據(jù)查詢詢，一旦旦某個(gè)數(shù)數(shù)據(jù)進(jìn)入入數(shù)據(jù)倉倉庫以后后，一般般情況下下將被長長期保留留，也就就是數(shù)據(jù)據(jù)倉庫中中一般有有大量的的查詢操操作，但但修改和和刪除操操作很少少，通常常只需要要定期的的加載、、刷新。。數(shù)據(jù)倉庫庫——反映歷史史變化數(shù)據(jù)倉庫庫中的數(shù)數(shù)據(jù)通常常包含歷歷史信息息，系統(tǒng)統(tǒng)記錄了了企業(yè)從從過去某某一時(shí)點(diǎn)點(diǎn)(如開始應(yīng)應(yīng)用數(shù)據(jù)據(jù)倉庫的的時(shí)點(diǎn))到目前的的各個(gè)階階段的信信息，通通過這些些信息，，可以對對企業(yè)的的發(fā)展歷歷程和未未來趨勢勢做出定定量分析析和預(yù)測測。數(shù)據(jù)倉庫庫的組成成1、數(shù)據(jù)倉倉庫數(shù)據(jù)據(jù)庫數(shù)據(jù)倉庫庫的數(shù)據(jù)據(jù)庫是整整個(gè)數(shù)據(jù)據(jù)倉庫環(huán)環(huán)境的核核心，是是數(shù)據(jù)存存放的地地方和提提供對數(shù)數(shù)據(jù)檢索索的支持持。相對對于操縱縱型數(shù)據(jù)據(jù)庫來說說其突出出的特點(diǎn)點(diǎn)是對海海量數(shù)據(jù)據(jù)的支持持和快速速的檢索索技術(shù)。。數(shù)據(jù)倉庫庫的組成成2、數(shù)據(jù)抽抽取工具具數(shù)據(jù)抽取取工具把把數(shù)據(jù)從從各種各各樣的存存儲方式式中拿出出來，進(jìn)進(jìn)行必要要的轉(zhuǎn)化化、整理理，再存存放到數(shù)數(shù)據(jù)倉庫庫內(nèi)。對對各種不不同數(shù)據(jù)據(jù)存儲方方式的訪訪問能力力是數(shù)據(jù)據(jù)抽取工工具的關(guān)關(guān)鍵。數(shù)數(shù)據(jù)轉(zhuǎn)換換都包括括:刪除對決決策應(yīng)用用沒有意意義的數(shù)數(shù)據(jù)段；；轉(zhuǎn)換到到統(tǒng)一的的數(shù)據(jù)名名稱和定定義；計(jì)計(jì)算統(tǒng)計(jì)計(jì)和衍生生數(shù)據(jù)；；給缺值值數(shù)據(jù)賦賦給缺省省值；把把不同的的數(shù)據(jù)定定義方式式統(tǒng)一。。數(shù)據(jù)倉庫庫的組成成3、元數(shù)據(jù)據(jù)元數(shù)據(jù)是是描述數(shù)數(shù)據(jù)倉庫庫內(nèi)數(shù)據(jù)據(jù)的結(jié)構(gòu)構(gòu)和建立立方法的的數(shù)據(jù)。?？蓪⑵淦浒从猛就镜牟煌譃閮蓛深悾技夹g(shù)元數(shù)數(shù)據(jù)和商商業(yè)元數(shù)數(shù)據(jù)。技術(shù)元數(shù)數(shù)據(jù)是數(shù)數(shù)據(jù)倉庫庫的設(shè)計(jì)計(jì)和管理理人員用用于開發(fā)發(fā)和日常常管理數(shù)數(shù)據(jù)倉庫庫是用的的數(shù)據(jù)。。商業(yè)元數(shù)數(shù)據(jù)從商商業(yè)業(yè)務(wù)務(wù)的角度度描述了了數(shù)據(jù)倉倉庫中的的數(shù)據(jù)。。

數(shù)據(jù)倉庫庫的組成成4、訪問工工具為用戶訪訪問數(shù)據(jù)據(jù)倉庫提提供手段段。有數(shù)數(shù)據(jù)查詢詢和報(bào)表表工具；；應(yīng)用開開發(fā)工具具；聯(lián)機(jī)機(jī)分析處處理（OLAP）工具；；數(shù)據(jù)挖挖掘工具具。數(shù)據(jù)倉庫庫組成5、數(shù)據(jù)集集市（DataMarts）為了特定定的應(yīng)用用目的或或應(yīng)用范范圍，而而從數(shù)據(jù)據(jù)倉庫中中獨(dú)立出出來的一一部分?jǐn)?shù)數(shù)據(jù)。在數(shù)據(jù)倉倉庫的實(shí)實(shí)施過程程中往往往可以從從一個(gè)部部門的數(shù)數(shù)據(jù)集市市著手，，以后再再用幾個(gè)個(gè)數(shù)據(jù)集集市組成成一個(gè)完完整的數(shù)數(shù)據(jù)倉庫庫。數(shù)據(jù)倉庫庫數(shù)據(jù)存存儲與管管理數(shù)據(jù)的存存儲與管管理是整整個(gè)數(shù)據(jù)據(jù)倉庫系系統(tǒng)的核核心。OLAP(聯(lián)機(jī)分析析處理)服務(wù)器對分析需需要的數(shù)數(shù)據(jù)進(jìn)行行有效集集成，按按多維模模型予以以組織，，以便進(jìn)進(jìn)行多角角度、多多層次的的分析，，并發(fā)現(xiàn)現(xiàn)趨勢。。其具體體實(shí)現(xiàn)可可以分為為：ROLAP（關(guān)系型型在線分分析處理理）、MOLAP（多維在在線分析析處理））和HOLAP（混合型型線上分分析處理理）。ROLAP基本數(shù)據(jù)據(jù)和聚合合數(shù)據(jù)均均存放在在RDBMS之中；MOLAP基本數(shù)據(jù)據(jù)和聚合合數(shù)據(jù)均均存放于于多維數(shù)數(shù)據(jù)庫中中；HOLAP基本數(shù)據(jù)據(jù)存放于于RDBMS之中，聚聚合數(shù)據(jù)據(jù)存放于于多維數(shù)數(shù)據(jù)庫中中。數(shù)據(jù)倉庫庫的幾個(gè)個(gè)概念維：是人人們觀察察數(shù)據(jù)的的特定角角度，是是考慮問問題時(shí)的的一類屬屬性，屬屬性集合合構(gòu)成一一個(gè)維(時(shí)間維、、地區(qū)、、行業(yè)維維等)粒度：數(shù)數(shù)據(jù)倉庫庫的數(shù)據(jù)據(jù)單位中中保存數(shù)數(shù)據(jù)的細(xì)細(xì)化或綜綜合程度度的級別別。細(xì)化化程度越越高，粒粒度級就就越?。?；相反，，細(xì)化程程度越低低，粒度度級就越越大。單元格：：多維數(shù)數(shù)組的取取值(2011年10月，安徽徽，增值值稅，56億)數(shù)據(jù)倉庫庫設(shè)計(jì)步步驟1)選擇合適適的主題題（所要要解決問問題的領(lǐng)領(lǐng)域）2)明確定義義事實(shí)表表3)確定和確確認(rèn)維4)選擇事實(shí)實(shí)表5)計(jì)算并存存儲fact表中的衍衍生數(shù)據(jù)據(jù)段6)轉(zhuǎn)換維表表7)數(shù)據(jù)庫數(shù)數(shù)據(jù)采集集8)根據(jù)需求求刷新維維表9)確定查詢詢優(yōu)先級級和查詢詢模式。。數(shù)據(jù)倉庫庫的建立立步驟1）收集和和分析業(yè)業(yè)務(wù)需求求。2）建立數(shù)數(shù)據(jù)模型型和數(shù)據(jù)據(jù)倉庫的的物理設(shè)設(shè)計(jì)。3）定義數(shù)數(shù)據(jù)源。。4）選擇數(shù)數(shù)據(jù)倉庫庫技術(shù)和和平臺。。5）從操作作型數(shù)據(jù)據(jù)庫中抽抽取、凈凈化、和和轉(zhuǎn)換數(shù)數(shù)據(jù)到數(shù)數(shù)據(jù)倉庫庫。6）選擇訪訪問和報(bào)報(bào)表工具具。7）選擇數(shù)數(shù)據(jù)庫連連接軟件件。8）選擇數(shù)數(shù)據(jù)分析析和數(shù)據(jù)據(jù)展示軟軟件。9)更新數(shù)據(jù)據(jù)倉庫。。數(shù)據(jù)倉庫庫與數(shù)據(jù)據(jù)庫的聯(lián)聯(lián)系二者的聯(lián)聯(lián)系：數(shù)據(jù)倉庫庫的出現(xiàn)現(xiàn)，并不不是要取取代數(shù)據(jù)據(jù)庫。目目前，大大部分?jǐn)?shù)數(shù)據(jù)倉庫庫還是用用關(guān)系數(shù)數(shù)據(jù)庫管管理系統(tǒng)統(tǒng)來管理理的?？煽梢哉f，，數(shù)據(jù)庫庫、數(shù)據(jù)據(jù)倉庫相相輔相成成、各有有千秋。。數(shù)據(jù)倉庫庫數(shù)據(jù)一一般來源源于數(shù)據(jù)據(jù)庫。數(shù)據(jù)倉庫庫與數(shù)據(jù)據(jù)庫的區(qū)區(qū)別(1)1、出發(fā)點(diǎn)點(diǎn)不同：：數(shù)據(jù)庫庫是面向向事務(wù)的的設(shè)計(jì)；；數(shù)據(jù)倉倉庫是面面向主題題設(shè)計(jì)的的。2、存儲的的數(shù)據(jù)不不同：數(shù)數(shù)據(jù)庫一一般存儲儲在線交交易數(shù)據(jù)據(jù)；數(shù)據(jù)據(jù)倉庫存存儲的一一般是歷歷史數(shù)據(jù)據(jù)。3、設(shè)計(jì)規(guī)規(guī)則不同同：數(shù)據(jù)據(jù)庫設(shè)計(jì)計(jì)是盡量量避免冗冗余，一一般采用用符合范范式的規(guī)規(guī)則來設(shè)設(shè)計(jì)；數(shù)數(shù)據(jù)倉庫庫在設(shè)計(jì)計(jì)是有意意引入冗冗余，采采用反范范式的方方式來設(shè)設(shè)計(jì)。4、提供的的功能不不同：數(shù)數(shù)據(jù)庫是是為捕獲獲數(shù)據(jù)而而設(shè)計(jì)，，數(shù)據(jù)倉倉庫是為為分析數(shù)數(shù)據(jù)而設(shè)設(shè)計(jì)。

數(shù)據(jù)倉庫庫與數(shù)據(jù)據(jù)庫的區(qū)區(qū)別(2)5、基本元元素不同同：數(shù)據(jù)據(jù)庫的基基本元素素是事實(shí)實(shí)表，數(shù)數(shù)據(jù)倉庫庫的基本本元素是是維度表表。6、容量不不同：數(shù)數(shù)據(jù)庫基基本容量量上要比比數(shù)據(jù)倉倉庫小的的多。7、服務(wù)對對象不同同：數(shù)據(jù)據(jù)庫是為為了高效效的事務(wù)務(wù)處理而而設(shè)計(jì)的的，服務(wù)務(wù)對象為為企業(yè)業(yè)業(yè)務(wù)處理理方面的的工作人人員；數(shù)數(shù)據(jù)倉庫庫是為了了分析數(shù)數(shù)據(jù)進(jìn)行行決策而而設(shè)計(jì)的的，服務(wù)務(wù)對象為為企業(yè)高高層決策策人員。。

稅源分析析監(jiān)控平平臺稅源監(jiān)控控分析平平臺產(chǎn)生生背景省局領(lǐng)導(dǎo)導(dǎo)要求：：“所有有業(yè)務(wù)均均由一個(gè)個(gè)系統(tǒng)支支持（不不要一個(gè)個(gè)系統(tǒng)只只解決一一項(xiàng)業(yè)務(wù)務(wù)目的）），所有有數(shù)據(jù)集集中在一一個(gè)數(shù)據(jù)據(jù)庫”。。為稅源專專業(yè)化管管理提供供技術(shù)支支撐各應(yīng)用系系統(tǒng)已實(shí)實(shí)現(xiàn)省級級集中稅源監(jiān)控控分析平平臺主要要任務(wù)為實(shí)現(xiàn)管管理決策策的需求求，利用用數(shù)據(jù)倉倉庫技術(shù)術(shù)，抽取取各生產(chǎn)產(chǎn)業(yè)務(wù)系系統(tǒng)原始始憑證，，使用數(shù)數(shù)據(jù)分析析、展示示工具，，加工分分析原始始憑證，，展示分分析查詢詢結(jié)果的的一體化化應(yīng)用平平臺。稅源監(jiān)控控分析平平臺數(shù)據(jù)據(jù)特點(diǎn)1、所有數(shù)數(shù)據(jù)來源源于原始始憑證數(shù)據(jù)標(biāo)準(zhǔn)準(zhǔn)化有據(jù)可查查定位準(zhǔn)確確有利于今今后的業(yè)業(yè)務(wù)拓展展2、各種分分析都是是通過工工具來實(shí)實(shí)現(xiàn)的。。實(shí)現(xiàn)了了業(yè)務(wù)加加載與技技術(shù)無關(guān)關(guān)性。3、采用合合作的開開發(fā)模式式。稅源分析析監(jiān)控平平臺與各生產(chǎn)產(chǎn)系統(tǒng)之之間聯(lián)系系與區(qū)別別

平臺的基基礎(chǔ)數(shù)據(jù)據(jù)來源于于各生產(chǎn)產(chǎn)系統(tǒng)。。生產(chǎn)系統(tǒng)統(tǒng)是面向向事務(wù)的的設(shè)計(jì)，，稅源分分析監(jiān)控控平臺是是面向主主題設(shè)計(jì)計(jì)的。生產(chǎn)系統(tǒng)統(tǒng)是用于于采集數(shù)數(shù)據(jù)，平平臺是用用于分析析數(shù)據(jù)。。生產(chǎn)系統(tǒng)統(tǒng)一般存存儲在線線交易數(shù)數(shù)據(jù)，稅稅源分析析監(jiān)控平平臺一般般次月進(jìn)進(jìn)行數(shù)據(jù)據(jù)分析，，展示分分析結(jié)果果。技術(shù)架構(gòu)構(gòu)數(shù)據(jù)倉庫庫的數(shù)據(jù)據(jù)流程數(shù)據(jù)歸集集數(shù)據(jù)歸集集是對分分散在各各業(yè)務(wù)系系統(tǒng)數(shù)據(jù)據(jù)進(jìn)行抽抽取。目前已抽抽取的數(shù)數(shù)據(jù)包括括：綜合合征管軟軟件、增增值稅防防偽稅控控系統(tǒng)、、車輛購購置稅征征收管理理系統(tǒng)、、公路內(nèi)內(nèi)河貨物物運(yùn)輸發(fā)發(fā)票稅控控系統(tǒng)、、機(jī)動(dòng)車車銷售發(fā)發(fā)票系統(tǒng)統(tǒng)、出口口退稅系系統(tǒng)。數(shù)據(jù)抽取取的方式式是通過過原始憑憑證。從從源頭規(guī)規(guī)范和統(tǒng)統(tǒng)一了數(shù)數(shù)據(jù)口徑徑，提高高了數(shù)據(jù)據(jù)質(zhì)量，，保障了了分析數(shù)數(shù)據(jù)的可可追溯性性。可可實(shí)現(xiàn)透透明訪問問。抽取的原原始憑證證與實(shí)際際上的原原始憑證證的差異異。已抽取原原始憑證證220多項(xiàng)，抽抽取記錄錄近億條條記錄歸集的手手段：原原始憑證證定義工工具。業(yè)務(wù)功能能一戶式查查詢征管狀況況分析申報(bào)監(jiān)控控?cái)?shù)據(jù)質(zhì)量量分析稅收風(fēng)險(xiǎn)險(xiǎn)管理稅收收入入分析重點(diǎn)稅源源分析預(yù)預(yù)警數(shù)據(jù)倉庫庫要完成成的基礎(chǔ)礎(chǔ)工具原始憑證證定義工工具數(shù)據(jù)抽取取工具通用查詢詢工具風(fēng)險(xiǎn)管理理工具應(yīng)用管理理工具數(shù)據(jù)質(zhì)量量檢測工工具通用采集集工具元數(shù)據(jù)管管理工具具檔案管理理工具安徽國稅稅數(shù)據(jù)倉倉庫資源源集成各系系統(tǒng)的原原始憑證證。原始憑證證加工的的公用信信息。各類應(yīng)用用工具。。分析成果果。如何使用用數(shù)據(jù)倉倉庫省局管理理用戶的的使用省、市分分析用戶戶的使用用一般用戶戶的使用用安徽國稅稅數(shù)據(jù)倉倉庫的建建設(shè)概況況安徽國稅稅數(shù)據(jù)倉倉庫建設(shè)設(shè)項(xiàng)目與與浪潮公公司合作作完成的的。2008年9月1日，數(shù)據(jù)據(jù)倉庫一一期項(xiàng)目目啟動(dòng)2009年9月15日，用戶試運(yùn)運(yùn)行，同同年11月一期項(xiàng)項(xiàng)目通過過驗(yàn)收。。2010年8月啟動(dòng)數(shù)數(shù)據(jù)倉庫庫二期項(xiàng)項(xiàng)目。目目前已基基本完成成。登錄登錄地址址：http:///79..16..17..82::8710/可通過省省局網(wǎng)站站鏈接用戶：CTAIS用戶，134……。密碼默默認(rèn)為999999。IE設(shè)置添加IP地址：http:///79..16..17..82到可信任任的“網(wǎng)站”列表中，，安全級別別調(diào)整到到“低”。進(jìn)入【Internet選項(xiàng)】常規(guī)頁，，Internet臨時(shí)文件件框，，按“設(shè)置”按鈕，選選擇“每次訪問問此頁時(shí)時(shí)檢查”。詳細(xì)見下下載文檔檔。控件安裝裝進(jìn)入“安安徽國稅稅統(tǒng)一工工作平臺臺”，打打開頁面面“下載載安裝””鏈接，，系統(tǒng)檢檢測需安安裝的插插件，點(diǎn)點(diǎn)擊““系統(tǒng)插插件安裝裝”鏈接接。安裝裝下載的的“報(bào)表表”控件件。詳細(xì)見下下載文檔檔。安裝FLASH插件進(jìn)入“安徽國稅稅統(tǒng)一工工作平臺臺”，打開頁頁面“下載”按鈕，點(diǎn)點(diǎn)擊“FLASHPLAYER10插件下載載“超鏈接，，下載“FLASHPLAYER10”插件，安安裝下載載的“FLASHPLAYER10”插件。詳細(xì)見下下載文檔檔。解決樹形形菜單顯顯示問題題由于IE版本的不不同，樹樹形菜單單有時(shí)只只能顯示示第一層層，不能能顯示下下面的第第二