鼎天決策支持系統(tǒng)dtDSS白皮書

1、鼎天決策支持系統(tǒng)dtDSS決策支持系統(tǒng)（DSS）在政府決策支持方面有很大幫助。隨著電子政務(wù)系統(tǒng)的發(fā)展以及中國信息化程度的不斷提高，在政府決策支持方面需要不斷吸納新的信息處理技術(shù)，提高決策科學(xué)性和規(guī)范性，以達(dá)到提高政府辦公效率、促進(jìn)經(jīng)濟(jì)發(fā)展的目的。鼎天決策支持系統(tǒng)（dtDSS）,采用了數(shù)據(jù)倉庫，聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘等新技術(shù)，為黨政行業(yè)客戶在宏觀經(jīng)濟(jì)方面提供決策支持。1. 系統(tǒng)概述1.1 DSS概述自70年代提出決策支持系統(tǒng)(DSS)以來,DSS已經(jīng)得到了很大發(fā)展。它是在管理信息系統(tǒng)(MIS)基礎(chǔ)上發(fā)展起來的。MIS是利用數(shù)據(jù)庫技術(shù)實現(xiàn)各級管理者的管理業(yè)務(wù),在計算機(jī)上進(jìn)行各種事務(wù)處理工作。DSS

2、則是要為各級管理者提供輔助決策的能力。 1980年Sprague提出了決策支持系統(tǒng)三部件結(jié)構(gòu),即對話部件、數(shù)據(jù)部件(數(shù)據(jù)庫DB和數(shù)據(jù)庫管理系統(tǒng)DBMS)、模型部件(模型庫MB和模型庫管理系統(tǒng)MBMS)。該結(jié)構(gòu)明確了DSS 的組成,也間接地反映了DSS的關(guān)鍵技術(shù),即模型庫管理系統(tǒng)、部件接口、系統(tǒng)綜合集成。它為DSS的發(fā)展起到了很大的推動作用。 1981年Bonczak等提出了DSS三系統(tǒng)結(jié)構(gòu),即語言系統(tǒng)(LS)、問題處理系統(tǒng)(PPS)、知識系統(tǒng)(KS)。該結(jié)構(gòu)在"問題處理系統(tǒng)"和"知識系統(tǒng)"上具有特色,并在一定范圍內(nèi)有其影響,但它與人工智能的專家系統(tǒng)(ES

3、)容易混淆。 決策支持系統(tǒng)主要是以模型庫系統(tǒng)為主體,通過定量分析進(jìn)行輔助決策。其模型庫中的模型已經(jīng)由數(shù)學(xué)模型擴(kuò)大到數(shù)據(jù)處理模型、圖形模型等多種形式,可以概括為廣義模型。決策支持系統(tǒng)的本質(zhì)是將多個廣義模型有機(jī)組合起來,對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行處理而形成決策問題大模型。決策支持系統(tǒng)的輔助決策能力從運(yùn)籌學(xué)、管理科學(xué)的單模型輔助決策發(fā)展到多模型綜合決策,使輔助決策能力上了一個新臺階。   80年代末90年代初,決策支持系統(tǒng)與專家系統(tǒng)結(jié)合起來,形成了智能決策支持系統(tǒng)(I DSS)。專家系統(tǒng)是定性分析輔助決策,它和以定量分析輔助決策的決策支持系統(tǒng)結(jié)合,進(jìn)一步提高了輔助決策能力。智能決策支持系統(tǒng)是決策

4、支持系統(tǒng)發(fā)展的一個新階段。 1.2 數(shù)據(jù)倉庫和OLAP的決策支持技術(shù)  數(shù)據(jù)倉庫和OLAP是90年代初提出的概念,到90年代中期已經(jīng)形成潮流。在美國,數(shù)據(jù)倉庫已成為緊次于Internet之后的又一技術(shù)熱點。數(shù)據(jù)倉庫是市場激烈競爭的產(chǎn)物,它的目標(biāo)是達(dá)到有效的決策支持。大型企業(yè)幾乎都建立或計劃建立自己的數(shù)據(jù)倉庫,數(shù)據(jù)庫廠商也紛紛推出自己的數(shù)據(jù)倉庫軟件。目前,已建立和使用的數(shù)據(jù)倉庫應(yīng)用系統(tǒng)都取得了明顯的經(jīng)濟(jì)效益,在市場競爭中顯示了強(qiáng)勁的活力。 數(shù)據(jù)倉庫將大量用于事務(wù)處理的傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)進(jìn)行清理、抽取和轉(zhuǎn)換,并按決策主題的需要進(jìn)行重新組織。數(shù)據(jù)倉庫的邏輯結(jié)構(gòu)可分為近期基本數(shù)據(jù)層、歷史數(shù)據(jù)層和

5、綜合數(shù)據(jù)層(其中綜合數(shù)據(jù)是為決策服務(wù)的)。數(shù)據(jù)倉庫的物理結(jié)構(gòu)一般采用星型結(jié)構(gòu)的關(guān)系數(shù)據(jù)庫。星型結(jié)構(gòu)由事實表和維表組成,多個維表之間形成多維數(shù)據(jù)結(jié)構(gòu)。星型結(jié)構(gòu)的數(shù)據(jù)體現(xiàn)了空間的多維立方體。這種高度集中的數(shù)據(jù)為各種不同決策需求提供了有用的分析基礎(chǔ)。 聯(lián)機(jī)分析處理(OLAP)的概念最早是由關(guān)系數(shù)據(jù)庫之父E.F.Codd于1993年提出的。當(dāng)時,Codd認(rèn)為聯(lián)機(jī)事務(wù)處理(OLTP)已不能滿足終端用戶對數(shù)據(jù)庫查詢分析的需要,SQL對大數(shù)據(jù)庫進(jìn)行的簡單查詢也不能滿足用戶分析的需求。用戶的決策分析需要對關(guān)系數(shù)據(jù)庫進(jìn)行大量計算才能得到結(jié)果,而查詢的結(jié)果并不能滿足決策者提出的需求。因此Codd提出了多維數(shù)據(jù)庫和

6、多維分析的概念,即OLAP。隨著數(shù)據(jù)倉庫的發(fā)展,OLAP也得到了迅猛的發(fā)展。數(shù)據(jù)倉庫側(cè)重于存儲和管理面向決策主題的數(shù)據(jù);而OLAP則側(cè)重于數(shù)據(jù)倉庫中的數(shù)據(jù)分析,并將其轉(zhuǎn)換成輔助決策信息。OL AP的一個重要特點是多維數(shù)據(jù)分析,這與數(shù)據(jù)倉庫的多維數(shù)據(jù)組織正好形成相互結(jié)合、相互補(bǔ)充的關(guān)系。OLAP技術(shù)中比較典型的應(yīng)用是對多維數(shù)據(jù)的切片和切塊、鉆取、旋轉(zhuǎn)等 ,它便于使用者從不同角度提取有關(guān)數(shù)據(jù)。OLAP技術(shù)還能夠利用分析過程對數(shù)據(jù)進(jìn)行深入分析和加工。例如,關(guān)鍵指標(biāo)數(shù)據(jù)常常用代數(shù)方程進(jìn)行處理,更復(fù)雜的分析則需要建立模型進(jìn)行計算。 以數(shù)據(jù)倉庫和OLAP相結(jié)合建立的輔助決策系統(tǒng)是決策支持系統(tǒng)的新形式。Bu

7、siness Object(BO)推出的智能決策支持系統(tǒng)工具BO 4.0是以O(shè)LAP技術(shù)為主體的、集查詢和報表為一體的決策支持系統(tǒng)開發(fā)工具。該工具的一個重要特點是提出了"語義層"和"語義動態(tài)對象"的概念。語義層是將數(shù)據(jù)庫中的列(字段)按決策主題重組為面向用戶的對象,對象可以是數(shù)據(jù)庫中的表、列、連接(多字段組合)以及對多字段進(jìn)行運(yùn)算的表達(dá)式。語義動態(tài)對象是對已經(jīng)定義的語義層對象進(jìn)行任意組合后形成決策需要的新表,并將表中的數(shù)據(jù)以可視化的方式在屏幕上顯示或以報表的形式打印出來。 OLAP技術(shù)是對由語義動態(tài)對象建立的、以動態(tài)微立方結(jié)構(gòu)形式存儲的表進(jìn)行向下鉆取、向

8、上鉆取、跨越鉆取、切片和切塊等操作。BO 4.0的網(wǎng)絡(luò)版使用戶能夠在網(wǎng)上通過瀏覽器查看或下載BO報表。 dtDSS包括三個主體。第一個主體是模型庫系統(tǒng)和數(shù)據(jù)庫系統(tǒng)的結(jié)合,它是決策支持的基礎(chǔ),為決策問題提供定量分析(模型計算)的輔助決策信息。第二個主體是數(shù)據(jù)倉庫、OLAP,它從數(shù)據(jù)倉庫中提取綜合數(shù)據(jù)和信息,這些數(shù)據(jù)和信息反映了大量數(shù)據(jù)的內(nèi)在本質(zhì)。第三個主體是專家系統(tǒng)和數(shù)據(jù)開采的結(jié)合。數(shù)據(jù)開采從數(shù)據(jù)庫和數(shù)據(jù)倉庫中挖掘知識,并將其放入專家系統(tǒng)的知識庫中,由進(jìn)行知識推理的專家系統(tǒng)達(dá)到定性分析輔助決策。 綜合體系結(jié)構(gòu)的三個主體既可以相互補(bǔ)充又可以相互結(jié)合。它可以根據(jù)實際問題的規(guī)模和復(fù)雜程度決定是采用單個

9、主體輔助決策,還是采用兩個或是三個主體的相互結(jié)合輔助決策。利用第一個主體的輔助決策系統(tǒng)就是傳統(tǒng)意義下的決策支持系統(tǒng)。利用第一個主體和第三個主體相結(jié)合的輔助決策系統(tǒng)就是智能決策支持系統(tǒng)。利用第二個主體的輔助決策系統(tǒng)就是新的決策支持系統(tǒng)。在OLAP中利用模型庫的有關(guān)模型,可以提高OLAP的數(shù)據(jù)分析能力。將三個主體結(jié)合起來,即利用"問題綜合和交互系統(tǒng)"部件集成三個主體,這樣形成的綜合決策支持系統(tǒng)是一種更高形式的輔助決策系統(tǒng),其輔助決策能力將上一個新臺階。由于這種形式的決策支持系統(tǒng)包含了眾多的關(guān)鍵技術(shù),研制過程中將要克服很多困難,這也是我們今后努力的方向。2. 決策支持系統(tǒng)體系結(jié)構(gòu)

10、決策支持系統(tǒng)體系結(jié)構(gòu)如下圖所示：3. 決策支持系統(tǒng)的實現(xiàn)步驟整合數(shù)據(jù)資源，逐步建立數(shù)據(jù)倉庫數(shù)據(jù)提?。?a) 對于建立在本身具有ODBC和JDBC接口的數(shù)據(jù)庫管理系統(tǒng)（如: MS SQL Server, Oracle, DB2, Sybase等）之上的各個數(shù)據(jù)庫，可以通過ODBC或JDBC接口提取出來，在經(jīng)過數(shù)據(jù)清理與整合之后，再通過ODBC或JDBC接口導(dǎo)入建立在DM3平臺上的數(shù)據(jù)倉庫。目前DM3（國產(chǎn)安全關(guān)系數(shù)據(jù)庫）已經(jīng)具備ODBC和JDBC接口。b) 對于不具備ODBC和JDBC接口的數(shù)據(jù)庫（如：直接以一般的文本文件集合構(gòu)成的數(shù)據(jù)庫），則通過基于XML的中間件提取數(shù)據(jù)和導(dǎo)入數(shù)據(jù)倉庫。為此，

11、需要針對這些數(shù)據(jù)庫各自的特性，開發(fā)將其中的數(shù)據(jù)發(fā)布成XML格式的工具；如有現(xiàn)成的第三方工具，亦可考慮采用。目前DM3正在參照國際上成熟的技術(shù)，實現(xiàn)以關(guān)系型數(shù)據(jù)庫存儲和發(fā)布XML數(shù)據(jù)。數(shù)據(jù)清理與集成：數(shù)據(jù)倉庫中的數(shù)據(jù)是用于決策支持，因此必須力求數(shù)據(jù)的正確性。從各個數(shù)據(jù)庫中提取過來的數(shù)據(jù)有可能是“臟“的，可能包含了重復(fù)的記錄，數(shù)據(jù)不完整或者數(shù)據(jù)記錄之間不一致。因此需要有數(shù)據(jù)清理和集成工具來消去重復(fù)；為不完整的數(shù)據(jù)添補(bǔ)丟失的字段值；解決數(shù)據(jù)之間的所有矛盾之處，如字段的同名異義、異名同義、量綱不統(tǒng)一、字段長度不一致等等。數(shù)據(jù)清理與集成是數(shù)據(jù)倉庫建設(shè)中最關(guān)鍵、最復(fù)雜的一步。數(shù)據(jù)的異常往往極其煩瑣，有的是

12、由無意的錄入錯誤所引起，有的則是因為數(shù)據(jù)格式不統(tǒng)一，表達(dá)習(xí)慣不同等等造成的。數(shù)據(jù)的異常與特定情況緊密相關(guān)，因此很難有完全通用的工具。但是這些工具本質(zhì)上并不存在很大的技術(shù)障礙，主要是工作量龐雜。DM3可以開發(fā)自己的數(shù)據(jù)清理與集成工具，或者可能直接利用政務(wù)系統(tǒng)綜合數(shù)據(jù)支撐平臺。數(shù)據(jù)加載與刷新：經(jīng)過數(shù)據(jù)提取、數(shù)據(jù)清理與集成之后，數(shù)據(jù)就加載到數(shù)據(jù)倉庫之中。在加載過程中可能需要同時進(jìn)行一些額外的處理：檢查數(shù)據(jù)完整性約束，排序，匯總以及建立索引等等。數(shù)據(jù)刷新就是將各個數(shù)據(jù)來源（各司局?jǐn)?shù)據(jù)庫）中發(fā)生的更新傳播到數(shù)據(jù)倉庫。刷新有兩個關(guān)鍵問題： 何時刷新和怎么刷新。數(shù)據(jù)加載和刷新通常都是采取批處理的方式來完成。

13、數(shù)據(jù)加載基本上都可以利用DM3的現(xiàn)有功能實現(xiàn)。最簡單的數(shù)據(jù)刷新就是重新進(jìn)行數(shù)據(jù)加載。另一方面，DM3可以采用成熟技術(shù)開發(fā)增量式刷新工具。數(shù)據(jù)集市：根據(jù)具體需要，可以在各司局建立局部的數(shù)據(jù)倉庫，即數(shù)據(jù)集市。整個數(shù)據(jù)倉庫則建立在所有數(shù)據(jù)集市之上。探索建立決策模型，提高決策支持系統(tǒng)的易用性。與決策者緊密配合，不斷了解決策需求，決策流程以及決策思維習(xí)慣等等相關(guān)信息，探索建立相應(yīng)的決策模型。在決策模型的基礎(chǔ)上，不僅構(gòu)建通用的數(shù)據(jù)分析平臺，而且在了解決策者的個性化要求之后，預(yù)先定制一體化的決策支持個性系統(tǒng)，方便決策者的使用，提高決策效率。研究與開發(fā)高效方便的數(shù)據(jù)分析工具，充分發(fā)掘數(shù)據(jù)倉庫中的有用信息，為優(yōu)

14、化決策提供支持。數(shù)據(jù)查詢與報表工具：決策支持查詢類似傳統(tǒng)的SQL查詢，不同之處在于，決策支持查詢通常要匯總大量的、較低層數(shù)據(jù)，包含較復(fù)雜的計算過程。為了滿足對這一類查詢的快速響應(yīng)，需要優(yōu)化數(shù)據(jù)倉庫的物理數(shù)據(jù)組織，建立能夠高效支持復(fù)雜連接操作的索引。此外，還可以采取實化視圖機(jī)制，根據(jù)用戶的查詢模式預(yù)先計算大量的查詢，當(dāng)后續(xù)相同的查詢或類似的查詢到來之時，不用再次從頭計算，而是利用先前的結(jié)果進(jìn)行快速響應(yīng)。目前DM3已經(jīng)具備智能報表工具系統(tǒng)。正在研究開發(fā)實化視圖機(jī)制，使智能報表工具系統(tǒng)以后能夠利用實化視圖來快速響應(yīng)決策支持查詢。OLAP服務(wù)器：聯(lián)機(jī)分析處理工具將數(shù)據(jù)倉庫中的數(shù)據(jù)組織成多維數(shù)據(jù)立方的形

15、式，支持復(fù)雜的多維分析，符合人們?nèi)粘６嘟嵌取⒍鄠?cè)面看問題的分析習(xí)慣。典型的OLAP操作包括：上鉆（rollup，也就是增加數(shù)據(jù)的抽象匯總程度，減少細(xì)節(jié)），下鉆（drill-down，也就是增加數(shù)據(jù)的具體程度，獲取更多的細(xì)節(jié)），切片和切塊(slice-and-dice，也就是選取數(shù)據(jù)立方中的某些單元投影出來)，以及旋轉(zhuǎn)（pivot, 也就是改變多維數(shù)據(jù)視圖的顯示角度）。簡而言之，多維數(shù)據(jù)立方就是傳統(tǒng)二維報表的多維化。目前已經(jīng)基于DM3構(gòu)建了關(guān)系型OLAP服務(wù)器原型系統(tǒng)（ROLAP服務(wù)器），包括數(shù)據(jù)立方構(gòu)造和瀏覽工具。ROLAP服務(wù)器通過星型模式或雪花模式以關(guān)系數(shù)據(jù)庫的二維表來模擬多維數(shù)據(jù)模型。多

16、維數(shù)據(jù)立方就是事實表的實化視圖。數(shù)據(jù)立方瀏覽工具整合了上述上鉆、下鉆、切片和切塊以及旋轉(zhuǎn)操作，用戶只需用鼠標(biāo)點擊就能查看數(shù)據(jù)立方中任意單元中度量匯總值。投標(biāo)方正在研究開發(fā)利用數(shù)據(jù)立方索引加快數(shù)據(jù)立方瀏覽，進(jìn)一步完善用戶界面，和實現(xiàn)編程接口。數(shù)據(jù)挖掘工具：數(shù)據(jù)挖掘，又稱數(shù)據(jù)庫中的知識發(fā)現(xiàn)，就是在大量數(shù)據(jù)中發(fā)現(xiàn)潛在可用的模式。主流數(shù)據(jù)挖掘技術(shù)包括：關(guān)聯(lián)(association)，分類(classification)，聚類(clustering)和回歸(regression)。一個關(guān)聯(lián)規(guī)則的例子就是“90的客戶在購買面包和黃油的同時也會購買牛奶”。其直觀的意義就是客戶在購買某些東西的時候有多大的傾向

17、也會購買另外一些東西。分類就是首先利用類別已經(jīng)表定的樣本數(shù)據(jù)進(jìn)行訓(xùn)練，然后利用所發(fā)現(xiàn)的分類規(guī)則對新的個例進(jìn)行自動分類，也就是通過個例的其它屬性值來預(yù)測它的類別值。聚類與分類的不同之處在于，它的訓(xùn)練樣本沒有進(jìn)行類別標(biāo)定?；貧w則是通過個例的其它屬性值預(yù)測連續(xù)性變量的數(shù)值。完整的數(shù)據(jù)挖掘過程除了挖掘步驟之外，還包括數(shù)據(jù)準(zhǔn)備和模式表述兩個步驟。分析人員對挖掘出來的模式進(jìn)行評價，如果不滿意，就可重復(fù)這一挖掘過程。數(shù)據(jù)挖掘常?；跀?shù)據(jù)倉庫進(jìn)行，這是因為數(shù)據(jù)倉庫中保存的是已經(jīng)經(jīng)過整合的高質(zhì)量數(shù)據(jù)，從而可以省略或簡化數(shù)據(jù)準(zhǔn)備步驟。目前投標(biāo)方已經(jīng)建立了基于DM3的關(guān)聯(lián)規(guī)則集成挖掘原型系統(tǒng)。對于分類，聚類和回歸，正在參照SQL-99中的數(shù)據(jù)挖掘部分對算子和API的定義，基于成熟的主流技術(shù)，展開研究和開發(fā)。4. 決策支持系統(tǒng)領(lǐng)導(dǎo)個性化服務(wù)決策支持系統(tǒng)領(lǐng)導(dǎo)個性化服務(wù)是根據(jù)領(lǐng)導(dǎo)在第一次使用時做的個性化設(shè)定，如最關(guān)心、最感興趣主題，頁面背景與字體等，在領(lǐng)導(dǎo)每次進(jìn)入系統(tǒng)時顯示出其個性化頁面，并具有相應(yīng)的問候語等功能。最感興趣新聞主題：當(dāng)領(lǐng)導(dǎo)設(shè)定了其最感興趣的主題后，系統(tǒng)將在選定的互聯(lián)網(wǎng)的有關(guān)網(wǎng)站站點上定時搜集相關(guān)話題的內(nèi)容，在領(lǐng)導(dǎo)進(jìn)入個性化頁面時，將在優(yōu)先的位置顯示這些主題內(nèi)容；頁面背景與字體：頁面背景顏色和頁面字體可隨領(lǐng)導(dǎo)的喜好設(shè)定的變化