數(shù)據(jù)庫系統(tǒng)設(shè)計

第三節(jié)數(shù)據(jù)庫系統(tǒng)設(shè)計一、數(shù)據(jù)分布形式根據(jù)許多公司目前的業(yè)務(wù)管理模式，數(shù)據(jù)庫組織形式有兩種方式，一種是所有數(shù)據(jù)集中存放在總部，另一種方式是把數(shù)據(jù)分總部、各大片區(qū)兩級存放。1、集中方式分析目前國內(nèi)致力于發(fā)展第三方物流業(yè)的各大型公司（如中海、中遠(yuǎn)等），其業(yè)務(wù)開展存在一個共同的特點：都需要在總部的統(tǒng)一領(lǐng)導(dǎo)下，在各地分布自己的網(wǎng)點或代理機(jī)構(gòu)，由總部控制和計劃其總體業(yè)務(wù)，各地區(qū)分支機(jī)構(gòu)根據(jù)具體情況開展各自的業(yè)務(wù)。各平行的業(yè)務(wù)機(jī)構(gòu)之間（如地區(qū)與地區(qū)之間或口岸之間）較少發(fā)生重要的業(yè)務(wù)數(shù)據(jù)往來，主要的業(yè)務(wù)數(shù)據(jù)來往幾乎都集中在上級業(yè)務(wù)機(jī)構(gòu)與直屬的下級業(yè)務(wù)機(jī)構(gòu)之間，因此，業(yè)務(wù)結(jié)構(gòu)大部分是集中式的層次結(jié)構(gòu)。對于這種集中式的分布方式，有著以下的可行性：首先，對于網(wǎng)絡(luò)而言，伴隨著主干網(wǎng)上ATM和千兆以太網(wǎng)技術(shù)的使用，主干網(wǎng)上帶寬已能達(dá)到622Mbps以上，網(wǎng)絡(luò)上的瓶頸問題已不在存在。其次，從主機(jī)方面來說，主機(jī)在硬件性能提高的同時，知名廠商的操作系統(tǒng)都是64位的，使得能支持的內(nèi)存、磁盤空間更大，因此能滿足大用戶量的需要。另外，數(shù)據(jù)庫技術(shù)也在日新月異，在性能、可伸縮性和可擴(kuò)展性上能滿足當(dāng)今企業(yè)所面臨的一切挑戰(zhàn)。這些都為數(shù)據(jù)的集中存放提供了技術(shù)上的保障。如圖10-5所示的其中一種配置方案：服務(wù)器2服務(wù)器1數(shù)據(jù)庫客戶機(jī)客戶機(jī)客戶機(jī)圖10-5數(shù)據(jù)庫集中式的分布方式-1-這種集中方式有著許多的優(yōu)點，第一，數(shù)據(jù)集中管理、維護(hù)，系統(tǒng)維護(hù)成本低；第二，網(wǎng)絡(luò)擴(kuò)展性強(qiáng)，便于以后的發(fā)展；第三，安全性好；第四，應(yīng)用系統(tǒng)的編制規(guī)范統(tǒng)一，易于實現(xiàn)數(shù)據(jù)的一致性。當(dāng)然，也有一些缺點，例如，該分布方式對主機(jī)的硬件配置要求較高，要能支持大量用戶的同時訪問。同時，對網(wǎng)絡(luò)流量要求高，網(wǎng)上有大量流動信息。并且，對數(shù)據(jù)庫要求高，要能同時滿足OLTP、DSS及Web應(yīng)用，在數(shù)據(jù)中心點易形成瓶頸。2、兩級分布方式從企業(yè)的角度來講，如果只允許存在一個數(shù)據(jù)處理中心，那么就是集中式的結(jié)構(gòu)，如果允許存在多個數(shù)據(jù)處理中心，則為分布式結(jié)構(gòu)。對于某一個數(shù)據(jù)處理中心來說，其設(shè)備配置也有“集中式”和“分布式”之分。如圖10-6所示，總部有自己的數(shù)據(jù)處理中心，片區(qū)也有自己的數(shù)據(jù)處理中心。服務(wù)器2服務(wù)器1數(shù)據(jù)庫總部數(shù)據(jù)庫服務(wù)器1服務(wù)器2各片區(qū)客戶機(jī)客戶機(jī)客戶機(jī)圖10-6數(shù)據(jù)庫兩級分布方式這種配置方式的優(yōu)點在于可以保護(hù)各個片區(qū)的已有投資，從而避免不必要的浪費，缺點從圖中可以知曉，其管理相當(dāng)復(fù)雜。二、數(shù)據(jù)庫系統(tǒng)選型分析現(xiàn)在信息系統(tǒng)的特點，不難看出龐大的數(shù)據(jù)量是它的一個突出特點，如何對如此大量的數(shù)據(jù)進(jìn)行有效地處理無疑十分關(guān)鍵，數(shù)據(jù)庫系統(tǒng)是解決這個問題的有效途徑。由于以下原因，一個公司的數(shù)據(jù)庫軟件的選擇是非常關(guān)鍵的：1）信息是最重要的資產(chǎn)(asset)，公司需要能夠確保他們數(shù)據(jù)的安全性，以便他們能夠利用信息進(jìn)行業(yè)務(wù)決策。2）數(shù)據(jù)庫位于所有關(guān)鍵業(yè)務(wù)應(yīng)用的核心位置。沒有其他任何產(chǎn)品能夠象數(shù)據(jù)庫那樣對整個IT結(jié)構(gòu)有如此大的影響。選擇錯誤的數(shù)據(jù)庫可能產(chǎn)生巨大的不良影響。3）一個數(shù)據(jù)庫系統(tǒng)的軟件投資、實現(xiàn)和開發(fā)是巨大的，所以它需要人們投入大量的工-2-作、并持之以恒；它需要隨著公司需求的不斷變化而改進(jìn)。三、數(shù)據(jù)庫系統(tǒng)的基本類型數(shù)據(jù)庫系統(tǒng)基本可以分成三種類型，即層次數(shù)據(jù)庫、網(wǎng)狀數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫。目前比較流行的是關(guān)系型數(shù)據(jù)庫系統(tǒng)及其變體對象關(guān)系型數(shù)據(jù)庫系統(tǒng)，具有代表性的是Oracle、DB2、SQLServer和Sybase等。隨著數(shù)據(jù)庫應(yīng)用領(lǐng)域的不斷擴(kuò)展，近來又有了一些新的發(fā)展，出現(xiàn)了面向?qū)ο髷?shù)據(jù)庫系統(tǒng)，并行數(shù)據(jù)庫系統(tǒng)和分布式數(shù)據(jù)庫系統(tǒng)等。四、數(shù)據(jù)庫技術(shù)的最新發(fā)展1．并行數(shù)據(jù)庫技術(shù)數(shù)據(jù)庫的并行處理(ParallelProcessing)是提高數(shù)據(jù)庫系統(tǒng)對事務(wù)快速響應(yīng)能力的有效手段。從硬件上講，并行處理是設(shè)置若干個能同時工作的部件和設(shè)備，如CPU部件與外設(shè)并行；多個外設(shè)并行；多個CPU并行等。從軟件上講，并行處理是設(shè)置若干個可以同時運行的單位(如線程)，些這并行單位可以完成相同或不同的數(shù)據(jù)處理功能。目前并行計算機(jī)的體系結(jié)構(gòu)主要有以下幾大類：第一類是緊耦合全對稱多處理器(SMP)系統(tǒng)，所有的CPU共享內(nèi)存與磁盤；第二類是松耦合群集機(jī)系統(tǒng)，所有CPU共享磁盤；第三類是大規(guī)模并行處理(MPP)系統(tǒng)，所有CPU均有自己的內(nèi)存與磁盤。此外還有混合結(jié)構(gòu)，常見的是SMP群集機(jī)系統(tǒng)(SMPCluster)，即MPP系統(tǒng)的每個結(jié)點不是一個單一的處理器，而是一個SMP系統(tǒng)。相應(yīng)地，并行數(shù)據(jù)庫系統(tǒng)的體系結(jié)構(gòu)也主要有以下3種：共享內(nèi)存(Share-Memory)結(jié)構(gòu)、共享磁盤(Shared-Disk)結(jié)構(gòu)和無共享資源(Shared-Nothing)結(jié)構(gòu)等。并行數(shù)據(jù)庫技術(shù)包括了對數(shù)據(jù)庫的分區(qū)管理和并行查詢。它通過將一個數(shù)據(jù)庫任務(wù)分割成多個子任務(wù)的方法由多個處理機(jī)協(xié)同完成個這任務(wù)，從而極大地提高了事務(wù)處理能力，并且通過數(shù)據(jù)分區(qū)可以實現(xiàn)數(shù)據(jù)的并行I/O操作。DBMS進(jìn)程結(jié)構(gòu)的最新發(fā)展為數(shù)據(jù)庫的并行處理奠定了基礎(chǔ)。多線程技術(shù)和虛擬服務(wù)器技術(shù)是并行數(shù)據(jù)庫技術(shù)實現(xiàn)中采用的重要技術(shù)。一個理想的并行數(shù)據(jù)庫系統(tǒng)應(yīng)能充分利用硬件平臺的并行性，采用多進(jìn)程多線程的數(shù)據(jù)庫結(jié)構(gòu)，提供不同粒度(Granularity)的并行性；不同用戶事務(wù)間的并行性、同一事務(wù)內(nèi)不同查詢間的并行性、同一查詢內(nèi)不同操作間的并行性和同一操作內(nèi)的并行性。2．分布式數(shù)據(jù)庫系統(tǒng)隨著數(shù)據(jù)存儲的分布性需求日益廣泛，對分布式數(shù)據(jù)的管理和訪問就成為數(shù)據(jù)庫技術(shù)必須解決的問題。由于一個事務(wù)所涉及的數(shù)據(jù)可能分布在多個結(jié)點上，這就要求數(shù)據(jù)庫系統(tǒng)具備一個優(yōu)化的分布查詢策略。對于這種分布執(zhí)行的事務(wù)，系統(tǒng)要保證事務(wù)執(zhí)行的原子性和可串行化，以及解決分布環(huán)境下的安全問題、恢復(fù)問題、分布透明性、節(jié)點自治、全局命令空間、分布式查詢、分布式更新、數(shù)據(jù)分布與復(fù)制、兩階段提交(2PC)、網(wǎng)絡(luò)數(shù)據(jù)字典(NDD)等關(guān)鍵問題。分布式數(shù)據(jù)庫系統(tǒng)正是為解決上述問題而設(shè)計的。一個分布式數(shù)據(jù)庫系統(tǒng)由一個邏輯數(shù)據(jù)庫組成，個這邏輯數(shù)據(jù)庫的數(shù)據(jù)存儲在一個或多個結(jié)點的物理數(shù)據(jù)庫上，通過兩階段提交(2PC)協(xié)議來提供透明的數(shù)據(jù)訪問和事務(wù)管理。分布式數(shù)據(jù)庫系統(tǒng)在系統(tǒng)結(jié)構(gòu)上的真正含義是指物理上分布、邏輯上集中的分布式數(shù)據(jù)庫結(jié)構(gòu)。數(shù)據(jù)在物理上分布后，由系統(tǒng)統(tǒng)一管理，使用戶不感到數(shù)據(jù)的分布。用戶看到的似乎不是一個分布式數(shù)據(jù)庫，而是一個數(shù)據(jù)模式為全局?jǐn)?shù)據(jù)模式的集中式數(shù)據(jù)庫。分布式數(shù)據(jù)庫有利于改善性能、可擴(kuò)充性好、可用性好以及具有自治性等優(yōu)點。目前主要應(yīng)用在在證券交易和銀行清算系統(tǒng)中。3．?dāng)?shù)據(jù)倉庫、數(shù)據(jù)挖掘與數(shù)據(jù)庫的連機(jī)分析處理技術(shù)-3-

快速、準(zhǔn)確、高效地收集和分析信息是企業(yè)提高決策水平和增強(qiáng)企業(yè)競爭力的重要手段。企業(yè)數(shù)據(jù)就象埋藏在深山中的金礦，如果不能供企業(yè)決策人員使用，就不能充分發(fā)揮其應(yīng)有的價值。建立以數(shù)據(jù)倉庫(DataWarehouse，DW)技術(shù)為基礎(chǔ)、以數(shù)據(jù)庫的連機(jī)分析處理(OnLineAnalyticalProcessing，OLAP)技術(shù)和數(shù)據(jù)挖掘(DataMining，DM)技術(shù)為實現(xiàn)手段的的決策支持系統(tǒng)是解決上述問題的一種有效、可行的體系化解決方案。數(shù)據(jù)倉庫是利用計算機(jī)和數(shù)據(jù)庫技術(shù)的最新進(jìn)展，把整個企業(yè)的數(shù)據(jù)，無論其地理位置、格式和通信要求統(tǒng)統(tǒng)集成在一起，并能把當(dāng)前使用的業(yè)務(wù)信息分離出來，保證關(guān)鍵任務(wù)的OLTP應(yīng)用的安全性和完整性，同時可以訪問各種各樣的數(shù)據(jù)庫。數(shù)據(jù)倉庫不是單一的產(chǎn)品，而是由軟硬件技術(shù)組成的環(huán)境。它把各種數(shù)據(jù)庫(源數(shù)據(jù)庫)集成為一個統(tǒng)一的數(shù)據(jù)倉庫(目標(biāo)數(shù)據(jù)庫)，并且把各種數(shù)據(jù)轉(zhuǎn)換成面向主題(SubjectOriented)的格式，能從異構(gòu)的數(shù)據(jù)源中定期抽取、轉(zhuǎn)換和集成所需要的數(shù)據(jù)，便于最終用戶訪問并能從歷史的角度進(jìn)行分析，最后做出戰(zhàn)略決策。數(shù)據(jù)挖掘是從大型數(shù)據(jù)庫或數(shù)據(jù)倉庫中發(fā)現(xiàn)并提取隱藏在其中的信息的一種新技術(shù)，目的是幫助決策者尋找數(shù)據(jù)間潛在的關(guān)聯(lián)，發(fā)現(xiàn)被忽略的要素，而這些信息對預(yù)測趨勢和決策行為也許是十分有用的。數(shù)據(jù)挖掘技術(shù)涉及數(shù)據(jù)庫、人工智能(AI)、機(jī)器學(xué)習(xí)和統(tǒng)計分析等多種技術(shù)。數(shù)據(jù)挖掘技術(shù)能從DW中自動分析數(shù)據(jù)，進(jìn)行歸納性推理，從中發(fā)掘出潛在的模式，或產(chǎn)生聯(lián)想，建立新的業(yè)務(wù)模型，幫助決策者調(diào)整市場策略，做出正確的決策。數(shù)據(jù)挖掘表明，知識就隱藏在日常積累下來的大量數(shù)據(jù)之中，而僅靠復(fù)雜的算法和推理并不能發(fā)現(xiàn)知識，數(shù)據(jù)才是知識的真正源泉。數(shù)據(jù)挖掘為AI的發(fā)展指出了一條新的發(fā)展道路。數(shù)據(jù)庫的連機(jī)分析處理技術(shù)是以超大規(guī)模數(shù)據(jù)庫(VLDB)或數(shù)據(jù)倉庫為基礎(chǔ)對數(shù)據(jù)進(jìn)行多維化和預(yù)綜合分析，構(gòu)建面向分析的多維數(shù)據(jù)模型，再使用多維分析方法從多個不同角度對多維數(shù)據(jù)進(jìn)行分析、比較，找出它們之間的內(nèi)在聯(lián)系。OLAP使分析活動從方法驅(qū)動轉(zhuǎn)向了數(shù)據(jù)驅(qū)動，分析方法和數(shù)據(jù)結(jié)構(gòu)實現(xiàn)了分離。數(shù)據(jù)倉庫、OLAP和數(shù)據(jù)挖掘是3種獨立的信息處理技術(shù)。數(shù)據(jù)倉庫用于數(shù)據(jù)的存儲和組織；OLAP集中于數(shù)據(jù)的分析；數(shù)據(jù)挖掘則致力于知識的自動發(fā)現(xiàn)。它們可以分別應(yīng)用到信息系統(tǒng)的設(shè)計和實現(xiàn)中，以提高相應(yīng)部分的處理能力。在現(xiàn)代的決策支持系統(tǒng)解決方案中，綜合DW技術(shù)、OLAP技術(shù)和DM技術(shù)是最有前途的選擇。4．面向?qū)ο髷?shù)據(jù)庫系統(tǒng)面向?qū)ο?Object-Oriented，OO)數(shù)據(jù)庫系統(tǒng)是數(shù)據(jù)庫技術(shù)與OO技術(shù)相結(jié)合的產(chǎn)物。在面向?qū)ο髷?shù)據(jù)庫(OODB)產(chǎn)生之初，就受到整個學(xué)術(shù)界和工業(yè)界的關(guān)注。這是因為OO數(shù)據(jù)模型比傳統(tǒng)數(shù)據(jù)模型具有以下優(yōu)勢：①具有表示和構(gòu)造復(fù)雜對象的能力；②通過封裝和消息隱藏技術(shù)提供了程序的模塊化機(jī)制；③繼承和類層次技術(shù)提供了軟件的重用機(jī)制；④通過滯后聯(lián)編等概念提供系統(tǒng)擴(kuò)充能力。但是OODB至今沒有統(tǒng)一的標(biāo)準(zhǔn)，這又是因為OODB的發(fā)展具有以下的特點：①缺乏通用的數(shù)據(jù)模型；②缺乏堅實的形式化的理論基礎(chǔ)；③具有較強(qiáng)的實踐性。五、選擇數(shù)據(jù)庫需要考慮的因素：如何