基于OracleExadata的數(shù)據(jù)庫整合及性能優(yōu)化

基于OracleExadata的數(shù)據(jù)庫整合及性能優(yōu)化摘要：OracleExadata將智能存儲軟件和標準化硬件相結合，提供了高性能及高穩(wěn)定性的數(shù)據(jù)庫存儲服務。對其配置及有特色的功能進行了介紹，在使用及深入研究之后，通過對數(shù)據(jù)庫整合及其參數(shù)配置性能優(yōu)化的方式，提高了其整體運行效率。關鍵詞：OracleExadata；數(shù)據(jù)庫整合；性能優(yōu)化0引言隨著數(shù)據(jù)庫系統(tǒng)規(guī)模的增加，傳統(tǒng)的系統(tǒng)架構的瓶頸問題越來越突出。首先在存儲層，隨著長時間的運行會帶來數(shù)據(jù)分布不均及IO瓶頸，其次在網(wǎng)絡層由于帶寬的不足會導致大量數(shù)據(jù)無法快速傳達，最后在服務器層由于接收過多的數(shù)據(jù)處理，內(nèi)存優(yōu)勢無法發(fā)揮。具體而言就是傳統(tǒng)的存儲設備不知道數(shù)據(jù)庫駐留在存儲設備上，因此無法提供任何數(shù)據(jù)庫識別I/O或SQL處理。數(shù)據(jù)庫請求行或列時，從存儲返回的是數(shù)據(jù)塊而非數(shù)據(jù)庫查詢的結果集。傳統(tǒng)的存儲不具備數(shù)據(jù)庫智能來識別實際請求的特定行或列。因此，當數(shù)據(jù)庫查詢處理I/O請求時，傳統(tǒng)的存儲將消耗帶寬，返回大量與執(zhí)行的數(shù)據(jù)庫查詢不相關的數(shù)據(jù)。1OracleExadata功能及特點1.1OracleExadata功能OracleExadata其實是一臺帶有CPU、內(nèi)存及操作系統(tǒng)（OracleEnterpriseLinux）的服務器，當數(shù)據(jù)庫需要查詢時，Exadata可對數(shù)據(jù)進行篩選，然后將結果傳送到服務器內(nèi)存，而不是將結果轉移到存儲系統(tǒng)中，從而大量減少存儲系統(tǒng)的讀寫。Exadata是一個模塊化產(chǎn)品，每一個模塊稱為存儲單元，增加存儲單元可以提高這個系統(tǒng)的吞吐量，并稱為一種大容量并行的存儲網(wǎng)格，增加存儲單元可以增加傳輸管道的數(shù)量。OracleExadata智能存儲服務器通過在存儲部件中實現(xiàn)數(shù)據(jù)密集處理，并進行表及索引的掃描，與數(shù)據(jù)過濾無關，從而減輕服務器及帶寬的負載，提高工作效率。1.2智能掃描OracleExadata可進行僅被請求的行返回到數(shù)據(jù)庫服務器的謂詞過濾，僅被請求的列返回到數(shù)據(jù)庫服務器的列過濾掃描，采用Bloom過濾器實施的用于確定某行是否為預期結果的聯(lián)合掃描。針對大型數(shù)據(jù)庫，大量超過所需的行讀取到內(nèi)存，會產(chǎn)生過多的數(shù)據(jù)傳輸，不僅消耗帶寬而且影響應用程序的吞吐量和響應時間，而采用智能掃描技術能夠避免這種情況產(chǎn)生。智能掃面不受優(yōu)化器控制，但他受查詢優(yōu)化結果的影響，其只能用于完整的表或索引掃描，且只能直接路徑讀取。另外，使用智能掃描必須在數(shù)據(jù)庫中啟動，并存儲在相應的磁盤組中。1.3智能閃存高速緩存高速緩存主要用于存放經(jīng)常被訪問的對象，適用于緩存重復的隨機讀取，其允許按應用程序表優(yōu)化。智能閃存高速緩存了解各種類型的數(shù)據(jù)庫的讀寫，可以緩存經(jīng)常訪問的數(shù)據(jù)和索引塊，緩存控制文件及頭文件的讀取和寫入。但OracleExadata的高速緩存不能存放數(shù)據(jù)泵、備份文件、鏡像副本及數(shù)據(jù)格式設置等。2數(shù)據(jù)庫整合目的數(shù)據(jù)庫整合的基本原則是所整合的數(shù)據(jù)庫必須具有相似的可用性和計劃維護目標，其對系統(tǒng)的要求、安全性及邊界組織相近。數(shù)據(jù)庫整合的目的主要有以下幾點：①建立統(tǒng)一標準的數(shù)據(jù)格式，并具有相應的工作規(guī)范及管理流程，便于數(shù)據(jù)交換；②降低數(shù)據(jù)庫使用費用，提升運轉效率；③最大限度地減少網(wǎng)絡及硬件的空閑資源；④采用數(shù)據(jù)安全措施，確保機密數(shù)據(jù)的使用。傳統(tǒng)的數(shù)據(jù)庫整合方式大致可分為三類：①在一臺物理服務器上托管多臺虛擬服務器；②在一臺服務器上托管多個應用程序；③在一個應用程序中支持更多的用戶使用。數(shù)據(jù)庫的整合必須具有相似的可用性以及計劃維護目標的數(shù)據(jù)庫，由于具有一定的數(shù)據(jù)風險，所以在操作時必須注意相關硬件性能、系統(tǒng)要求及組織邊界。3Exadata數(shù)據(jù)庫整合方法3.1數(shù)據(jù)庫分組根據(jù)數(shù)據(jù)安全級別及應用模式可將數(shù)據(jù)庫分為3組：①關鍵數(shù)據(jù)組包含核心業(yè)務數(shù)據(jù)、生產(chǎn)業(yè)務數(shù)據(jù)及面向客戶類數(shù)據(jù)；②標準數(shù)據(jù)組主要指非關鍵的生產(chǎn)數(shù)據(jù)；③非生產(chǎn)數(shù)據(jù)組指相關開發(fā)和測試數(shù)據(jù)。在每個數(shù)據(jù)組中創(chuàng)建一個數(shù)據(jù)庫環(huán)境（POD），每個POD調用1～2臺ExadataDatabaseMachine服務器來整合數(shù)據(jù)庫，對于需要兩臺以上服務器的數(shù)據(jù)庫應具有一個專用的POD。3.2整合存儲及操作系統(tǒng)參數(shù)配置首先給每個POD分配一個共享的OracleExadata存儲網(wǎng)格，建立磁盤分組：DATA組用于存放數(shù)據(jù)庫文件；RECO組用于存放快速恢復區(qū)（FastRecoveryArea，簡稱FRA）；DBFS_DG用于存放群集共享文件和數(shù)據(jù)庫文件系統(tǒng)（DatabaseFileSystem，簡稱DBFS）。其次再將所有數(shù)據(jù)使用設置為高冗余，跨所有單元和磁盤對各個磁盤組進行條帶化。然后再使用IORM管理和分配I/O資源，并將COMPATIBLE.RDBMS磁盤組屬性中將數(shù)據(jù)庫軟件版本設置為最低。這樣每個數(shù)據(jù)庫環(huán)境采用統(tǒng)一的標準配置，便于數(shù)據(jù)庫管理，而且平衡系統(tǒng)資源提高可用性和設備性能。在操作系統(tǒng)參數(shù)設置中，共享內(nèi)存段數(shù)（SHMMNI）設置為大于數(shù)據(jù)庫的數(shù)量，最大共享內(nèi)存段大小（SHMMAX）設置為物理內(nèi)存大小的85%，系統(tǒng)信號的最大總數(shù)（SEMMNS）設置為大于所有數(shù)據(jù)庫進程的總和，信號集內(nèi)信號的最大數(shù)量（SEMMSL）設置為大于任何一個數(shù)據(jù)庫中的最大進程數(shù)。3.3其它資源配置無論使用OLTP或是數(shù)據(jù)倉庫方式每臺服務器上所有數(shù)據(jù)庫占用內(nèi)存總和應小于服務器物理內(nèi)存大小的75%，使用實例鎖定防止單個數(shù)據(jù)庫使用過多的CPU，并通過數(shù)據(jù)庫資源管理器控制每個數(shù)據(jù)庫中CPU的分配。配置好I/O資源及進程管理，使用連接池管理應用程序連接，通過連接速率限制器防止連接風暴的產(chǎn)生。4Exadata數(shù)據(jù)庫性能優(yōu)化4.1閃存及索引的優(yōu)化每個OracleExadata均包含384GB的高性能閃存，其智能閃存的主要用途是默認使用大多數(shù)可用的內(nèi)存，對頻繁訪問的數(shù)據(jù)進行加速，采用自動管理方式以實現(xiàn)效率最大化。基于閃存的永久存儲，由于價格較高所以需要有計劃有效率地使用，從而為特定的應用程序提供額外的附加優(yōu)勢。OracleExadata自帶智能掃描功能，若其使用在可接受范圍之內(nèi)則可刪除不必要的索引，從而提高數(shù)據(jù)操縱語言命令（DataManipulationLanguage，簡稱DML）的性能，同時節(jié)省存儲所需空間。4.2調整ASM分配單元大小5結語OracleExadata的利用可以大幅提高數(shù)據(jù)庫的安全性、可用性及可伸縮性。通過智能掃描的方式將大量的查詢及數(shù)據(jù)挖掘工作分流到存儲服務器，提高了查詢性能，通過讀寫閃存數(shù)據(jù)加快了查詢響應并提高吞吐量。實現(xiàn)了數(shù)據(jù)庫整合和性能的優(yōu)化，使大數(shù)據(jù)量的讀寫及查詢效率得到了質的飛躍。參考文獻：[1]何林幫.在Unix與Oracle環(huán)境下ArcSDE的優(yōu)化[J].測繪科學，2012（3）.[2]李學強，羅省賢.基于ORACLE系統(tǒng)的數(shù)據(jù)庫性能優(yōu)化設計[J].北京印刷學院學報，2006（6）.[3]廉彥平.Oracle數(shù)據(jù)庫性能優(yōu)化策略[J].科技信息：學術研究，2008（29）.[4]唐小新，李家深.基于Oracle數(shù)據(jù)庫的圖書館管理系統(tǒng)性能優(yōu)化探索[J].企業(yè)科技與發(fā)展，2010（8）.[5].王雷，曾蘊波，王璐.Oracle數(shù)據(jù)庫的性能調整與優(yōu)化方法探析[J].航天器工程，2