基于oracle(oltp)數(shù)據(jù)庫性能優(yōu)化方案的研究與實施

1、北京郵電大學(xué) 碩士學(xué)位論文基于ORACLE（OLTP）數(shù)據(jù)庫性能優(yōu)化方案的研究與實施 姓名：劉玉強(qiáng) 申請學(xué)位級別：碩士 專業(yè)：軟件工程 指導(dǎo)教師：郭文明 20071225一基于（）數(shù)據(jù)庫性能優(yōu)化方案的研究與實施一 基于（）數(shù)據(jù)庫性能優(yōu)化 方案的研究與實施 摘要 數(shù)據(jù)庫性能是當(dāng)前企業(yè)級應(yīng)用的基石，隨著網(wǎng)絡(luò)應(yīng)用和電子商務(wù)的不斷發(fā)展，數(shù)據(jù)庫規(guī)模也隨之不斷的擴(kuò)大，數(shù)據(jù)庫系統(tǒng)的性能問題就越來越突出，并且形成企業(yè)級應(yīng)用的訪問瓶頸。因此對數(shù)據(jù)庫性能優(yōu)化方法的研究變得十分迫切。 中國建設(shè)銀行是一家在中國市場處于領(lǐng)先地位的股份制商業(yè)銀行，為客戶提供全面的商業(yè)銀行產(chǎn)品與服務(wù)。中國建設(shè)銀行在剛 （ ）的統(tǒng)一體系框架

2、下，構(gòu)建了統(tǒng)一的客戶信息系統(tǒng)（ ）是建行的企業(yè)級客戶信息系統(tǒng)，其建設(shè)目標(biāo)是整合建行內(nèi)所有的協(xié)議客戶及潛在客戶，建設(shè)企業(yè)級的客戶單一視圖。 本文主要通過對數(shù)據(jù)庫技術(shù)的分析，針對中國建設(shè)銀行（企業(yè)級客戶信息系統(tǒng)）進(jìn)行了診斷優(yōu)化，目標(biāo)是提高數(shù)據(jù)庫的并發(fā)訪問量，以及降低響應(yīng)時間，滿足企業(yè)客戶的需求。 本文主要進(jìn)行了如下幾個方面的工作： ， 操作系統(tǒng)性能數(shù)據(jù)（、內(nèi)存、和）分析，通過 性能監(jiān)測工具發(fā)現(xiàn)性能瓶頸。 數(shù)據(jù)庫進(jìn)行初步分析（通過動態(tài)性能視圖對物理文件分布和 數(shù)據(jù)庫參數(shù)配置、數(shù)據(jù)庫碎片和無效對象等進(jìn)行檢測）。 使用匹！進(jìn)行分析診斷（從緩沖區(qū)命中率、 等待事件以及應(yīng)用程序的語句等），發(fā)現(xiàn)性能瓶頸。 針

3、對數(shù)據(jù)庫性能瓶頸，提出數(shù)據(jù)庫優(yōu)化方案（從日志文件物 理分布、內(nèi)存參數(shù)調(diào)整、碎片整理和更新數(shù)據(jù)庫統(tǒng)計信息等 方面進(jìn)行闡述）。 應(yīng)用程序優(yōu)化，闡述索引使用原理以及編寫技巧。 通過以上幾方面的診斷優(yōu)化，中國建設(shè)銀行（企業(yè)級客戶信息系統(tǒng)）數(shù)據(jù)庫單個實例并發(fā)訪問量由個進(jìn)程增加到個進(jìn)程，長時間執(zhí)行的語句響應(yīng)時間明顯減少，減少了死鎖與鎖等待現(xiàn)象，系統(tǒng)處于高性能運(yùn)轉(zhuǎn)狀態(tài)。關(guān)鍵詞 性能優(yōu)化一基于（）數(shù)據(jù)庫性能優(yōu)化方案的研究與實施一 姍匝 江 （珊） ， ， （） （） （ ，） ， ， 一基于（）數(shù)據(jù)庫性能優(yōu)化方案的研究與實旌一 ， ， ， ： 、 （， ） （ ） （ ： ， ）， ， ， ， ， ， 曲 一

4、基于（）數(shù)據(jù)庫性能優(yōu)化方案的研究與實施一 ： ， ，（ ）， 一基于【）數(shù)據(jù)庫性能優(yōu)化方案的研究與實施一 聲 明 獨(dú)創(chuàng)性（或創(chuàng)新性）聲明 本人聲明所呈交的論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。盡我所知，除了文中特別加以標(biāo)注和致謝中所羅列的內(nèi)容以外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得北京郵電大學(xué)或其他教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明并表示了謝意。 申請學(xué)位論文與資料若有不實之處，本人承擔(dān)一切相關(guān)責(zé)任。 本人簽名： 翌：垂氌 日期銎盟：?。海。厚?關(guān)于論文使用授權(quán)的說明 學(xué)位論文作者完全

5、了解北京郵電大學(xué)有關(guān)保留和使用學(xué)位論文的規(guī)定，即：研究生在校攻讀學(xué)位期間論文工作的知識產(chǎn)權(quán)單位屬北京郵電大學(xué)。學(xué)校有權(quán)保留并向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和磁盤，允許學(xué)位論文被查閱和借閱；學(xué)?？梢怨紝W(xué)位論文的全部或部分內(nèi)容，可以允許采用影印、縮印或其它復(fù)制手段保存、匯編學(xué)位論文。（保密的學(xué)位論文在解密后遵守此規(guī)定） 非保密論文注釋：本學(xué)位論文不屬于保密范圍，適用本授權(quán)書。 本人簽名： 查：壘至重 日期：蘭！塑：?。海。阂?導(dǎo)師簽名： 玉蓋丑 日期： 三：墨：?。阂钜换冢ǎ?shù)據(jù)庫性能優(yōu)化方案的研究與實施一 第一章緒論論文背景 中國建設(shè)銀行主要經(jīng)營領(lǐng)域包括公司銀行業(yè)務(wù)、個人銀行業(yè)務(wù)和資金

6、業(yè)務(wù)，多種產(chǎn)品和服務(wù)（如基本建設(shè)貸款、住房按揭貸款和銀行卡業(yè)務(wù)等）在中國銀行業(yè)居于市場領(lǐng)先地位。中國建設(shè)銀行擁有廣泛的客戶基礎(chǔ)，與多個大型企業(yè)集團(tuán)及中國經(jīng)濟(jì)戰(zhàn)略性行業(yè)的主導(dǎo)企業(yè)保持銀行業(yè)務(wù)聯(lián)系，營銷網(wǎng)絡(luò)覆蓋全國的主要地區(qū)。隨著業(yè)務(wù)不斷擴(kuò)展，中國建設(shè)銀行于年成立了北京數(shù)據(jù)中心，并組建了專門的團(tuán)隊，對中國建設(shè)銀行的業(yè)務(wù)數(shù)據(jù)進(jìn)行統(tǒng)一管理和維護(hù)，實現(xiàn)系統(tǒng)資源的最大化利用。 本人從事中國建設(shè)銀行北京數(shù)據(jù)中心運(yùn)營維護(hù)，工作崗位是： ，負(fù)責(zé)（ ，企業(yè)客戶信息系統(tǒng)以下簡稱為：）的數(shù)據(jù)庫管理工作，由于銀行業(yè)務(wù)量不斷增加，業(yè)務(wù)不斷擴(kuò)展。尤其是企業(yè)級客戶的需求不斷提高，對數(shù)據(jù)庫的訪問量直線上升。針對自己在工作中遇到

7、的實際問題，聯(lián)系自己所學(xué)習(xí)到的理論知識和所掌握的工作經(jīng)驗，對數(shù)據(jù)庫進(jìn)行了診斷和優(yōu)化。通過修改數(shù)據(jù)庫配置參數(shù)和應(yīng)用程序 （）的優(yōu)化等，使數(shù)據(jù)庫性能得到了很大的提高。滿足了企業(yè)客戶的需求。 應(yīng)用系統(tǒng)概述 中國建設(shè)銀行根據(jù)自身市場定位和信息技術(shù)發(fā)展規(guī)劃，通過在業(yè)務(wù)流程、組織機(jī)構(gòu)、經(jīng)營理念和信息技術(shù)等主要領(lǐng)域的研究，提出并實施全面的客戶關(guān)系管理。它是提高中國建設(shè)銀行核心競爭力和實現(xiàn)自身價值的重要戰(zhàn)略舉措。 基于此種背景，中國建設(shè)銀行在客戶關(guān)系管理（）的統(tǒng)一體系框架下，構(gòu)建了統(tǒng)一的客戶信息系統(tǒng)（），以創(chuàng)新的產(chǎn)品和創(chuàng)新的服務(wù)為手段，努力形成對目標(biāo)市場和目標(biāo)客戶的核心競爭力，確立具有較強(qiáng)的國際競爭能力和領(lǐng)先

8、的經(jīng)營管理水平的戰(zhàn)略地位。 （ ）是建行的企業(yè)級客戶信息系統(tǒng)，其建設(shè)目標(biāo)是整合建行內(nèi)所有的協(xié)議客戶及潛在客戶，建設(shè)企業(yè)級的客戶單一視圖，為相關(guān)的應(yīng)用系統(tǒng)，提供聯(lián)機(jī)交易支持，提供及時和全面的客戶信息。操作系統(tǒng)、數(shù)據(jù)庫、中間件部署 （企業(yè)客戶信息系統(tǒng)）數(shù)據(jù)庫采用版本， （ ）兩個節(jié)點(diǎn)集群模式，目前支撐的應(yīng)用是（一基于（）數(shù)據(jù)庫性能優(yōu)化方案的研究與實施一 ）。 客戶信息聯(lián)機(jī)查詢業(yè)務(wù)運(yùn)行在兩臺應(yīng)用服務(wù)器上，集中在白天運(yùn)行，并伴有較大的檢索數(shù)據(jù)操作。 操作系撐渲?系統(tǒng)采用兩臺小型機(jī)，采用（ ，提高客戶計算機(jī)系統(tǒng)及其應(yīng)用的可靠性）集群方式， （）方式即兩節(jié)點(diǎn)都處于激活狀態(tài)。詳見表所示：雕掇蛾 襄：鐮俸系緩

9、鬟芝 霪！集群軟纜。 荔：。鬃秘鬢三 墨躐斕 表系統(tǒng)配置 刪 王 肝 數(shù)據(jù)庫配置 數(shù)據(jù)庫采用數(shù)據(jù)庫系統(tǒng)，版本，采用數(shù)據(jù)庫集群方式。為了提高數(shù)據(jù)庫性能，數(shù)據(jù)庫存儲方式采用裸設(shè)備（是一種沒有經(jīng)過格式化，不通過文件系統(tǒng)來讀取的特殊字符設(shè)備。數(shù)據(jù)庫系統(tǒng)負(fù)責(zé)對它進(jìn)行讀寫操作。不經(jīng)過文件系統(tǒng)的緩存。詳見表所示： 表數(shù)據(jù)庫配置蕤：擎 數(shù)據(jù)庫麟： 鬟版本么裊二 ：集群方二 薹簍舂馕方主矮溺 裸設(shè)備 裸設(shè)備 （企業(yè)客戶信息系統(tǒng)）系統(tǒng)主要包括三個部分，第一是應(yīng)用，它完成全部的交易處理，第二是管理應(yīng)用，它用于監(jiān)控和管理（應(yīng)用服務(wù)器），第三是數(shù)據(jù)庫，它為系統(tǒng)存儲數(shù)據(jù)。各應(yīng)用組件及服務(wù)器的部署參見圖所示：一基十（）數(shù)據(jù)

10、庫性能優(yōu)化方案的研究與實施 ； 囊 龜鯔。 ：一一菇遍薹 意襞黲麟 ：羹鬻謄曩 霧霧“。 。荔 一嘲笪圖一 廠一一 ：； 集群 圖 系統(tǒng)構(gòu)架圖論文結(jié)構(gòu) 第一章緒論：簡要介紹論文背景和論文結(jié)構(gòu)；數(shù)據(jù)庫系統(tǒng)的簡要介紹 及其框架結(jié)構(gòu)。 第二章問題描述、診斷方案及優(yōu)化目標(biāo)闡述系統(tǒng)當(dāng)前存在的問題， 并介紹診斷步驟、數(shù)據(jù)采集方法和內(nèi)容；并提出優(yōu)化目標(biāo)。 第三章性能數(shù)據(jù)采集：通過操作系統(tǒng)性能（、內(nèi)存和等）數(shù)據(jù)分 析確定系統(tǒng)瓶頸。 第四章數(shù)據(jù)庫性能數(shù)據(jù)收集：對出現(xiàn)性能瓶頸的數(shù)據(jù)庫進(jìn)行初步診斷（物 理文件分布和數(shù)據(jù)庫參數(shù)配置等）。 第五章數(shù)據(jù)庫系統(tǒng)診斷：利用自帶的工具定時收集 數(shù)據(jù)并產(chǎn)生報告加以分析，確定數(shù)據(jù)庫

11、性能瓶頸從數(shù)據(jù)庫整體性 能：如緩沖區(qū)命中率、等待事件以及應(yīng)用程序的語句 等方面進(jìn)行闡述。 第六章數(shù)據(jù)庫優(yōu)化方案：對數(shù)據(jù)庫提出調(diào)整方案（同志文件物理分 布、內(nèi)存參數(shù)調(diào)整、碎片整理和更新數(shù)據(jù)庫統(tǒng)計信息等方面進(jìn)行闡 述）。 第七章應(yīng)用程序優(yōu)化：對于程序員編寫中普遍出現(xiàn)的問題進(jìn)行了總結(jié) 并根據(jù)自己的工作經(jīng)驗提出了編寫技巧。 第八章數(shù)據(jù)庫規(guī)劃原則：闡述了數(shù)據(jù)庫設(shè)計部署應(yīng)該注意的事項。一基于（）數(shù)據(jù)庫性能優(yōu)化方案的研究與實施一 其中第五章至第七章是本課題研究的核心。特別是第五、六章，著重于對數(shù)據(jù)庫進(jìn)行了診斷并提出了優(yōu)化方案，其中第五章對報告進(jìn)行了詳細(xì)分析。是本課題的難點(diǎn)及亮點(diǎn)。主要工作 本課題主要是針對數(shù)

12、據(jù)庫運(yùn)行中出現(xiàn)的性能瓶頸，進(jìn)行性能診斷和優(yōu)化。因此主要工作集中于數(shù)據(jù)庫的診斷優(yōu)化，具體有以下幾個的方面的工作： 操作系統(tǒng)性能分析（、內(nèi)存、和），確定性能瓶頸。 數(shù)據(jù)庫性能初步分析（通過動態(tài)性能視圖對物理文件分布和數(shù)據(jù)庫參數(shù) 配置、數(shù)據(jù)庫碎片和無效對象等進(jìn)行監(jiān)測）。 使用工具進(jìn)行性能診斷（從數(shù)據(jù)庫整體性能：如緩沖區(qū)命 中率、等待事件以及應(yīng)用程序的語句等方面進(jìn)行闡述），確 定數(shù)據(jù)庫性能瓶頸。 針對性能瓶頸，提出數(shù)據(jù)庫調(diào)整方案（物理文件分布、內(nèi)存參數(shù)調(diào)整、 碎片整理、數(shù)據(jù)統(tǒng)計分析和索引重建等方面）。 應(yīng)用程序優(yōu)化，對于程序員編寫中普遍出現(xiàn)的問題進(jìn)行了總結(jié)，并 根據(jù)自己的經(jīng)驗提出了編寫技巧。 數(shù)據(jù)庫規(guī)

13、劃原則，闡述了數(shù)據(jù)庫迅江。扶及部署應(yīng)注意的事項。一基于（）數(shù)據(jù)庫性能優(yōu)化方案的研究與實施一 第二章問題描述、診斷方案及優(yōu)化目標(biāo) 本章主要介紹數(shù)據(jù)庫性能優(yōu)化的背景，以及確定診斷步驟、診斷方法和監(jiān)測內(nèi)容，以及優(yōu)化目標(biāo)。當(dāng)前系統(tǒng)存在的問題 由于業(yè)務(wù)不斷擴(kuò)展，訪問量不斷上升，現(xiàn)在每個實例同時并發(fā)為個進(jìn)程（共個進(jìn)程），內(nèi)存頁交換達(dá)到以上，空閑率在業(yè)務(wù)繁忙的時間內(nèi)為，數(shù)據(jù)庫實際容量為。平均數(shù)據(jù)增長量月。數(shù)據(jù)庫產(chǎn)生日志比較多，日志切換比較頻繁，在業(yè)務(wù)繁忙時間內(nèi)達(dá)到分鐘切換一次（聯(lián)機(jī)日志大小為，已經(jīng)達(dá)到了系統(tǒng)所能承受的壓力極限，為了增加系統(tǒng)訪問的吞吐量，提高查詢的響應(yīng)時間，更好的滿足對客戶的需求，項目組決定對

14、數(shù)據(jù)庫服務(wù)器進(jìn)行診斷優(yōu)化。診戲槳訃壩嘔勘輳玻玻?診斷步驟 通過操作系統(tǒng)和數(shù)據(jù)庫系統(tǒng)性能數(shù)據(jù)收集，確認(rèn)當(dāng)前系統(tǒng)瓶頸是在數(shù)據(jù)庫系統(tǒng)的假設(shè)后，對數(shù)據(jù)庫進(jìn)行診斷，對其產(chǎn)生的報告進(jìn)行分析，根據(jù)性能分析的結(jié)果，提出優(yōu)化方案。 診斷步驟 性能數(shù)據(jù)收集。 數(shù)據(jù)庫性能數(shù)據(jù)收集。 數(shù)據(jù)庫診斷（通過。工具）。 數(shù)據(jù)庫調(diào)整方案。 應(yīng)用程序優(yōu)化方案。 診斷方法 工具（ ）進(jìn)行系統(tǒng)信息收集。 官方提供的系統(tǒng)以及數(shù)據(jù)庫性能的診斷工具，它通過輸入一些 系統(tǒng)參數(shù)和數(shù)據(jù)庫配置信息，產(chǎn)生性能分析報告，以格式展現(xiàn)，為 數(shù)據(jù)庫性能診斷提供依據(jù)。 操作系統(tǒng)工具和命令檢查操作系統(tǒng)。 例如：一基于（）數(shù)據(jù)庫性能優(yōu)化方案的研究與實施一 ： 顯

15、示系統(tǒng)整體性能（、內(nèi)存、磁盤、虛擬內(nèi)存：即 頁交換、當(dāng)前進(jìn)程占用及內(nèi)存情況）。 ：對操作系統(tǒng)的虛擬內(nèi)存、進(jìn)程、活動進(jìn)行監(jiān)視。 命令檢查數(shù)據(jù)庫配置，命令在工具中運(yùn) 行。通過腳本檢測當(dāng)前數(shù)據(jù)庫參數(shù)配置，表空間使用情況和數(shù)據(jù)文 件物理分布等。 工具進(jìn)行數(shù)據(jù)庫性能數(shù)據(jù)的收集。其是數(shù)據(jù) 庫自帶的數(shù)據(jù)庫診斷工具，其定時自動采集數(shù)據(jù)庫性能數(shù)據(jù)，并通過手動 產(chǎn)生報告，其報告顯示當(dāng)前數(shù)據(jù)庫的參數(shù)配置、內(nèi)存、等 待事件（ ）等，通過分析其內(nèi)容診斷出當(dāng)前數(shù)據(jù)庫系統(tǒng) 的瓶頸。 工具（ ） 進(jìn) 行數(shù)據(jù)庫運(yùn)行情況的監(jiān)控及分析。工具是自帶 的圖形工具，進(jìn)行簡單的診斷，但是由于生產(chǎn)環(huán)境不能用圖形工具，只能 通過（命令行的形式

16、訪問，所以該工具有一定的局限性。 監(jiān)測內(nèi)容 主機(jī)配置 監(jiān)測當(dāng)前數(shù)據(jù)庫服務(wù)器系統(tǒng)配置，如信息、內(nèi)存配置、磁盤劃分情 況，是否符合當(dāng)前需求。 操作系統(tǒng)性能 監(jiān)測數(shù)據(jù)庫服務(wù)器的系統(tǒng)性能，如利用率、內(nèi)存使用情況、 使用率、頁交換、磁盤、當(dāng)前系統(tǒng)進(jìn)程的占用資源情況等。 數(shù)據(jù)庫配置 監(jiān)測當(dāng)前數(shù)據(jù)庫參數(shù)配置：如內(nèi)存配置、數(shù)據(jù)文件磁盤讀寫分布、物理讀 寫和邏輯讀寫等情況。 數(shù)據(jù)庫性能 通過報告，對數(shù)據(jù)庫進(jìn)行診斷，如數(shù)據(jù)庫的參數(shù)配置、物理 讀寫和邏輯讀寫、以及數(shù)據(jù)庫等待事件（通過￥性能視圖，檢測出當(dāng)前 數(shù)據(jù)庫的等待事件，并通過等待事件判斷出數(shù)據(jù)庫的性能瓶頸）等。優(yōu)化目標(biāo) 由于當(dāng)前系統(tǒng)存在一系列性能問題，根據(jù)客戶

17、的優(yōu)化需求，對數(shù)據(jù)庫系統(tǒng)進(jìn)行優(yōu)化，以提高并發(fā)能力，減少響應(yīng)時間，達(dá)到客戶的滿意度。優(yōu)化目標(biāo)（此處主要是根據(jù)客戶需求提出的，作為項目優(yōu)化的里程碑）： 達(dá)到每個實例并發(fā)個數(shù)據(jù)庫進(jìn)程（由于數(shù)據(jù)庫采用集群方一基于（）數(shù)據(jù)庫性能優(yōu)化方案的研究與實旌一 式，數(shù)據(jù)庫并發(fā)數(shù)實際應(yīng)為個進(jìn)程）。 利用率減少到以下。 系統(tǒng)剩余內(nèi)存達(dá)到。 系統(tǒng)使用率降到。一基于【）數(shù)據(jù)庫性能優(yōu)化方案的研究與實施一 第三章性能數(shù)據(jù)收集 首先從操作系統(tǒng)出發(fā)，對系統(tǒng)性能進(jìn)行分析，確定當(dāng)前系統(tǒng)是否存在性能瓶頸，如存在性能問題，確定性能瓶頸是數(shù)據(jù)庫，還是應(yīng)用程序造成的。以便進(jìn)一步監(jiān)測。系統(tǒng)配置 當(dāng)前操作系統(tǒng)配置，詳見婊所示： 表系統(tǒng)配置 主機(jī)

18、 個（） 內(nèi)存 系統(tǒng)性能分析 以下部分是對操作系統(tǒng)性能的基本分析，可以從中確定一些性能方面的問題。使用操作系統(tǒng)的工具：進(jìn)行檢測。主要從以下方面來檢查操作系統(tǒng)的性能：利用率、內(nèi)存、（頁交換）、硬盤訪問。以實例（）為例： 。 利用率 以下是實例的的使用情況，時間段是： 在該主機(jī)上，使用性能監(jiān)控命令（）監(jiān)測，性能數(shù)據(jù)詳見表所示： ：操作系統(tǒng)的性能監(jiān)控工具，主要提供性能數(shù)據(jù)。 每一行 數(shù)據(jù)為當(dāng)前系統(tǒng)的快照。 表系統(tǒng)進(jìn)程占用資源情況 ： ： ： 終 僅 良 ：埯 從表可以看到使用率為：（進(jìn)程占用總的利用率）：其中（系統(tǒng)內(nèi)核模式占用利用率）是，（模式一基于（）數(shù)據(jù)庫性能優(yōu)化方案的研究與實施一 占用的利用率）為。當(dāng)前系統(tǒng)并發(fā)連接數(shù)為，利用率比較高（為左右）。說明系統(tǒng)壓力比較大。 內(nèi)存 使用性能監(jiān)控