oracle備份方案

1、新華人壽客戶管理平臺一期客戶分析系統(tǒng)技術(shù)方案書吉貝克信息技術(shù)（北京）有限公司2012年11月r 修訂歷史版本生成時間修訂人修訂內(nèi)容審閱人目錄1概述71.1背景71.2系統(tǒng)實(shí)現(xiàn)原則71.3目標(biāo)讀者及用途81.4名詞解釋82項(xiàng)目理解及需求分析92.1客戶關(guān)系管理體系建設(shè)總體目標(biāo)92.2ACRM系統(tǒng)定位和邊界92.3ACRM系統(tǒng)建設(shè)路線圖規(guī)劃122.4ACRM業(yè)務(wù)用戶132.5一期需求分析13客戶數(shù)據(jù)標(biāo)準(zhǔn)14客戶分層需求16客戶分析需求18技術(shù)需求分析203系統(tǒng)架構(gòu)設(shè)計(jì)213.1功能架構(gòu)21架構(gòu)概述21架構(gòu)設(shè)計(jì)213.2邏輯架構(gòu)23架構(gòu)概述23架構(gòu)設(shè)計(jì)233.3技術(shù)架構(gòu)27客戶分層模型設(shè)計(jì)27ETL

2、架構(gòu)29接口設(shè)計(jì)343.4數(shù)據(jù)架構(gòu)（左家維、王建波）37數(shù)據(jù)架構(gòu)層次規(guī)劃37數(shù)據(jù)模型說明38數(shù)據(jù)存儲規(guī)劃413.5物理架構(gòu)42存儲分析42性能分析43物理架構(gòu)圖444系統(tǒng)安全性設(shè)計(jì)464.1概述464.2網(wǎng)絡(luò)安全管理464.3系統(tǒng)安全管理464.4數(shù)據(jù)安全管理474.5用戶權(quán)限管理484.6防病毒管理484.7對安全產(chǎn)品的技術(shù)要求484.8備份軟件數(shù)據(jù)管理495系統(tǒng)備份恢復(fù)策略495.1備份與恢復(fù)的范圍495.2備份和恢復(fù)策略50數(shù)據(jù)庫備份和恢復(fù)策略50操作系統(tǒng)備份和恢復(fù)55Portal備份55Microstrategy備份55Informatica備份566項(xiàng)目實(shí)施過程566.1項(xiàng)目啟動57

3、6.2需求分析586.3系統(tǒng)設(shè)計(jì)596.4系統(tǒng)開發(fā)616.5上線與維護(hù)627項(xiàng)目管理過程637.1范圍管理63目標(biāo)設(shè)定64工作范圍64WBS（工作分解結(jié)構(gòu)）64資源分配65范圍變更控制管理657.2組織結(jié)構(gòu)65項(xiàng)目實(shí)施團(tuán)隊(duì)組織架構(gòu)65項(xiàng)目實(shí)施團(tuán)隊(duì)人員66項(xiàng)目實(shí)施中角色描述677.3團(tuán)隊(duì)組成68主要實(shí)施人員69參與項(xiàng)目核心人員簡歷及項(xiàng)目經(jīng)驗(yàn)697.4進(jìn)度管理747.5質(zhì)量管理75系統(tǒng)交付品質(zhì)量管理75重點(diǎn)工作質(zhì)量管理757.6風(fēng)險(xiǎn)管理76風(fēng)險(xiǎn)識別77風(fēng)險(xiǎn)分析78風(fēng)險(xiǎn)應(yīng)對78風(fēng)險(xiǎn)監(jiān)控797.7問題管理79問題/風(fēng)險(xiǎn)管理流程80問題/風(fēng)險(xiǎn)列表837.8變更管理83提出變更申請84分析評估84審批變更

4、85執(zhí)行變更85變更的跟蹤86變更的結(jié)束86變更申請表和變更申請跟蹤表867.9溝通管理887.10交付物管理91項(xiàng)目交付物管理91交付物清單928培訓(xùn)和售后服務(wù)要求938.1培訓(xùn)要求93培訓(xùn)內(nèi)容93知識轉(zhuǎn)移對象948.2總體服務(wù)說明95現(xiàn)場技術(shù)支持服務(wù)95GBICC技術(shù)支持中心支持服務(wù)（工作時間外緊急服務(wù)）958.3崗位和人員安排969附錄-數(shù)據(jù)模型設(shè)計(jì)979.1前期準(zhǔn)備979.2項(xiàng)目組交流研討989.3分析數(shù)據(jù)源999.4統(tǒng)一業(yè)務(wù)定義1009.5模型與客戶化1009.6模型驗(yàn)證1019.7模型交付1011 系統(tǒng)備份恢復(fù)策略1.1 備份與恢復(fù)的范圍按備份的內(nèi)容分，備份的范圍主要包括：l 操作

5、系統(tǒng)l 應(yīng)用程序與配置l 數(shù)據(jù)按備份的系統(tǒng)分，備份的范圍主要包括：l 客戶管理系統(tǒng)數(shù)據(jù)庫l 應(yīng)用程序與配置l Web服務(wù)器l 應(yīng)用中間層服務(wù)器等恢復(fù)的范圍主要包括：l 對給定時間點(diǎn)能對客戶管理系統(tǒng)數(shù)據(jù)庫進(jìn)行完整的數(shù)據(jù)恢復(fù)l 將應(yīng)用程序恢復(fù)到最新狀態(tài)l 將 Web 服務(wù)器恢復(fù)到最新狀態(tài)l 對給定時間點(diǎn)能對應(yīng)用中間層服務(wù)器進(jìn)行完整的數(shù)據(jù)恢復(fù)并將程序恢復(fù)到最新狀態(tài)等1.2 備份和恢復(fù)策略1.2.1 數(shù)據(jù)庫備份和恢復(fù)策略 數(shù)據(jù)庫備份和恢復(fù)策略考慮 （一）新華人壽客戶管理系統(tǒng)備份考慮數(shù)據(jù)庫的備份和恢復(fù)是客戶分析系統(tǒng)設(shè)計(jì)的一個重要方面，不同應(yīng)用環(huán)境可能會采用不同備份策略，備份策略和如下因素有

6、關(guān)：l 批處理或數(shù)據(jù)維護(hù)時間窗口及特點(diǎn)l 實(shí)時數(shù)據(jù)裝載特點(diǎn)l 系統(tǒng)及系統(tǒng)組件的可用性要求l 系統(tǒng)恢復(fù)時間要求l 系統(tǒng)備份性能和系統(tǒng)可用性數(shù)據(jù)庫系統(tǒng)備份是為了保護(hù)：l 數(shù)據(jù)邏輯損壞（比如：用戶或系統(tǒng)管理員通過 insert/delete/update 造成數(shù)據(jù)意外損壞）l 系統(tǒng)硬件故障造成數(shù)據(jù)物理損壞，存儲系統(tǒng)硬件冗余設(shè)計(jì)將提供這類潛在問題的最佳保護(hù)l 已刪除數(shù)據(jù)庫對象恢復(fù)數(shù)據(jù)庫系統(tǒng)的備份和恢復(fù)設(shè)計(jì)需要考慮這些事件發(fā)生的頻率、造成的影響及其業(yè)務(wù)優(yōu)先級，在整體設(shè)計(jì)時需要考慮這些因素。（二）數(shù)據(jù)庫全備份還是表空間級備份數(shù)據(jù)庫備份的目的是為了保護(hù)數(shù)據(jù)庫或數(shù)據(jù)庫對象損壞。備份策略的設(shè)計(jì)是為了保護(hù)而不是阻

7、止或延遲任何應(yīng)用程序或前端應(yīng)用程序?qū)?shù)據(jù)庫的訪問。另外，備份的設(shè)計(jì)需要同時考慮恢復(fù)（故障點(diǎn)恢復(fù)）的性能和數(shù)據(jù)庫完整恢復(fù)或?yàn)?zāi)難恢復(fù)。數(shù)據(jù)庫全備份可能會阻止或延遲數(shù)據(jù)庫裝載的執(zhí)行，因?yàn)閿?shù)據(jù)庫備份和裝載操作會存在數(shù)據(jù)庫鎖的爭用。數(shù)據(jù)庫全備份將備份數(shù)據(jù)庫分區(qū)類的所有對象，包括：l 緩沖區(qū)臨時表相關(guān)數(shù)據(jù)庫對象（Staging Tables）l 存放 ETL、應(yīng)用處理等過程中存放臨時數(shù)據(jù)的臨時表，這些表每次處理前需要清空l 索引這些對象的備份是不值的，會浪費(fèi)大量的存儲，數(shù)據(jù)庫全備份因?yàn)閭浞萘祟~外的數(shù)據(jù)造成備份和恢復(fù)的成本的增加。表空間級備份策略提供了更細(xì)粒度的數(shù)據(jù)庫備份和恢復(fù)方案。表空間級的備份策略的目標(biāo)

8、是能夠恢復(fù)丟失或損壞的數(shù)據(jù)，降低沒有損壞數(shù)據(jù)的恢復(fù)量。增量備份將備份改變過的數(shù)據(jù)頁，不管是該頁中其中一行或是多行數(shù)據(jù)發(fā)生了改變。使用增量備份的策略取決于不同表空間數(shù)據(jù)頁的預(yù)期改變量。增量備份在僅僅數(shù)據(jù)庫一個子集發(fā)生變化的情況下是個不錯的選擇。如果所有的表發(fā)生改變、表的大部分?jǐn)?shù)據(jù)發(fā)生改變，或是數(shù)據(jù)庫是動態(tài)的、數(shù)據(jù)量更新非常頻繁，則不太適合采用增量備份的方式。（三）數(shù)據(jù)庫備份設(shè)計(jì)考慮和方法典型的客戶管理系統(tǒng)備份方法是定期對數(shù)據(jù)庫做全備份（比如生產(chǎn)系統(tǒng)新增加表空間或表空間數(shù)據(jù)發(fā)生更新），每周兩次在線對數(shù)據(jù)表、表空間和大的索引表空間進(jìn)行備份。備份速度是影響別的工作負(fù)荷執(zhí)行的唯一問題，因?yàn)殒i爭用，數(shù)據(jù)庫

9、全備份會阻止或延遲裝載操作的執(zhí)行?；謴?fù)速度總是一個問題，盡管在線備份沒有時間限制，但是恢復(fù)必須盡快完成，因?yàn)樗袑Υ謴?fù)數(shù)據(jù)庫對象的訪問都將被阻止，直到恢復(fù)操作結(jié)束。好的備份策略將恢復(fù)操作定位到可以在故障發(fā)生時將系統(tǒng)盡快恢復(fù)到故障點(diǎn)，并且備份不會阻止其他進(jìn)程或請求者對數(shù)據(jù)庫的訪問。因此速度和關(guān)注焦點(diǎn)應(yīng)該集中到恢復(fù)上面：修補(bǔ)丟失或毀壞的數(shù)據(jù)頁，將需求恢復(fù)的數(shù)據(jù)減少到最少。一般情況下數(shù)據(jù)庫恢復(fù)在應(yīng)用清理時候會用到，一年一到兩次恢復(fù)操作是合理的；這些恢復(fù)中災(zāi)難恢復(fù)更少，往往可能好幾年才能碰到一次。因此，設(shè)計(jì)最細(xì)粒度的恢復(fù)策略，將系統(tǒng)定位到在出現(xiàn)問題時，最有可能地執(zhí)行Restore 命令以恢復(fù)故障。在

10、災(zāi)難恢復(fù)中，這種細(xì)粒度的備份與恢復(fù)策略仍然有效，但是比起數(shù)據(jù)庫全備份來講需要更長的時間。這種設(shè)計(jì)適用于大部分場合，同時保證在災(zāi)難發(fā)生時系統(tǒng)的可用性。 OracleACRM備份方案分析方案一：DataGuardDataGuard是性價比最高的備份和容災(zāi)方案，但是當(dāng)歸檔超過一定規(guī)模之后，DG的恢復(fù)就成為了瓶頸，每天產(chǎn)生的歸檔無法及時恢復(fù)完，恢復(fù)的瓶頸不在存儲的吞吐量，而在于standby的恢復(fù)方式，因?yàn)榛謴?fù)的過程就是應(yīng)用歸檔文件，RAC各個節(jié)點(diǎn)產(chǎn)生的歸檔必須在一個節(jié)點(diǎn)恢復(fù)，這個過程必須是遵循一定順序的，大大限制了恢復(fù)的并發(fā)速度。方案二：傳統(tǒng)RMAN備份采用傳統(tǒng)RMAN備份，采用大吞吐

11、量的虛擬帶庫設(shè)備，一周全備一次，每天備歸檔日志。很多時候，我們在做備份方案時，只考慮了備份，卻沒有考慮恢復(fù)。這個方案最大的問題就在于：對于每日歸檔數(shù)據(jù)量特別巨大（達(dá)到T級）的時候恢復(fù)的代價非常高，一旦數(shù)據(jù)庫出現(xiàn)問題，恢復(fù)可能需要數(shù)天之久，這是無法接受的；但是，對于每天歸檔比較小的情況，可以考慮使用此方案。方案三：存儲鏡像數(shù)據(jù)庫采用noarchivelog模式，采用ASM鏡像兩套存儲。這個方案并不是備份方案，只是為了解決存儲的單點(diǎn)問題而提出的，相當(dāng)于對不同的存儲做RAID 1。這個方案最大的問題是無法解決數(shù)據(jù)庫邏輯錯誤，比如誤刪除數(shù)據(jù)。因?yàn)橹鲙旌蛡鋷焱ㄟ^存儲鏡像來實(shí)現(xiàn)，無法實(shí)現(xiàn)異地備份和容災(zāi)。方

12、案四：存儲級別復(fù)制采用存儲級別的復(fù)制，各存儲廠家都有解決方案，比如EMC SRDF等。Veritas也有類似的解決方案，比如卷復(fù)制(VERITAS Volume Replicator)。這種方案的基本原理都是通過捕獲底層存儲的IO，并通過網(wǎng)絡(luò)同步到備份系統(tǒng)上。如果采用存儲廠商的方案，那么主備庫就必須使用同一家公司的產(chǎn)品，而且，能否承受每天4.5T的數(shù)據(jù)變化量，我們并沒有驗(yàn)證過。另外，軟件license費(fèi)用不菲。 數(shù)據(jù)庫備份和恢復(fù)策略.1 NBU備份軟件簡介及特點(diǎn)NetBackup(以下簡稱NBU)是世界上最好的備份軟件之一，是Symantec公司在存儲管理領(lǐng)域重要的

13、一款針對于異構(gòu)平臺的企業(yè)級備份和恢復(fù)軟件。NBU平臺能夠提供基于磁盤和磁帶的統(tǒng)一數(shù)據(jù)備份和恢復(fù)管理，保護(hù)范圍包括UNIX、Windows、Linux和NetWare等環(huán)境。從遠(yuǎn)程辦公室到數(shù)據(jù)中心，從臺式機(jī)到服務(wù)器，從文件到數(shù)據(jù)庫甚至操作系統(tǒng)，NBU可以提供全面保護(hù)，同時所有功能都是通過一個控制臺來管理和實(shí)現(xiàn)，簡單方便。VERTAS NetBackup產(chǎn)品的特性與優(yōu)點(diǎn)特性優(yōu)點(diǎn)多路備份和恢復(fù)能夠從一個或多個客戶/服務(wù)器端并行執(zhí)行到一個或多個磁帶的讀和寫可擴(kuò)展的映象和介質(zhì)目錄分布式記錄方式記錄備份、恢復(fù)和復(fù)制。索引記錄訪問迅捷，分段式索引空間占用很小非專用磁帶格式能夠創(chuàng)建TAR兼容的格式真正的映象恢

14、復(fù)根據(jù)布局智能重建數(shù)據(jù)，而不是重恢復(fù)所有數(shù)據(jù)Bare Meta Restore快速災(zāi)難恢復(fù)，最少人工干預(yù)，自動智能執(zhí)行Vault功能同時備份到多份磁帶保存，或離線進(jìn)行磁帶復(fù)制，彈出后放入遠(yuǎn)程保險(xiǎn)柜保存數(shù)據(jù)加密選項(xiàng)備份時可對數(shù)據(jù)進(jìn)行加密遠(yuǎn)端GUI管理能夠從任何位置包括撥號線進(jìn)行備份和恢復(fù)客戶端的安裝靈活快速簡便地通過網(wǎng)絡(luò)進(jìn)行客戶端軟件分布式的安裝用戶啟動的備份和恢復(fù)為最終用戶提供容易使用的接口，減少外界對系統(tǒng)管理員的干擾圖形策略設(shè)定界面定義策略簡便，能設(shè)置備份窗口，可用有意義的名稱定義備份網(wǎng)絡(luò)帶寬控制提供選項(xiàng)控制NetBackup網(wǎng)絡(luò)優(yōu)先級控制能夠?qū)χ匾膫浞菰O(shè)置優(yōu)先級獨(dú)一無二的多級結(jié)構(gòu)同類產(chǎn)品

15、的第一個，可以建立主服務(wù)器、介質(zhì)服務(wù)器、客戶端等多級結(jié)構(gòu)遍布世界的客戶支持中心24小時熱線技術(shù)支持介質(zhì)服務(wù)器熱備份介質(zhì)服務(wù)器故障時，客戶端備份自動調(diào)整到其他服務(wù)器上磁帶庫共享多服務(wù)器共享磁帶庫，減少機(jī)械手開銷完整的磁帶管理管理整個磁帶設(shè)備的運(yùn)行支持廣泛的磁帶庫類型支持所有領(lǐng)先的磁帶機(jī)械手設(shè)備支持廣泛的磁帶驅(qū)動器設(shè)備支持所有領(lǐng)先的磁帶技術(shù)備份進(jìn)度顯示條備份將結(jié)束和持續(xù)時間顯示，便于決策優(yōu)先備份的圖形界面便于抉擇進(jìn)行何種備份磁帶卷、驅(qū)動器和磁帶庫情況顯示報(bào)告磁帶利用情況和驅(qū)動器配置等詳細(xì)的日志信息便于診斷問題歷史報(bào)告日志瀏覽進(jìn)行深入的方案前分析UNIX支持支持所有主要的UNIX平臺WINDOWSN

16、T支持支持Inter和AlphaNovell NetWare支持支持NetWare環(huán)境EMC 磁盤陣列備份支持支持EMC BCV Third Mirror Breakoff 備份HP XP256磁盤陣列備份支持支持HP XP256 BC Third Mirror Breakoff 備份支持NDMP支持NAS的數(shù)據(jù)備份數(shù)據(jù)庫和應(yīng)用選項(xiàng)支持所有領(lǐng)先的數(shù)據(jù)庫和應(yīng)用：ORACLE, Microsoft SQL Server，Sybase，Informix, Microsoft Exchange和SAP R3等.2 客戶管理平臺備份恢復(fù)方案數(shù)據(jù)庫備份主要保障數(shù)據(jù)庫系統(tǒng)穩(wěn)定可靠，但由于ACR

17、M存儲海量數(shù)據(jù)庫，數(shù)據(jù)庫非常龐大。如果按照傳統(tǒng)的備份恢復(fù)方法，需要備份恢復(fù)時間比較長，不能滿足生產(chǎn)系統(tǒng)的要求，而且管理不方便?；谝陨锨闆r，我們建議新華人壽客戶管理平臺數(shù)據(jù)庫采用專業(yè)備份軟件NBU，管理備份，輔以關(guān)鍵表數(shù)據(jù)和數(shù)據(jù)庫對象的單獨(dú)備份的混合備份恢復(fù)方案，方案物理架構(gòu)圖如下：如圖所示，我們使用NBU備份軟件管理備份和恢復(fù)的文件，備份時NBU軟件通過備份策略調(diào)用oracle備份腳本把數(shù)據(jù)庫歸檔日志備份到磁帶庫；恢復(fù)時NBU軟件把歸檔文件從磁帶庫恢復(fù)數(shù)據(jù)庫：l 新華人壽客戶管理系統(tǒng)數(shù)據(jù)庫備份采用NBU調(diào)用oracle腳本的方式，腳本采用oracle的備份工具RMAN來實(shí)現(xiàn)l 每一個月進(jìn)行一

18、次全量備份，每一星期進(jìn)行一次累計(jì)增量備份，每天進(jìn)行增量備份l 對于大數(shù)據(jù)量表每天進(jìn)行單獨(dú)備份l 對關(guān)鍵維表，數(shù)據(jù)庫創(chuàng)建對象、創(chuàng)建用戶腳本等，使用oracle數(shù)據(jù)泵，每天進(jìn)行邏輯備份.3 快速恢復(fù)機(jī)制恢復(fù)分為單表恢復(fù)和數(shù)據(jù)庫崩潰恢復(fù)1單表恢復(fù)： 如果是單表恢復(fù)，可以通過從NBU恢復(fù)備份，然后再把數(shù)據(jù)庫導(dǎo)入的方式來實(shí)現(xiàn)2數(shù)據(jù)庫崩潰恢復(fù)： 如果數(shù)據(jù)庫崩潰，可以有兩種方法來恢復(fù)數(shù)據(jù)庫第一種，借助RMAN：l 創(chuàng)建數(shù)據(jù)庫l 使用NBU備份的RMAN備份來恢復(fù)數(shù)據(jù)庫第二種，使用其它方式：l 創(chuàng)建數(shù)據(jù)庫l 用導(dǎo)出的腳本來創(chuàng)建用戶、表空間等l 用創(chuàng)建對象腳本來創(chuàng)建數(shù)據(jù)庫對象l 使用導(dǎo)出的維表數(shù)據(jù)

19、庫恢復(fù)維表等小表l 使用NBU的備份恢復(fù)大表數(shù)據(jù)1.2.2 操作系統(tǒng)備份和恢復(fù)AIX 全名為Advanced Interactive Executive，它是IBM 公司的UNIX操作系統(tǒng)，整個系統(tǒng)設(shè)計(jì)從網(wǎng)絡(luò)、主機(jī)硬件系統(tǒng)，到操作系統(tǒng)完全遵守開放系統(tǒng)的原則。它是目前操作系統(tǒng)界最成功，應(yīng)用領(lǐng)域最廣，最開放的第二代的UNIX系統(tǒng)，特別適合于做關(guān)鍵數(shù)據(jù)處理。 鏡像備份是獨(dú)立文件（數(shù)據(jù)文件、歸檔日志、控制文件）的備份。它很類似操作系統(tǒng)級的文件備份。它不是備份集或備份片，也沒有被壓縮。在新華人壽客戶管理系統(tǒng)中使用AIX操作系統(tǒng)，考慮到安全因素，需要對操作系統(tǒng)進(jìn)行備份：采用對rootvg進(jìn)行鏡像備份的方式

20、進(jìn)行，達(dá)到快速恢復(fù)操作系統(tǒng)的目的。1.2.3 Portal備份Portal是集成的、可自定義的、使用多種語言的，在線OLAP解決方案基于.net的三層Web應(yīng)用程序。以下將是最好的過程： 1. 備份整個 Portal 安裝目錄結(jié)構(gòu) 2. 備份 oracle中的 Portal 數(shù)據(jù)庫3. 備份用戶目錄存儲器1.2.4 Microstrategy備份Microstrategy 一直是GartnerMagicQuadrant評鑒中列為領(lǐng)先的前五大BI工具和服務(wù)廠家。主要在以下各方面獲得客戶高度的肯定：a) 企業(yè)級BI : 適合企業(yè)級的BI運(yùn)用, 基于ACRM理論的概念而設(shè)計(jì)，擁有很高的運(yùn)行效能，能支持大的客戶數(shù)據(jù)量。美國最大的ACRM公司也選擇MSTR做為其戰(zhàn)略伙伴，可見其處理大數(shù)據(jù)量的能力。b) 年度最佳移動BI ：支持移動終端如Ipad 和Iphone. 可以讓客戶靈活的自己設(shè)計(jì)需要的儀表盤，輕松做好管理駕駛艙的項(xiàng)目，是這個領(lǐng)域的最佳BI廠家。c) 重視用戶的體驗(yàn) ：能保證開發(fā)人員的效率和生產(chǎn)力, 主要是因?yàn)閰?shù)化的報(bào)表開發(fā)