雙活數(shù)據(jù)中心

1、雙活數(shù)據(jù)中心雙活數(shù)據(jù)中心背景1個(gè)機(jī)房背景n HIS系統(tǒng)數(shù)據(jù)庫(kù)運(yùn)行在兩臺(tái)IBM P550小型機(jī)上后租用一臺(tái)IBM P570小型機(jī)，P570和其中一臺(tái)P550組成一套HA系統(tǒng)，數(shù)據(jù)存儲(chǔ)在IBM DS4300存儲(chǔ)上；n HA系統(tǒng)只能實(shí)現(xiàn)故障轉(zhuǎn)移，無(wú)法實(shí)現(xiàn)負(fù)載均衡，無(wú)法充分利用硬件設(shè)備資源；n 設(shè)備購(gòu)置年限較長(zhǎng)，從電子設(shè)備的穩(wěn)定周期來(lái)看，設(shè)備已進(jìn)入故障高發(fā)期；n 業(yè)務(wù)逐年增長(zhǎng)，頂峰時(shí)對(duì)系統(tǒng)的壓力越來(lái)越大；n 出現(xiàn)過(guò)業(yè)務(wù)頂峰時(shí)，系統(tǒng)負(fù)載過(guò)高，整個(gè)系統(tǒng)的響應(yīng)變慢的狀況；n 系統(tǒng)存在單點(diǎn)故障，平安性堪憂，系統(tǒng)更新勢(shì)在必行；n 所有的應(yīng)用系統(tǒng)采用傳統(tǒng)模式部署業(yè)務(wù)系統(tǒng)直接運(yùn)行在物理效勞器上。HA系統(tǒng)2006-2

2、021系統(tǒng)需求快！隨著患者對(duì)醫(yī)院效勞要求的增高，要求系統(tǒng)的響應(yīng)速度越來(lái)越快；業(yè)務(wù)系統(tǒng)越來(lái)越多，要求系統(tǒng)的處理能力越來(lái)越快；平安！n 隨著醫(yī)院業(yè)務(wù)的開(kāi)展，要求系統(tǒng)的穩(wěn)定性越來(lái)越高；n 由于醫(yī)院行業(yè)的特殊性，對(duì)系統(tǒng)的停機(jī)要求很高，最好做到維護(hù)系統(tǒng)時(shí)，效勞不中斷；n 排除系統(tǒng)的單點(diǎn)故障，保證系統(tǒng)的穩(wěn)定性；n 保證系統(tǒng)的先進(jìn)性，要求采用主流技術(shù)架構(gòu)建設(shè)系統(tǒng)；n 業(yè)務(wù)數(shù)據(jù)已成為醫(yī)院的重要資源，要求做好業(yè)務(wù)數(shù)據(jù)的實(shí)時(shí)保護(hù)，同時(shí)要求業(yè)務(wù)數(shù)據(jù)擁有備份；LAN生產(chǎn)機(jī)房生產(chǎn)機(jī)房災(zāi)備機(jī)房災(zāi)備機(jī)房裸光纖裸光纖存儲(chǔ)虛擬化存儲(chǔ)虛擬化EMC Vplex光纖光纖數(shù)據(jù)流數(shù)據(jù)流圖例圖例IBM DS4300EMC VNX5300O

3、racle DGIBM P570數(shù)據(jù)同步數(shù)據(jù)同步EMC VNX5500IBM P740IBM P740OracleRAC存存儲(chǔ)儲(chǔ)池池VMware2021年 2個(gè)機(jī)房一期實(shí)施內(nèi)容 2臺(tái)IBM P740小型機(jī) 1臺(tái)EMC VNX5500存儲(chǔ) 1臺(tái)EMC VPLEX Local節(jié)點(diǎn) 2臺(tái)EMC DS300B SAN交換機(jī) 1套Oracle RAC安裝部署及數(shù)據(jù)遷移 1套Oracle DataGuard數(shù)據(jù)容災(zāi)軟件實(shí)施 1套VMware效勞器虛擬化測(cè)試運(yùn)行階段一期建設(shè)成果p P740小型機(jī)提升系統(tǒng)的整體處理能力；p Oracle RAC 提升數(shù)據(jù)庫(kù)的處理能力及系統(tǒng)的平安性，實(shí)現(xiàn)了故障轉(zhuǎn)移和負(fù)載均衡；p

4、 通過(guò)存儲(chǔ)虛擬化解決存儲(chǔ)的單點(diǎn)故障，同時(shí)保證系統(tǒng)的重要數(shù)據(jù)在系統(tǒng)中有著實(shí)時(shí)的兩份同樣的COPY；p 存儲(chǔ)虛擬化平臺(tái)的建立，使核心數(shù)據(jù)存儲(chǔ)系統(tǒng)的不停機(jī)維護(hù)成為可能；p Oracle DG可以保證生產(chǎn)系統(tǒng)的快速切換，保證在出現(xiàn)故障時(shí)，業(yè)務(wù)可以快速上線；p VMware效勞器虛擬化環(huán)境，保證在物理效勞器出現(xiàn)故障時(shí)，應(yīng)用系統(tǒng)不中斷虛擬機(jī)自動(dòng)遷移至健康效勞器。為什么有二期？一期EMC Vplex存在單點(diǎn)故障，如果EMC Vplex出現(xiàn)故障，系統(tǒng)將出現(xiàn)宕機(jī)，前端應(yīng)用將停止效勞；主要設(shè)備都在新機(jī)房，在極端狀況下，如果新機(jī)房出現(xiàn)電源故障，系統(tǒng)將被迫切換，系統(tǒng)將會(huì)短時(shí)間停機(jī)；IBM P570主機(jī)設(shè)備老化，作為備

5、機(jī)在應(yīng)對(duì)大規(guī)模業(yè)務(wù)流量時(shí)不穩(wěn)定，會(huì)出現(xiàn)宕機(jī)狀況；系統(tǒng)保護(hù)多為在線冗余保護(hù)，離線數(shù)據(jù)保護(hù)系統(tǒng)很薄弱，系統(tǒng)抵抗邏輯風(fēng)險(xiǎn)的能力低。VMware效勞器虛擬化沒(méi)有實(shí)現(xiàn)跨站點(diǎn)容災(zāi)保護(hù)，一旦生產(chǎn)機(jī)房出現(xiàn)電源故障，所有虛擬化環(huán)境都會(huì)出現(xiàn)業(yè)務(wù)中斷一期系統(tǒng)需加強(qiáng)的要點(diǎn)二期需要做的事增添一臺(tái)小型機(jī)IBM P7408核心CPU，32GB內(nèi)存，8Gb HBA卡，萬(wàn)兆網(wǎng)卡，用來(lái)替換P570小型機(jī)作為OracleDg及DSG的容災(zāi)效勞器；將現(xiàn)有EMC Vplex Local升級(jí)成Metro型號(hào)，再配置一臺(tái)EMC Vplex Metro，形成EMC Vplex 群集配置，預(yù)防Vplex單點(diǎn)故障；將由原的RAC系統(tǒng)分別部署在兩

6、個(gè)機(jī)房，形成同園區(qū)的雙活數(shù)據(jù)中心，防止機(jī)房出現(xiàn)電源或網(wǎng)絡(luò)方面的極端故障；由于新機(jī)房建設(shè)標(biāo)準(zhǔn)高，機(jī)房環(huán)境好，將Oracle DG和DSG的小型機(jī)部署在新機(jī)房，當(dāng)系統(tǒng)切換時(shí)，保證系統(tǒng)的穩(wěn)定性電源、網(wǎng)絡(luò)、制冷等；原有的IBM DS4300性能無(wú)法滿足生產(chǎn)系統(tǒng)需求，利用原有的IBM P550小型機(jī)組建測(cè)試庫(kù)系統(tǒng)，供容災(zāi)測(cè)試使用；目前數(shù)據(jù)全部采用在線保護(hù)系統(tǒng)，可以保證數(shù)據(jù)在出現(xiàn)問(wèn)題時(shí)可以快速的恢復(fù)，保證系統(tǒng)的連續(xù)性。但是系統(tǒng)屏蔽邏輯錯(cuò)誤的能力很低，為了保證系統(tǒng)抵抗邏輯錯(cuò)誤的風(fēng)險(xiǎn)，部署DSG及Networker數(shù)據(jù)備份系統(tǒng)，實(shí)現(xiàn)系統(tǒng)數(shù)據(jù)的離線備份，可以將系統(tǒng)數(shù)據(jù)恢復(fù)到過(guò)去某一個(gè)時(shí)間點(diǎn)，保證數(shù)據(jù)的平安。在災(zāi)

7、備機(jī)房部署VMware效勞器虛擬化的容災(zāi)保護(hù)平臺(tái)。二期系統(tǒng)改進(jìn)方案二期實(shí)施內(nèi)容 1臺(tái)IBM P740小型機(jī) 1臺(tái)EMC VNX5400存儲(chǔ) 2臺(tái)EMC DS6510B SAN交換機(jī) 1臺(tái)EMC VPLEX Metro節(jié)點(diǎn) EMC VPLEX Local升級(jí)Metro DSG容災(zāi)軟件實(shí)施 EMC Networker備份軟件 VMware效勞器虛擬化容災(zāi)保護(hù)系統(tǒng)VMware SRM生產(chǎn)機(jī)房生產(chǎn)機(jī)房災(zāi)備機(jī)房災(zāi)備機(jī)房裸光纖裸光纖存儲(chǔ)虛擬化存儲(chǔ)虛擬化EMC Vplex光纖光纖數(shù)據(jù)流數(shù)據(jù)流圖例圖例EMC VNX5500EMC VNX5300Oracle RAC數(shù)據(jù)同步數(shù)據(jù)同步EMC VNX5400IBM

8、P740IBM P740Oracle DG存存儲(chǔ)儲(chǔ)池池存儲(chǔ)虛擬化存儲(chǔ)虛擬化EMC VplexIBM P740虛擬機(jī)災(zāi)備端虛擬機(jī)災(zāi)備端IBM_P550 DSGLAN虛擬機(jī)虛擬機(jī)VMware SRM2021年p EMC VplexMetro雙活數(shù)據(jù)中心架構(gòu)，保證2個(gè)機(jī)房中任何一個(gè)的存儲(chǔ)和主機(jī)出現(xiàn)故障，系統(tǒng)仍然能提供效勞；p 新增EMC VNX5400存儲(chǔ)，增加Vplex存儲(chǔ)池的容量及性能，滿足業(yè)務(wù)開(kāi)展的需要；p 在極端狀況下，如果生產(chǎn)中心機(jī)房出現(xiàn)電源故障，系統(tǒng)可繼續(xù)有災(zāi)備中心機(jī)房設(shè)備提供業(yè)務(wù)效勞；p 當(dāng)前業(yè)務(wù)災(zāi)備系統(tǒng)有兩套OracleDG,DSG,分別在兩個(gè)中心機(jī)房有容災(zāi)庫(kù)，出現(xiàn)生產(chǎn)環(huán)境崩潰的情況

9、下可較短時(shí)間將備用庫(kù)拉起提供效勞，同時(shí)保證數(shù)據(jù)不喪失；p 當(dāng)前生產(chǎn)環(huán)境還有獨(dú)立的一套EMC networker備份系統(tǒng)，每天對(duì)生產(chǎn)環(huán)境數(shù)據(jù)庫(kù)進(jìn)行備份，最大限度保證數(shù)據(jù)平安性，同時(shí)提供屏蔽數(shù)據(jù)邏輯故障的能力。p 在極端情況下，如果生產(chǎn)中心機(jī)房出現(xiàn)電源故障，接受Vmware SRM保護(hù)的虛擬時(shí)機(jī)在容災(zāi)機(jī)房自動(dòng)重新啟動(dòng)提供效勞。二期建設(shè)成果雙活數(shù)據(jù)中心建設(shè)的優(yōu)點(diǎn)均采用業(yè)界領(lǐng)先的解決方案及產(chǎn)品IBM、Oracle、EMC、VMware，大大的提高醫(yī)院的系統(tǒng)處理能力，保證業(yè)務(wù)流暢運(yùn)行。系統(tǒng)均采用冗余架構(gòu)設(shè)計(jì)(主機(jī)、存儲(chǔ)、網(wǎng)絡(luò))，結(jié)合效勞器虛擬化、存儲(chǔ)虛擬化、數(shù)據(jù)備份、數(shù)據(jù)庫(kù)在線備份等一系列技術(shù)手段，保證

10、醫(yī)院系統(tǒng)的連續(xù)不中斷。三期規(guī)劃2021年底新院區(qū)建成后年底新院區(qū)建成后2地地3中心中心生產(chǎn)機(jī)房生產(chǎn)機(jī)房-通灌院區(qū)通灌院區(qū)生產(chǎn)生產(chǎn)機(jī)房機(jī)房-新海院區(qū)新海院區(qū)（1#機(jī)房）機(jī)房）裸裸光光纖纖存儲(chǔ)虛擬化存儲(chǔ)虛擬化EMC Vplex光纖光纖數(shù)據(jù)流數(shù)據(jù)流圖例圖例EMC VNX5500EMC VNX5300OracleRAC數(shù)據(jù)同步數(shù)據(jù)同步EMC VNX5400IBM P740IBM P740Oracle DG存存儲(chǔ)儲(chǔ)池池存儲(chǔ)虛擬化存儲(chǔ)虛擬化EMC VplexIBM P740虛擬機(jī)虛擬機(jī)虛擬機(jī)虛擬機(jī)虛擬機(jī)災(zāi)備端虛擬機(jī)災(zāi)備端EMC VNX5400（新購(gòu)）（新購(gòu)）IBM_P740（新購(gòu)）（新購(gòu)） DSG災(zāi)備災(zāi)備

11、機(jī)房機(jī)房-新海院區(qū)新海院區(qū)（2#機(jī)房）機(jī)房）CDP設(shè)備設(shè)備連續(xù)數(shù)據(jù)保護(hù)連續(xù)數(shù)據(jù)保護(hù)LANDSG數(shù)據(jù)同步數(shù)據(jù)同步VMware SRM一期設(shè)備清單設(shè)備名稱設(shè)備名稱設(shè)備型號(hào)設(shè)備型號(hào)品牌品牌型號(hào)型號(hào)1小型機(jī)小型機(jī)IBMP7402小型機(jī)小型機(jī)IBMP7403磁盤存儲(chǔ)磁盤存儲(chǔ)EMCVNX55004SAN交換機(jī)交換機(jī)EMCDS300B5SAN交換機(jī)交換機(jī)EMCDS300B6存儲(chǔ)虛擬化產(chǎn)品存儲(chǔ)虛擬化產(chǎn)品EMCVPLEX7數(shù)據(jù)庫(kù)雙機(jī)軟件數(shù)據(jù)庫(kù)雙機(jī)軟件oracleOracle RAC8數(shù)據(jù)庫(kù)容災(zāi)軟件數(shù)據(jù)庫(kù)容災(zāi)軟件DGDataGuard9服務(wù)器虛擬化服務(wù)器虛擬化VMwareVMware vSphere 5.1（測(cè)試

12、環(huán)境）（測(cè)試環(huán)境）二期設(shè)備清單設(shè)備名稱設(shè)備名稱設(shè)備型號(hào)設(shè)備型號(hào)品牌品牌型號(hào)型號(hào)1小型機(jī)小型機(jī)IBMP7402磁盤存儲(chǔ)磁盤存儲(chǔ)EMCVNX54003磁盤磁盤存儲(chǔ)存儲(chǔ)EMCVNX55004SAN交換機(jī)交換機(jī)EMCDS6510B5SAN交換機(jī)交換機(jī)EMCDS6510B6存儲(chǔ)虛擬化產(chǎn)品存儲(chǔ)虛擬化產(chǎn)品EMCVPLEX-Metro7存儲(chǔ)虛擬化產(chǎn)品升級(jí)存儲(chǔ)虛擬化產(chǎn)品升級(jí)EMCVplex local升級(jí)升級(jí)Metro8數(shù)據(jù)庫(kù)容災(zāi)軟件數(shù)據(jù)庫(kù)容災(zāi)軟件DSGDSG RealSync9數(shù)據(jù)備份軟件數(shù)據(jù)備份軟件EMC EMC Networker7.610服務(wù)器虛擬化服務(wù)器虛擬化VMwareVMware vSphere

13、5.511服務(wù)器虛擬化容災(zāi)服務(wù)器虛擬化容災(zāi)VMwareVMware SRM 5.0一期網(wǎng)絡(luò)管理IP地址地址設(shè)備設(shè)備172.32.255.1VNX5300_SPA172.32.255.2VNX5300_SPB172.32.255.3VNX5500_SPA172.32.255.4VNX5500_SPB172.32.255.5VPLEX172.32.255.6EMC_DS300B_1172.32.255.7EMC_DS300B_2物理設(shè)備IP管理主機(jī)主機(jī)IP用途用途p740a192.168.0.65p740a_pubic10.10.10.1p740a_private192.168.0.67p740a

14、_vipp740b192.168.0.66p740b_pubic10.10.10.2p740b_private192.168.0.68p740b_vipOracle RAC IP地址一期存儲(chǔ)管理Raid GroupRaid TypeRaid Size0r5600GB1r101.5TB2r51.2TB3r52.4TBNameLUN NumberLUN SizeDefault SPRaid GroupRaid TypeDisk TypeP74001.0 GBA3r5FC11.0 GBB3r5FC2300.0 GBA1r10FC3300.0 GBB1r10FC二期網(wǎng)絡(luò)管理 設(shè)備設(shè)備IP生產(chǎn)機(jī)房生產(chǎn)機(jī)

15、房Vplex-cluster1172.32.255.5VNX5400 SPA172.32.255.24VNX5400 SPB172.32.255.25DS6510B_UP172.32.255.21DS6510B_DOWN172.32.255.20P740a192.168.0.65P740a-vip192.168.0.67P740dg192.168.0.208 容災(zāi)機(jī)房容災(zāi)機(jī)房Vplex-cluster1172.32.255.23VNX5500 SPA172.32.255.3VNX5500 SPB172.32.255.4DS300B_UP172.32.255.6DS300B_DOWN172.32

16、.255.7P740b192.168.0.66P740b-vip192.168.0.68NetworkerBackupServer192.168.0.108P550(4C,16GB)192.168.0.8Oracle實(shí)例用戶名密碼-IBM_2005_B16光纖交換機(jī)_UP172.32.255.26IBM_2005_B16光纖交換機(jī)_DOWN172.32.255.27二期存儲(chǔ)管理Raid GroupRaid TypeRaid Size0R102.1TBSAS_POOLR515TBNL_SAS_POOLR521TBNameLUN NumberLUN SizeDefault SPRaid Group

17、Raid TypeDisk TypeP740111.0 GBA0r10SAS121.0 GBB0r10SAS131.0 GBA0r10SAS141.0 GBB0r10SAS151.0 GBA0r10SAS16300.0 GBB0r10SAS17300.0 GBA0r10SAS18300.0 GBB0r10SAS20750.0GBB0r10SAS P740DG0300.0 GBA0r10SAS1300.0 GBB0r10SAS19100.0GBASAS_POOLR5SAS Vmware_esx03-062 2TBASAS_POOLR5SAS32TBBSAS_POOLR5SAS415TBANl_S

18、AS_POOLR5SAS測(cè)試場(chǎng)景一：RACRAC節(jié)點(diǎn)效勞器出現(xiàn)故障故障發(fā)生故障發(fā)生直接斷開(kāi)直接斷開(kāi)RAC群集中第一個(gè)節(jié)點(diǎn)效勞群集中第一個(gè)節(jié)點(diǎn)效勞器的電源器的電源故障監(jiān)控故障監(jiān)控查看查看Oracle RAC節(jié)點(diǎn)實(shí)例狀態(tài)節(jié)點(diǎn)實(shí)例狀態(tài)故障解決故障解決恢復(fù)恢復(fù)RAC群集中第一個(gè)節(jié)點(diǎn)效勞器的群集中第一個(gè)節(jié)點(diǎn)效勞器的電源，并開(kāi)啟效勞器電源，并開(kāi)啟效勞器預(yù)期結(jié)果預(yù)期結(jié)果節(jié)點(diǎn)效勞器宕機(jī)期間，節(jié)點(diǎn)效勞器宕機(jī)期間，Oracle客戶端客戶端不受影響，可以持續(xù)訪問(wèn)不受影響，可以持續(xù)訪問(wèn)Oracle數(shù)據(jù)數(shù)據(jù)庫(kù)效勞器。庫(kù)效勞器。結(jié)論結(jié)論Oracle數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)RAC群集不受其中一個(gè)群集不受其中一個(gè)效勞器節(jié)點(diǎn)故障的影響，可以持續(xù)向客效勞器節(jié)點(diǎn)故障的影響，可以持續(xù)向客戶端提供效勞。戶端提供效勞。Orac