FusionCloud私有云災(zāi)備技術(shù)方案

1、FusionCloud私有云災(zāi)備技術(shù)方案技術(shù)創(chuàng)新，變革未來私有云災(zāi)備總體架構(gòu)私有云備份方案詳述私有云容災(zāi)方案詳述私有云災(zāi)備的總體架構(gòu)基于OpenStack架構(gòu)結(jié)合華為災(zāi)備技術(shù)構(gòu)建的端到端的云災(zāi)備服務(wù)BaaS云平臺(tái)FusionSphereOpenStack災(zāi)備管理BCManager流程編排自動(dòng)配置故障切換遷移測(cè)試eReplication服務(wù)運(yùn)營(yíng)平臺(tái)ManageOne服務(wù)門戶OpenStackOpenStack租戶門戶管理員門戶服務(wù)目錄云硬盤備份云服務(wù)器備份備份/恢復(fù)DRaaSeBackup云服務(wù)器主備容災(zāi)HardwareHardware基于OpenStack架構(gòu)結(jié)合華為災(zāi)備技術(shù)構(gòu)建的端到端的私有

2、云災(zāi)備服務(wù)網(wǎng)絡(luò)虛擬化存儲(chǔ)虛擬化服務(wù)目錄ManageOne SC服務(wù)門戶管理員門戶租戶門戶策略調(diào)度統(tǒng)計(jì)計(jì)量資源管理策略配置FuisonSphereOpenStackNovaCinderNeutron備份存儲(chǔ)生產(chǎn)存儲(chǔ)網(wǎng)絡(luò)服務(wù)器eBackup業(yè)務(wù)編排ECSEVSCSDRCSBS運(yùn)營(yíng)管理平臺(tái)云平臺(tái)Nova-DriverCinder-DriverNeutron Plug-inVMVMKVMVMVMVRM計(jì)算虛擬化CSHAVMVMVMwareVHAeReplicationBCManager災(zāi)備管理ManageOne OC運(yùn)維管理平臺(tái)資源監(jiān)控故障告警日志審計(jì).私有云災(zāi)備邏輯架構(gòu)私有云災(zāi)備總體架構(gòu)私有云備份方

3、案詳述私有云容災(zāi)方案詳述私有云備份的定義和服務(wù)器虛擬化不同，備份在私有云中是一種服務(wù) - CSBS。云服務(wù)器備份服務(wù)（Cloud Server Backup Service，CSBS）對(duì)云服務(wù)器提供備份保護(hù)服務(wù)，利用多個(gè)云硬盤的一致性備份數(shù)據(jù)，恢復(fù)云服務(wù)器業(yè)務(wù)數(shù)據(jù)，支持本地備份和備份數(shù)據(jù)的遠(yuǎn)程復(fù)制。云服務(wù)器備份服務(wù)單個(gè)數(shù)據(jù)中心，歸屬于一個(gè)Region，本地備份和本地恢復(fù)多個(gè)數(shù)據(jù)中心，歸屬于一或多個(gè)Region，本地備份和本地恢復(fù)多個(gè)數(shù)據(jù)中心，歸屬于一個(gè)Region，兩級(jí)備份（本地備份后再將備份數(shù)據(jù)復(fù)制到另一個(gè)數(shù)據(jù)中心），本地恢復(fù)和跨數(shù)據(jù)中心恢復(fù)適用場(chǎng)景云硬盤本地備份云服務(wù)器云硬盤跨AZ恢復(fù)云服

4、務(wù)器異地備份存儲(chǔ)AZ-A本地恢復(fù)備份復(fù)制AZ-BRegion-A本地備份存儲(chǔ)本地恢復(fù)私有云備份的基礎(chǔ)架構(gòu)ManageOne SC：向用戶提供統(tǒng)一的云備份自助管理平臺(tái)，用戶按需申請(qǐng)備份服務(wù)；CSBS Karbor：數(shù)據(jù)保護(hù)服務(wù)編排，負(fù)責(zé)保存和調(diào)度備份策略，提供對(duì)接云管理平臺(tái)的API接口；BCManager eBackup：備份管理軟件，Manager&Workflow負(fù)責(zé)備份、恢復(fù)執(zhí)行流程控制，Server&Proxy負(fù)責(zé)數(shù)據(jù)的存??；FusionSphere OpenStack：提供備份、恢復(fù)等API接口。方案組件云數(shù)據(jù)中心云外部接入網(wǎng)絡(luò)云接入網(wǎng)絡(luò)ManageOne SC/OC云管理層CSBS

5、KarborBCManager eBackup備份管理層VMVM虛擬化層生產(chǎn)存儲(chǔ)備份存儲(chǔ)存儲(chǔ)層FusionSphere OpenStack云平臺(tái)層私有云備份的框架 方案組件ManageOne SC2節(jié)點(diǎn)虛擬化主備部署全局CSBS Karbor3節(jié)點(diǎn)虛擬化高可靠部署RegionBCManager eBackupManager&Workflow：2節(jié)點(diǎn)虛擬化高可靠部署RegionServer&Proxy：至少2節(jié)點(diǎn)物理部署（最多可擴(kuò)展到64個(gè)）POD/AZ備份存儲(chǔ)NAS & S3存儲(chǔ)：FusionStorage 6.0 File/ObjectOceanStor 9000 NAS/S3OceanSt

6、or V3融合存儲(chǔ) NASAWS S3NA生產(chǎn)存儲(chǔ)SAN存儲(chǔ)：OceanStor V3融合存儲(chǔ) SANFusionStorage 6.0 BlockDorado V3NA云數(shù)據(jù)中心DC出口出口路由器匯聚交換機(jī)核心交換機(jī)接入交換機(jī)接入交換機(jī)管理集群計(jì)算集群eBackupServer&ProxyFC/IP交換機(jī)IP交換機(jī)生產(chǎn)存儲(chǔ)備份存儲(chǔ)ManageOne SCCSBS KarboreBackup Manager&WorkflowSCVMKbVMeBkVM私有云備份的物理部署架構(gòu)私有云網(wǎng)絡(luò)規(guī)劃備份系統(tǒng)設(shè)計(jì)本地備份+本地恢復(fù)級(jí)聯(lián)場(chǎng)景非級(jí)聯(lián)場(chǎng)景備份系統(tǒng)設(shè)計(jì)兩級(jí)備份+本地恢復(fù)級(jí)聯(lián)場(chǎng)景非級(jí)聯(lián)場(chǎng)景備份系統(tǒng)設(shè)計(jì)

7、兩級(jí)備份+本地恢復(fù)+跨AZ恢復(fù)（級(jí)聯(lián)場(chǎng)景）備份系統(tǒng)設(shè)計(jì)兩級(jí)備份+本地恢復(fù)+跨AZ恢復(fù)（非級(jí)聯(lián)場(chǎng)景）租戶創(chuàng)建備份服務(wù)，需要設(shè)置備份策略、復(fù)制策略、備份對(duì)象。一個(gè)典型的配置示例如下：云備份服務(wù)使用流程如下：服務(wù)實(shí)例基本信息：服務(wù)名稱，服務(wù)期限，服務(wù)范圍（AZ）備份策略信息：調(diào)度策略（調(diào)度計(jì)劃、執(zhí)行時(shí)間點(diǎn)），保留策略（按份數(shù)保留、按時(shí)間保留）復(fù)制策略信息：是否復(fù)制，調(diào)度策略（調(diào)度計(jì)劃、執(zhí)行時(shí)間點(diǎn)），保留策略（按份數(shù)保留、按時(shí)間保留）備份對(duì)象信息：云服務(wù)器租戶系統(tǒng)自動(dòng)創(chuàng)建備份服務(wù)實(shí)例云備份服務(wù)實(shí)例設(shè)置基本信息、備份策略、復(fù)制策略、備份對(duì)象手工備份/復(fù)制/恢復(fù)系統(tǒng)自動(dòng)備份/復(fù)制創(chuàng)建備份服務(wù)私有云備份使用

8、流程應(yīng)用場(chǎng)景 - 本地備份eBackup 備份節(jié)點(diǎn)生產(chǎn)存儲(chǔ)備份存儲(chǔ)管理集群計(jì)算集群SCVMCSBSVMeBkVM備份、恢復(fù)管理流備份、恢復(fù)數(shù)據(jù)流租戶云服務(wù)器應(yīng)用場(chǎng)景說明受黑客攻擊或病毒入侵通過云備份服務(wù)，可立即恢復(fù)到最近一次沒有受黑客攻擊或病毒入侵的備份時(shí)間點(diǎn)。數(shù)據(jù)被誤刪通過云備份服務(wù)，可立即恢復(fù)到刪除前的備份時(shí)間點(diǎn)，找回被刪除的數(shù)據(jù)。應(yīng)用程序更新出錯(cuò)通過云備份服務(wù)，可立即恢復(fù)到應(yīng)用程序更新前的備份時(shí)間點(diǎn)，使系統(tǒng)正常運(yùn)行。云服務(wù)器宕機(jī)通過云備份服務(wù)，可立即恢復(fù)宕機(jī)之前的云服務(wù)器的硬盤數(shù)據(jù)，或恢復(fù)到其他云服務(wù)器中。CSBS適用場(chǎng)景：?jiǎn)螜C(jī)非集群云服務(wù)器，云服務(wù)器有多個(gè)云硬盤時(shí)需保證云硬盤間的數(shù)據(jù)備

9、份一致性。應(yīng)用場(chǎng)景 - 備份遠(yuǎn)程復(fù)制租戶租戶手工觸發(fā)或者系統(tǒng)自動(dòng)調(diào)度ManageOne SCCSBS Kabor1.2、啟動(dòng)備份服務(wù)1.3、調(diào)度備份策略V3 SAN/ FusionStorage BlockFusionSphere OpenStackCinder DrivereBackup DriverCinderNAS/S3V3/9000/FusionStorage2.3、創(chuàng)建卷快照，一致性激活Cinder APICSBS ConsoleeBackup PlugineBackupManager&Workflow級(jí)聯(lián)OpenStackNovaeBackupServer&Proxy2.1、獲取V

10、M元數(shù)據(jù)2.2、創(chuàng)建卷快照、一致性激活2.4、備份卷快照2.5、備份卷快照3.1、掛載卷快照，獲取首次全備或者增量備份數(shù)據(jù)3.2、寫入備份數(shù)據(jù)本地備份實(shí)現(xiàn)原理租戶選擇備份副本恢復(fù)原云主機(jī)/指定云主機(jī)ManageOne SCCSBS Kabor1.2、恢復(fù)VMV3 SAN/ FusionStorage BlockFusionSphere OpenStackCinder DrivereBackup DriverCinderNAS/S3V3/9000/FusionStorageCinder APICSBS ConsoleeBackup PlugineBackupManager&Workflow級(jí)聯(lián)O

11、penStackNovaeBackupServer&Proxy1.3、VM關(guān)機(jī)卸卷1.4、恢復(fù)卷1.6、恢復(fù)卷2.2、掛載卷寫入備份數(shù)據(jù)2.1、讀取備份數(shù)據(jù)恢復(fù)實(shí)現(xiàn)原理租戶租戶創(chuàng)建復(fù)制策略ManageOne SCCSBS Kabor1.2、創(chuàng)建復(fù)制策略1.3、調(diào)度復(fù)制策略V3 SAN/ FusionStorage BlockFusionSphere OpenStackCinder DrivereBackup DriverCinderNAS/S3V3/9000/FusionStorageCinder APICSBS ConsoleeBackup PlugineBackupManager&Work

12、flow級(jí)聯(lián)OpenStackNovaeBackupServer&Proxy2.1、導(dǎo)入復(fù)制備份記錄，通知拷貝2.2、拷貝備份數(shù)據(jù)3.1、讀取備份數(shù)據(jù)2.3、拷貝備份數(shù)據(jù)S39000/FusionStorage3.2、寫入備份數(shù)據(jù)AZ2AZ1備份遠(yuǎn)程復(fù)制實(shí)現(xiàn)原理私有云災(zāi)備總體架構(gòu)私有云備份方案詳述私有云容災(zāi)方案詳述CSDRCSDAVHA私有云容災(zāi)的定義和備份一樣，容災(zāi)在私有云中也是是一種服務(wù) - CSDR。云服務(wù)器容災(zāi)服務(wù)（Cloud Server Disaster Recoveryi，CSDR）為云服務(wù)器提供異地容災(zāi)保護(hù)，當(dāng)生產(chǎn)中心故障，可在異地容災(zāi)中心快速恢復(fù)云服務(wù)器，確保業(yè)務(wù)持續(xù)運(yùn)行。云

13、服務(wù)器容災(zāi)服務(wù)兩個(gè)跨異地的數(shù)據(jù)中心，各部署一套Openstack，分別歸屬于兩個(gè)Region。生產(chǎn)虛擬機(jī)和容災(zāi)虛機(jī)部署為主備容災(zāi)模式，正常狀態(tài)下只有生產(chǎn)虛擬機(jī)運(yùn)行，容災(zāi)虛擬機(jī)關(guān)機(jī)，數(shù)據(jù)通過存儲(chǔ)進(jìn)行遠(yuǎn)程復(fù)制。支持通過容災(zāi)測(cè)試、演練、故障恢復(fù)保證業(yè)務(wù)可用性。適用場(chǎng)景Region ARegion B架構(gòu)特點(diǎn)對(duì)應(yīng)用透明基于IaaS提供存儲(chǔ)層的跨Region遠(yuǎn)程復(fù)制，管理員無(wú)需感知VM內(nèi)應(yīng)用高效復(fù)制存儲(chǔ)層復(fù)制，支持RPO=0，對(duì)VM性能零影響高可靠性支持遠(yuǎn)程復(fù)制一致性組，實(shí)現(xiàn)跨VM的遠(yuǎn)程復(fù)制數(shù)據(jù)一致性VM1FusionSphere OpenStackPrimary DCSecondary DCManag

14、eOne SC (Master)OceanStor V3VM2VM1VM2Master LUNSlave LUNOceanStor V3 存儲(chǔ)層陣列遠(yuǎn)程復(fù)制FusionSphere OpenStack ManageOne SC(Standby)云服務(wù)器跨中心容災(zāi)切換存儲(chǔ)層虛擬化層服務(wù)門戶層BCM eReplicationBCM eReplication 核心運(yùn)營(yíng)運(yùn)維組件跨中心容災(zāi)KeystoneMasterKeystoneStandby私有云容災(zāi)服務(wù)的邏輯架構(gòu)容災(zāi)組網(wǎng)要求每個(gè)DC一個(gè)Region。每DC管理網(wǎng)絡(luò)獨(dú)立部署，DC間三層路由互通每DC業(yè)務(wù)網(wǎng)絡(luò)獨(dú)立部署、有獨(dú)立DC出口。DC間公網(wǎng)三層路

15、由互通，二層不互通。每個(gè)DC獨(dú)立部署非SDN網(wǎng)絡(luò)方案管理網(wǎng)絡(luò)通過專網(wǎng)或?qū)＞€互通，DC間時(shí)延RTT100ms如果業(yè)務(wù)網(wǎng)絡(luò)為Internet，則每個(gè)DC部署獨(dú)立出口。如果同為專網(wǎng)，與管理網(wǎng)絡(luò)可共用物理鏈路，邏輯上進(jìn)行業(yè)務(wù)隔離存儲(chǔ)使用iSCSI鏈路互聯(lián)，與管理業(yè)務(wù)網(wǎng)絡(luò)邏輯隔離，往返RTT100ms核心交換機(jī)FWLB核心交換機(jī)FWLBV3存儲(chǔ)PrimarySecondaryFC交換機(jī)計(jì)算集群管理服務(wù)器管理服務(wù)器FC交換機(jī)V3存儲(chǔ)接入交換機(jī)匯聚交換機(jī)計(jì)算集群接入交換機(jī)匯聚交換機(jī)管理交換機(jī)管理交換機(jī)WANACAC私有云容災(zāi)服務(wù)的物理組網(wǎng)架構(gòu) 特點(diǎn)支持跨VM一致性組用戶在同一個(gè)云主機(jī)主備服務(wù)實(shí)例中，可添加多

16、臺(tái)云主機(jī)多個(gè)VM掛接的所有卷，可保證遠(yuǎn)程復(fù)制的數(shù)據(jù)一致性，防止同一個(gè)應(yīng)用出現(xiàn)數(shù)據(jù)不一致StorageVM1(DB)Storage租戶VM3(Web/App)DBApp遠(yuǎn)程復(fù)制VM2(DB)DB遠(yuǎn)程復(fù)制一致性DataSystem一致性組VM1LUNsVM2LUNsDataSystem一致性組VM1LUNsVM2LUNs云數(shù)據(jù)中心1云數(shù)據(jù)中心2關(guān)鍵技術(shù)一：跨VM的遠(yuǎn)程復(fù)制一致性存儲(chǔ)資源池Oceanstor 18000 V3Oceanstor 5600 V3存儲(chǔ)資源池Oceanstor 5600 V3Oceanstor 6800V3HyperReplication1、高中低型號(hào)陣列互通復(fù)制2、相鄰版

17、本的互通災(zāi)備存儲(chǔ)生產(chǎn)存儲(chǔ)災(zāi)備存儲(chǔ)生產(chǎn)存儲(chǔ)LUN AN+1NCacheNN-1CacheLUN BVM多時(shí)間點(diǎn)的專利復(fù)制技術(shù)HyperReplication特點(diǎn)基于華為多時(shí)間點(diǎn)專利的復(fù)制技術(shù)，保證陣列內(nèi)災(zāi)難發(fā)生時(shí)的數(shù)據(jù)一致性支持高中低互通的容災(zāi)技術(shù)，根據(jù)容量、性能需要選擇陣列，提供靈活適應(yīng)性，節(jié)約投資關(guān)鍵技術(shù)二：HyperReplication遠(yuǎn)程復(fù)制正常訪問過程租戶訪問業(yè)務(wù)VM1、用戶向客戶側(cè)DNS請(qǐng)求業(yè)務(wù)域名解析2、用戶獲取業(yè)務(wù)IP后，訪問Site1的業(yè)務(wù)VM3、業(yè)務(wù)VM的讀寫IO，均發(fā)送給Site1存儲(chǔ)陣列的生產(chǎn)LUN組4、寫IO，根據(jù)同步或異步復(fù)制策略，遠(yuǎn)程復(fù)制給Site2的存儲(chǔ)陣列的從

18、端LUN組租戶訪問SC及云服務(wù)1、用戶向客戶側(cè)DNS請(qǐng)求SC管理域名解析2、用戶獲取SC IP后，訪問Site1的ServiceCenter、每個(gè)云服務(wù)的前端界面3、ServiceCenter、每個(gè)云服務(wù)的前端，調(diào)用后端API、OpenStack API時(shí)，根據(jù)本機(jī)Host域名記錄解析IP地址4、ServiceCenter、每個(gè)云服務(wù)的前端，獲取API的IP地址后，發(fā)起API請(qǐng)求，完成業(yè)務(wù)的增刪改查操作Site1 (Region1) Openstack存儲(chǔ)資源池計(jì)算資源池服務(wù)器存儲(chǔ)網(wǎng)絡(luò)VM1VM2VM3網(wǎng)絡(luò)儲(chǔ)資源池Service Center（主）BCManager（備份）云平臺(tái) Fusion

19、sphereSite2 (Region2) Openstack存儲(chǔ)資源池計(jì)算資源池服務(wù)器存儲(chǔ)網(wǎng)絡(luò)VM1VM2VM3網(wǎng)絡(luò)儲(chǔ)資源池Service Center（備）BCManager（主）云平臺(tái) Fusionsphere客戶側(cè)DNSHostnameIP AddressSC域名Primary Cloud IP1業(yè)務(wù)域名Primary Cloud IP2租戶1、業(yè)務(wù)VM DNS解析2、訪問業(yè)務(wù)VM3、讀寫生產(chǎn)LUN4、同步/異步遠(yuǎn)程復(fù)制1、SC DNS解析2、訪問SC及云服務(wù)界面4、前端訪問后端/OpenStack API3、云服務(wù)前端，請(qǐng)求后端/OpenStack DNS解析HyperReplica

20、tion正常訪問流程容災(zāi)測(cè)試過程容災(zāi)測(cè)試過程1、租戶登錄SC，觸發(fā)容災(zāi)測(cè)試流程2、BCM觸發(fā)測(cè)試前數(shù)據(jù)復(fù)制3、從LUN創(chuàng)建快照、克隆卷4、克隆卷掛載至容災(zāi)VM，容災(zāi)VM接入測(cè)試網(wǎng)絡(luò)5、啟動(dòng)容災(zāi)VM租戶訪問業(yè)務(wù)VM6、租戶訪問容災(zāi)VM，驗(yàn)證數(shù)據(jù)完整性。（測(cè)試對(duì)生產(chǎn)VM無(wú)影響，可同時(shí)正常訪問。測(cè)試過程無(wú)需修改DNS） Openstack存儲(chǔ)資源池計(jì)算資源池服務(wù)器存儲(chǔ)網(wǎng)絡(luò)VM1VM2VM3網(wǎng)絡(luò)儲(chǔ)資源池Service Center（主）BCManager（備份）云平臺(tái) Fusionsphere Openstack存儲(chǔ)資源池計(jì)算資源池服務(wù)器存儲(chǔ)網(wǎng)絡(luò)VM1VM2VM3網(wǎng)絡(luò)儲(chǔ)資源池Service Cente

21、r（備）BCManager（主）云平臺(tái) FusionsphereHyperReplication客戶側(cè)DNS租戶2、測(cè)試前數(shù)據(jù)復(fù)制3、從LUN創(chuàng)建快照，創(chuàng)建克隆卷4、掛載至容災(zāi)VM，容災(zāi)VM接入測(cè)試網(wǎng)絡(luò)5、啟動(dòng)容災(zāi)VM6、訪問容災(zāi)VM，驗(yàn)證數(shù)據(jù)完整性1、啟動(dòng)測(cè)試流程生產(chǎn)VM無(wú)影響HostnameIP AddressSC域名Primary Cloud IP1業(yè)務(wù)域名Primary Cloud IP2Site1 (Region1)Site2 (Region2)容災(zāi)測(cè)試流程容災(zāi)演練（計(jì)劃性遷移）過程容災(zāi)計(jì)劃性遷移過程1、管理員登錄BCM，觸發(fā)計(jì)劃性遷移流程2、BCM停止生產(chǎn)VM，卸載卷3、執(zhí)行計(jì)劃性

22、遷前的數(shù)據(jù)復(fù)制4、從LUN升主，掛載至容災(zāi)VM5、容災(zāi)VM接入容災(zāi)恢復(fù)網(wǎng)絡(luò)6、啟動(dòng)容災(zāi)VM租戶訪問業(yè)務(wù)VM7、（可選）切換業(yè)務(wù)VM的DNS記錄（業(yè)務(wù)訪問域名記錄）8、租戶登錄容災(zāi)VM，檢驗(yàn)、啟動(dòng)業(yè)務(wù)系統(tǒng)（生產(chǎn)VM切換至容災(zāi)VM，完成容災(zāi)演練過程） Openstack存儲(chǔ)資源池計(jì)算資源池服務(wù)器存儲(chǔ)網(wǎng)絡(luò)VM1VM2VM3網(wǎng)絡(luò)儲(chǔ)資源池Service Center（主）BCManager（備份）云平臺(tái) Fusionsphere Openstack存儲(chǔ)資源池計(jì)算資源池服務(wù)器存儲(chǔ)網(wǎng)絡(luò)VM1VM2VM3網(wǎng)絡(luò)儲(chǔ)資源池Service Center（備）BCManager（主）云平臺(tái) FusionsphereHy

23、perReplication客戶側(cè)DNS租戶3、遷移前數(shù)據(jù)復(fù)制4、從LUN升主，掛載至容災(zāi)VM5、容災(zāi)VM接入測(cè)試網(wǎng)絡(luò)6、啟動(dòng)容災(zāi)VM8、訪問容災(zāi)VM，驗(yàn)證業(yè)務(wù)系統(tǒng)1、啟動(dòng)計(jì)劃性遷移流程2、停止生產(chǎn)VM，卸載卷HostnameProduction IPDR IPSC域名Primary Cloud IP1業(yè)務(wù)域名Primary Cloud IP2Secondary Cloud IP27、切換業(yè)務(wù)VM DNS記錄Site1 (Region1)Site2 (Region2)容災(zāi)演練流程故障切換流程 Openstack存儲(chǔ)資源池計(jì)算資源池服務(wù)器存儲(chǔ)網(wǎng)絡(luò)VM1VM2VM3網(wǎng)絡(luò)儲(chǔ)資源池Service Ce

24、nter（主）BCManager（備份）云平臺(tái) Fusionsphere Openstack存儲(chǔ)資源池計(jì)算資源池服務(wù)器存儲(chǔ)網(wǎng)絡(luò)VM1VM2VM3網(wǎng)絡(luò)儲(chǔ)資源池Service Center（備）BCManager（主）云平臺(tái) FusionsphereHyperReplication客戶側(cè)DNSHostnameProduction IPDR IPSC域名Primary Cloud IP1Secondary Cloud IP1業(yè)務(wù)域名Primary Cloud IP2Secondary Cloud IP22、切換ManageOne1、切換Keystone4、存儲(chǔ)陣列切換、啟動(dòng)容災(zāi)云主機(jī)Failover

25、租戶3、切換SC的Host域名記錄解析IP地址切換外部DNS的SC DNS記錄故障切換過程切換容災(zāi)基礎(chǔ)環(huán)境1、切換訪問認(rèn)證組件Keystone組件2、切換服務(wù)發(fā)放系統(tǒng) ManageOne SC3、切換SC的Host域名記錄解析IP地址，切換外部DNS記錄（僅ManageOne登錄域名記錄）切換云容災(zāi)服務(wù)實(shí)例4、通過BCM，一鍵式完成：存儲(chǔ)層LUN配置可讀、掛載至災(zāi)備端計(jì)算節(jié)點(diǎn)拉起容災(zāi)云主機(jī)，接入容災(zāi)恢復(fù)VPC5、租戶登錄容災(zāi)占位VM，檢驗(yàn)、啟動(dòng)業(yè)務(wù)系統(tǒng)6、（可選）切換業(yè)務(wù)VM的DNS記錄（業(yè)務(wù)訪問域名記錄）Site1 (Region1)Site2 (Region2)回切切換過程切換容災(zāi)基礎(chǔ)環(huán)境

26、1、切換訪問認(rèn)證組件Keystone組件2、切換服務(wù)發(fā)放系統(tǒng) ManageOne SC3、切換SC的Host域名記錄解析IP地址，切換外部DNS記錄（僅ManageOne登錄域名記錄）切換業(yè)務(wù)系統(tǒng)4、通過BCM，一鍵式完成：災(zāi)備中心陣列數(shù)據(jù)反向同步；執(zhí)行重保護(hù)；執(zhí)行故障恢復(fù)后回切(可選)；啟動(dòng)原生產(chǎn)云主機(jī)(可選)5、租戶登錄原生產(chǎn)的VM，檢驗(yàn)、啟動(dòng)業(yè)務(wù)系統(tǒng)6、（可選）切換業(yè)務(wù)VM的DNS記錄（業(yè)務(wù)訪問域名記錄） Openstack存儲(chǔ)資源池計(jì)算資源池服務(wù)器存儲(chǔ)網(wǎng)絡(luò)VM1VM2VM3網(wǎng)絡(luò)儲(chǔ)資源池Service Center（主）BCManager（備份）云平臺(tái) Fusionsphere Open

27、stack存儲(chǔ)資源池計(jì)算資源池服務(wù)器存儲(chǔ)網(wǎng)絡(luò)VM1VM2VM3網(wǎng)絡(luò)儲(chǔ)資源池Service Center（備）BCManager（主）云平臺(tái) Fusionsphere客戶側(cè)DNS2、切換ManageOne1、切換KeystoneHyperReplication啟動(dòng)原生產(chǎn)虛擬機(jī)Failover租戶4、反向同步；重保護(hù)；故障回切；啟動(dòng)原生產(chǎn)VM主備切換切換內(nèi)部服務(wù)DNS記錄HostnameProduction IPDR IPSC域名Primary Cloud IP1Secondary Cloud IP1業(yè)務(wù)域名Primary Cloud IP2Secondary Cloud IP23、切換內(nèi)部服務(wù)D

28、NS記錄外部SC DNS記錄5、切換業(yè)務(wù)VM DNS記錄Site1 (Region1)Site2 (Region2)故障恢復(fù)后回切流程容災(zāi)服務(wù)申請(qǐng)流程租戶提交容災(zāi)申請(qǐng)時(shí)，需要選擇容災(zāi)對(duì)象和SLA，一個(gè)典型的配置示例如下：管理平臺(tái)支持的容災(zāi)業(yè)務(wù)創(chuàng)建流程如下：租戶服務(wù)實(shí)例基本信息（名稱，服務(wù)到期時(shí)間）容災(zāi)對(duì)象信息（VM）容災(zāi)SLA信息：容災(zāi)周期，對(duì)端AZ恢復(fù)VM的VPC，IP地址容災(zāi)管理員同意主備容災(zāi)整體使用流程：申請(qǐng)容災(zāi)服務(wù)填寫容災(zāi)配置和SLA服務(wù)內(nèi)容審批同意/返回修改/拒絕開通容災(zāi)服務(wù)申請(qǐng)?jiān)品?wù)器容災(zāi)服務(wù)實(shí)例容災(zāi)測(cè)試容災(zāi)清理容災(zāi)計(jì)劃性遷移故障恢復(fù)重保護(hù)重保護(hù)回切（反向執(zhí)行計(jì)劃性遷移）回切（反向

29、執(zhí)行計(jì)劃性遷移）網(wǎng)絡(luò)互通要求：主備容災(zāi)要求生產(chǎn)中心和災(zāi)備中心的OM_Service、Public_Service和存儲(chǔ)復(fù)制網(wǎng)絡(luò)三層互通。其他網(wǎng)絡(luò)平面互通要求，需要參考FusionCloud多Region部署基礎(chǔ)網(wǎng)絡(luò)互通設(shè)計(jì)。存儲(chǔ)復(fù)制網(wǎng)絡(luò)可以使用FC或者IP網(wǎng)絡(luò)。私有云容災(zāi)網(wǎng)絡(luò)設(shè)計(jì)私有云備份方案詳述私有云容災(zāi)方案詳述CSDRCSDAVHA生產(chǎn)中心發(fā)生災(zāi)難（生產(chǎn)中心停電、火災(zāi)等）：可對(duì)受CSHA服務(wù)保護(hù)的生產(chǎn)云服務(wù)器自動(dòng)或手工切換到災(zāi)備中心，快速啟動(dòng)容災(zāi)云服務(wù)器。計(jì)劃內(nèi)停機(jī)（計(jì)劃性停電、日常運(yùn)維等）：容災(zāi)管理員可對(duì)受CSHA服務(wù)保護(hù)的生產(chǎn)云服務(wù)器進(jìn)行一鍵式的計(jì)劃性遷移，在災(zāi)備中心快速啟動(dòng)容災(zāi)云服務(wù)

30、器，保證業(yè)務(wù)數(shù)據(jù)零丟失；并在原生產(chǎn)中心完成計(jì)劃性活動(dòng)后，容災(zāi)管理員對(duì)受保護(hù)云服務(wù)器進(jìn)行反向重保護(hù)，并在合適時(shí)間通過計(jì)劃性遷移將業(yè)務(wù)切回到原生產(chǎn)中心。云服務(wù)器高可用服務(wù)的定義云服務(wù)器高可用服務(wù)（Cloud Server High Availability）為云服務(wù)器提供同城數(shù)據(jù)中心間的高可用保護(hù)。當(dāng)生產(chǎn)中心發(fā)生災(zāi)難時(shí)，被保護(hù)的云服務(wù)器能夠自動(dòng)或手動(dòng)切換到災(zāi)備中心。云服務(wù)器高可用服務(wù)適用場(chǎng)景高可用服務(wù)物理DC生產(chǎn)VMsMgmt虛擬資源容災(zāi)VMsMgmt虛擬資源AZ2AZ1DC1統(tǒng)一容災(zāi)服務(wù)管理DC2FusionSphere Openstack Region高可用保護(hù)資源管理控制云服務(wù)器高可用總體架

31、構(gòu)Page35存儲(chǔ)層：基于存儲(chǔ)陣列的HyperMetro雙活特性，在存儲(chǔ)層提供雙活LUN，同時(shí)掛載于生產(chǎn)或容災(zāi)云服務(wù)器中。對(duì)計(jì)算層提供多路徑訪問，可在單獨(dú)存儲(chǔ)層故障時(shí)自動(dòng)完成雙活故障切換。計(jì)算層：通過將生產(chǎn)云服務(wù)器、容災(zāi)云服務(wù)器配置為容災(zāi)關(guān)系，并添加到保護(hù)組中，實(shí)現(xiàn)對(duì)生產(chǎn)云服務(wù)器的保護(hù)。正常情況下，僅生產(chǎn)云服務(wù)器工作，當(dāng)需要進(jìn)行故障切換時(shí)，由BCManager eReplication調(diào)用Openstack進(jìn)行容災(zāi)服務(wù)器的啟動(dòng)操作。網(wǎng)絡(luò)層：典型部署下，生產(chǎn)中心網(wǎng)絡(luò)出口、容災(zāi)中心網(wǎng)絡(luò)出口通過不同的外部網(wǎng)絡(luò)關(guān)聯(lián)到不同的VPC上。在創(chuàng)建生產(chǎn)、容災(zāi)云服務(wù)器時(shí)，將他們分別接入生產(chǎn)中心VPC、容災(zāi)中心VP

32、C。因此生產(chǎn)、容災(zāi)云服務(wù)器的私網(wǎng)IP地址，可以申請(qǐng)相同的IP。公網(wǎng)IP地址，根據(jù)網(wǎng)絡(luò)出口的外部網(wǎng)絡(luò)網(wǎng)段規(guī)劃，需要配置不同的EIP地址。方案架構(gòu)云服務(wù)器高可用部署原則Page36 方案組件BCManager eReplicationCSHA Console:2節(jié)點(diǎn)虛擬化拉遠(yuǎn)部署eReplication Server:2節(jié)點(diǎn)虛擬化拉遠(yuǎn)部署FusionSphere Openstack一套o(hù)penstack拉遠(yuǎn)部署ManageOne,公共組件&基礎(chǔ)服務(wù)主備虛擬化部署仲裁存儲(chǔ)仲裁：1節(jié)點(diǎn)物理化部署仲裁云平臺(tái)：1節(jié)點(diǎn)物理化部署IAM仲裁：1節(jié)點(diǎn)物理化部署存儲(chǔ)OceanStor V3/V5Dorado V3

33、eReplication (Server+Console)虛擬化部署FusionSphereDataCenter BHyperMetroeReplication (Server+Console)FC SAN管理IP網(wǎng)路第三方仲裁站點(diǎn)仲裁云平臺(tái)仲裁網(wǎng)路Compute ClusterCompute ClusterOceanStor V3/V5/DoradoIAM仲裁OceanStor V3/V5/DoradoDataCenter AFusionSphereManageOne,公共組件&基礎(chǔ)服務(wù)存儲(chǔ)仲裁ManageOne,公共組件&基礎(chǔ)服務(wù)（主）（備）云服務(wù)器高可用應(yīng)用場(chǎng)景Page37存儲(chǔ)層計(jì)算&云

34、平臺(tái)層網(wǎng)絡(luò)層廣域網(wǎng)正常運(yùn)行時(shí)業(yè)務(wù)訪問流 單中心故障業(yè)務(wù)訪問流AZ1AZ2VPC1VPC1VM1應(yīng)用 VM1應(yīng)用WANVM HAHyperMetroRegionAZ1AZ2EIP1專線EIP1專線外部網(wǎng)絡(luò)訪問切換訪問VM1GSLBGSLBDNS解析DNS解析傳統(tǒng)單機(jī)應(yīng)用或無(wú)容災(zāi)應(yīng)用上云，基于IaaS層VM提供高可用應(yīng)用自身不支持高可用容災(zāi)，需要依賴IaaS層提供VM的高可用應(yīng)用無(wú)App-DB的分層結(jié)構(gòu)，或分層后希望統(tǒng)一容災(zāi)切換要求方案在站點(diǎn)故障時(shí)，VM可跨站點(diǎn)自動(dòng)或手工切換啟動(dòng)要求存儲(chǔ)數(shù)據(jù)零丟失、存儲(chǔ)層數(shù)據(jù)一致性多個(gè)VM要求在切換過程中保證VM啟動(dòng)順序原有局點(diǎn)為Vmware HA集群跨DC或SR

35、M多DC部署場(chǎng)景場(chǎng)景規(guī)劃生產(chǎn)VM、容災(zāi)VM分別位于同一Region的不同AZ生產(chǎn)VM、容災(zāi)VM接入不同的VPC，對(duì)應(yīng)不同的DC網(wǎng)絡(luò)出口采用EIP訪問時(shí)，應(yīng)用需支持通過URL訪問，可通過GSLB自動(dòng)探測(cè)實(shí)現(xiàn)自動(dòng)切換采用專線訪問時(shí)，VM訪問流量需要手工切換外部網(wǎng)絡(luò)的路由條目有切換順序、數(shù)據(jù)一致性要求的VM，添加到同一個(gè)保護(hù)組進(jìn)行協(xié)同切換應(yīng)用場(chǎng)景云服務(wù)器高可用實(shí)例創(chuàng)建原理Page38ManageOne(SC) 業(yè)務(wù)發(fā)放BCManager eReplication 云容災(zāi)組件租戶租戶容災(zāi)服務(wù)化Console服務(wù)界面FusionSphere Openstack計(jì)算管理接口Nova存儲(chǔ)/容災(zāi)管理接口Cin

36、der/DRExtend網(wǎng)絡(luò)管理接口Neutron配置自動(dòng)化生產(chǎn)中心災(zāi)備中心AZ1AZ2123 465789租戶申請(qǐng)?jiān)品?wù)器高可用實(shí)例ManageOne下發(fā)實(shí)例創(chuàng)建命令到BCM檢查生產(chǎn)端以及容災(zāi)端的計(jì)算以及存儲(chǔ)資源檢查生產(chǎn)云服務(wù)器檢查容災(zāi)云服務(wù)器分配存儲(chǔ)資源創(chuàng)建容災(zāi)端卷設(shè)置容災(zāi)端云服務(wù)器以及生產(chǎn)端云服務(wù)器容災(zāi)標(biāo)簽執(zhí)行初始數(shù)據(jù)同步計(jì)劃性遷移實(shí)現(xiàn)原理Page39ManageOne(SC) 業(yè)務(wù)發(fā)放BCManager eReplication 云容災(zāi)組件Console服務(wù)界面FusionSphere Openstack計(jì)算管理接口Nova存儲(chǔ)/容災(zāi)管理接口Cinder/DRExtend網(wǎng)絡(luò)管理接口N

37、eutron生產(chǎn)中心災(zāi)備中心758AZ1AZ2云平臺(tái)仲裁服務(wù)云平臺(tái)仲裁服務(wù)6容災(zāi)維護(hù)管理員用戶3 412租戶向容災(zāi)維護(hù)管理員申請(qǐng)計(jì)劃性遷移容災(zāi)維護(hù)管理員下發(fā)計(jì)劃性遷移命令關(guān)閉、鎖定生產(chǎn)端云服務(wù)器卸載、鎖定生產(chǎn)端主機(jī)卷DRExtend暫停雙活一致性組BCM調(diào)用Nova，取消容災(zāi)端云服務(wù)器鎖定狀態(tài)，取消保留從卷，將主、從卷掛載到容災(zāi)云服務(wù)器解鎖、啟動(dòng)容災(zāi)云服務(wù)器將生產(chǎn)端云服務(wù)器設(shè)置為占位云服務(wù)器，調(diào)換生產(chǎn)以及容災(zāi)云服務(wù)器的容災(zāi)標(biāo)簽，并創(chuàng)建雙活容災(zāi)關(guān)系故障切換實(shí)現(xiàn)原理Page40ManageOne(SC) 業(yè)務(wù)發(fā)放BCManager eReplication 云容災(zāi)組件Console服務(wù)界面Fusi

38、onSphere Openstack計(jì)算管理接口Nova存儲(chǔ)/容災(zāi)管理接口Cinder/DRExtend網(wǎng)絡(luò)管理接口Neutron生產(chǎn)中心災(zāi)備中心AZ1AZ2云平臺(tái)仲裁服務(wù)云平臺(tái)仲裁服務(wù)云平臺(tái)仲裁服務(wù)第三方仲裁中心存儲(chǔ)仲裁服務(wù)12345678DC故障，云平臺(tái)仲裁服務(wù)判斷站點(diǎn)故障BCM查詢仲裁結(jié)果，并做切換前檢查檢查生產(chǎn)端計(jì)算、存儲(chǔ)復(fù)制鏈路狀態(tài)檢查生產(chǎn)端服務(wù)器集群狀態(tài)暫停存儲(chǔ)雙活掛載從卷解鎖、啟動(dòng)容災(zāi)云服務(wù)器將生產(chǎn)端云服務(wù)器設(shè)置為占位云服務(wù)器，調(diào)換生產(chǎn)以及容災(zāi)云服務(wù)器的容災(zāi)標(biāo)簽，并創(chuàng)建雙活容災(zāi)關(guān)系重保護(hù)實(shí)現(xiàn)原理Page41ManageOne(SC) 業(yè)務(wù)發(fā)放BCManager eReplicat

39、ion 云容災(zāi)組件12Console服務(wù)界面FusionSphere Openstack計(jì)算管理接口Nova存儲(chǔ)/容災(zāi)管理接口Cinder/DRExtend網(wǎng)絡(luò)管理接口Neutron生產(chǎn)中心災(zāi)備中心67AZ1AZ23云平臺(tái)仲裁服務(wù)云平臺(tái)仲裁服務(wù)云平臺(tái)仲裁服務(wù)第三方仲裁中心存儲(chǔ)仲裁服務(wù)54DC故障，云平臺(tái)仲裁服務(wù)判斷站點(diǎn)故障BCM查詢仲裁結(jié)果，并做切換前檢查檢查生產(chǎn)端計(jì)算、存儲(chǔ)復(fù)制鏈路狀態(tài)檢查生產(chǎn)端服務(wù)器集群狀態(tài)暫停存儲(chǔ)雙活掛載從卷解鎖、啟動(dòng)容災(zāi)云服務(wù)器將生產(chǎn)端云服務(wù)器設(shè)置為占位云服務(wù)器，調(diào)換生產(chǎn)以及容災(zāi)云服務(wù)器的容災(zāi)標(biāo)簽，并創(chuàng)建雙活容災(zāi)關(guān)系關(guān)鍵技術(shù) - 存儲(chǔ)雙活Page42在云數(shù)據(jù)中心，App

40、和DB都運(yùn)行于云服務(wù)器VM里，租戶訪問App，App生成的數(shù)據(jù)存儲(chǔ)在DB里，通過云服務(wù)器VM將IO保存在存儲(chǔ)設(shè)備中。在存儲(chǔ)雙活過程中，租戶通過App將IO下發(fā)到DB，DB將IO下發(fā)到AZ1與AZ2的兩臺(tái)存儲(chǔ)上，然后返回給主機(jī)，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)鏡像。在正常場(chǎng)景下，生產(chǎn)、容災(zāi)LUN均同時(shí)掛載于生產(chǎn)云主機(jī)；而容災(zāi)云主機(jī)不掛卷，因此不能啟動(dòng)。存儲(chǔ)雙活原理關(guān)鍵技術(shù) - 自動(dòng)故障切換Page43計(jì)算節(jié)點(diǎn)BCM eReplication(Active)Primary DCSecondary DC仲裁Monitor心跳Third DCKVMKVMKVMKVM HA心跳 Quorum Monitor Quorum

41、 MonitorQuorum ServerBCM eReplication(Standby)三層IP互通三層IP互通Openstack管理節(jié)點(diǎn)Openstack管理節(jié)點(diǎn)KVMKVMKVMKVM計(jì)算節(jié)點(diǎn)存儲(chǔ)存儲(chǔ)災(zāi)備組件BCManager eReplication實(shí)時(shí)監(jiān)控站點(diǎn)間仲裁狀態(tài)，若某一站點(diǎn)仲裁全部故障，則會(huì)觸發(fā)BCManager eReplication對(duì)整站點(diǎn)的狀態(tài)檢查以每個(gè)CSHA實(shí)例為單位，依次檢查各實(shí)例所在存儲(chǔ)的復(fù)制鏈路狀態(tài)及AZ下全部計(jì)算節(jié)點(diǎn)的狀態(tài)，若全部為故障狀態(tài)，則判定為整站點(diǎn)故障，觸發(fā)自動(dòng)切換；否則判定為局部故障，不觸發(fā)自動(dòng)切換。局部故障場(chǎng)景下，用戶可通過手動(dòng)故障切換的方式

42、把業(yè)務(wù)虛擬機(jī)切換到容災(zāi)站點(diǎn)自動(dòng)故障切換原理私有云備份方案詳述私有云容災(zāi)方案詳述CSDRCSDAVHA云硬盤高可用服務(wù)的定義Page45云硬盤高可用（Volume High Availability，以下簡(jiǎn)稱VHA）針對(duì)華為私有云的云服務(wù)器（ECS），在數(shù)據(jù)中心內(nèi)提供VHA服務(wù)，當(dāng)數(shù)據(jù)中心內(nèi)單套存儲(chǔ)發(fā)生故障時(shí)，數(shù)據(jù)不丟失，云服務(wù)器業(yè)務(wù)不中斷。云硬盤高可用服務(wù)同一個(gè)可用分區(qū)內(nèi)至少部署兩套存儲(chǔ)配置為雙活關(guān)系（同一個(gè)AZ內(nèi)支持配置多對(duì)雙活存儲(chǔ)，支持與未配雙活的存儲(chǔ)共存）。生產(chǎn)虛擬機(jī)的存儲(chǔ)采用雙活模式，為主機(jī)同時(shí)提供讀寫服務(wù)，兩套存儲(chǔ)之間數(shù)據(jù)實(shí)時(shí)同步。兩套存儲(chǔ)之間使用FC或iSCSI鏈路互聯(lián)，跨機(jī)房時(shí)往返RTT2ms。使用場(chǎng)景主Lun云服務(wù)器AZ1存儲(chǔ)A存儲(chǔ)BHyperMetro雙活訪問，數(shù)據(jù)零丟失從Lun云硬盤存儲(chǔ)仲裁服務(wù)器雙活訪問云硬盤高可用基礎(chǔ)架構(gòu) Page46ManageOne SC：向用戶提供統(tǒng)一的云硬盤高可用自助管理平臺(tái)，用戶按需申請(qǐng)備份服務(wù)VHA Console：提供VHA服務(wù)控制臺(tái)BCManager eReplication：容災(zāi)雙活管理軟件，實(shí)現(xiàn)容災(zāi)雙活環(huán)境的管理，配置雙活業(yè)務(wù)FusionSp