云時(shí)代下雙活零切換實(shí)現(xiàn)與架構(gòu)設(shè)計(jì)

1、云時(shí)代下雙活零切換實(shí)現(xiàn)與架構(gòu)設(shè)計(jì)一、項(xiàng)目背景為了更好的保障業(yè)務(wù)系統(tǒng)運(yùn)行，提高服務(wù)質(zhì)量，我們先后建立了高可用保障手段、應(yīng)急容災(zāi)系統(tǒng)等保護(hù)機(jī)制，但仍存在如下矛盾，并越來(lái)越突出：投資大，效益慢：如今年某系統(tǒng)擴(kuò)容需要約XXXX萬(wàn)TPCC，XXXT存儲(chǔ)設(shè)備，需要同步對(duì)容災(zāi)系統(tǒng)擴(kuò)容。災(zāi)備端平時(shí)無(wú)法打開(kāi)：災(zāi)備端的資源（尤其是存儲(chǔ)）平時(shí)無(wú)法打開(kāi)使用，造成資源浪費(fèi)嚴(yán)重。切換時(shí)間長(zhǎng)：一般需要12小時(shí)以上才能起來(lái)。故障情況下切換決策難：有時(shí)切換時(shí)間決策時(shí)間災(zāi)難修復(fù)時(shí)間，難以決策，期間無(wú)法辦理業(yè)務(wù)。難以找到RTO、RPO都為0的0切換方案。流程復(fù)雜，維護(hù)難：系統(tǒng)切換需要一系列管理和技術(shù)流程，維護(hù)復(fù)雜，生產(chǎn)、容災(zāi)端都需

2、要維護(hù)。無(wú)法做到在線(xiàn)的系統(tǒng)升級(jí)遷移和新業(yè)務(wù)上線(xiàn)。這種情況下，我們急需探索在核心系統(tǒng)中引入容災(zāi)系統(tǒng)雙活零切換技術(shù)，基于如下考慮：可以從降低運(yùn)行風(fēng)險(xiǎn)、提高客戶(hù)滿(mǎn)意度等方面提升業(yè)務(wù)運(yùn)營(yíng)水平?？梢詮慕档蜆I(yè)務(wù)停機(jī)窗口、降低維護(hù)工作量等方面降低系統(tǒng)運(yùn)維壓力?？梢越档拖到y(tǒng)災(zāi)難處理壓力、最大限度降低業(yè)務(wù)中斷時(shí)間，從而提高客戶(hù)滿(mǎn)意度。使容災(zāi)側(cè)資源平時(shí)可用，達(dá)到雙活。降低演練測(cè)試的業(yè)務(wù)停頓窗口，提升演練質(zhì)量。（一）現(xiàn)有容災(zāi)系統(tǒng)架構(gòu)分析從系統(tǒng)架構(gòu)上看，容災(zāi)方案主要存在如下三種形式：主備模式、雙中心互備模式、雙活并行模式，而目前各省采用的前兩種形式，RTO均不為0，容災(zāi)端平時(shí)不可用，需要技術(shù)、流程保證切換，而雙活并行

3、模式，理論上在災(zāi)難發(fā)生時(shí)不影響業(yè)務(wù)，可以做到”0”切換。 主備模式：在一個(gè)中心部署生產(chǎn)系統(tǒng)，另一個(gè)中心部署備份容災(zāi)系統(tǒng)，通過(guò)存儲(chǔ)復(fù)制或邏輯復(fù)制手機(jī)實(shí)現(xiàn)保護(hù)，實(shí)現(xiàn)冷備切換，這種情況一般采取存儲(chǔ)底層的srdf、pprc復(fù)制技術(shù)，平時(shí)容災(zāi)端資源不成在對(duì)外應(yīng)用，數(shù)據(jù)庫(kù)不能打開(kāi)，再出現(xiàn)故障時(shí)需要執(zhí)行定位、切換決策并執(zhí)行切換流程，故障恢復(fù)時(shí)間指標(biāo)RTO至少在半小時(shí)，故障恢復(fù)點(diǎn)指標(biāo)RTO可以根據(jù)采用的技術(shù)不同等于0或接近0。雙中心互備模式：在兩個(gè)中心機(jī)房各自部署一部分應(yīng)用，既部署生產(chǎn)又部署容災(zāi)，互為容災(zāi)備份機(jī)制，具體每個(gè)系統(tǒng)實(shí)現(xiàn)機(jī)制同主備模式，可以說(shuō)是主備模式的擴(kuò)展，是為了解決容災(zāi)端資源閑置的臨時(shí)性方案，生

4、產(chǎn)和容災(zāi)同步技術(shù)和主備完全相同，計(jì)算資源可以通過(guò)虛擬化技術(shù)實(shí)現(xiàn)生產(chǎn)和容災(zāi)共享來(lái)節(jié)約資源，RTO、RPO指標(biāo)同主備模式。雙活并行模式：一種全新的容災(zāi)模式，相同系統(tǒng)在兩個(gè)中心均能打開(kāi)使用，承載對(duì)外服務(wù)，任何一邊壞掉不影響業(yè)務(wù)，災(zāi)難情況下可以不需要決策和執(zhí)行切換，可以實(shí)現(xiàn)RTO接近0。（二）現(xiàn)有技術(shù)分析為研究雙活架構(gòu)，2015年根據(jù)總部統(tǒng)一部署和規(guī)劃，多個(gè)省份成立聯(lián)合項(xiàng)目組，結(jié)合CRM應(yīng)急保障體系，試點(diǎn)研究最優(yōu)的雙活技術(shù)架構(gòu)。方案1：基于數(shù)據(jù)邏輯復(fù)制軟件，如dsg、gg、shareplex、觸發(fā)器等。方案2：基于數(shù)據(jù)庫(kù)自身，如Oracle active Dataguard。方案3：基于遠(yuǎn)程卷管理軟件

5、（主機(jī)虛擬化），如賽門(mén)鐵克、卷管理、Oracle ASM等。方案4：基于存儲(chǔ)虛擬化設(shè)備（SAN虛擬化），如emc vplex，IBM svc，華為vis等。方案5：基于存儲(chǔ)自身（存儲(chǔ)虛擬化），如HDS、HP等（剛發(fā)布）。方案6：基于存儲(chǔ)HA機(jī)制，如IBM powerswap，日立HA等。二、方案分層介紹和傳統(tǒng)主備方式不同，實(shí)現(xiàn)雙活需要整個(gè)系統(tǒng)架構(gòu)做改造，即接入層、應(yīng)用層、數(shù)據(jù)層、基礎(chǔ)架構(gòu)層等分別考慮：接入層：需要借助DNS、全局負(fù)載均衡等技術(shù)實(shí)現(xiàn)雙活接入和智能路由，流量調(diào)配。應(yīng)用層：基于互聯(lián)網(wǎng)化能力開(kāi)放分布式集群架構(gòu)，采用ebus服務(wù)總線(xiàn)技術(shù)對(duì)外統(tǒng)一接入。數(shù)據(jù)層：需要構(gòu)建雙中心同時(shí)可讀寫(xiě)的機(jī)制

6、，例如Oracle Extend RAC?；A(chǔ)架構(gòu)層：網(wǎng)絡(luò)上對(duì)穩(wěn)定性和帶寬吞吐性能要求更高，甚至需要打通跨中心的二層網(wǎng)絡(luò)。存儲(chǔ)方面，則需改變一主一備的讀寫(xiě)機(jī)制，實(shí)現(xiàn)同時(shí)可讀寫(xiě)。下面各層進(jìn)行仔細(xì)介紹。（一）數(shù)據(jù)層1、雙活技術(shù)架構(gòu)數(shù)據(jù)庫(kù)層雙活部署目前業(yè)界主要有三種方式：A/S（Active-Standby）方式，Oracle RAC集群實(shí)（Active-Active）方式和通過(guò)第三方數(shù)據(jù)復(fù)制軟件方式。1）Active-Standby方式：基于Oracle ADG技術(shù)，采用從主庫(kù)向備庫(kù)傳輸redo日志方式，備庫(kù)恢復(fù)數(shù)據(jù)過(guò)程可以用只讀方式打開(kāi)進(jìn)行查詢(xún)操作，實(shí)現(xiàn)了部分雙活功能，在主節(jié)點(diǎn)故障后可以將備節(jié)點(diǎn)

7、切為主節(jié)點(diǎn)，平實(shí)備節(jié)點(diǎn)可以提供只讀操作。2）Active-Active方式：通過(guò)Oracle Extend RAC實(shí)現(xiàn)多個(gè)集群節(jié)點(diǎn)同時(shí)對(duì)外提供業(yè)務(wù)訪(fǎng)問(wèn)。該方式做到故障無(wú)縫切換，提升應(yīng)用系統(tǒng)整體性能。3）數(shù)據(jù)復(fù)制軟件方式：通過(guò)實(shí)時(shí)抽取在線(xiàn)日志中的數(shù)據(jù)變化信息，然后，通過(guò)網(wǎng)絡(luò)將變化信息投遞到目標(biāo)端，最后在目標(biāo)端還原數(shù)據(jù)，從而實(shí)現(xiàn)源和目標(biāo)的數(shù)據(jù)同步。2、基于數(shù)據(jù)庫(kù)-ORACLE ADG技術(shù)特點(diǎn)：通過(guò)網(wǎng)絡(luò)從生產(chǎn)向容災(zāi)傳輸歸檔或redo日志，容災(zāi)端恢復(fù)方式同步數(shù)據(jù)。Oracle 11g以后容災(zāi)庫(kù)可打開(kāi)為只讀模式，容災(zāi)切換時(shí)能快速alter為讀寫(xiě)狀態(tài)。該方式數(shù)據(jù)同步效率較高，對(duì)硬件資源要求低，支持可以線(xiàn)性

8、擴(kuò)展而不對(duì)生產(chǎn)系統(tǒng)造成影響，且底層存儲(chǔ)支持異構(gòu)，正常情況兩邊數(shù)據(jù)延遲不大。一般啟用場(chǎng)景：1）作為應(yīng)急或容災(zāi)：只有生產(chǎn)側(cè)可以讀寫(xiě)，容災(zāi)側(cè)只讀，雙活讀，非雙活讀寫(xiě)。按照測(cè)試，數(shù)據(jù)庫(kù)切換時(shí)間在30S左右。2）作為讀寫(xiě)分離機(jī)制：分?jǐn)偵a(chǎn)端壓力，降低生產(chǎn)負(fù)載。只讀查詢(xún)業(yè)務(wù)分離（ADG側(cè)平時(shí)運(yùn)行從生產(chǎn)庫(kù)遷移過(guò)來(lái)的查詢(xún)業(yè)務(wù)）數(shù)據(jù)庫(kù)備份（使用RMAN進(jìn)行全備和歸檔備份到帶庫(kù)）經(jīng)分?jǐn)?shù)據(jù)實(shí)時(shí)抽?。ó?dāng)前通過(guò)BCV抽取非實(shí)時(shí)數(shù)據(jù)）DB變更前數(shù)據(jù)庫(kù)快照備份（大版本升級(jí)時(shí)同步到BCV工作）承載BCV庫(kù)功能，可下線(xiàn)BCV庫(kù)，釋放高端存儲(chǔ)給生產(chǎn)使用3）作為數(shù)據(jù)保護(hù)手段：如在ADG庫(kù)上啟用Flash DB特性，需要時(shí)可以執(zhí)行閃

9、回，以恢復(fù)誤操作等導(dǎo)致的生產(chǎn)庫(kù)上的數(shù)據(jù)丟失。技術(shù)特征：通過(guò)dsg、goldengate等邏輯復(fù)制技術(shù)實(shí)現(xiàn)跨中心數(shù)據(jù)庫(kù)的相互復(fù)制，共同提供對(duì)外服務(wù)，互為備份。支持跨異構(gòu)環(huán)境，對(duì)系統(tǒng)負(fù)載影響很低，對(duì)交易型數(shù)據(jù)做實(shí)時(shí)抓取、路由、轉(zhuǎn)換和傳遞支持多線(xiàn)程，提供旁路順流模式，不影響生產(chǎn)庫(kù)性能其中：兩個(gè)數(shù)據(jù)中心各建一套數(shù)據(jù)庫(kù)，物理獨(dú)立基于數(shù)據(jù)庫(kù)日志準(zhǔn)實(shí)時(shí)復(fù)制數(shù)據(jù)ROWID映射表機(jī)制（對(duì)應(yīng)源數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)的數(shù)據(jù)記錄），通過(guò)ROWID來(lái)實(shí)現(xiàn)記錄的定為，在數(shù)據(jù)裝載效率方面有提升需手工干預(yù)故障3、對(duì)于ADG和數(shù)據(jù)復(fù)制雙活方案對(duì)比4、基于OracleExtended RAC雙活架構(gòu)技術(shù)特征：Oracle Exten

10、ded RAC以跨中心共享存儲(chǔ)為基礎(chǔ)，通過(guò)共享存儲(chǔ)資源和Oracle Clusterware數(shù)據(jù)庫(kù)集群管理，實(shí)現(xiàn)各個(gè)中心節(jié)點(diǎn)對(duì)數(shù)據(jù)庫(kù)并行訪(fǎng)問(wèn)。共享存儲(chǔ)可以采用存儲(chǔ)自身數(shù)據(jù)復(fù)制技術(shù)，存儲(chǔ)虛擬網(wǎng)關(guān)或遠(yuǎn)程卷管理等技術(shù)，下圖是采用的Oracle ASM存儲(chǔ)管理，實(shí)現(xiàn)數(shù)據(jù)的雙向?qū)崟r(shí)復(fù)制。ASM支持對(duì)本地磁盤(pán)的優(yōu)先讀取，避免跨數(shù)據(jù)中心的數(shù)據(jù)讀取，從而提高I/O性能并減少網(wǎng)絡(luò)流量；關(guān)鍵實(shí)施要點(diǎn)：兩個(gè)數(shù)據(jù)中心分別部署一套存儲(chǔ)，各提供一套LUN設(shè)備給全部數(shù)據(jù)庫(kù)主機(jī)。存儲(chǔ)的SAN網(wǎng)絡(luò)和RAC心跳網(wǎng)絡(luò)需使用低延遲、高帶寬的DWDM光纖鏈路。配置ASM磁盤(pán)組。每個(gè)磁盤(pán)組配置兩個(gè)失效組，每個(gè)失效組對(duì)應(yīng)來(lái)自一套存儲(chǔ)的LU

11、N設(shè)備。在第三個(gè)站點(diǎn)部署用于RAC的第3個(gè)投票盤(pán)，使用NFS的方式掛載到所有數(shù)據(jù)庫(kù)主機(jī)。與管理普通的RAC系統(tǒng)類(lèi)似，需要重點(diǎn)加強(qiáng)對(duì)站點(diǎn)間光纖鏈路情況的監(jiān)控與應(yīng)急。一般啟用場(chǎng)景：由于在兩個(gè)數(shù)據(jù)中心部署了兩套存儲(chǔ)和主機(jī)設(shè)備，因此能夠提供對(duì)數(shù)據(jù)中心級(jí)別故障的全方位容災(zāi)，比如停電、地震等。出現(xiàn)故障時(shí)恢復(fù)時(shí)間極短，理論上可以達(dá)到RTO和RPO為零。作為同城容災(zāi)的解決方案，并具有最高效的資源使用率。5、內(nèi)存數(shù)據(jù)庫(kù)雙活技術(shù)實(shí)現(xiàn)技術(shù)特征：將數(shù)據(jù)常駐在內(nèi)存中直接操作的數(shù)據(jù)庫(kù)。相對(duì)于磁盤(pán)，內(nèi)存的數(shù)據(jù)讀寫(xiě)速度要高出幾個(gè)數(shù)量級(jí)，將數(shù)據(jù)保存在內(nèi)存中相比從磁盤(pán)上訪(fǎng)問(wèn)能夠極大地提高應(yīng)用的性能，目前在BOSS系統(tǒng)內(nèi)存庫(kù)已被廣

12、泛用于實(shí)時(shí)計(jì)費(fèi)，主要廠商有Oracle Times Ten，Altibase等。內(nèi)存庫(kù)集群部署主要有HA主備模式，雙活模式，線(xiàn)性拆分和分布式集群四種模式。1）HA模式：在兩個(gè)數(shù)據(jù)中心，備庫(kù)只讀，具備故障轉(zhuǎn)移和容災(zāi)備份功能。主備之間日志同步或異步同步，數(shù)據(jù)同步延遲比較嚴(yán)重。適合物理庫(kù)較小，內(nèi)存容量不大非關(guān)鍵業(yè)務(wù)場(chǎng)景擴(kuò)展性差2）雙活模式：兩套內(nèi)存庫(kù)部署在兩個(gè)數(shù)據(jù)中心，支持雙讀寫(xiě)，具備故障轉(zhuǎn)移和容災(zāi)備份功能。數(shù)據(jù)庫(kù)之間基于日志采用同步或異步相互同步，但相互之間數(shù)據(jù)同步存在沖突問(wèn)題，造成數(shù)據(jù)不一致問(wèn)題。3）線(xiàn)性拆分模式：針對(duì)物理庫(kù)較大，受內(nèi)存容量限制問(wèn)題，在HA基礎(chǔ)上將物理庫(kù)按地市或業(yè)務(wù)線(xiàn)性拆分成多套

13、內(nèi)存庫(kù)，所有內(nèi)存庫(kù)支持同時(shí)分片讀寫(xiě)，客戶(hù)端請(qǐng)求都通過(guò)前端統(tǒng)一接口路由進(jìn)行分發(fā)和處理。主備間基于日志同步或異步同步；系統(tǒng)擴(kuò)展性較強(qiáng)，但維護(hù)難度較大；支持不同地市或業(yè)務(wù)雙活讀寫(xiě)。4）分布式集群模式：采用分布式內(nèi)存庫(kù)，基于x86分布式集群部署，如：思特奇iDMDB。主備庫(kù)基于日志同步或異步同步支持雙活讀寫(xiě)（前提數(shù)據(jù)層和存儲(chǔ)層實(shí)現(xiàn)雙活）支持分布式自動(dòng)加載和路由能力數(shù)據(jù)自動(dòng)冗余，RPO=0支持在線(xiàn)擴(kuò)展，路由自動(dòng)調(diào)整，便于維護(hù)。開(kāi)放化，標(biāo)準(zhǔn)化，支持sql92，ODBC,JDBC等6、雙活技術(shù)優(yōu)缺點(diǎn)比較（注：應(yīng)根據(jù)實(shí)際情況選擇合適的方案，只有Extended RAC為真正的雙讀雙寫(xiě)）（二）存儲(chǔ)層1、雙活技術(shù)

14、架構(gòu)存儲(chǔ)層作為整個(gè)系統(tǒng)核心基礎(chǔ)架構(gòu)平臺(tái)，其雙活技術(shù)在整個(gè)架構(gòu)中起到關(guān)鍵作用，目前基于存儲(chǔ)層雙活方案主要有下面三種：基于遠(yuǎn)程卷管理軟件的虛擬化，如：Symantec SF，IBM LVM等基于存儲(chǔ)網(wǎng)關(guān)虛擬化，如：EMC vplex， IBM SVC基于存儲(chǔ)自身卷鏡像技術(shù)，HDS GAD1）卷管理軟件虛擬化：通過(guò)安裝在主機(jī)上卷管理軟件的邏輯卷鏡像技術(shù)實(shí)現(xiàn)底層數(shù)據(jù)邏輯同步。2）存儲(chǔ)網(wǎng)關(guān)虛擬化：在每個(gè)站點(diǎn)新增存儲(chǔ)虛擬化網(wǎng)關(guān)設(shè)備組成跨站點(diǎn)集群，并對(duì)存儲(chǔ)卷進(jìn)重新行封裝，對(duì)外提供主機(jī)I/O訪(fǎng)問(wèn)。3）存儲(chǔ)卷鏡像技術(shù)：將兩套磁盤(pán)陣列組成一個(gè)集群，兩臺(tái)存儲(chǔ)上的LUN被虛擬化為一個(gè)虛擬卷，主機(jī)寫(xiě)操作通過(guò)卷虛擬化鏡像

15、技術(shù)同時(shí)寫(xiě)入兩個(gè)數(shù)據(jù)中心的存儲(chǔ)設(shè)備，保證站點(diǎn)之間數(shù)據(jù)實(shí)時(shí)同步。 2、基于遠(yuǎn)程卷管理軟件技術(shù)特征：數(shù)據(jù)同步：底層數(shù)據(jù)復(fù)制采用遠(yuǎn)程卷管理軟件，如賽門(mén)鐵克的Torage Foundation（SF）、IBM的GPFS等，通過(guò)邏輯卷鏡像技術(shù)實(shí)現(xiàn)底層數(shù)據(jù)邏輯同步。上層應(yīng)用采用Oracle Extended RAC方案實(shí)現(xiàn)遠(yuǎn)程4節(jié)點(diǎn)RAC,使生產(chǎn)和容災(zāi)節(jié)點(diǎn)都處于在線(xiàn)狀態(tài)，應(yīng)用邏輯訪(fǎng)問(wèn)的是同一個(gè)數(shù)據(jù)庫(kù)。數(shù)據(jù)讀寫(xiě)：支持雙讀寫(xiě)。數(shù)據(jù)一致性：完全一致。遠(yuǎn)程卷管理軟件改造前后變化：改造前： 主機(jī)只需識(shí)別當(dāng)前中心存儲(chǔ)可使用任意卷管理軟件如LVM、ASM等正常狀態(tài)下容災(zāi)存儲(chǔ)只讀IO讀寫(xiě)都訪(fǎng)問(wèn)本地存儲(chǔ)，數(shù)據(jù)復(fù)制由存儲(chǔ)底層

16、完成改造后：主機(jī)需識(shí)別當(dāng)前中心存儲(chǔ)和遠(yuǎn)端存儲(chǔ)只能使用SF的卷管理軟件兩地存儲(chǔ)都為讀寫(xiě)狀態(tài)數(shù)據(jù)復(fù)制由主機(jī)卷鏡像完成，寫(xiě)IO以遠(yuǎn)端寫(xiě)確認(rèn)為準(zhǔn)，讀IO優(yōu)先本地存儲(chǔ)3、案例分析某省方案：IBM GPFS+Oracle 11g應(yīng)用情況：測(cè)試了接近一年，2013年在客服資料數(shù)據(jù)庫(kù)上線(xiàn)，基于gpfs+oracle 11g rac。效果：容災(zāi)端資源平時(shí)可以對(duì)外服務(wù)或查詢(xún)，無(wú)需專(zhuān)門(mén)切換步驟，故障時(shí)只需要檢查即可。（注：容災(zāi)端數(shù)據(jù)庫(kù)實(shí)例也可以作為統(tǒng)計(jì)分析庫(kù)）前提條件：一、跨數(shù)據(jù)中心大二層網(wǎng)路建立，二、完善的仲裁機(jī)制，第三中心最好，建議環(huán)狀雙平面的網(wǎng)絡(luò)架構(gòu)，三、中心間需要高帶寬，否則會(huì)影響性能。缺點(diǎn)：架構(gòu)更加復(fù)雜；

17、san網(wǎng)絡(luò)復(fù)雜；軟件兼容性考慮很多；RTO=3分鐘。實(shí)現(xiàn)要點(diǎn)：網(wǎng)絡(luò)改造：需要打通兩個(gè)中心間大二層網(wǎng)絡(luò)。底層存儲(chǔ)鏈路改造：需要認(rèn)到對(duì)端機(jī)房存儲(chǔ)，帶寬要求高。卷管理軟件改造：從現(xiàn)有主機(jī)自帶LVM遷移到遠(yuǎn)程卷管理Oracle extended RAC搭建提供可靠性較高的二層網(wǎng)絡(luò)（心跳網(wǎng)絡(luò)）提供可靠性較高的共享存儲(chǔ)（投票盤(pán)）對(duì)底層鏈路和距離要求高：距離太遠(yuǎn)會(huì)導(dǎo)致響應(yīng)變慢，官方建議50KM之內(nèi)。使用場(chǎng)景：容災(zāi)演練時(shí)不需要進(jìn)行數(shù)據(jù)庫(kù)的切換，只需應(yīng)用切換，甚至不用切換?？煞?jǐn)偖?dāng)前生產(chǎn)端壓力，降低生產(chǎn)負(fù)載按業(yè)務(wù)梳理進(jìn)行壓力分?jǐn)倲?shù)據(jù)庫(kù)備份只需要在單中心進(jìn)行備份經(jīng)分?jǐn)?shù)據(jù)可實(shí)時(shí)從生產(chǎn)抽取（通過(guò)BCV抽取非實(shí)時(shí)數(shù)據(jù)）

18、提升系統(tǒng)硬件冗余度，提升了系統(tǒng)高可用能力4、基于存儲(chǔ)網(wǎng)關(guān)虛擬化技術(shù)特征：實(shí)現(xiàn)原理：將存儲(chǔ)虛擬化技術(shù)（EMC的vplex）和Oracle的遠(yuǎn)程rac技術(shù)結(jié)合，實(shí)現(xiàn)跨中心的數(shù)據(jù)雙活訪(fǎng)問(wèn)?？缰行牡膬蓚€(gè)存儲(chǔ)虛擬成一個(gè)對(duì)外訪(fǎng)問(wèn)，內(nèi)部實(shí)時(shí)同步，保持?jǐn)?shù)據(jù)的一致性，平時(shí)兩邊主機(jī)分別訪(fǎng)問(wèn)本地存儲(chǔ)，故障情況下可跨中心訪(fǎng)問(wèn)對(duì)方存儲(chǔ)。5、基于存儲(chǔ)虛擬化設(shè)備VPLEX存儲(chǔ)管理機(jī)制：VPLEX對(duì)存儲(chǔ)卷進(jìn)行封裝后，讓主機(jī)的I/O通過(guò)VPLEX來(lái)訪(fǎng)問(wèn)存儲(chǔ)。封裝后的VPLEX卷只是指針集，所有數(shù)據(jù)的訪(fǎng)問(wèn)還是通過(guò)這個(gè)指針指到后端存儲(chǔ)上，原來(lái)存儲(chǔ)上的卷的各種屬性都不會(huì)改變?cè)却鎯?chǔ)卷所具有的各種屬性，比如raid保護(hù)，快照、克隆等在

19、存儲(chǔ)內(nèi)的各種設(shè)置對(duì)VPLEX透明，VPLEX不感知也不干涉。被VPLEX接管了的存儲(chǔ)卷只能通過(guò)VPLEX訪(fǎng)問(wèn)，不能再直接map給其他主機(jī)。對(duì)于同一個(gè)數(shù)據(jù)塊的讀寫(xiě)沖突機(jī)制，是由RAC來(lái)保證的。同步中斷后所有數(shù)據(jù)改變信息都會(huì)記錄在保持活動(dòng)的VPLEX一端的log卷中，只要log卷不滿(mǎn)，就不會(huì)發(fā)生全同步，都是增量同步；VPLEX在設(shè)置的時(shí)候會(huì)配置log卷，確保不論多長(zhǎng)時(shí)間都不會(huì)發(fā)生全同步的。具備腦裂預(yù)防服務(wù)器“witness”： witness是VPLEX的仲裁裝置；IBM、華為等也有類(lèi)似VPLEX的存儲(chǔ)網(wǎng)關(guān)實(shí)現(xiàn)方式，原理有些差異，但因?yàn)閼?yīng)用較少，不再介紹。案例：某省基于存儲(chǔ)網(wǎng)關(guān)虛擬化通過(guò)VPLEX

20、虛擬化技術(shù)實(shí)現(xiàn)存儲(chǔ)及數(shù)據(jù)的雙活，在兩個(gè)數(shù)據(jù)中心同為生產(chǎn)并服務(wù)于不同主機(jī)，實(shí)現(xiàn)雙活雙中心架構(gòu)通過(guò)Oracle跨站點(diǎn)集群技術(shù)提高應(yīng)用層面的業(yè)務(wù)連續(xù)性，實(shí)現(xiàn)應(yīng)用及業(yè)務(wù)的雙活兩站點(diǎn)主機(jī)各自使用本地存儲(chǔ)資源，確保性能和效率，提高資源利用率雙中心心跳網(wǎng)要單獨(dú)組網(wǎng)，防止腦烈6、基于存儲(chǔ)HA機(jī)制未有應(yīng)用案例，目前有IBM的powerHA HyperSwap、日立的HAM技術(shù)等，原理基本一樣。技術(shù)特征：需要采用IBM或日立高端存儲(chǔ)設(shè)備，利用其虛擬化軟件。主機(jī)實(shí)現(xiàn)兩邊并發(fā)對(duì)外訪(fǎng)問(wèn)，就近原則，存儲(chǔ)有一端需要遠(yuǎn)程讀寫(xiě)，效率較低。上層需要結(jié)合Oracle遠(yuǎn)程rac實(shí)現(xiàn)雙活7、基于存儲(chǔ)自身卷鏡像目前還未有應(yīng)用案例，HDS

21、/HP/ Huawei OceanStor V3等剛剛發(fā)布不久，完全基于存儲(chǔ)自身卷鏡像實(shí)現(xiàn)。技術(shù)特征：不需要額外軟硬件，需要采用特定高端存儲(chǔ)設(shè)備，如VSP、XP7以上才可以。存儲(chǔ)架構(gòu)沒(méi)有改變，易于實(shí)行。兩邊存儲(chǔ)可以同時(shí)讀寫(xiě)。上層需要結(jié)合Oracle遠(yuǎn)程rac實(shí)現(xiàn)雙活8、雙活方案綜合分析（注：整體看紅色為最優(yōu)方案，但要根據(jù)各省實(shí)際情況選擇，上述方案均需要Extenmd RAC支持）（三）接入層1、基于DNS+全局負(fù)載均衡雙活架構(gòu)建設(shè)背景：隨著對(duì)訪(fǎng)問(wèn)質(zhì)量和用戶(hù)感知的提升，對(duì)支撐系統(tǒng)穩(wěn)定性和業(yè)務(wù)連續(xù)性提出更高要求，從數(shù)據(jù)級(jí)容災(zāi)升級(jí)到應(yīng)用級(jí)容災(zāi)，如何減少應(yīng)用層數(shù)據(jù)中心切換時(shí)間，降低RT0-基于DNS+

22、全局負(fù)載均衡保障（GSLB）應(yīng)用層雙活保障架構(gòu)。應(yīng)用級(jí)雙活：當(dāng)單數(shù)據(jù)中心出現(xiàn)故障時(shí)，可以將請(qǐng)求引導(dǎo)向另一個(gè)可用的數(shù)據(jù)中心，實(shí)現(xiàn)雙活高可用。智能流量控制：GSLB根據(jù)后端服務(wù)器負(fù)載和鏈路狀況實(shí)現(xiàn)不同站點(diǎn)間流量調(diào)配，鏈路優(yōu)選，保證用戶(hù)訪(fǎng)問(wèn)最佳性能服務(wù)器，確保訪(fǎng)問(wèn)質(zhì)量，提升用戶(hù)感知。關(guān)鍵技術(shù)方案：面向應(yīng)用的智能流量控制互聯(lián)網(wǎng)業(yè)務(wù)多中心并行運(yùn)行內(nèi)網(wǎng)基于IP地址發(fā)布的業(yè)務(wù)多中心并行突發(fā)業(yè)務(wù)流量處理應(yīng)用交付設(shè)備集群部署應(yīng)用優(yōu)化和安全應(yīng)用加速優(yōu)化數(shù)據(jù)庫(kù)快速?gòu)?fù)制七層DDoS和應(yīng)用層攻擊防護(hù)自動(dòng)化運(yùn)營(yíng)一鍵備份數(shù)據(jù)庫(kù)的一鍵切換1）互聯(lián)網(wǎng)業(yè)務(wù)多中心并行模式：通過(guò)一組GSLB來(lái)對(duì)外提供服務(wù)，GSLB監(jiān)控服務(wù)的狀態(tài)，并

23、通知組內(nèi)其他設(shè)備，對(duì)于每一個(gè)DNS請(qǐng)求返回最佳結(jié)果，好的策略選擇和配置方式可以最大幅度提高客戶(hù)體驗(yàn)。2）內(nèi)部業(yè)務(wù)多中心互備模式：對(duì)于內(nèi)網(wǎng)業(yè)務(wù)通過(guò)一組GSLB來(lái)提供服務(wù)，實(shí)現(xiàn)DNS解析，負(fù)載分發(fā)和故障切換。優(yōu)點(diǎn)：易于控制，可實(shí)現(xiàn)多種流量分布模型，主備、主主或者分應(yīng)用主備等模型維護(hù)方便，自成系統(tǒng)，與其他設(shè)備松耦合可根據(jù)地理位置分布、網(wǎng)絡(luò)距離或者應(yīng)用繁忙程度動(dòng)態(tài)調(diào)配缺點(diǎn)：應(yīng)用必須采用DNS方式進(jìn)行訪(fǎng)問(wèn)切換時(shí)間相對(duì)較長(zhǎng)（取決于TTL時(shí)間），通常用于互聯(lián)網(wǎng)應(yīng)用5-10分鐘，內(nèi)網(wǎng)應(yīng)用30-60秒（四）應(yīng)用層1、應(yīng)用層設(shè)計(jì)雙活需要從接入、應(yīng)用層、數(shù)據(jù)連接等層面考慮實(shí)現(xiàn)，才能實(shí)現(xiàn)“零”切換。1）建議構(gòu)建統(tǒng)一管

24、理的接口層或采用服務(wù)總線(xiàn)技術(shù)：現(xiàn)狀：系統(tǒng)使用的協(xié)議眾多。難以做到每個(gè)對(duì)外服務(wù)接口均支持高可用性，無(wú)法實(shí)現(xiàn)對(duì)外服務(wù)的零切換容災(zāi)。網(wǎng)上營(yíng)業(yè)廳、WAP使用 CICS協(xié)議；短信、VC、銀行等使用SOCKET協(xié)議；IVR、自助終端使用EASYCICS協(xié)議；一級(jí)BOSS 使用HTTPXML協(xié)議。 對(duì)此，需要做的是：建設(shè)統(tǒng)一的對(duì)外應(yīng)用接口平臺(tái)，或使用SOA架構(gòu)負(fù)責(zé)應(yīng)用路由/服務(wù)指向、對(duì)外/對(duì)內(nèi)接口協(xié)議的封裝和適配功能建議采用多實(shí)例負(fù)載均衡的部署模式，在多個(gè)服務(wù)器間分擔(dān)系統(tǒng)壓力建議實(shí)施時(shí)在各個(gè)中心建設(shè)適當(dāng)數(shù)量的服務(wù)器和網(wǎng)絡(luò)鏈路冗余，實(shí)現(xiàn)系統(tǒng)容災(zāi)的無(wú)縫切換2）實(shí)現(xiàn)應(yīng)用自動(dòng)重連機(jī)制，確保自動(dòng)切換，減少人工切換。3

25、）采用全局負(fù)載均衡、DNS等技術(shù)實(shí)現(xiàn)靈活接入。4）建議雙中心部署相同的應(yīng)用集群方式。我們的項(xiàng)目背景和方案中的各個(gè)分層，那么下篇就云化下的雙活，分享雙活技術(shù)關(guān)鍵點(diǎn)和一些試點(diǎn)效果。三、云化下的雙活1、云化后的雙活考慮云化后，一是出現(xiàn)虛擬化技術(shù)，二是應(yīng)用實(shí)現(xiàn)集群化和x86化，難以沿用原有的設(shè)計(jì)方式，而需要考慮集群化的業(yè)務(wù)連續(xù)性雙活方案。場(chǎng)景1：第三代中EBUS跨中心雙活集群第三代CRM引入分布式服務(wù)總線(xiàn)一層，即企業(yè)及服務(wù)總線(xiàn)，由于EBUS為服務(wù)集群，需要做較多的配置，對(duì)集群一致性要求較高，建議引入分布式協(xié)調(diào)機(jī)制實(shí)現(xiàn)雙活設(shè)計(jì)。場(chǎng)景2：基于VMware虛擬化平臺(tái)雙活設(shè)計(jì)基于存儲(chǔ)陣列雙活和VMware 跨

26、站點(diǎn)集群功能實(shí)現(xiàn)虛擬化平臺(tái)數(shù)據(jù)中心容災(zāi)解決方案，在陣列雙活技術(shù)支撐下，通過(guò)VMware Cluster 的HA高可用功能實(shí)現(xiàn)故障業(yè)務(wù)切換保護(hù)，從而達(dá)到保證業(yè)務(wù)連續(xù)性的要求。基礎(chǔ)架構(gòu)層：網(wǎng)絡(luò)站點(diǎn)間二層互聯(lián)，采用波分傳輸，存儲(chǔ)實(shí)現(xiàn)雙活為上層提供共享存儲(chǔ)；將兩個(gè)數(shù)據(jù)中心服務(wù)器配置為一個(gè)集群，通過(guò)HA和DRS實(shí)現(xiàn)高可用和資源動(dòng)態(tài)智能分配；服務(wù)器之間建議通過(guò)萬(wàn)兆以太網(wǎng)提供心跳服務(wù)與vMotion遷移流量，集群內(nèi)的所有服務(wù)器需符合集群的兼容性規(guī)則。關(guān)鍵技術(shù)：Vmware HA高可用1）跨站點(diǎn)集群高可用；2）自動(dòng)監(jiān)控和檢測(cè)服務(wù)器故障，自動(dòng)重啟VM無(wú)須人工干預(yù)。VMware Vmonitor動(dòng)態(tài)遷移實(shí)時(shí)在線(xiàn)遷

27、移，不中斷業(yè)務(wù)情況下硬件維護(hù)。Vmware DRS分布式資源調(diào)度1）自動(dòng)計(jì)算和平衡資源，提高硬件資源利用率；2）跨資源池資源自動(dòng)、智能優(yōu)化。四、雙活技術(shù)關(guān)鍵點(diǎn)關(guān)鍵點(diǎn)1：大二層網(wǎng)絡(luò)除了方案4外，均需要采用跨中心間大二層網(wǎng)絡(luò)，需要確定最優(yōu)的方案。方案1：采用OTV技術(shù)把二層vlan跨三層打通方案2：采用二層光纖直連技術(shù)打通方案3：采用基于MPLS網(wǎng)絡(luò)的VPLS互聯(lián)幾種大二層方案優(yōu)缺點(diǎn)分析：建議直連方案效率最高，其次 overlay方式，再次MPLS。關(guān)鍵點(diǎn)2：GoldenGate雙活方案數(shù)據(jù)同步優(yōu)化關(guān)鍵點(diǎn)基于數(shù)據(jù)復(fù)制軟件Oracle GoldenGate 性能瓶頸在數(shù)據(jù)同步環(huán)節(jié)：實(shí)際使用中發(fā)現(xiàn)Go

28、ldenGate主要性能瓶頸在復(fù)制進(jìn)程Replicat入庫(kù)速度，因?yàn)樵谌轂?zāi)端恢復(fù)數(shù)據(jù)過(guò)程是執(zhí)行邏輯SQL，非常消耗資源，總的來(lái)說(shuō)GG性能因素包括：CPU，內(nèi)存，磁盤(pán)I/O，網(wǎng)絡(luò)和DB性能，下面針對(duì)數(shù)據(jù)同步關(guān)鍵環(huán)節(jié)優(yōu)化建議。抽取進(jìn)程（Extract） ：DB Log平均生成速度在3050GB/h，CPU占用1.9% ，該進(jìn)程主要瓶頸在于LCR轉(zhuǎn)換為UDF環(huán)節(jié)，主要優(yōu)化建議：拆分Extract進(jìn)程，建議同一個(gè)schema下表盡量在一個(gè)進(jìn)程組中優(yōu)化進(jìn)程參數(shù)如eofdelay何flushsecs等I/O部分建議增加日志讀取間隔3s，增加內(nèi)存刷新時(shí)間3s投遞進(jìn)程（Pump）：DB Log平均生成速度=在

29、1530 GB/hCPU占用7% ，帶寬1GB DB Log/分鐘為1015Mb/s。主要瓶頸在帶寬和I/O兩個(gè)部分，優(yōu)化建議：1）帶寬優(yōu)化：復(fù)制的表最好有主鍵或唯一索引，減少生產(chǎn)日志量數(shù)據(jù)傳輸過(guò)程啟用數(shù)據(jù)壓縮特性，減少帶寬需求量適當(dāng)增大TCP緩存2）I/O部分優(yōu)化：增加隊(duì)列讀取間隔為3s，內(nèi)存刷新時(shí)間為5s復(fù)制/應(yīng)用進(jìn)程（Replicat）：結(jié)合運(yùn)維經(jīng)驗(yàn)單進(jìn)程處理速度為1GB隊(duì)列/h，該環(huán)節(jié)出現(xiàn)性能問(wèn)題較多，需要重點(diǎn)優(yōu)化：合并小交易減少事物數(shù)量，減少寫(xiě)checkpoint file/table次數(shù)大交易拆分（maxtransops參數(shù)），提高寫(xiě)入速度基于表或Range等拆分replicat進(jìn)

30、程關(guān)鍵點(diǎn)3：Oracel ADG雙活方案數(shù)據(jù)同步性能分析對(duì)于Oracle 11g ADG 雙活方案數(shù)據(jù)同步時(shí)延分析，系統(tǒng)環(huán)境如下：日志產(chǎn)生量（采集于2015年4月初）日均產(chǎn)生歸檔量 1300 GB，其中節(jié)點(diǎn) 600 GB，2節(jié)點(diǎn) 700 GB。1天日志的峰值為 1705 GB，節(jié)點(diǎn)峰值 811 GB，2節(jié)點(diǎn)峰值 911 GB。單個(gè)小時(shí)日志峰值為 183 GB，1節(jié)點(diǎn)峰值 90 GB，2節(jié)點(diǎn)峰值 96 GB。網(wǎng)絡(luò)流量采用千兆網(wǎng)，傳輸日志平均占用帶寬為 16.24 MB/s，單個(gè)小時(shí)內(nèi)峰值為52 MB/s應(yīng)用時(shí)延（Transport Lag + Apply Lag）異步方式傳送日志，平均延時(shí) 0.

31、65 秒，正常業(yè)務(wù)處理期間時(shí)延小于10秒；生產(chǎn)庫(kù)中產(chǎn)生大量I/O的維護(hù)操作，比如添加數(shù)據(jù)文件，會(huì)導(dǎo)致目標(biāo)庫(kù)應(yīng)用時(shí)延相應(yīng)增加，可通過(guò)調(diào)整維護(hù)作業(yè)時(shí)間窗口加以避免。關(guān)鍵點(diǎn)4：Oracle Extended RAC雙活方案關(guān)鍵參數(shù)基于Oracle 11g Extended RAC+IBM GPFS A-A 雙活方案數(shù)關(guān)鍵參數(shù)：注意：關(guān)于RAC仲裁和GPFS仲裁，保證RAC的磁盤(pán)仲裁要晚于GPFS的仲裁，使得在網(wǎng)絡(luò)故障情況下GPFS提前RAC做出判定。所有網(wǎng)絡(luò)均采用Load Balance模式的EtherChannel，并且網(wǎng)絡(luò)間做到二層隔離關(guān)鍵點(diǎn)5：內(nèi)存數(shù)據(jù)庫(kù)數(shù)據(jù)同步性能Oracle和TT內(nèi)存庫(kù)幾種

32、模式下數(shù)據(jù)同步性能分析：1）Oracle 到TT庫(kù)同步：結(jié)合運(yùn)維經(jīng)驗(yàn)和Oracle官方理論，只要Oracle端性能滿(mǎn)足，TT端Cache就能夠滿(mǎn)足同步要求，實(shí)際中刷新間隔時(shí)間30秒內(nèi)，基表約為600MB，當(dāng)Oracle更新數(shù)據(jù)量小于15萬(wàn)行記錄時(shí)，均能在刷新間隔內(nèi)完成，但對(duì)于當(dāng)Oracle批量業(yè)務(wù)，Oracle到TT端的同步效能將呈非線(xiàn)性（近指數(shù)）下降的趨勢(shì)，建議將大批量業(yè)務(wù)拆成小事務(wù)處理，分批提交。2）TT主備異步模式同步：結(jié)合測(cè)試和運(yùn)維經(jīng)驗(yàn)主備同步極限能力大約為1GB/分鐘，當(dāng)大于1GB時(shí)同步出現(xiàn)積壓。3）TT主備同步模式：同步性能和事物大小及設(shè)置超時(shí)時(shí)間有關(guān)系，當(dāng)主節(jié)點(diǎn)事物較大（測(cè)試中10萬(wàn)行35M左右），會(huì)出現(xiàn)提交超時(shí)，同步友好模式下，備節(jié)點(diǎn)事務(wù)超時(shí)，主節(jié)點(diǎn)將會(huì)提交，結(jié)束該事務(wù)并繼續(xù)下一個(gè)事務(wù)處理；非同步友好模式下，備節(jié)點(diǎn)事務(wù)