分布式數(shù)據(jù)中心系統(tǒng)部署方案

1、 分布式數(shù)據(jù)中心系統(tǒng)部署方案建設(shè)分布式雙活數(shù)據(jù)中心是需要網(wǎng)絡(luò)系統(tǒng)、存儲(chǔ)系統(tǒng)、計(jì)算資源甚至包括應(yīng)用系統(tǒng)等多個(gè)IT系統(tǒng)之間緊密合作才能實(shí)現(xiàn)的。用戶(hù)所有的業(yè)務(wù)系統(tǒng)同時(shí)在兩個(gè)數(shù)據(jù)中心運(yùn)行，包括前端的全局負(fù)載均衡、服務(wù)器前端的負(fù)載均衡、服務(wù)器集群HA技術(shù)，后端的數(shù)據(jù)庫(kù)系統(tǒng)和存儲(chǔ)系統(tǒng)技術(shù)，同時(shí)為用戶(hù)提供服務(wù)。當(dāng)某個(gè)數(shù)據(jù)中心的應(yīng)用系統(tǒng)出現(xiàn)問(wèn)題時(shí)，由另一個(gè)數(shù)據(jù)中心的應(yīng)用來(lái)持續(xù)的提供服務(wù)。本文主要介紹在網(wǎng)絡(luò)雙活已經(jīng)Ready情況下，數(shù)據(jù)庫(kù)和存儲(chǔ)雙活部署的最佳實(shí)踐方案。一、數(shù)據(jù)庫(kù)分布式雙活技術(shù)雙活數(shù)據(jù)庫(kù)備份技術(shù)的主、備數(shù)據(jù)庫(kù)能夠同時(shí)承擔(dān)生產(chǎn)業(yè)務(wù)并且實(shí)現(xiàn)備份功能，即主-主方式的數(shù)據(jù)庫(kù)雙活技術(shù)，極大提高數(shù)據(jù)庫(kù)的利用效

2、率。用戶(hù)要實(shí)現(xiàn)數(shù)據(jù)庫(kù)的雙活，需要在主備數(shù)據(jù)中心同時(shí)安裝兩套數(shù)據(jù)庫(kù)系統(tǒng)，并且實(shí)現(xiàn)數(shù)據(jù)庫(kù)的同步功能。常見(jiàn)的雙活技術(shù)通常使用集群方式提供，以下以業(yè)界比較成熟的Oracle RAC為例作以介紹。（如圖1所示）Oracle RAC（Real Application Clusters，實(shí)時(shí)應(yīng)用集群）不僅僅是個(gè)組件，它不是單單由某項(xiàng)特性組成，而是一堆特性應(yīng)用（Oracle Clusterware、RAC、ASM等）的集合，因此應(yīng)該被稱(chēng)之為一種體系。該體系實(shí)現(xiàn)了多個(gè)實(shí)例同時(shí)訪問(wèn)和管理同一數(shù)據(jù)庫(kù)，多個(gè)實(shí)例可以存在于不同節(jié)點(diǎn)，也可以在相同的節(jié)點(diǎn)上(從提升性能的角度來(lái)看，并不推薦這樣)，彼此通過(guò)內(nèi)網(wǎng)連接交換數(shù)據(jù)，并

3、且能夠?qū)崿F(xiàn)自動(dòng)負(fù)載均衡，如果其中某個(gè)節(jié)點(diǎn)發(fā)生故障，RAC能夠通過(guò)后臺(tái)的監(jiān)控進(jìn)程將連接自動(dòng)切換到另外一個(gè)或多個(gè)節(jié)點(diǎn)上，從而實(shí)現(xiàn)應(yīng)用的無(wú)縫切換，對(duì)實(shí)例的高可用提供保護(hù)，使Oracle RAC 同時(shí)具備HA和LB的特性。遠(yuǎn)距離集群中的 Oracle RAC 提供了一種橫向擴(kuò)展性能以及利用多個(gè)站點(diǎn)的存儲(chǔ)和服務(wù)器資源的方法，而且與單站點(diǎn) Oracle RAC 安裝相比，還提高了整個(gè)站點(diǎn)的可用性和數(shù)據(jù)中心維護(hù)操作的恢復(fù)能力。圖1 RAC多實(shí)例l網(wǎng)絡(luò)部署方式（如圖2所示）在整個(gè)RAC環(huán)境中，需要在兩個(gè)數(shù)據(jù)中心部署RAC節(jié)點(diǎn)，共存在四個(gè)網(wǎng)絡(luò)環(huán)境（如圖2所示）： Public網(wǎng)絡(luò)對(duì)應(yīng)公有IP，用于對(duì)外提供數(shù)據(jù)查

4、詢(xún)服務(wù)，服務(wù)器維護(hù)，數(shù)據(jù)庫(kù)維護(hù)等； Virtual網(wǎng)絡(luò)對(duì)應(yīng)虛擬IP，用于提供應(yīng)用連接，一般應(yīng)用程序使用的是該IP； Private網(wǎng)絡(luò)對(duì)應(yīng)私有IP，用于傳輸RAC節(jié)點(diǎn)之間心跳報(bào)文cache fusion數(shù)據(jù)塊傳遞，對(duì)速度要求很高； 存儲(chǔ)網(wǎng)絡(luò)由存儲(chǔ)設(shè)備、HBA卡、光纖交換機(jī)等組成。圖2 RAC雙節(jié)點(diǎn)網(wǎng)絡(luò)l業(yè)務(wù)訪問(wèn)流程（如圖3所示）在一個(gè)典型的多節(jié)點(diǎn)RAC系統(tǒng)集群環(huán)境中，數(shù)據(jù)是放在共享存儲(chǔ)上的，客戶(hù)端通過(guò)指定的虛擬IP連接。集群收到應(yīng)用程序訪問(wèn)數(shù)據(jù)庫(kù)的請(qǐng)求后，利用DLM機(jī)制進(jìn)行多個(gè)節(jié)點(diǎn)間并發(fā)訪問(wèn)的控制，把請(qǐng)求發(fā)送到其中一個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)收到請(qǐng)求后，通過(guò)Cache Fusion機(jī)制獲取讀寫(xiě)權(quán)限，如果節(jié)點(diǎn)

5、有權(quán)限訪問(wèn)共享存儲(chǔ)，節(jié)點(diǎn)會(huì)對(duì)共享存儲(chǔ)進(jìn)行讀寫(xiě)，讀寫(xiě)數(shù)據(jù)完成后返回給客戶(hù)端。當(dāng)應(yīng)用訪問(wèn)數(shù)據(jù)庫(kù)RAC集群時(shí)，由下面兩種機(jī)制來(lái)保證訪問(wèn)數(shù)據(jù)的可用性：并發(fā)控制。由于每個(gè)節(jié)點(diǎn)對(duì)數(shù)據(jù)有相同的訪問(wèn)權(quán)利，這就要求集群對(duì)這種有對(duì)等權(quán)限的并發(fā)訪問(wèn)有控制機(jī)制，在Oracle RAC中，利用DLM （Distribute Lock Management，分布式鎖管理器）機(jī)制進(jìn)行多個(gè)節(jié)點(diǎn)間并發(fā)訪問(wèn)的控制，協(xié)調(diào)節(jié)點(diǎn)間資源的競(jìng)爭(zhēng)，保證并發(fā)的有效性，保護(hù)共享數(shù)據(jù)的安全。分布式緩存。使用Cache Fusion模型，是實(shí)現(xiàn)RAC的根本的技術(shù)，它使各實(shí)例可以將它們的數(shù)據(jù)緩存合并為一個(gè)共享的全局緩存，保證緩存的一致性，減少共享磁盤(pán)

6、IO的消耗。當(dāng)上層應(yīng)用訪問(wèn)RAC節(jié)點(diǎn)是，RAC使用 Cache Fusion，優(yōu)先從緩存中讀寫(xiě)數(shù)據(jù)，僅當(dāng)該數(shù)據(jù)塊不在全局共享的緩存中，才會(huì)執(zhí)行磁盤(pán)讀寫(xiě)操作。圖3 RAC多節(jié)點(diǎn)訪問(wèn)l主備數(shù)據(jù)中心故障切換當(dāng)其中一個(gè)數(shù)據(jù)中心的數(shù)據(jù)庫(kù)RAC節(jié)點(diǎn)出現(xiàn)故障時(shí)，另外一個(gè)數(shù)據(jù)中心的RAC節(jié)點(diǎn)還可以提供服務(wù)。Oracle RAC 同時(shí)具備HA和LB，而其高可用性的基礎(chǔ)是Failover(故障轉(zhuǎn)移)，通過(guò)TAF(Transparent Application Failover)技術(shù)，集群中任何一個(gè)節(jié)點(diǎn)的故障，連接其用戶(hù)會(huì)被自動(dòng)轉(zhuǎn)移到健康節(jié)點(diǎn)，用戶(hù)感覺(jué)不到這種切換。對(duì)于應(yīng)用程序而言，這個(gè)遷移過(guò)程是透明的，不需要用戶(hù)

7、的介入。遷移過(guò)程如下：（如圖4所示）假設(shè)有一個(gè)兩個(gè)節(jié)點(diǎn)的RAC，正常運(yùn)行時(shí)每個(gè)節(jié)點(diǎn)上都有一個(gè)VIP：VIP1和VIP2。當(dāng)節(jié)點(diǎn)2發(fā)生故障，RAC 會(huì)做如下操作： RAC的Failover 機(jī)制會(huì)把節(jié)點(diǎn)2的VIP2轉(zhuǎn)移到節(jié)點(diǎn)1上，這時(shí)節(jié)點(diǎn)1的PUBLIC 網(wǎng)卡上就有3個(gè)IP 地址，即VIP1、VIP2、Public IP1； 用戶(hù)對(duì)VIP2的連接請(qǐng)求會(huì)被IP層路由轉(zhuǎn)到節(jié)點(diǎn)1； 節(jié)點(diǎn)1上只監(jiān)聽(tīng)VIP1和Public IP1的兩個(gè)IP地址,并沒(méi)有監(jiān)聽(tīng)VIP2，故應(yīng)用層沒(méi)有對(duì)應(yīng)的程序接收這個(gè)數(shù)據(jù)包； 客戶(hù)端能夠立即接收到這個(gè)錯(cuò)誤，然后客戶(hù)段會(huì)重新發(fā)起向VIP1的連接請(qǐng)求，完成故障切換。圖4 RAC故障

8、轉(zhuǎn)移在集群環(huán)境中，節(jié)點(diǎn)間需要某種心跳了解彼此的健康狀況。這個(gè)心跳是通過(guò)兩個(gè)數(shù)據(jù)中心的網(wǎng)絡(luò)來(lái)傳輸?shù)?，如果心跳出了?wèn)題，每個(gè)節(jié)點(diǎn)都會(huì)認(rèn)為其他節(jié)點(diǎn)都不存在了，自己是唯一的幸存者，從而控制整個(gè)集群，由于數(shù)據(jù)是共享的，勢(shì)必會(huì)破壞共享數(shù)據(jù)的完整性和一致性。這時(shí)候Voting Disk表決盤(pán)被引入，所有節(jié)點(diǎn)都可以訪問(wèn)表決盤(pán)，通過(guò)投票機(jī)制，獲得最高票數(shù)或者最早到達(dá)的獲得投票的幸存，其他節(jié)點(diǎn)被踢出。在Oracle RAC中Voting Disk用來(lái)記錄節(jié)點(diǎn)間成員的狀態(tài)，出現(xiàn)腦裂時(shí)，仲裁哪個(gè)分區(qū)獲得控制權(quán)，其他的分區(qū)被剔除。二、存儲(chǔ)分布式雙活技術(shù)分布式雙活數(shù)據(jù)庫(kù)部署需要共享存儲(chǔ)的支撐，理想的方案是EMC VPLE

9、X，可以實(shí)現(xiàn)不同存儲(chǔ)異構(gòu)的雙活。VPLEX 體系結(jié)構(gòu)將橫向擴(kuò)展集群與分布式緩存一致性相結(jié)合，實(shí)現(xiàn)了數(shù)據(jù)中心內(nèi)、跨數(shù)據(jù)中心的 EMC 和非 EMC 平臺(tái)之間的數(shù)據(jù)移動(dòng)性。其具有以下特點(diǎn)： 分布式存儲(chǔ)雙活集群技術(shù)，對(duì)應(yīng)用提供統(tǒng)一的訪問(wèn)入口； VPLEX后端連接存儲(chǔ)類(lèi)型可以兼容不同廠家； EMC VPLEX Metro在多個(gè)數(shù)據(jù)中心實(shí)現(xiàn)同步數(shù)據(jù)復(fù)制技術(shù)； VPLEX AccessAnywhere集群技術(shù)可用于對(duì)分布式卷進(jìn)行遠(yuǎn)程讀/寫(xiě)訪問(wèn)，可以在同步距離內(nèi)的位置之間訪問(wèn)和共享數(shù)據(jù)； 給遠(yuǎn)距離的兩個(gè)數(shù)據(jù)中心提供一個(gè)共享的存儲(chǔ)，兩邊能同時(shí)讀寫(xiě)同一份數(shù)據(jù)，簡(jiǎn)化擴(kuò)展 Oracle RAC跨數(shù)據(jù)中心的部署；VP

10、LEX 產(chǎn)品線(xiàn)包括 VPLEX Local（單站點(diǎn) SAN 聯(lián)合）、VPLEX Metro（支持往返延遲高達(dá) 5 ms 的同步分布式卷，約相距不超過(guò) 100 公里）以及 VPLEX Geo（支持往返時(shí)間高達(dá) 50 ms 的異步分布式卷）。將 VPLEX Metro 與遠(yuǎn)距離集群中的 Oracle RAC（擴(kuò)展 Oracle RAC）結(jié)合使用，可以簡(jiǎn)化 SAN 基礎(chǔ)架構(gòu)，同時(shí)減少與擴(kuò)展 RAC 部署模式關(guān)聯(lián)的部分存儲(chǔ)管理復(fù)雜性。l網(wǎng)絡(luò)部署方式（如圖5所示）在VPLEX環(huán)境中，分別需要在兩個(gè)數(shù)據(jù)中心部署VPLEX，同時(shí)在第3個(gè)站點(diǎn)部署Witness，共存在兩個(gè)網(wǎng)絡(luò)環(huán)境（如圖5所示）。 IP網(wǎng)絡(luò)：三

11、方站點(diǎn)互連使用的IP網(wǎng)絡(luò)，使用Witness提供網(wǎng)絡(luò)管理和防止腦裂發(fā)生。 存儲(chǔ)網(wǎng)絡(luò)：由存儲(chǔ)設(shè)備，HBA卡，光纖交換機(jī)等組成，需要專(zhuān)用光纖線(xiàn)路連接。圖5 VPLEX雙中心組網(wǎng)l業(yè)務(wù)訪問(wèn)流程存儲(chǔ)對(duì)讀數(shù)據(jù)的處理過(guò)程如下： 當(dāng)主機(jī)發(fā)出一個(gè)讀請(qǐng)求，VPLEX搜索其本地緩存； 如果數(shù)據(jù)被找到，返回到主機(jī)； 如果數(shù)據(jù)在本地緩存中沒(méi)有找到，VPLEX搜索全局緩存； 無(wú)論從本地緩存或全局緩存，它如果不能找到讀數(shù)據(jù)，則直接讀取后端存儲(chǔ)。在這些情況下，無(wú)論是全局還是本地緩存都進(jìn)行更新。存儲(chǔ)對(duì)寫(xiě)數(shù)據(jù)的處理過(guò)程如下： 對(duì)于VPLEX Local和Metro，所有寫(xiě)操作都是通過(guò)后端存儲(chǔ)的緩存，只有數(shù)據(jù)寫(xiě)入到后端陣列，主機(jī)

12、的寫(xiě)操作才算完成； 對(duì)于VPLEX metro，每次寫(xiě)都是在集群中進(jìn)行復(fù)制。其中一個(gè)副本，寫(xiě)入到本地后端陣列，而另外一個(gè)被寫(xiě)入到遠(yuǎn)程VPLEX，再把它寫(xiě)入到遠(yuǎn)程的后端磁盤(pán)。主機(jī)只有在這兩個(gè)寫(xiě)入都完成后才會(huì)得到確認(rèn)。l主備數(shù)據(jù)中心故障切換（如圖6所示）當(dāng)一個(gè)數(shù)據(jù)中心的存儲(chǔ)不能對(duì)外提供訪問(wèn)時(shí)，VPLEX會(huì)實(shí)時(shí)把IO的請(qǐng)求定向到另外一個(gè)數(shù)據(jù)中心，不會(huì)影響到上層應(yīng)用的訪問(wèn)。當(dāng)后端存儲(chǔ)失敗,VPLEX集群繼續(xù)服務(wù)所有的IO，因此Oracle RAC不會(huì)知道存儲(chǔ)不可用了。圖6 VPLEX存儲(chǔ)故障切換（如圖7所示）當(dāng)后端存儲(chǔ)和VPLEX集群其中之一出現(xiàn)故障，VPLEX Witness會(huì)繼續(xù)讓另外一個(gè)站點(diǎn)的V

13、PLEX提供服務(wù)，Oracle 使用Transparent Application Failover 功能，允許客戶(hù)端自動(dòng)的重新連接到健康的VPLEX 集群上。圖7 VPLEX存儲(chǔ)和集群故障切換如果兩個(gè) VPLEX 集群中間的網(wǎng)絡(luò)出現(xiàn)故障，可以通過(guò)預(yù)先配置分離規(guī)則，優(yōu)先級(jí)高的VPLEX站點(diǎn)如果無(wú)法檢測(cè)到對(duì)方節(jié)點(diǎn)，則該節(jié)點(diǎn)繼續(xù)服務(wù)，另外一個(gè)停止服務(wù)。或者通過(guò)在第三站點(diǎn)部署VPLEX Witness，當(dāng)出現(xiàn)網(wǎng)絡(luò)故障時(shí)，由Witness判斷哪個(gè)節(jié)點(diǎn)可以提供服務(wù)。VPLEX Witness 通過(guò)管理 IP 網(wǎng)絡(luò)連接至兩個(gè) VPLEX 集群。為了讓 VPLEX Witness 能夠正確區(qū)分各種故障情況，

14、需要在在第三個(gè)數(shù)據(jù)中心部署 VPLEX Witness。三、Oracle RAC和 VPLEX Metro 聯(lián)合部署方式Oracle RAC系統(tǒng)與EMC VPLEX技術(shù)相結(jié)合，是部署雙活數(shù)據(jù)中心的理想選擇。EMC VPLEX 的功能包括異構(gòu)存儲(chǔ)系統(tǒng)以及分布式雙活的共享存儲(chǔ)，可與 Oracle RAC 的固有功能共同提供高可用性和可擴(kuò)展的數(shù)據(jù)庫(kù)訪問(wèn)。（如圖8所示）Oracle RAC 與 EMC VPLEX結(jié)合部署，簡(jiǎn)化了數(shù)據(jù)庫(kù)體系結(jié)構(gòu)，提高基礎(chǔ)架構(gòu)效率。圖8 Oracle RAC 與 EMC VPLEX綜合組網(wǎng)通常，擴(kuò)展 Oracle RAC 的部署重點(diǎn)是為其中一個(gè) Oracle集群表決磁盤(pán)部

15、署第三個(gè)站點(diǎn)。（如圖9所示）借助 VPLEX，集群表決磁盤(pán)本身駐留在 VPLEX 虛擬卷上，僅VPLEX Witness部署在獨(dú)立故障域中，由于 VPLEX Witness 控制表決磁盤(pán)的訪問(wèn)， VPLEX Witness 可提供腦裂檢測(cè)保護(hù)并保證 VPLEX Metro 和 Oracle 集群的行為一致。由于所有 Oracle集群節(jié)點(diǎn)都需要訪問(wèn)所有 Oracle集群配置文件和數(shù)據(jù)庫(kù)設(shè)備，因此 Oracle 集群配置文件和Oracle 數(shù)據(jù)庫(kù)都使用 VPLEX 分布式卷。圖9 VPLEX腦裂檢測(cè)l網(wǎng)絡(luò)部署方式RAC集群互連：用于RAC心跳和Cache Fusion，對(duì)速度要求很高。IP網(wǎng)絡(luò)：三

16、方站點(diǎn)互連使用的IP網(wǎng)絡(luò)，用于提供網(wǎng)絡(luò)管理和防止腦裂發(fā)生。存儲(chǔ)網(wǎng)絡(luò)：由存儲(chǔ)設(shè)備、HBA卡、光纖交換機(jī)等組成，需要專(zhuān)用光纖線(xiàn)路連接。l故障切換后端存儲(chǔ)失敗。當(dāng)站點(diǎn)A的存儲(chǔ)發(fā)生致命故障后，分布式鏡像卷只是少了鏡像的一半，容災(zāi)站點(diǎn)的存儲(chǔ)承擔(dān)起讀寫(xiě)IO的工作，站點(diǎn)A的主機(jī)通過(guò)VPLEX的通訊鏈路從站點(diǎn)B的存儲(chǔ)上讀寫(xiě)數(shù)據(jù)，使得整個(gè)系統(tǒng)沒(méi)有發(fā)生出錯(cuò)崩潰，也沒(méi)有業(yè)務(wù)切換到容災(zāi)站點(diǎn)，保證了業(yè)務(wù)高可用性。由于每個(gè)站點(diǎn)都有專(zhuān)門(mén)的LOG卷，所以在存儲(chǔ)恢復(fù)正常后不需要進(jìn)行全同步，而只需要傳輸改變量，同步時(shí)間大大縮小。VPLEX失敗。當(dāng)站點(diǎn)A的VPLEX故障后，另外一個(gè)站點(diǎn)B的VPLEX繼續(xù)工作，數(shù)據(jù)不會(huì)丟失，業(yè)務(wù)可以

17、連接到另外一個(gè)站點(diǎn)B的RAC節(jié)點(diǎn)正常進(jìn)行工作。當(dāng)站點(diǎn)A的VPLEX恢復(fù)后，按保護(hù)機(jī)制的設(shè)定，可自動(dòng)或者手工確認(rèn)原主站點(diǎn)是否可以工作。RAC主機(jī)失敗。當(dāng)站點(diǎn)A的RAC1主機(jī)發(fā)生故障后，VPLEX和存儲(chǔ)都沒(méi)故障發(fā)生。因此只發(fā)生應(yīng)用切換事件。站點(diǎn)間的網(wǎng)絡(luò)失敗。VPLEX可以設(shè)置優(yōu)先級(jí)別，當(dāng)兩臺(tái)VPLEX通訊發(fā)生故障時(shí)，根據(jù)定義的優(yōu)先級(jí)別的策略決定其中一臺(tái)VPLEX保持服務(wù)，而另一臺(tái)就要停止工作，或者由Witness來(lái)決定哪臺(tái)VPLEX繼續(xù)工作，保證了數(shù)據(jù)的一致性和安全性。站點(diǎn)失敗。站點(diǎn)A的RAC、VPLEX、存儲(chǔ)都出現(xiàn)故障，連接站點(diǎn)A的RAC1的業(yè)務(wù)全斷，而連接站點(diǎn)B的RAC2的應(yīng)用還是可以保持正常

18、工作無(wú)中斷，站點(diǎn)A的RAC1上的業(yè)務(wù)重新連接到RAC2后可以繼續(xù)正常工作。l該方案帶來(lái)的好處聯(lián)合部署方式使得網(wǎng)絡(luò)、存儲(chǔ)和站點(diǎn)故障期間保證連續(xù)的數(shù)據(jù)庫(kù)可用性，橫向擴(kuò)展體系結(jié)構(gòu)以及兩個(gè)站點(diǎn)對(duì)同一數(shù)據(jù)庫(kù)的完全讀寫(xiě)訪問(wèn)權(quán)限，并且簡(jiǎn)化遠(yuǎn)程 Oracle RAC 部署，主要體現(xiàn)在： 集群節(jié)點(diǎn)只需連接至本地 VPLEX 集群，不需要跨站點(diǎn)連接； 通過(guò)使用分布式卷和 VPLEX Witness 部署 Oracle 表決磁盤(pán)，無(wú)需在第三站點(diǎn)部署 Oracle voting disk 表決磁盤(pán)和集群配置文件，簡(jiǎn)化了基礎(chǔ)架構(gòu)要求； 減少對(duì) Oracle 集群節(jié)點(diǎn) CPU 周期的占用以及與基于主機(jī)的鏡像關(guān)聯(lián)的占用，由