企業(yè)雙活數(shù)據(jù)中心建設(shè)方案

1、 企業(yè)雙活數(shù)據(jù)中心建設(shè)方案（EMC VPLEX） 第一章. 方案概述1. 需求*計(jì)劃建設(shè)兩個(gè)數(shù)據(jù)中心，構(gòu)成同城雙生產(chǎn)系統(tǒng)，兩中心之間距離不超過100公里；要求數(shù)據(jù)零丟失，系統(tǒng)切換時(shí)間小于5分鐘；2.方案簡介為了滿足客戶建設(shè)容災(zāi)系統(tǒng)的需求，我們設(shè)計(jì)了本地雙活數(shù)據(jù)中心。整體架構(gòu)如下：上圖是雙活數(shù)據(jù)中心總體框架，包括雙活存儲(chǔ)系統(tǒng)、雙活數(shù)據(jù)庫系統(tǒng)、雙活應(yīng)用系統(tǒng)和雙活網(wǎng)絡(luò)系統(tǒng)。我們將利用存儲(chǔ)雙活技術(shù)和主機(jī)集群技術(shù)實(shí)現(xiàn)數(shù)據(jù)庫系統(tǒng)的雙活，利用負(fù)載均衡設(shè)備實(shí)現(xiàn)應(yīng)用系統(tǒng)在兩個(gè)數(shù)據(jù)中心內(nèi)的負(fù)載均衡，利用動(dòng)態(tài)域名確保兩個(gè)數(shù)據(jù)中心的網(wǎng)絡(luò)雙活。雙活數(shù)據(jù)中心可以實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)同時(shí)在兩個(gè)節(jié)點(diǎn)同時(shí)工作，達(dá)到負(fù)載均衡的目的。當(dāng)生

2、產(chǎn)節(jié)點(diǎn)出現(xiàn)故障時(shí)，業(yè)務(wù)系統(tǒng)還能夠在第二生產(chǎn)節(jié)點(diǎn)上正常工作，實(shí)現(xiàn)業(yè)務(wù)零切換。第二章. 雙活數(shù)據(jù)中心架構(gòu)設(shè)計(jì)通過對*具體需求的分析，我們建議客戶采用雙活數(shù)據(jù)中心架構(gòu)設(shè)計(jì)。1. 數(shù)據(jù)庫系統(tǒng)雙活架構(gòu)設(shè)計(jì)在這個(gè)架構(gòu)中，存儲(chǔ)層除了采用EMC VNX存儲(chǔ)系統(tǒng)或者其他廠商存儲(chǔ)系統(tǒng)（第三方主流存儲(chǔ)系統(tǒng)見EMC Vplex兼容性列表）外，還引進(jìn)了EMC全新一代數(shù)據(jù)整合系統(tǒng)VPLEX，由VPLEX實(shí)現(xiàn)存儲(chǔ)系統(tǒng)高可靠性和同城范圍內(nèi)數(shù)據(jù)高效共享。1.1本地存儲(chǔ)高可靠性保證在本方案中，首先我們要滿足客戶對生產(chǎn)中心存儲(chǔ)系統(tǒng)高可靠性的需求。目前的IT系統(tǒng)架構(gòu)中，從應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器到網(wǎng)絡(luò)等各個(gè)部分都已經(jīng)提供了高可靠性的

3、設(shè)計(jì)，唯獨(dú)存儲(chǔ)系統(tǒng)很少有高可靠性方案的設(shè)計(jì)，這主要基于兩個(gè)原因： 存儲(chǔ)系統(tǒng)自身已經(jīng)有高可靠性設(shè)計(jì)，控制器、電源、鏈路等都是冗余設(shè)計(jì)，可靠性較高，一般情況下很少會(huì)發(fā)生整體故障，導(dǎo)致數(shù)據(jù)不可訪問。 沒有非常合適的技術(shù)來實(shí)現(xiàn)存儲(chǔ)系統(tǒng)的高可靠性保證EMC推出了架構(gòu)的數(shù)據(jù)整合解決方案VPLEX，VPLEX首先實(shí)現(xiàn)了本地存儲(chǔ)系統(tǒng)的整合及高可靠性設(shè)計(jì)，而且是硬件級別的解決方案。在本項(xiàng)目中，生產(chǎn)中心VPLEX首先將兩臺(tái)EMC DMX3/4（僅以DMX存儲(chǔ)為例說明，下同）整合在一起，實(shí)現(xiàn)存儲(chǔ)級別的HA系統(tǒng)。如下圖顯示：1) 在兩臺(tái)DMX3/4中分別劃出兩個(gè)LUN，LUN-A和LUN-B LUN大小一樣 RAID

4、的保護(hù)方式一樣 為了保證性能所分布的硬盤類型和數(shù)量最好也一樣將這兩個(gè)LUN同時(shí)映射給VPLEX（通過圖中虛線鏈路），VPLEX可以將這些LUN進(jìn)行再次RAID保護(hù)，目前VPLEX支持的RAID保護(hù)級別為： RAID 0 RAID 1 分布式RAID 1在實(shí)現(xiàn)本地存儲(chǔ)HA系統(tǒng)時(shí)，使用RAID 1保護(hù)方式，形成一個(gè)虛擬LUN（V-LUN）。2) VPLEX通過光纖鏈路（圖中實(shí)線鏈路）將V-LUN分配給主機(jī)，主機(jī)可以進(jìn)行讀寫操作3) 當(dāng)主機(jī)向V-LUN寫入I/O時(shí)，先寫入V-LUN，然后再繼續(xù)寫入到兩臺(tái)DMX3/4存儲(chǔ)系統(tǒng)中4) 當(dāng)其中一臺(tái)存儲(chǔ)設(shè)備發(fā)生故障，整個(gè)存儲(chǔ)系統(tǒng)能夠繼續(xù)工作，主機(jī)訪問存儲(chǔ)不會(huì)

5、受到任何影響1.2雙活數(shù)據(jù)中心數(shù)據(jù)保護(hù)本次項(xiàng)目客戶要求首先實(shí)現(xiàn)本地存儲(chǔ)高可靠性保護(hù)外，還需要實(shí)現(xiàn)雙活數(shù)據(jù)中心，既兩個(gè)數(shù)據(jù)中心的業(yè)務(wù)同時(shí)運(yùn)行，任何一個(gè)數(shù)據(jù)中心出現(xiàn)問題，業(yè)務(wù)都會(huì)繼續(xù)運(yùn)行。1.2.1通過VPLEX進(jìn)行數(shù)據(jù)讀寫首先在第二生產(chǎn)節(jié)點(diǎn)上，DMX3/4存儲(chǔ)系統(tǒng)給VPLEX 分配一個(gè)LUN，VPELX產(chǎn)生一個(gè)V-LUN。如下圖顯示：其次，通過兩個(gè)節(jié)點(diǎn)的VPLEX產(chǎn)生一個(gè)分布式虛擬LUN，采用分布式RAID 1保護(hù)。如下圖顯示：兩個(gè)節(jié)點(diǎn)的主機(jī)都能夠訪問到這個(gè)虛擬LUN，兩節(jié)點(diǎn)的主機(jī)都能夠同時(shí)訪問這個(gè)分布式虛擬LUN。由于我們提供的是雙活數(shù)據(jù)中心，兩個(gè)節(jié)點(diǎn)中的數(shù)據(jù)要實(shí)時(shí)一致，所以在寫入數(shù)據(jù)時(shí)，要確

6、保數(shù)據(jù)被同時(shí)寫入到兩個(gè)節(jié)點(diǎn)中，這樣才能保證數(shù)據(jù)兩節(jié)點(diǎn)之間的數(shù)據(jù)一致性。如下圖所示：1) 在生產(chǎn)節(jié)點(diǎn)的主機(jī)產(chǎn)生I/O；2) 向VPLEX寫入I/O, I/O通過VPLEX之間的光纖鏈路發(fā)送到第二生產(chǎn)節(jié)點(diǎn)的VPLEX上，3) I/O同時(shí)寫入到兩個(gè)節(jié)點(diǎn)中的DMX3/4存儲(chǔ)系統(tǒng)中；4) 第二生產(chǎn)節(jié)點(diǎn)的VPLEX向生產(chǎn)節(jié)點(diǎn)VPLEX發(fā)出寫I/O完成的確認(rèn)信息（ACK）；1.2.2通過VPLEX進(jìn)行數(shù)據(jù)讀取EMC VPLEX是一個(gè)集群系統(tǒng)提供分布式緩存一致性保證，能夠?qū)蓚€(gè)或多個(gè)VPLEX的緩存進(jìn)行統(tǒng)一管理，從而使主機(jī)訪問到一個(gè)整體的緩存系統(tǒng)。當(dāng)主機(jī)向VPLEX的摸一個(gè)緩存區(qū)域?qū)慖/O時(shí)，VPLEX緩存將

7、鎖定這個(gè)緩存區(qū)域，同一時(shí)刻其他主機(jī)是無法向這個(gè)緩存區(qū)域?qū)懭隝/O的。但是，當(dāng)主機(jī)讀取I/O時(shí)，VPLEX緩存允許多個(gè)主機(jī)訪問一個(gè)緩存區(qū)域，尤其是主機(jī)訪問其他VPLEX集群中其他VPLEX所管理的數(shù)據(jù)時(shí)，統(tǒng)一個(gè)緩存管理會(huì)將這個(gè)I/O的具體位置告知主機(jī)，主機(jī)直接訪問。如下圖顯示：1.2.3主機(jī)故障切換我們將1個(gè)RAC的集群中的兩臺(tái)主機(jī)分別放置在生產(chǎn)和第二生產(chǎn)節(jié)點(diǎn)上，這兩臺(tái)主機(jī)形成一個(gè)跨數(shù)據(jù)中心的集群系統(tǒng)，如圖中RAC1-1和RAC1-2，RAC2-1和RAC2-2。這種設(shè)置保證了正常情況下，兩節(jié)點(diǎn)的主機(jī)同時(shí)工作；一旦其中一個(gè)節(jié)點(diǎn)的主機(jī)出現(xiàn)故障，業(yè)務(wù)會(huì)無縫的被另外一個(gè)節(jié)點(diǎn)的主機(jī)所接管。此時(shí)，RAC的

8、心跳線需要通過網(wǎng)絡(luò)來進(jìn)行連接。1.2.4存儲(chǔ)故障切換主機(jī)故障切換由RAC集群保證，存儲(chǔ)系統(tǒng)故障切換則由EMC VPLEX保證。 EMC VPLEX中設(shè)計(jì)了一個(gè)重要的部件VPLEX WitnessWitness安裝在客戶提供的 VMware ESX Server 上運(yùn)行的虛擬機(jī)，Witness最好與兩個(gè) VPLEX 集群不在同一地點(diǎn)，但是考慮到實(shí)際情況，也可以將Witness放置在生產(chǎn)節(jié)點(diǎn)。VPLEX Witness 使用 IP 連接監(jiān)視兩個(gè) VPLEX 群集之間的系統(tǒng)“心跳”信號。通過監(jiān)視這些心跳信號，VPLEX Witness 可以區(qū)分站點(diǎn)故障和站點(diǎn)分區(qū)。VPLEX Witness 讓應(yīng)用程

9、序能夠承受任何存儲(chǔ)故障的影響，包括同時(shí)影響整個(gè)存儲(chǔ)設(shè)備機(jī)架的故障。VPLEX Witness 與服務(wù)器群集軟件和 AccessAnywhere 相結(jié)合，形成了一套端到端的解決方案，允許在服務(wù)器出現(xiàn)故障時(shí)自動(dòng)重啟。對于 雙活數(shù)據(jù)中心的部署，VPLEX Witness 能為客戶提供具有零恢復(fù)點(diǎn)目標(biāo) (RTO) 的高可用性解決方案。 由于在生產(chǎn)節(jié)點(diǎn)已經(jīng)通過VPLEX實(shí)現(xiàn)存儲(chǔ)的HA，所以一個(gè)存儲(chǔ)系統(tǒng)出現(xiàn)故障，不會(huì)影響到整個(gè)系統(tǒng)的正常運(yùn)行。如圖所示： 第二生產(chǎn)節(jié)點(diǎn)存儲(chǔ)系統(tǒng)出現(xiàn)故障，不會(huì)影響到整個(gè)系統(tǒng)的正常運(yùn)行。如圖所示： VPLEX系統(tǒng)故障VPLEX系統(tǒng)自身是全冗余設(shè)計(jì)，可用性能夠達(dá)到99.999%，但

10、是為了防止VPLEX自身出現(xiàn)故障，VPLEX自身有一整套放置系統(tǒng)故障的處理流程，在這個(gè)過程中就要結(jié)合上面我們提到的Witness。如下圖所示：上圖中，種情況中，業(yè)務(wù)正常工作；種情況中，業(yè)務(wù)暫停，需要少量人工干預(yù)將業(yè)務(wù)恢復(fù)，時(shí)間不會(huì)超過10分鐘。1.2.5生產(chǎn)節(jié)點(diǎn)發(fā)生災(zāi)難如果生產(chǎn)節(jié)點(diǎn)發(fā)生災(zāi)難，則所有業(yè)務(wù)要切換至第二生產(chǎn)節(jié)點(diǎn)，其過程如上圖所示情況，需要少量人工干預(yù)，在這種情況下人工干預(yù)是指將V-2暫時(shí)中斷的工作重新啟動(dòng)，主機(jī)能夠重新訪問存儲(chǔ)系統(tǒng)，最終業(yè)務(wù)恢復(fù)。1.2.6生產(chǎn)節(jié)點(diǎn)恢復(fù)生產(chǎn)節(jié)點(diǎn)修復(fù)后，需要重新將生產(chǎn)節(jié)點(diǎn)和第二生產(chǎn)節(jié)點(diǎn)的VPLEX關(guān)聯(lián)起來。在VPLEX上重新通過兩個(gè)節(jié)點(diǎn)的VPLEX產(chǎn)生一

11、個(gè)分布式虛擬LUN，采用分布式RAID 1保護(hù)，此時(shí)業(yè)務(wù)可以正常運(yùn)行，第二生產(chǎn)節(jié)點(diǎn)與生產(chǎn)節(jié)點(diǎn)之間的數(shù)據(jù)在后臺(tái)進(jìn)行復(fù)制，直到兩邊數(shù)據(jù)一致。在這個(gè)過程中，我們還需要將VPLEX的Witness修復(fù)，在其中定義生產(chǎn)節(jié)點(diǎn)為主節(jié)點(diǎn)。2. 網(wǎng)絡(luò)系統(tǒng)架構(gòu)設(shè)計(jì)2.1互聯(lián)網(wǎng)接入部分該部分內(nèi)容EMC只是根據(jù)其他用戶的經(jīng)驗(yàn)提供一些建議，具體設(shè)計(jì)與實(shí)施還需要專業(yè)的網(wǎng)絡(luò)系統(tǒng)廠商或集成商提供。建議兩個(gè)生產(chǎn)分別租用兩條互聯(lián)網(wǎng)出口線路，一條聯(lián)通線路，一條電信線路。在每條線路出口處，分別透明部署一臺(tái)智能抗攻擊設(shè)備，用以抵擋來自互聯(lián)網(wǎng)的Dos/DDos等攻擊，保護(hù)內(nèi)部用戶和服務(wù)器的安全。在兩臺(tái)抗攻擊設(shè)備后，分別部署兩臺(tái)鏈路負(fù)載均

12、衡設(shè)備，用來實(shí)現(xiàn)多廣域網(wǎng)線路選路和冗余備份，使用戶可以通過最快線路訪問*業(yè)務(wù)系統(tǒng)，加快了數(shù)據(jù)中心訪問速度。同時(shí)，當(dāng)任何一條線路故障，用戶依然可以通過另一條廣域網(wǎng)線路訪問數(shù)據(jù)中心服務(wù)器，提高了數(shù)據(jù)中心的可靠性。鏈路負(fù)載均衡設(shè)備可實(shí)現(xiàn)多條internet接入鏈路的負(fù)載均衡，可以同時(shí)實(shí)現(xiàn)outbound流量和inbound流量雙向的負(fù)載均衡。鏈路負(fù)載均衡設(shè)備會(huì)通過多種方式檢測兩條鏈路的健康狀況，一旦發(fā)現(xiàn)其中一條鏈路故障，會(huì)立即將所有用戶流量定向至其它可用鏈路，從而實(shí)現(xiàn)Internet連接的高可用性。主要的方法有： 為了確保ISP鏈路的暢通，鏈路負(fù)載均衡設(shè)備將采用Ping的方法，不僅僅檢查和其相連的路

13、由器的端口是否可達(dá)，還可以檢查該鏈路后續(xù)路由節(jié)點(diǎn)的連通性（10跳），已確保整個(gè)路徑的暢通。 針對所有的網(wǎng)絡(luò)環(huán)境（包括禁止ICMP的ISP），鏈路負(fù)載均衡設(shè)備提供了豐富的47層檢查方式，并可以通過多種檢查結(jié)果的“與”和“或”運(yùn)算結(jié)果，最終準(zhǔn)確判斷鏈路的健康狀況。在鏈路負(fù)載均衡設(shè)備旁路部署全局負(fù)載均衡設(shè)備。通過全局負(fù)載均衡設(shè)備的智能DNS功能，實(shí)現(xiàn)兩數(shù)據(jù)中心的災(zāi)備功能。當(dāng)?shù)谝簧a(chǎn)中心的所有服務(wù)器故障或受到攻擊而不能提供服務(wù)時(shí)，全局負(fù)載均衡設(shè)備會(huì)引導(dǎo)用戶（自動(dòng)或人工）去第二生產(chǎn)中心訪問業(yè)務(wù)。在用戶的權(quán)威DNS服務(wù)器上添加NS記錄，使服務(wù)器域名的解析權(quán)交給主備兩個(gè)站點(diǎn)的全局負(fù)載均衡設(shè)備。當(dāng)全局負(fù)載均衡

14、設(shè)備（無論哪個(gè)中心）收到用戶DNS請求后，首先會(huì)檢測服務(wù)器狀態(tài)，確認(rèn)應(yīng)用是否健康，能否正常提供服務(wù)，廣域網(wǎng)線路是否正常等等。如果主站點(diǎn)服務(wù)器能提供正常服務(wù)，再根據(jù)DNS請求包源地址，將域名解析為主站點(diǎn)的聯(lián)通或電信地址（根據(jù)動(dòng)態(tài)探測結(jié)果），使用戶訪問主站點(diǎn)服務(wù)器。如果主站點(diǎn)服務(wù)器不能提供正常服務(wù)，則將域名解析為備站點(diǎn)的地址，使用戶訪問備站點(diǎn)服務(wù)器。當(dāng)兩個(gè)數(shù)據(jù)中心的任何一個(gè)互聯(lián)網(wǎng)線路故障或全局負(fù)載均衡設(shè)備同時(shí)故障，備份中心的全局負(fù)載均衡設(shè)備探測到第一生產(chǎn)中心故障，并接管全部DNS解析功能，引導(dǎo)用戶訪問第二生產(chǎn)中心互聯(lián)網(wǎng)入口。2.2 核心網(wǎng)絡(luò)系統(tǒng)該部分內(nèi)容具體設(shè)計(jì)與實(shí)施還需要專業(yè)的網(wǎng)絡(luò)系統(tǒng)廠商或集成商提供。2.3 SAN網(wǎng)絡(luò)系統(tǒng)由于目前*已經(jīng)實(shí)現(xiàn)了兩個(gè)數(shù)據(jù)中心之間的SAN網(wǎng)絡(luò)互聯(lián)，所以雙活數(shù)據(jù)中心系統(tǒng)直接利用現(xiàn)有的SAN網(wǎng)絡(luò)系統(tǒng)即可。3. 雙活數(shù)據(jù)中心建議配置設(shè)備 VPLEX虛擬存儲(chǔ)系統(tǒng)引擎，2套，每套引擎配置兩個(gè)控制器，每套引擎配置72GB高速緩存，16個(gè)8Gbps光纖端口； 兩臺(tái)智能抗攻擊