EMC VPLEX 容災(zāi)系統(tǒng)技術(shù)解決方案

1、 EMC VPLEX 容災(zāi)系統(tǒng)技術(shù)解決方案 目 錄1. 項(xiàng)目介紹1.1 VPLEX架構(gòu)圖1.2 本項(xiàng)目設(shè)備配置2. 存儲(chǔ)規(guī)劃2.1 規(guī)劃目標(biāo)2.2 VPLEX端口的使用3. SAN網(wǎng)絡(luò)規(guī)劃3.1 現(xiàn)有拓?fù)涫疽鈭D3.2 VPLEX實(shí)施拓?fù)涫疽鈭D3.3 設(shè)備IP規(guī)劃3.4 ZONE規(guī)劃4. VPLEX WITNESS實(shí)施規(guī)劃5. 版本控制5.1 ODM版本的要求5.2 POWERHA版本的要求5.3 POWERPATH版本的要求6. 與數(shù)據(jù)遷移相關(guān)的VPLEX配置6.1 應(yīng)用系統(tǒng)數(shù)據(jù)遷移方式論述6.1.1 主機(jī)層面的遷移6.1.2 存儲(chǔ)層面的遷移6.2 應(yīng)用系統(tǒng)數(shù)據(jù)遷移實(shí)施步驟簡述6.2.1 主機(jī)

2、層面在線數(shù)據(jù)遷移方式實(shí)施步驟簡述6.2.2 VPLEX層面的離線數(shù)據(jù)轉(zhuǎn)移方式實(shí)施步驟簡述6.2.3 應(yīng)用系統(tǒng)從VPLEX-Metro回退到DS4800存儲(chǔ)系統(tǒng)實(shí)施步驟簡述7. VPLEX METRO實(shí)施步驟7.1 VPLEX 前期準(zhǔn)備7.1.1 system volumes7.1.2 meta data volumes7.1.3 logging volumes7.2 SWITCH ZONING7.3 BACKEND STORAGE PROVISIONQ7.4 VPLEX INITIAL SETUP7.4.1 Config ip address and hostname of VPLEX Con

3、nect to management server entering the VPLEXCLI set the management server ip address change the hostname of VPLEX check software version7.4.2 use EZ-setup to initialize the VPLEX1 Start EZ-setup Configure the first cluster Chose the local authentication Configure event notification Configure send sy

4、stem report to EMC Configure performance statistics collector Generate the certificate Backend storage discovery create meta-data volume0 verify if meta-data volume is successfully created1 create meta-data volume backups2 enable FE port7.4.3 use EZ-setup to initialize the VPLEX2 Connect to VPLEX2 S

5、ychronize the time on the clusters Start EZ-setup on cluster2 Configure the Meta-data volume and backup of VPLEX2 Complete configuration of cluster1 Complete configuration of cluster27.4.4 Join the clusters7.4.5 Create logging volumes7.5 CHECK THE CLUSTER HEALTH7.6 VPLEX BACKEND STORAGE CONNECTIVITY

6、 VERIFY7.7 CLAIM THE DATA VOLUME8. 設(shè)備的使用8.1 VPLEX的使用9. 系統(tǒng)測試9.1 VPLEX高可用測試9.2 數(shù)據(jù)庫高可用測試1. 項(xiàng)目介紹XXX災(zāi)備項(xiàng)目采用EMC VPLEX METRO解決方案，實(shí)現(xiàn)主機(jī)房和災(zāi)備機(jī)房容災(zāi)，結(jié)合實(shí)際情況，項(xiàng)目規(guī)劃如下。1.1 VPLEX架構(gòu)圖1.2 本項(xiàng)目設(shè)備配置本次規(guī)劃的EMCVPLEX配置簡要描述如下： 1個(gè)處理器引擎兩個(gè)控制器，8個(gè)8Gb的FC前端口，8個(gè)8Gb的FC后端口 72GBCache VPLEX METRO 20TB本次規(guī)劃的EMC DS-300B SAN交換機(jī)配置簡要描述如下： 兩臺(tái)交換機(jī)，每臺(tái)激活

7、24個(gè)8Gb端口。2. 存儲(chǔ)規(guī)劃2.1 規(guī)劃目標(biāo)HP 3PAR和IBM DS4800存儲(chǔ)使用VPLEXMETRO架構(gòu)，并且滿足VPLEX METRO雙活的解決方案規(guī)劃如下。2.2 VPLEX端口的使用本項(xiàng)目中vplex版本為vs2，每臺(tái)vplex有1個(gè)引擎每個(gè)引擎有兩個(gè)控制器。每臺(tái)主機(jī)配置了2張雙口HBA卡用于連接VPLEX，每張卡使用一個(gè)端口，VPLEX的后端口用于連接HP 3PAR和IBM DS4800。所有VPLEX端口的使用如下表所示：命名規(guī)則VPLEX的端口命名規(guī)則：E1D0F0代表引擎1的director A的A0模塊的第0口HP 3PAR的端口命名規(guī)則：3PAR_A_F0代表控制

8、器A的FC第0口Zone的命名規(guī)則：VPLEXA_E1B2F2_3PAR_A_F0代表VPLEXA的引擎1的director B的B2模塊的2口到3PAR控制器A的第0光纖口的zone注：此圖為一臺(tái)VPLEX的端口連接圖。3. SAN網(wǎng)絡(luò)規(guī)劃本項(xiàng)目使用主機(jī)房的SAN交換機(jī)及新增的兩臺(tái)DS-300B SAN交換機(jī)，vplex到一臺(tái)交換機(jī)需要至少4個(gè)FE，4個(gè)BE，4個(gè)Wan com，每臺(tái)存儲(chǔ)至少需要4個(gè)端口。如情況允許，建議在生產(chǎn)機(jī)房搭建同機(jī)房的vplex metro環(huán)境，便于下一步的數(shù)據(jù)遷移。在數(shù)據(jù)遷移完成后，災(zāi)備機(jī)房環(huán)境準(zhǔn)備好后，把vplex metro的cluster-2和DS4800搬運(yùn)

9、到災(zāi)備機(jī)房。此時(shí)生產(chǎn)機(jī)房和災(zāi)備機(jī)房vplex metro正常運(yùn)行，不影響原有系統(tǒng)的運(yùn)行。3.1 現(xiàn)有拓?fù)涫疽鈭D3.2 VPLEX實(shí)施拓?fù)涫疽鈭DVplex在生產(chǎn)中心運(yùn)行災(zāi)備中心準(zhǔn)備好后vplex在生產(chǎn)中心和災(zāi)備中心運(yùn)行注：線只代表路徑，不代表實(shí)際數(shù)量。3.3 設(shè)備IP規(guī)劃注：IP需求由客戶工程師規(guī)劃3.4 Zone規(guī)劃生產(chǎn)中心VPLEX與第一路SAN交換機(jī)端口的連接生產(chǎn)中心VPLEX與第二路SAN交換機(jī)端口的連接災(zāi)備中心VPLEX與第一路SAN交換機(jī)端口的連接災(zāi)備中心VPLEX與第二路SAN交換機(jī)端口的連接4. VPLEX Witness實(shí)施規(guī)劃VPLEX Witness是對(duì)VPLEX集群和集群

10、間鏈路故障的仲裁判斷和管理機(jī)制。如果認(rèn)可VPLEX故障概率大大低于DWDM鏈路，可以考慮不使用仲裁機(jī)Witness。代價(jià)是如果生產(chǎn)VPLEX不可用，需要手工激活容災(zāi)VPLEX并重啟生產(chǎn)端業(yè)務(wù)。如有VPLEX Witness，則對(duì)生產(chǎn)端VPLEX的故障有更完善的容災(zāi)處理機(jī)制，此情況下無需手工重新激活災(zāi)備端VPLEX，業(yè)務(wù)可無縫繼續(xù)維持運(yùn)行。若實(shí)施VPLEX Witness，需要以下需求： 冗余的DWDM鏈路 Witness安裝在區(qū)別于生產(chǎn)和災(zāi)備的第三機(jī)房 Witness和Vplex通訊，使用區(qū)別于DWDM的IP鏈路 需要安裝在VMware FT上面同時(shí)，建議增加一條容災(zāi)鏈路（與目前鏈路不同的運(yùn)營

11、商提供），保證整個(gè)雙活架構(gòu)的穩(wěn)定性，避免意外停機(jī)的風(fēng)險(xiǎn)。并且Witness安裝環(huán)境達(dá)到最佳實(shí)踐要求。5. 版本控制5.1 ODM版本的要求5.2 PowerHA版本的要求5.3 Powerpath版本的要求6. 與數(shù)據(jù)遷移相關(guān)的VPLEX配置6.1 應(yīng)用系統(tǒng)數(shù)據(jù)遷移方式論述應(yīng)用系統(tǒng)從傳統(tǒng)的存儲(chǔ)系統(tǒng)遷移到VPLEX環(huán)境下，有兩種方式可以考慮，第一種遷移方式為主機(jī)層面的數(shù)據(jù)遷移方式，第二種遷移方式為VPLEX層面的數(shù)據(jù)轉(zhuǎn)移方式。6.1.1 主機(jī)層面的遷移主機(jī)層面的在線數(shù)據(jù)遷移方式通常采用LVM Mirror作為數(shù)據(jù)遷移手段，將應(yīng)用系統(tǒng)不中斷（在線）地從傳統(tǒng)存儲(chǔ)系統(tǒng)上遷移到VPLEX環(huán)境中，但是VP

12、LEX環(huán)境需要有足夠的存儲(chǔ)空間，遷移步驟簡述如下：1) VPLEX分配存儲(chǔ)空間給主機(jī)2) 主機(jī)通過LVM Mirror方式將數(shù)據(jù)從傳統(tǒng)的存儲(chǔ)系統(tǒng)上同步到VPLEX的存儲(chǔ)空間上3) 主機(jī)釋放傳統(tǒng)的存儲(chǔ)系統(tǒng)空間6.1.2 存儲(chǔ)層面的遷移VPLEX層面的離線數(shù)據(jù)轉(zhuǎn)移方式將應(yīng)用系統(tǒng)從傳統(tǒng)的存儲(chǔ)系統(tǒng)上轉(zhuǎn)移到VPLEX環(huán)境中，在轉(zhuǎn)移期間，應(yīng)用系統(tǒng)需要停止運(yùn)行，遷移步驟簡述如下：1) 應(yīng)用系統(tǒng)停止運(yùn)行2) 存儲(chǔ)系統(tǒng)回收應(yīng)用系統(tǒng)使用的存儲(chǔ)空間，然后將其分配給VPLEX3) VPLEX將存儲(chǔ)空間進(jìn)行“封裝”后創(chuàng)建分布式LUN分配給主機(jī)4) 恢復(fù)應(yīng)用系統(tǒng)的運(yùn)行6.2 應(yīng)用系統(tǒng)數(shù)據(jù)遷移實(shí)施步驟簡述6.2.1 主機(jī)層

13、面在線數(shù)據(jù)遷移方式實(shí)施步驟簡述1) 在主機(jī)上，安裝支持VPLEX的EMC ODM軟件2) 在SAN Switch上，增加主機(jī)與VPLEX前端端口之間的ZONE3) 在VPLEX上，將磁盤設(shè)備分配給主機(jī)4) 在主機(jī)上，識(shí)別VPLEX的磁盤設(shè)備，并將其加入到相應(yīng)的VG中5) 在主機(jī)上，通過LVM Mirror將數(shù)據(jù)遷移到VPLEX使用的磁盤空間上6) 在主機(jī)上，將DS4800的磁盤設(shè)備從VG中分離出來7) 在unisphere上，回收主機(jī)釋放出來的磁盤設(shè)備8) （可選）在SAN Switch上，刪除主機(jī)與DS4800前端端口之間的ZONE9) 在unisphere上DS4800將回收的磁盤空間分配

14、給VPLEX10) 在VPLEX上，將DS4800的磁盤設(shè)備“封裝”成VPLEX的磁盤設(shè)備安裝支持VPLEX的EMC ODM軟件# uncompress EMC.AIX.tar.Z# tar -xvf EMC.AIX.tar# installp -ac -gX -d . EMC.Invista.aix.rte# installp -ac -gX -d . EMC.Invista.fcp.rte# installp -ac -gX -d . EMC.Symmetrix.aix.rte ；如果已經(jīng)安裝，則忽略# installp -ac -gX -d . EMC.Symmetrix.fcp.rte

15、 ；如果已經(jīng)安裝，則忽略安裝EMC PowerPath軟件如果主機(jī)沒有安裝PowerPath軟件，請(qǐng)參照“PowerPath for AIX Installation and Administration Guide.pdf”，安裝和配置PowerPath軟件。SAN Switch上增加主機(jī)與VPLEX前端端口之間的ZONE在SAN Switch上，創(chuàng)建主機(jī)HBA與VPLEX前端端口之間的ZONE。VPLEX分配磁盤空間給主機(jī)根據(jù)應(yīng)用系統(tǒng)所使用的磁盤設(shè)備的數(shù)量和大小，在VPLEX上創(chuàng)建相應(yīng)數(shù)量和大小的Distributed Device（由來自于HP 3PAR和DS4800的磁盤設(shè)備組合成RA

16、ID 1類型），并且創(chuàng)建包含這些Distributed Device的Consistency Group，然后分配給主機(jī)。主機(jī)識(shí)別和配置VPLEX磁盤設(shè)備1) 運(yùn)行“/usr/lpp/EMC/INVISTA/bin/emc_cfgmgrv”命令，識(shí)別和配置VPLEX磁盤設(shè)備2) 確認(rèn)已經(jīng)正確識(shí)別和配置VPLEX磁盤設(shè)備# lsdev -Cc disk.hdisk2 Available 2V-08-01 EMC INVISTA FCP Diskhdisk3 Available 2K-08-01 EMC INVISTA FCP Disk3) 運(yùn)行“powermtconfig”命令，配置PowerP

17、ath設(shè)備，并且確認(rèn)VPLEX磁盤設(shè)備的policy是Adaptive在主機(jī)上通過LVM Mirror將數(shù)據(jù)同步到VPLEX磁盤設(shè)備上系統(tǒng)管理員通過LVM Mirror，將數(shù)據(jù)同步到VPLEX磁盤設(shè)備上在主機(jī)上將舊的磁盤設(shè)備清除，保留VPLEX磁盤設(shè)備系統(tǒng)管理員將舊的存儲(chǔ)系統(tǒng)磁盤設(shè)備清除，保留VPLEX磁盤設(shè)備回收舊的磁盤設(shè)備在unisphere上，回收之前分配給主機(jī)使用的DS4800的磁盤設(shè)備，然后重新分配給VPLEX。6.2.2 VPLEX層面的離線數(shù)據(jù)轉(zhuǎn)移方式實(shí)施步驟簡述在VPLEX環(huán)境中，對(duì)后端存儲(chǔ)系統(tǒng)的磁盤設(shè)備采用整盤封裝的方式下，可以將應(yīng)用系統(tǒng)完整的遷移到VPLEX環(huán)境中。1) 在

18、主機(jī)上，停止應(yīng)用系統(tǒng)的運(yùn)行2) 在主機(jī)上，刪除相應(yīng)的后端存儲(chǔ)系統(tǒng)的磁盤設(shè)備3) 在主機(jī)上，安裝支持VPLEX的EMC ODM軟件4) 在后端存儲(chǔ)系統(tǒng)上，取消主機(jī)對(duì)磁盤設(shè)備的訪問5) （可選）在SAN Switch上，刪除主機(jī)HBA與后端存儲(chǔ)系統(tǒng)前端之間的ZONE6) 在SAN Switch上，增加VPLEX后端端口與后端存儲(chǔ)系統(tǒng)前端之間的ZONE7) 在SAN Switch上，增加主機(jī)HBA與VPLEX前端端口之間的ZONE8) 在后端存儲(chǔ)系統(tǒng)上，賦予VPLEX對(duì)磁盤設(shè)備的訪問9) 在VPLEX上，對(duì)后端存儲(chǔ)系統(tǒng)的磁盤設(shè)備進(jìn)行整盤封裝，以及增加鏡像的操作10) 在VPLEX上，將封裝后的VPL

19、EX磁盤設(shè)備分配給主機(jī)11) 在主機(jī)上，識(shí)別和配置VPLEX的磁盤設(shè)備12) 在主機(jī)上，啟動(dòng)應(yīng)用系統(tǒng)6.2.3 應(yīng)用系統(tǒng)從VPLEX-Metro回退到DS4800存儲(chǔ)系統(tǒng)實(shí)施步驟簡述在客戶環(huán)境中，VPLEX對(duì)后端存儲(chǔ)系統(tǒng)的磁盤設(shè)備采用整盤封裝的方式，因此，應(yīng)用系統(tǒng)可以回退到傳統(tǒng)的直接訪問后端存儲(chǔ)系統(tǒng)的磁盤設(shè)備的工作方式。1) 主機(jī)刪除相應(yīng)的VPLEX的磁盤設(shè)備2) VPLEX上刪除相應(yīng)的Storage View，取消主機(jī)對(duì)VPLEX磁盤設(shè)備的訪問3) （可選）在SAN Switch上刪除主機(jī)HBA與VPLEX前端之間的ZONE4) （可選）在SAN Switch上刪除VPLEX后端與后端存儲(chǔ)系

20、統(tǒng)前端之間的ZONE5) 在后端存儲(chǔ)系統(tǒng)上取消VPLEX對(duì)后端后端存儲(chǔ)系統(tǒng)的磁盤設(shè)備的訪問6) 在SAN Switch上增加主機(jī)HBA與后端存儲(chǔ)系統(tǒng)前端之間的ZONE7) 在后端存儲(chǔ)系統(tǒng)上分配磁盤設(shè)備給主機(jī)8) 主機(jī)識(shí)別后端存儲(chǔ)系統(tǒng)的磁盤設(shè)備，啟動(dòng)應(yīng)用系統(tǒng)9) 在VPLEX上，清除后端存儲(chǔ)系統(tǒng)磁盤設(shè)備的配置信息7. VPLEX Metro實(shí)施步驟7.1 VPLEX 前期準(zhǔn)備7.1.1 system volumesVPLEX的system volumes分為兩種：metadata volumes 和 logging volumes7.1.2 meta data volumesmeta data

21、volumes里包含VPLEX cluster的系統(tǒng)配置信息，主要為： virtual-to-physical mapping information data about the devices and virtual volumes system configuration settingsMeta data volume建議為Raid1或者Raid5保護(hù)的卷，其對(duì)I/O性能的要求不高。每個(gè)VPLEX Metro cluster安裝需要4個(gè)78GB的volume，分別用于meta-volume, mirrored copy of meta-volume, backups of meta-v

22、olume and mirrored-meta-volume.7.1.3 logging volumesLoggging volume用于在inter-link斷開時(shí)，記錄Site之間的數(shù)據(jù)差異索引。建議logging volumes為10GB的volume，10GB的logging volume通?？梢灾С旨s320TB的分布式卷。7.2 Switch zoning按照規(guī)劃完成VPLEX backend zoning7.3 Backend storage provisionqRegister VPLEX BE port on HP3PARAssign volume to VPLEX7.4 VP

23、LEX initial setup7.4.1 Configip address and hostname of VPLEX Connect to management serverconnectEthernet cable to the service port of mgmt server. Config your NIC use DHCP, ip address will be assigned in the range 128.221.252.Default user/password :service/MiDim7TService port IP: SSH client: Secure

24、CRT or PUTTY entering the VPLEXCLI set the management server ipaddress change the hostname of VPLEX check software version7.4.2 use EZ-setup to initialize the VPLEX1 Start EZ-setup Configure the first cluster Chose the local authentication Configure event notification Configure send system report to

25、 EMC Configure performance statistics collector Generate the certificate Backend storage discovery1) display eligible meta data volumes create meta-data volume0 verify if meta-data volume is successfully created1 create meta-data volume backups2 enable FE port7.4.3 use EZ-setup to initialize the VPL

26、EX2 Connect to VPLEX2Use SSH to connect to management IP of cluster 2, Sychronize the time on the clusters Start EZ-setup on cluster2 Configure the Meta-data volume and backup of VPLEX2Use the same method to configure the VPLEX2 meta-data volumes and backups Complete configuration of cluster1 Complete configuration