業(yè)界主流存儲(chǔ)雙活方案的表現(xiàn)解析

1、 業(yè)界主流存儲(chǔ)雙活方案的表現(xiàn)解析 【摘要】在前面的三篇文章五種業(yè)界主流存儲(chǔ)雙活方案解析：方案特點(diǎn)、仲裁與兩地三中心、讀寫性能（點(diǎn)擊鏈接可回顧）中，筆者對(duì)華為 HyperMetro 、 EMC Vplex 、 IBM SVC 、 HDS GAD 和 NetApp MetroCluster 等五個(gè)廠商多種存儲(chǔ)雙活方案的特點(diǎn)、仲裁機(jī)制、兩地三中心擴(kuò)展及兩個(gè)站點(diǎn)主機(jī)的讀寫 I/O 流程和時(shí)延進(jìn)行了詳細(xì)的解析。在本篇文章中，筆者將從最后一個(gè)角度，也是存儲(chǔ)雙活方案的另一大關(guān)鍵點(diǎn)故障轉(zhuǎn)移入手，剖析這五種存儲(chǔ)跨中心雙活方案的高可用保護(hù)特性和仲裁處理。故障轉(zhuǎn)移之所以成為建設(shè)存儲(chǔ)跨中心雙活方案的關(guān)鍵點(diǎn)在于，雙活存

2、儲(chǔ)不僅僅需要兩個(gè)存儲(chǔ)并行對(duì)外提供讀寫服務(wù)，提升整體讀寫服務(wù)能力和存儲(chǔ)資源利用率，更為重要的是建立足夠可靠、穩(wěn)定的存儲(chǔ)間相互保護(hù)能力，以滿足 RPO （ Recovery Point Objective ）， RTO （ Recovery Time Objective ）的嚴(yán)苛的要求，將企業(yè)業(yè)務(wù)系統(tǒng)連續(xù)性提升至一個(gè)更高的臺(tái)階。因此，各類存儲(chǔ)雙活解決方案必須要具備足夠充分的高可用特性和合理的容災(zāi)保護(hù)與仲裁機(jī)制，以應(yīng)對(duì)各種各樣復(fù)雜的的災(zāi)難故障場(chǎng)景，以極短的故障恢復(fù)時(shí)間和幾乎為零的故障恢復(fù)目標(biāo)，解決可能遇到的故障災(zāi)難。下面公正客觀地就這五種業(yè)界主流存儲(chǔ)雙活方案在各類故障轉(zhuǎn)移場(chǎng)景下的表現(xiàn)一一展開解析。一

3、、華為 HyperMetro華為 HyperMetro 具有獨(dú)特的雙仲裁機(jī)制，能夠提供靜態(tài)優(yōu)先與仲裁服務(wù)器兩種仲裁模式，且這兩種模式可以共存 , 但優(yōu)先通過(guò)仲裁服務(wù)器模式仲裁，這樣可以在不同故障場(chǎng)景下，最大限度保障存儲(chǔ)雙活方案的高可用性。1 、靜態(tài)優(yōu)先級(jí)模式靜態(tài)優(yōu)先級(jí)模式主要應(yīng)用在無(wú)第三方仲裁服務(wù)器的場(chǎng)景，在發(fā)生鏈路中斷腦裂現(xiàn)象時(shí)，強(qiáng)制使優(yōu)先的存儲(chǔ)節(jié)點(diǎn)繼續(xù)提供服務(wù)。如下表所示為，靜態(tài)優(yōu)先模式仲裁示意圖，列舉了三個(gè)故障場(chǎng)景和對(duì)應(yīng)的仲裁處理結(jié)果：（ 1 ）當(dāng)兩個(gè)站點(diǎn)間鏈路出現(xiàn)故障時(shí)，靜態(tài)優(yōu)先模式設(shè)置為 H1 站點(diǎn)為靜態(tài)優(yōu)先站點(diǎn)，此時(shí) H1 站點(diǎn)將繼續(xù)對(duì)外提供讀寫服務(wù)， H2 站點(diǎn)將停止讀寫服務(wù)，在

4、主機(jī)端 I/O 訪問(wèn)策略設(shè)置為優(yōu)選陣列模式時(shí)， H1 站點(diǎn)的主機(jī)將繼續(xù)本地讀寫 H1 站點(diǎn)存儲(chǔ)， H2 站點(diǎn)主機(jī)既無(wú)法讀寫 H2 站點(diǎn)存儲(chǔ)也無(wú)法通過(guò)切換跨站點(diǎn)鏈路訪問(wèn) H1 站點(diǎn)存儲(chǔ)；（ 2 ）當(dāng)非靜態(tài)優(yōu)先的站點(diǎn) H2 存儲(chǔ)出現(xiàn)故障時(shí)， H1 站點(diǎn)存儲(chǔ)同樣繼續(xù)提供讀寫服務(wù)，但 H2 站點(diǎn)主機(jī)可通過(guò)配置的 Ultrapath 多路徑 I/O 策略，通過(guò)跨站點(diǎn)鏈路繼續(xù)讀寫 H1 站點(diǎn)存儲(chǔ)；（ 3 ）當(dāng)靜態(tài)優(yōu)先的站點(diǎn) H1 存儲(chǔ)出現(xiàn)故障時(shí)， H1 和 H2 站點(diǎn)均不再對(duì)外提供讀寫服務(wù)，兩個(gè)站點(diǎn)主機(jī)的讀寫將完全中斷，此時(shí)，只能通過(guò)人工的方式，將 H2 站點(diǎn)的存儲(chǔ)激活，繼續(xù)提供讀寫服務(wù)。2 、仲裁服務(wù)器

5、模式仲裁服務(wù)器模式應(yīng)用在有第三方仲裁服務(wù)器的場(chǎng)景，將仲裁服務(wù)器部署于第三個(gè)站點(diǎn)，在這種模式下，可同時(shí)設(shè)置靜態(tài)優(yōu)先模式，實(shí)現(xiàn)雙仲裁保護(hù)能力。在以下的單故障場(chǎng)景中， QS 為仲裁服務(wù)器， S1 為靜態(tài)優(yōu)先仲裁方。有以下幾種故障場(chǎng)景：（ 1 ）當(dāng)仲裁服務(wù)器本身出現(xiàn)故障時(shí)， S1 和 S2 存儲(chǔ)能夠持續(xù)對(duì)外提供讀寫服務(wù)，主機(jī)業(yè)務(wù)無(wú)任何影響，此時(shí)由于缺少了仲裁服務(wù)器，將自動(dòng)進(jìn)入靜態(tài)優(yōu)先模式；（ 2 ）當(dāng) S1 或 S2 存儲(chǔ)出現(xiàn)故障時(shí)，仲裁服務(wù)器能夠及時(shí)探測(cè)到故障存儲(chǔ)，停止故障存儲(chǔ)的讀寫，全部讀寫均由存活存儲(chǔ)提供，在主機(jī)端 I/O 訪問(wèn)策略設(shè)置為優(yōu)選陣列模式時(shí)，存活存儲(chǔ)所在站點(diǎn)的主機(jī)可以繼續(xù)本地讀寫存活

6、存儲(chǔ)，而遠(yuǎn)端主機(jī)則將自動(dòng)切換至跨站點(diǎn) I/O 路徑繼續(xù)讀寫存活存儲(chǔ)；（ 3 ）當(dāng) S1 和 S2 存儲(chǔ)間的鏈路出現(xiàn)故障時(shí)，等同于單站點(diǎn)存儲(chǔ)故障場(chǎng)景，均需要仲裁服務(wù)器進(jìn)行仲裁，判定某個(gè)站點(diǎn)存儲(chǔ)失效，全部讀寫服務(wù)由一個(gè)存儲(chǔ)提供，只有此存活的存儲(chǔ)所在站點(diǎn)的主機(jī)能夠讀寫存活存儲(chǔ)，而遠(yuǎn)端站點(diǎn)主機(jī)由于鏈路故障，無(wú)法通過(guò)跨站點(diǎn) I/O 路徑繼續(xù)讀寫存活存儲(chǔ)。在該場(chǎng)景下，存活的存儲(chǔ)將通過(guò) DCL （ Data Change Log ）空間記錄鏈路故障期間，存儲(chǔ)間的數(shù)據(jù)差異，待鏈路恢復(fù)后，通過(guò)差異數(shù)據(jù)增量同步配置和數(shù)據(jù)；（ 4 ）當(dāng) S1 或 S2 存儲(chǔ)與仲裁服務(wù)器間的鏈路中斷時(shí)，雙活存儲(chǔ)間鏈路正常，不做任何仲

7、裁判斷，兩端主機(jī)正常讀寫雙活存儲(chǔ)。同樣在以下雙故障場(chǎng)景中， QS 為仲裁服務(wù)器， S1 為靜態(tài)優(yōu)先仲裁方。有以下幾種故障場(chǎng)景：（ 1 ）當(dāng) S1 存儲(chǔ)與仲裁服務(wù)器， S2 存儲(chǔ)與仲裁服務(wù)器間的鏈路同時(shí)或者先后中斷時(shí)，由于 S1 和 S2 間的鏈路完全正常，主機(jī)正常讀寫雙活存儲(chǔ)，并且由于缺失了仲裁服務(wù)器響應(yīng)，雙活存儲(chǔ)將自動(dòng)進(jìn)入靜態(tài)優(yōu)先模式；（ 2 ）當(dāng) S1 和 S2 存儲(chǔ)，其中單個(gè)存儲(chǔ)與仲裁服務(wù)器間的鏈路同時(shí)或者先后中斷時(shí)，此時(shí)仲裁服務(wù)器將介入仲裁，判定與仲裁服務(wù)器通信正常的存儲(chǔ)存活，并對(duì)外提供讀寫服務(wù)，且只有存活存儲(chǔ)所在站點(diǎn)的主機(jī)才能繼續(xù)訪問(wèn)存活存儲(chǔ)；（ 3 ）當(dāng)單個(gè)存儲(chǔ)出現(xiàn)故障，另一個(gè)存儲(chǔ)

8、仲裁勝利后，存活存儲(chǔ)與仲裁服務(wù)器間的鏈路再出現(xiàn)故障時(shí)，由于已經(jīng)仲裁完成，選舉了獲勝存儲(chǔ)，只要不是該存活存儲(chǔ)故障，其他仲裁服務(wù)器故障和鏈路故障都不再影響獲勝站點(diǎn)主機(jī)的讀寫訪問(wèn)；（ 4 ）當(dāng)仲裁服務(wù)器出現(xiàn)故障后，單個(gè)存儲(chǔ)也隨后出現(xiàn)故障。該場(chǎng)景下，仲裁服務(wù)器故障將使得仲裁模式進(jìn)入靜態(tài)優(yōu)先模式，由 S1 存儲(chǔ)繼續(xù)提供服務(wù)，當(dāng)故障的存儲(chǔ)為非靜態(tài)優(yōu)先存儲(chǔ)時(shí)，即 S2 存儲(chǔ)故障，此時(shí) S1 存儲(chǔ)可繼續(xù)對(duì)外讀寫， S1 和 S2 站點(diǎn)的主機(jī)均可通過(guò)多路徑訪問(wèn) S1 存儲(chǔ)。當(dāng)故障的存儲(chǔ)為靜態(tài)優(yōu)先存儲(chǔ)時(shí)，即 S1 存儲(chǔ)故障，此時(shí)無(wú)法繼續(xù)仲裁，所有存儲(chǔ)讀寫訪問(wèn)中斷；（ 5 ）當(dāng)仲裁服務(wù)器出現(xiàn)故障，存儲(chǔ)間的鏈路也也隨

9、后中斷，此時(shí)由于仲裁服務(wù)器故障將進(jìn)入靜態(tài)優(yōu)先模式，存儲(chǔ)間鏈路中斷不會(huì)影響優(yōu)先站點(diǎn)存儲(chǔ)繼續(xù)提供讀寫服務(wù)，但只有優(yōu)先站點(diǎn)的主機(jī)才能讀寫該存活存儲(chǔ)。最后在一些極端多故障場(chǎng)景中， QS 為仲裁服務(wù)器， S1 為靜態(tài)優(yōu)先仲裁方， H1 為主機(jī)集群的主機(jī) 1 ， H2 為主機(jī)集群的主機(jī) 2 。有以下幾種故障場(chǎng)景：（ 1 ）當(dāng)在本地機(jī)房部署存儲(chǔ)雙活時(shí)，該機(jī)房突然斷電?；謴?fù)電力啟動(dòng)雙活存儲(chǔ)后，將自動(dòng)恢復(fù)雙活，如果此時(shí)仲裁服務(wù)器未上電，則仲裁模式自動(dòng)進(jìn)入靜態(tài)優(yōu)先模式。如果此時(shí)仲裁服務(wù)器上電恢復(fù)后，陣列將自動(dòng)進(jìn)入仲裁服務(wù)器模式；（ 2 ）當(dāng)靜態(tài)優(yōu)先存儲(chǔ)和仲裁服務(wù)器同時(shí)掉電時(shí)，此時(shí)無(wú)法提供讀寫服務(wù)，業(yè)務(wù)中斷。當(dāng)重新

10、將優(yōu)先存儲(chǔ)上電后，會(huì)自動(dòng)恢復(fù)雙活，并按照仲裁服務(wù)器恢復(fù)與否進(jìn)入不同的仲裁模式；（ 3 ）當(dāng) S1 和 S2 存儲(chǔ)同時(shí)故障，讀寫訪問(wèn)中斷，當(dāng)兩個(gè)存儲(chǔ)恢復(fù)后，繼續(xù)自動(dòng)恢復(fù)雙活；（ 4 ）當(dāng)仲裁服務(wù)器故障、陣列間鏈路同時(shí)中斷或者三個(gè)站點(diǎn)間鏈路同時(shí)中斷時(shí)，此時(shí)發(fā)生腦裂問(wèn)題， S1 和 S2 存儲(chǔ)都中斷對(duì)外讀寫服務(wù)。當(dāng)陣列間鏈路恢復(fù)后，需要強(qiáng)制啟動(dòng) S1 或者 S2 ，手動(dòng)觸發(fā)一次雙活同步來(lái)恢復(fù)雙活，并按照仲裁服務(wù)器恢復(fù)與否進(jìn)入不同的仲裁模式；（ 5 ）當(dāng) S1 和 S2 間鏈路中斷，然后 S1 存儲(chǔ)前端主機(jī)鏈路也發(fā)生中斷。此時(shí) S2 將失效， S1 獲取仲裁勝利，前端鏈路中斷后， H1 主機(jī)集群業(yè)務(wù)中

11、斷， H2 主機(jī)集群也無(wú)法切換至跨站點(diǎn)鏈路路徑訪問(wèn) S1 存儲(chǔ)，同樣業(yè)務(wù)中斷。（ 6 ）兩個(gè)雙活的存儲(chǔ)陣列中的 3 個(gè)控制器故障時(shí)，由最后剩余的控制器提供讀寫服務(wù)， H1 和 H2 主機(jī)集群均可通過(guò)多路徑訪問(wèn)存活的存儲(chǔ)，待控制器修復(fù)上電啟動(dòng)后，原雙活將自動(dòng)恢復(fù)。二、 EMC VplexECM Vplex 同樣具備兩種仲裁規(guī)則，第一種是分離規(guī)則，在沒(méi)有第三仲裁節(jié)點(diǎn)時(shí)選用，通過(guò)預(yù)定義兩個(gè) Vplex 集群間鏈路中斷后 I/O 一致性組的處理方式來(lái)實(shí)現(xiàn)防腦裂目的。第二種是 Vplex Witness ，通過(guò)整合 Witness 自身的觀察與集群定期向 Witness 的報(bào)告信息，來(lái)區(qū)分判斷是集群內(nèi)故

12、障還是集群間鏈路故障。但該仲裁方式無(wú)法和分離規(guī)則并用，只能在分離規(guī)則設(shè)置為“無(wú)自動(dòng)優(yōu)勝者”時(shí)，才能生效。在以下單 / 多故障場(chǎng)景中， C1 和 C2 為兩個(gè)雙活的 Vplex 集群， W 為 Witness 節(jié)點(diǎn)，存在有以下 15 種通用的故障場(chǎng)景：（ 1 ）當(dāng) Witness 節(jié)點(diǎn)故障時(shí)， C1 和 C2 兩個(gè) Vplex 集群能夠持續(xù)提供讀寫服務(wù)；（ 2/3 ）當(dāng)單個(gè) Vplex 集群出現(xiàn)故障時(shí)， Witness 將進(jìn)行腦裂仲裁，選舉正常的 Vplex 集群為存活集群，存活集群所在站點(diǎn)的主機(jī)通過(guò) PowerPath 多路軟件配置的 ACTIVE/PASSIVE 路徑，訪問(wèn)本地 Vplex

13、集群，而非存活端的主機(jī)則切換跨站點(diǎn) PASSIVE 路徑為 ACTIVE 路徑，訪問(wèn)遠(yuǎn)端存儲(chǔ)的 Vplex 集群；（ 4/5 ）當(dāng) Witness 節(jié)點(diǎn)和單個(gè) Vplex 集群同時(shí)故障時(shí)，發(fā)生腦裂同時(shí)也沒(méi)有第三方仲裁，所以將讀寫 I/O 掛起，所有集群讀寫將全部中斷；（ 6 ）當(dāng)兩個(gè)集群間的鏈路中斷時(shí)， Witness 將介入仲裁，獲勝的 Vplex 集群將繼續(xù)提供讀寫服務(wù)，且只有該存活集群所在站點(diǎn)的主機(jī)能夠讀寫訪問(wèn)，遠(yuǎn)端主機(jī)無(wú)法切換多路徑跨站點(diǎn)讀寫；（ 7/8 ）當(dāng)任意一個(gè) Vplex 集群與 Witness 節(jié)點(diǎn)間的鏈路發(fā)生中斷時(shí)，兩個(gè) Vplex 集群間可以相互通信，無(wú)任何讀寫中斷，兩個(gè)

14、集群繼續(xù)提供讀寫服務(wù)；（ 9/10 ）當(dāng)兩個(gè)集群間、單個(gè)集群到 Witness 節(jié)點(diǎn)間的鏈路同時(shí)中斷時(shí)，發(fā)生腦裂現(xiàn)象，但 Witness 節(jié)點(diǎn)可以與另一集群正常通訊，由該集群繼續(xù)提供讀寫服務(wù)，且只有該集群所在站點(diǎn)的主機(jī)能夠繼續(xù)訪問(wèn)集群后端存儲(chǔ)數(shù)據(jù)；（ 11 ）當(dāng)兩個(gè)集群和 Witness 節(jié)點(diǎn)間的鏈路同時(shí)中斷時(shí)，類似于 Witness 節(jié)點(diǎn)自身故障場(chǎng)景，兩個(gè)集群可繼續(xù)提供讀寫服務(wù)；（ 12 ）當(dāng) Witness 節(jié)點(diǎn)和兩個(gè)集群間鏈路同時(shí)故障時(shí)，發(fā)生腦裂現(xiàn)象，但無(wú)第三方仲裁節(jié)點(diǎn)對(duì)此進(jìn)行仲裁，所有集群讀寫服務(wù)中斷；（ 13/14 ）當(dāng)單個(gè) Vplex 集群、 Witness 節(jié)點(diǎn)與另一個(gè) Vple

15、x 集群間的鏈路同時(shí)故障時(shí)，發(fā)生腦裂現(xiàn)象，按規(guī)則將選舉正常的 Vplex 集群獲勝，然而 Witness 節(jié)點(diǎn)卻無(wú)法和該 Vplex 集群正常通信，無(wú)法順利仲裁，造成所有讀寫服務(wù)中斷；（ 15 ）當(dāng)兩個(gè)集群間、集群和 Witness 節(jié)點(diǎn)間所有的鏈路中斷時(shí)，發(fā)生腦裂現(xiàn)象，但 Witness 節(jié)點(diǎn)無(wú)法和任何集群正常通信，無(wú)法選舉獲勝站點(diǎn)，造成所有集群讀寫服務(wù)中斷。另一個(gè)需要詳細(xì)說(shuō)明的是主機(jī)跨集群連接拓?fù)?，合理的主機(jī)與本地 Vplex 集群、主機(jī)與遠(yuǎn)端 Vplex 集群連接拓?fù)?，可以防止的故障?chǎng)景將根據(jù)主機(jī)光纖通道適配器端口的數(shù)量， WAN 和跨集群主機(jī)連接通道的數(shù)量以及 SAN Fabric 的

16、數(shù)量而有所不同。有幾種不同類型的 SAN Fabric 拓?fù)淇捎糜谥鳈C(jī)與 Vplex 集群間的連接。可以根據(jù)以下特征對(duì)這些拓?fù)溥M(jìn)行分組：（ 1 ）兩個(gè)或四個(gè) SAN Fabric ：對(duì)于兩個(gè) SAN Fabric 的拓?fù)?，主機(jī)的每個(gè) HBA 端口與到本地和遠(yuǎn)端 Vplex 集群的前端端口做成一個(gè) ZONE ；對(duì)于四個(gè) SAN Fabric 的拓?fù)洌瑢⑹褂靡唤M獨(dú)立的主機(jī) HBA 端口訪問(wèn)本地 Fabric ，另一組獨(dú)立的 HBA 端口用于跨數(shù)據(jù)中心（站點(diǎn)）訪問(wèn)合并的 Fabric 。（ 2 ）共享或獨(dú)立的 WAN 通道：對(duì)于共享 WAN 通道，當(dāng)主機(jī)跨集群連接拓?fù)?，配置為與 VPLEX WAN

17、路徑相同的物理 WAN 時(shí)被視為共享；對(duì)于獨(dú)立 WAN 通道，當(dāng) VPLEX WAN 使用物理上獨(dú)立的通道連接到交叉連接網(wǎng)絡(luò)時(shí)，交叉連接配置被視為專用配置。如下表所示為主機(jī)跨 Vplex 集群連接 SAN 網(wǎng)絡(luò)拓?fù)涮峁┍Ｗo(hù)的各種高級(jí)故障場(chǎng)景。該表根據(jù)發(fā)生雙重故障時(shí)的每種拓?fù)浜皖愋?，表明在首選和非首選站點(diǎn)對(duì)主機(jī) I/O 的影響。因此，如上表所示，最佳做法是將跨 Vplex 集群連接的主機(jī)增加額外的 HBA 端口（不在站點(diǎn)之間合并 Fabric ），并使用單獨(dú)的專用通道，以便不與 VPLEX WAN 共享主機(jī)交叉連接路徑。三、 IBM SVC相較于前面兩種方案， SVC ESC 和 HyperSw

18、ap 兩種存儲(chǔ)雙活方案不能通過(guò)設(shè)置特定的規(guī)則或者靜態(tài)優(yōu)先節(jié)點(diǎn)來(lái)對(duì)腦裂后的集群做仲裁，但實(shí)際上在未配置第三方仲裁節(jié)點(diǎn)的情況下，由 SVC Configuration Node 所在的 SVC 節(jié)點(diǎn)作為默認(rèn)的仲裁獲勝者。IBM SVC ESC 方案，有以下 6 種通用的單 / 多故障場(chǎng)景：（ 1/2 ）當(dāng)集群中單個(gè) SVC 節(jié)點(diǎn)故障時(shí)，由集群中遠(yuǎn)端的另一個(gè) SVC 節(jié)點(diǎn)繼續(xù)提供讀寫服務(wù)，故障 SVC 節(jié)點(diǎn)所在站點(diǎn)主機(jī)通過(guò)跨站點(diǎn)的多路徑繼續(xù)訪問(wèn)正常的 SVC 節(jié)點(diǎn)。但由于集群的一組 I/O Group 中只剩一個(gè) SVC 節(jié)點(diǎn)，寫緩存將被禁用，主機(jī)的寫 I/O 將直接透寫 SVC 后端存儲(chǔ)陣列；（

19、3 ）當(dāng)?shù)谌军c(diǎn)的仲裁磁盤 / 仲裁服務(wù)器發(fā)生故障時(shí)，兩個(gè) SVC 節(jié)點(diǎn)可繼續(xù)提供讀寫服務(wù)，此時(shí)活動(dòng)的仲裁磁盤將被移出，由保留了配置信息的 SVC 節(jié)點(diǎn)（配置節(jié)點(diǎn)）提供仲裁服務(wù)；（ 4 ）當(dāng)集群中兩個(gè) SVC 節(jié)點(diǎn)間的鏈路發(fā)生中斷時(shí)，發(fā)生腦裂現(xiàn)象，由第三站點(diǎn)的仲裁節(jié)點(diǎn)選舉獲勝的 SVC 節(jié)點(diǎn)。鏈路中斷時(shí)，第一個(gè)和仲裁節(jié)點(diǎn)建立訪問(wèn)關(guān)系的 SVC 節(jié)點(diǎn)存活，另一個(gè)則自動(dòng)脫機(jī)。由存活的 SVC 節(jié)點(diǎn)對(duì)兩個(gè)站點(diǎn)的主機(jī)提供讀寫服務(wù)；（ 5/6 ）當(dāng)集群中單個(gè) SVC 節(jié)點(diǎn)和仲裁節(jié)點(diǎn)同時(shí)故障時(shí)，由于另一個(gè) SVC 節(jié)點(diǎn)無(wú)法判斷是鏈路中斷還是 SVC 節(jié)點(diǎn)故障，且沒(méi)有第三方仲裁節(jié)點(diǎn)對(duì)此進(jìn)行仲裁判斷，因此所有

20、 SVC 節(jié)點(diǎn)的讀寫訪問(wèn)中斷，集群停止。除了以上場(chǎng)景之外， SVC ESC 方案在后端存儲(chǔ)出現(xiàn)故障后，具有以下故障轉(zhuǎn)移機(jī)制特性：（ 1 ）當(dāng) SVC ESC 集群后端的單個(gè)存儲(chǔ)陣列發(fā)生故障時(shí)，故障存儲(chǔ)所在站點(diǎn)的 SVC 節(jié)點(diǎn)將前端主機(jī)讀寫轉(zhuǎn)移到遠(yuǎn)端存儲(chǔ)陣列，繼續(xù)提供讀寫服務(wù)。主機(jī)端的多路徑無(wú)需進(jìn)行跨站點(diǎn)切換，維持原有 I/O 訪問(wèn)路徑，僅僅只有 SVC 節(jié)點(diǎn)的路徑切換到訪問(wèn)遠(yuǎn)端存儲(chǔ)。在該場(chǎng)景下，本地存儲(chǔ)不可用時(shí)，對(duì)于讀請(qǐng)求，通過(guò)本地 SVC 節(jié)點(diǎn)從遠(yuǎn)端站點(diǎn)存儲(chǔ)讀。對(duì)于寫請(qǐng)求，先將寫數(shù)據(jù)落入本地 SVC 節(jié)點(diǎn)，并鏡像同步至遠(yuǎn)端 SVC 節(jié)點(diǎn)緩存，待本地 SVC 節(jié)點(diǎn)緩存達(dá)到高水位時(shí)，聯(lián)動(dòng)遠(yuǎn)端 S

21、VC 節(jié)點(diǎn)將緩存數(shù)據(jù)刷入遠(yuǎn)端存儲(chǔ)。（ 2 ）在兩組 SVC I/O Group 的四節(jié)點(diǎn) SVC 集群架構(gòu)中，當(dāng)某組 I/O Group中的一個(gè) SVC 節(jié)點(diǎn)出現(xiàn)故障不可用時(shí)，將進(jìn)行腦裂仲裁， I/O 短暫中斷，故障 SVC 節(jié)點(diǎn)所在站點(diǎn)的主機(jī)將通過(guò)多路徑軟件切換 I/O 路徑至遠(yuǎn)端 SVC 節(jié)點(diǎn)。在配置了 SVC 無(wú)縫卷遷移（ NDVM ）技術(shù)時(shí)，原本屬于故障 SVC 節(jié)點(diǎn) I/O Group 的后端存儲(chǔ) LUN 將無(wú)縫遷移至另一組 I/O Group ，由它來(lái)處理讀寫請(qǐng)求。對(duì)于寫請(qǐng)求，由于單個(gè)節(jié)點(diǎn)故障，寫緩存將被禁止，將先寫遠(yuǎn)端 SVC 節(jié)點(diǎn)，由遠(yuǎn)端 SVC 將寫 I/O 轉(zhuǎn)發(fā)到另一組 I

22、/O Group 中的正常的 SVC 節(jié)點(diǎn)，最后刷入兩個(gè)后端存儲(chǔ)。對(duì)于讀請(qǐng)求，直接讀遠(yuǎn)端 SVC 節(jié)點(diǎn)的后端存儲(chǔ)，不再通過(guò)遠(yuǎn)端 SVC 節(jié)點(diǎn)轉(zhuǎn)發(fā)讀請(qǐng)求至本地后端存儲(chǔ)，減少讀訪問(wèn)路徑長(zhǎng)度。（ 3 ）同樣在四節(jié)點(diǎn) SVC ESC 集群架構(gòu)下，當(dāng)某遠(yuǎn)端 SVC 節(jié)點(diǎn)故障不可用時(shí)，同樣進(jìn)行腦裂仲裁， I/O 短暫中斷，寫緩存被禁用，但不影響本地主機(jī)正常讀取本地 SVC 節(jié)點(diǎn)和后端存儲(chǔ)陣列。對(duì)于寫請(qǐng)求，將進(jìn)入后端存儲(chǔ)透寫模式，不經(jīng)過(guò)緩存，由本地存儲(chǔ)直接寫入。對(duì)于遠(yuǎn)端后端存儲(chǔ) LUN 的透寫，同樣經(jīng)過(guò) NDVM 遷移后，轉(zhuǎn)發(fā)至另一組 I/O Group 中正常的 SVC 節(jié)點(diǎn)，由它處理后端存儲(chǔ)透寫。對(duì)于

23、IBM SVC HyperSwap 方案，以上 6 種通用的站點(diǎn)級(jí)單 / 多故障場(chǎng)景也適用，這里不再詳細(xì)描述這些故障場(chǎng)景和仲裁恢復(fù)過(guò)程，僅列舉 SVC 單節(jié)點(diǎn)和雙節(jié)點(diǎn)故障的場(chǎng)景：（ 1 ）當(dāng)某站點(diǎn) SVC I/O Group 中的單個(gè) SVC 節(jié)點(diǎn)故障時(shí)，如下圖所示，該站點(diǎn)主機(jī)的 I/O 將轉(zhuǎn)向 I/O Group 內(nèi)的 Partner 節(jié)點(diǎn)，寫緩存被禁止，寫 I/O 進(jìn)入直寫模式，透寫后端存儲(chǔ)陣列，并通過(guò) Metro Mirror 鏡像同步寫 I/O 至遠(yuǎn)端 SVC I/O Group 。而遠(yuǎn)端 I/O Group 的轉(zhuǎn)發(fā)讀寫機(jī)制保持不變，所有遠(yuǎn)端主機(jī)的讀寫，仍需要轉(zhuǎn)發(fā)至 MASTER 卷所

24、在 I/O Group 進(jìn)行。（ 2 ）當(dāng)某站點(diǎn) SVC I/O Group 內(nèi)雙 SVC 節(jié)點(diǎn)同時(shí)故障時(shí)，如下圖所示，將造成腦裂仲裁，第三仲裁節(jié)點(diǎn)介入，由遠(yuǎn)端另一組 SVC I/O Group 接管， I/O 短暫掛起，然后所有讀寫請(qǐng)求轉(zhuǎn)向遠(yuǎn)端 I/O Group 內(nèi) AUX 卷的 Owner 節(jié)點(diǎn)。寫 I/O 緩存由遠(yuǎn)端 I/O Group 提供并做雙節(jié)點(diǎn)鏡像保護(hù)，性能無(wú)影響。 SVC 集群負(fù)責(zé)在遠(yuǎn)端 I/O Group 上偽裝 Master 卷的 ID 給主機(jī)端，因此主機(jī)端外置存儲(chǔ)繼續(xù)提供服務(wù)。 Metro Mirror 的關(guān)系也將反向切換為 AUX-Master 。四、 HDS GAD

25、下圖為 HDS GAD 的 15 個(gè)通用故障場(chǎng)景，涉及該存儲(chǔ)跨中心雙活架構(gòu)幾乎所有的故障場(chǎng)景，包括主機(jī)、 I/O 路徑、鏈路、存儲(chǔ)卷、存儲(chǔ)池、站點(diǎn)和仲裁等故障場(chǎng)景。下面主要列舉幾個(gè)有代表性，能體現(xiàn) GAD 故障切換機(jī)制的場(chǎng)景詳細(xì)介紹。1 、主機(jī)與主 / 從存儲(chǔ)系統(tǒng)間的路徑丟失下圖一二為主機(jī)與兩個(gè)主 / 從存儲(chǔ)系統(tǒng)間的 I/O 訪問(wèn)路徑中斷的故障區(qū)域和恢復(fù)過(guò)程。故障發(fā)生時(shí)，主機(jī)將通過(guò)多路徑將 I/O 切換至遠(yuǎn)端 VOL ，繼續(xù)讀寫。 P-VOL 和 S-VOL 的復(fù)制關(guān)系保持不變，都可提供讀寫服務(wù)， GAD Pair 的狀態(tài)依舊為 PAIR, 恢復(fù)過(guò)程較為簡(jiǎn)單：（ 1 ）恢復(fù)主機(jī) I/O 訪問(wèn)路

26、徑；（ 2 ）重新啟用主機(jī)與主 / 從存儲(chǔ)間的 I/O 路徑。2 、 P-VOL 或 S-VOL 故障（ GAD 狀態(tài)為： Mirrored ）下圖顯示了由于 P-VOL 或者 S-VOL 故障而導(dǎo)致 GAD Pair 掛起時(shí)的故障區(qū)域和恢復(fù)過(guò)程。單個(gè) VOL 故障則無(wú)法繼續(xù)提供讀寫，而遠(yuǎn)端 VOL 的 I/O 模式將變?yōu)?Local ，繼續(xù)提供讀寫。故障恢復(fù)過(guò)程如下：（ 1 ）刪除故障 VOL 所在站點(diǎn)主機(jī)與 VOL 間的多路徑連接，主機(jī)通過(guò)跨站點(diǎn)鏈路訪問(wèn)遠(yuǎn)端 VOL ；（ 2 ）在正常 VOL 所在存儲(chǔ)系統(tǒng)上刪除 GAD Pair ；（ 3 ）在故障 VOL 所在存儲(chǔ)系統(tǒng)上嘗試恢復(fù) VOL

27、 ；（ 4 ）如果故障 VOL 無(wú)法恢復(fù)，則只能重建 VOL ；（ 5 ）在正常 VOL 所在存儲(chǔ)系統(tǒng)中重建 GAD Pair ，并等待數(shù)據(jù)同步完成；（ 6 ）待 GAD Pair 狀態(tài)變?yōu)?PAIR 時(shí)，原故障 VOL 已經(jīng)可以接收讀寫 I/O ，可恢復(fù)主機(jī)到原故障 VOL 的 I/O 路徑并啟用。3 、主存儲(chǔ)和從存儲(chǔ)系統(tǒng)間通訊鏈路中斷（ GAD 狀態(tài)為： Mirrored ）下圖顯示了由于主存儲(chǔ)到從存儲(chǔ)系統(tǒng)或者從存儲(chǔ)到主存儲(chǔ)系統(tǒng)的鏈路路徑故障，而導(dǎo)致 GAD Pair 掛起時(shí)的故障區(qū)域和恢復(fù)過(guò)程。主到從的鏈路路徑故障，將導(dǎo)致 S-VOL 不可讀寫， P-VOL 的 I/O 模式變?yōu)?Loc

28、al ；而從到主的鏈路路徑故障，將導(dǎo)致 P-VOL 不可讀寫， S-VOL 的 I/O 模式變?yōu)?Local 。 GAD Pair 掛起后的恢復(fù)過(guò)程如下 : （ 1 ）恢復(fù)主從存儲(chǔ)系統(tǒng)間的鏈路路徑；（ 2 ）在可讀寫的一方 VOL 所在存儲(chǔ)系統(tǒng)中重新同步 GAD Pair ；（ 3 ）恢復(fù)不可讀寫一方 VOL 的 I/O 。4 、主 / 從存儲(chǔ)系統(tǒng)到第三方仲裁磁盤的鏈路中斷（ GAD 狀態(tài)為： Mirrored ）下圖一二顯示了由于主 / 從存儲(chǔ)系統(tǒng)到外部存儲(chǔ)系統(tǒng)的鏈路路徑故障而導(dǎo)致 GAD Pair 掛起時(shí)的故障區(qū)域和恢復(fù)過(guò)程。當(dāng) GAD Pair 狀態(tài)為 PAIR 時(shí)，由于仲裁磁盤故障將導(dǎo)

29、致 GAD Pair 掛起， P-VOL 的 I/O 模式變?yōu)?Local ，主機(jī)可以繼續(xù)讀寫 P-VOL ，但 S-VOL 不能繼續(xù)讀寫。 GAD Pair 掛起后的恢復(fù)過(guò)程如下：（ 1 ）恢復(fù)主 / 從存儲(chǔ)到仲裁磁盤的鏈路路徑；（ 2 ）重新同步 GAD Pair ；（ 3 ）重新啟用 S-VOL 的 I/O 讀寫。5、 第三方仲裁磁盤故障（ GAD 狀態(tài)為： Mirrored ）當(dāng) GAD Pair 狀態(tài)為 PAIR 時(shí)，由于仲裁磁盤故障將導(dǎo)致 GAD Pair 掛起， P-VOL 的 I/O 模式變?yōu)楸镜?，主機(jī)可以繼續(xù)讀寫 P-VOL ，但 S-VOL 不能繼續(xù)讀寫。下圖顯示了 GAD

30、 Pair 掛起時(shí)的故障區(qū)域和仲裁磁盤故障恢復(fù)過(guò)程：（ 1 ）恢復(fù)第三方外部仲裁磁盤；（ 2 ）重新同步 GAD Pair 或者重建 GAD Pair ；（ 3 ）待 P-VOL 和 S-VOL 數(shù)據(jù)同步完成， GAD Pair 狀態(tài)變?yōu)?PAIR 時(shí)， S-VOL 可繼續(xù)恢復(fù)讀寫。6 、主存儲(chǔ)系統(tǒng)和第三方仲裁磁盤全部故障如果第三方仲裁磁盤的外部存儲(chǔ)系統(tǒng)部署于主站點(diǎn)，主站點(diǎn)發(fā)生故障，則該故障可能同時(shí)影響主存儲(chǔ)系統(tǒng)和外部存儲(chǔ)系統(tǒng)。在這種情況下， GAD Pair 狀態(tài)變?yōu)闀和?，主機(jī)對(duì) GAD 卷的讀寫訪問(wèn)全部停止，待人工恢復(fù)外部存儲(chǔ)和主存儲(chǔ)系統(tǒng)，并重建或同步 GAD Pair 后，才能恢復(fù) P-

31、VOL 和 S-VOL 的訪問(wèn)。五、 NetApp MetroCluster下圖為 NetApp MetroCluster 高可用保護(hù)和災(zāi)難恢復(fù)架構(gòu)總覽圖，該架構(gòu)方案的保護(hù)能力可以從三個(gè)故障級(jí)別的防范角度切入，分別是集群內(nèi)失效切換、磁盤 RAID 數(shù)據(jù)保護(hù)、集群間 SyncMirror 數(shù)據(jù)同步保護(hù)。每個(gè)防范角度能夠防范不同的故障場(chǎng)景，并作出相應(yīng)的處理機(jī)制。集群失效場(chǎng)景如下圖 1-4 號(hào)場(chǎng)景所示，包括單存儲(chǔ)處理器故障，將切換至另一存儲(chǔ)處理器；磁盤架間級(jí)聯(lián)單鏈路故障，將切換至另一冗余級(jí)聯(lián)鏈路；單磁盤架的控制模塊故障，將由另一冗余保護(hù)控制模塊接管；存儲(chǔ)處理器單個(gè)接口端口故障，包括光纖端口，另一個(gè)接

32、口將繼續(xù)接管進(jìn)行各類數(shù)據(jù)通信等。磁盤陣列內(nèi)故障場(chǎng)景如下圖 5-7 號(hào)場(chǎng)景所示，包括單磁盤故障、同 RAID 組雙磁盤故障、單磁盤損壞 + 單磁盤讀寫錯(cuò)誤等級(jí)別的故障均通過(guò) RAID 保護(hù)技術(shù)，防范數(shù)據(jù)丟失，迅速通過(guò)熱備盤重建 RAID 恢復(fù)完整數(shù)據(jù)。集群間的故障場(chǎng)景主要發(fā)生在單個(gè)站點(diǎn)集群內(nèi)，出現(xiàn)故障將造成整個(gè)集群不可用，需全部切換到遠(yuǎn)端站點(diǎn)的集群，由遠(yuǎn)端集群繼續(xù)提供讀寫服務(wù)。 SyncMirror 提供了跨集群間的實(shí)時(shí)復(fù)制技術(shù)，保證在切換后，接管的集群中數(shù)據(jù)的一致性?？梢苑婪兜墓收蠄?chǎng)景如下圖 8-13 號(hào)場(chǎng)景所示，包括單磁盤架背板完全故障，單磁盤架中的兩個(gè)控制模塊或兩個(gè)電源模塊全部故障，單磁盤架的整個(gè)操作面板故障，盤架間的兩個(gè)光纖級(jí)聯(lián)線纜全部故障，以及兩個(gè)光纖 LOOP 完全故障等。下面詳細(xì)描述其中五種主要的故障失效場(chǎng)景：1 、控制器故障如下圖所示，當(dāng)某站點(diǎn)內(nèi)集群控制器完全故障時(shí)，將觸發(fā)自動(dòng)化切換或需人工介入切換，切換后，站點(diǎn) A 的所有 Local Plex 將由站點(diǎn) B 的集群控制器接管，兩個(gè)站點(diǎn)的主機(jī)需要經(jīng)過(guò)站點(diǎn) B 集群控制器讀寫存儲(chǔ)，對(duì)于原本為 B 站點(diǎn)的 Local Plex 將繼續(xù)本地讀寫，而 A 站點(diǎn)的 Local Plex 的讀寫需要通過(guò)跨站點(diǎn)的光纖鏈路路徑實(shí)現(xiàn)。2、 磁盤架故障在以下磁盤架（ Plex 或 Aggregate ）故障場(chǎng)景，將自動(dòng)