城商行存儲(chǔ)容災(zāi)方案設(shè)計(jì)及企業(yè)級(jí)高端存儲(chǔ)產(chǎn)品選型實(shí)踐經(jīng)驗(yàn)

城商行存儲(chǔ)容災(zāi)方案設(shè)計(jì)及企業(yè)級(jí)高端存儲(chǔ)產(chǎn)品選型實(shí)踐經(jīng)驗(yàn)

【摘要】本文介紹了金融行業(yè)IT環(huán)境“穩(wěn)態(tài)”與“敏態(tài)”雙態(tài)共存的格局下，某城商行在應(yīng)用架構(gòu)轉(zhuǎn)變、非結(jié)構(gòu)化數(shù)據(jù)管理能力提升背景下，存儲(chǔ)容災(zāi)項(xiàng)目的架構(gòu)設(shè)計(jì)和相關(guān)高端存儲(chǔ)選型思路，供廣大同行參考。隨著新興存儲(chǔ)技術(shù)逐漸發(fā)展成熟，承載銀行業(yè)務(wù)數(shù)據(jù)的存儲(chǔ)也變得更為多元。以往傳統(tǒng)穩(wěn)態(tài)IT環(huán)境中主要部署集中式存儲(chǔ)，當(dāng)前逐步向敏態(tài)IT模式轉(zhuǎn)型，分布式存儲(chǔ)技術(shù)被廣泛采納。金融行業(yè)IT環(huán)境呈現(xiàn)出雙態(tài)共存的格局，在提高連續(xù)性水平支撐業(yè)務(wù)及運(yùn)維創(chuàng)新發(fā)展的總體目標(biāo)下，如何通過(guò)科學(xué)的產(chǎn)品選型和架構(gòu)設(shè)計(jì)，發(fā)揮好企業(yè)級(jí)高端存儲(chǔ)為代表的集中式存儲(chǔ)的作用并放大其價(jià)值，成為行業(yè)需要共同思考解決的課題。項(xiàng)目背景我行同城容災(zāi)體系的現(xiàn)狀是，采用基于EMCVPLEX存儲(chǔ)網(wǎng)關(guān)實(shí)現(xiàn)的同城存儲(chǔ)雙活體系。在生產(chǎn)和同城兩個(gè)數(shù)據(jù)中心，分別對(duì)稱部署了三套ALUA架構(gòu)雙控中端陣列。其中EMCVPLEX和中端陣列的服役時(shí)間已經(jīng)超過(guò)6年，更換超役設(shè)備成為我們高端存儲(chǔ)項(xiàng)目立項(xiàng)的重要理由之一。其次，項(xiàng)目規(guī)劃設(shè)計(jì)還要充分考慮我們行內(nèi)技術(shù)架構(gòu)的三大轉(zhuǎn)變：第一，主機(jī)層廣泛應(yīng)用開(kāi)放平臺(tái)。主要是基于X86的虛擬化技術(shù)，采用小型機(jī)部署的業(yè)務(wù)只剩5套，存儲(chǔ)容災(zāi)切換需要通盤考慮調(diào)度上層各類主機(jī)和應(yīng)用架構(gòu)；第二，行內(nèi)在A類關(guān)鍵業(yè)務(wù)系統(tǒng)中推廣應(yīng)用級(jí)雙活改造，應(yīng)用級(jí)雙活架構(gòu)能夠容忍一個(gè)數(shù)據(jù)中心存儲(chǔ)的故障。其余B類及以下系統(tǒng)多為主備型業(yè)務(wù)仍需要高端存儲(chǔ)提供同城容災(zāi)能力；第三，我行投產(chǎn)了對(duì)象存儲(chǔ)用作行內(nèi)非結(jié)構(gòu)化數(shù)據(jù)類業(yè)務(wù)專用存儲(chǔ)平臺(tái)。從傳統(tǒng)的塊存儲(chǔ)中剝離出非結(jié)構(gòu)化數(shù)據(jù)，對(duì)象存儲(chǔ)為這部分?jǐn)?shù)據(jù)提供容災(zāi)能力?；谝陨献兓倚幸?guī)劃的企業(yè)級(jí)高端存儲(chǔ)項(xiàng)目在容災(zāi)設(shè)計(jì)及產(chǎn)品選型中會(huì)存在與以往存儲(chǔ)選型不同的關(guān)注點(diǎn)和側(cè)重點(diǎn)。我行高端存儲(chǔ)項(xiàng)目規(guī)劃設(shè)計(jì)是在銀行業(yè)存儲(chǔ)技術(shù)“穩(wěn)態(tài)”與“敏態(tài)”并存的技術(shù)發(fā)展趨勢(shì)以及行內(nèi)應(yīng)用架構(gòu)轉(zhuǎn)變、非結(jié)構(gòu)化數(shù)據(jù)管理能力提升的背景下實(shí)施的。相信同業(yè)也在經(jīng)歷類似的技術(shù)路線演進(jìn)，因此分享我行對(duì)存儲(chǔ)容災(zāi)方案設(shè)計(jì)選型實(shí)施思路供大家參考，希望對(duì)大家有所幫助。業(yè)務(wù)架構(gòu)對(duì)數(shù)據(jù)中心容災(zāi)設(shè)計(jì)影響在展開(kāi)容災(zāi)方案的設(shè)計(jì)前，我將先從應(yīng)用架構(gòu)和數(shù)據(jù)中心容災(zāi)模式互相匹配的角度闡述數(shù)據(jù)中心容各層資源的容災(zāi)技術(shù)是如何支撐上層應(yīng)用達(dá)到業(yè)務(wù)連續(xù)性目標(biāo)的。首先，從容災(zāi)切換維度可以將應(yīng)用分為以下四種架構(gòu)。主備型應(yīng)用架構(gòu)是指應(yīng)用程序平時(shí)只在在生產(chǎn)數(shù)據(jù)中心運(yùn)行，在同城災(zāi)備數(shù)據(jù)中心應(yīng)用程序是不活動(dòng)的，但配置了承載應(yīng)用程序的計(jì)算資源和操作系統(tǒng)，底層存儲(chǔ)不論是通過(guò)存儲(chǔ)雙活或者存儲(chǔ)復(fù)制，在同城災(zāi)備數(shù)據(jù)中心有實(shí)時(shí)同步的數(shù)據(jù)鏡像，但不可訪問(wèn)，所有IO請(qǐng)求都是從生產(chǎn)發(fā)起的。應(yīng)用級(jí)雙活架構(gòu)是指應(yīng)用程序平時(shí)在兩個(gè)數(shù)據(jù)中心都是活動(dòng)的，都可以對(duì)外提供服務(wù)。如果基于并行文件系統(tǒng)，兩個(gè)站點(diǎn)的應(yīng)用訪問(wèn)共同的文件系統(tǒng)，構(gòu)成的磁盤來(lái)自兩個(gè)數(shù)據(jù)中心，由文件系統(tǒng)維護(hù)數(shù)據(jù)的鏡像；更為常見(jiàn)的情況是，兩站點(diǎn)的應(yīng)用訪問(wèn)各自的文件系統(tǒng)，底層不是同一個(gè)Lun，不需要同步到對(duì)端的數(shù)據(jù)中心。數(shù)據(jù)庫(kù)容災(zāi)架構(gòu)本文主要指OracleADG、DB2HADR或者其他數(shù)據(jù)庫(kù)復(fù)制技術(shù)。兩個(gè)站點(diǎn)的數(shù)據(jù)庫(kù)存主從關(guān)系，通過(guò)在災(zāi)備站點(diǎn)傳輸然后應(yīng)用活動(dòng)日志使備庫(kù)實(shí)時(shí)保持?jǐn)?shù)據(jù)同步，備庫(kù)通常為沒(méi)有打開(kāi)的狀態(tài)，啟用備庫(kù)需要進(jìn)行切換。兩個(gè)站點(diǎn)的庫(kù)在存儲(chǔ)底層是各自的數(shù)據(jù)，原則上不需要通過(guò)存儲(chǔ)同步到對(duì)端。數(shù)據(jù)庫(kù)還可以使用一種更簡(jiǎn)單的容災(zāi)方案其模式和主備型應(yīng)用架構(gòu)非常相似，及數(shù)據(jù)庫(kù)只在生產(chǎn)站點(diǎn)運(yùn)行，在同城站點(diǎn)只配置了承載數(shù)據(jù)庫(kù)程序的計(jì)算資源和操作系統(tǒng)，這種情況數(shù)據(jù)庫(kù)數(shù)據(jù)的同步依賴于底層存儲(chǔ)的數(shù)據(jù)鏡像技術(shù)。綜上，基于日志的數(shù)據(jù)庫(kù)復(fù)制可以歸為應(yīng)用級(jí)雙活架構(gòu)，基于存儲(chǔ)的數(shù)據(jù)容災(zāi)可以歸為主備型應(yīng)用架構(gòu)。本文存儲(chǔ)容災(zāi)的設(shè)計(jì)不考慮延展的數(shù)據(jù)庫(kù)集群。分布式業(yè)務(wù)架構(gòu)是指基于docker或者微服務(wù)等分布式框架開(kāi)發(fā)的應(yīng)用程序。但分布式業(yè)務(wù)系統(tǒng)的具體容災(zāi)實(shí)現(xiàn)方案又可歸類到應(yīng)用級(jí)雙活和主備型兩種情況。按照容災(zāi)切換情況可以將應(yīng)用歸類統(tǒng)分為兩種容災(zāi)架構(gòu)：一是生產(chǎn)中心災(zāi)難時(shí)需要進(jìn)行人工干預(yù)或者由災(zāi)切平臺(tái)調(diào)度完成網(wǎng)絡(luò)、存儲(chǔ)、數(shù)據(jù)庫(kù)及應(yīng)用程序切換，才能恢復(fù)業(yè)務(wù)的主備型應(yīng)用架構(gòu)；二是兩站點(diǎn)的各層資源均完全解耦，平時(shí)兩個(gè)數(shù)據(jù)中心都具備對(duì)外服務(wù)能力，生產(chǎn)中心災(zāi)難時(shí)幾乎無(wú)需干預(yù)的應(yīng)用級(jí)雙活架構(gòu)。下圖是兩種應(yīng)用容災(zāi)架構(gòu)構(gòu)成的各層資源對(duì)比情況。

存儲(chǔ)容災(zāi)模式選型集中存儲(chǔ)的容災(zāi)特性主要體現(xiàn)在三個(gè)方面。第一，支持免網(wǎng)關(guān)雙活A(yù)-A架構(gòu)。第二是數(shù)據(jù)同步和異步復(fù)制功能，可以與雙活特性實(shí)現(xiàn)免網(wǎng)關(guān)的雙活+異地容災(zāi)的三副本數(shù)據(jù)容災(zāi)架構(gòu)。第三是快照功能。這三個(gè)方面的功能是當(dāng)前采購(gòu)高端存儲(chǔ)時(shí)盡量要求滿足的特性。這里需要重點(diǎn)突出免網(wǎng)關(guān)雙活A(yù)-A架構(gòu)能力。免網(wǎng)關(guān)，顧名思義就是不依賴于VPLEX、SVC等存儲(chǔ)網(wǎng)關(guān)設(shè)備，而直接使用存儲(chǔ)自身的機(jī)頭進(jìn)行兩臺(tái)存儲(chǔ)之間的IO雙活。比如，據(jù)筆者了解，華為公司的HyperMetro就屬于免網(wǎng)關(guān)解決方案的主流技術(shù)之一?；谖倚锌陀^情況，存儲(chǔ)容災(zāi)模式采用本地雙活+同城同步復(fù)制方案。產(chǎn)品選型分析產(chǎn)品選型部分將從我行接觸的三個(gè)主流廠商的產(chǎn)品和技術(shù)進(jìn)行對(duì)比，分別是E廠商的PowerMax2000、華為高端全閃存OceanStorDorado18500V6以及Hi廠商的VSP5000。我們主要從單陣列的可靠性、數(shù)據(jù)管理、容災(zāi)實(shí)現(xiàn)能力等幾個(gè)關(guān)鍵能力方面進(jìn)行比較。我們考察的產(chǎn)品定位都是配置NVME介質(zhì)的產(chǎn)品。我行產(chǎn)品的選型分析僅僅是結(jié)合我行業(yè)務(wù)需求與關(guān)注重點(diǎn)的選擇，如果存在偏頗的地方還請(qǐng)各位同業(yè)專家批評(píng)指正。E廠商PowerMax2000是典型的橫向擴(kuò)展的虛擬矩陣架構(gòu)。PowerMax2000最大支持兩個(gè)引擎，通過(guò)Infiniband交換機(jī)互聯(lián)。后端使用Gen3PCIe協(xié)議連接硬盤擴(kuò)展柜。不能異構(gòu)其他陣列。就單陣列的可靠性方面來(lái)說(shuō)，E廠商的產(chǎn)品與另外兩個(gè)廠商相比的劣勢(shì)在于引擎之間不共享后端硬盤擴(kuò)展柜，存在單個(gè)引擎故障而存活的引擎連接不到歸屬于故障引擎的擴(kuò)展柜的風(fēng)險(xiǎn)。但是引擎可靠性已達(dá)到6個(gè)9，幾乎不會(huì)發(fā)生這種故障。在重刪壓縮技術(shù)方面，產(chǎn)品配置了硬件的重刪壓縮卡，執(zhí)行重刪壓縮不消耗控制器CPU，因此開(kāi)啟重刪壓縮對(duì)性能影響較小。該產(chǎn)品承諾4:1的數(shù)據(jù)壓縮比。三個(gè)產(chǎn)品中只有該產(chǎn)品配置了硬件的重刪壓縮卡。容災(zāi)方案方面來(lái)說(shuō)，該E廠商產(chǎn)品支持SRDFMetro存儲(chǔ)雙活或SRDFS/A復(fù)制。但不支持雙活+同步復(fù)制的技術(shù)方案，主要的考慮是維護(hù)三份實(shí)時(shí)鏡像的數(shù)據(jù)可能會(huì)放大延遲并受線路質(zhì)量影響。這種方案較為保守但穩(wěn)定成熟。雙活方案支持雙仲裁，避免單一仲裁不可用風(fēng)險(xiǎn)。復(fù)制方案同城站點(diǎn)的數(shù)據(jù)時(shí)刻讀狀態(tài)。HiVSP5000系列的產(chǎn)品也是一款橫向擴(kuò)展架構(gòu)的企業(yè)級(jí)存儲(chǔ)產(chǎn)品。支持異構(gòu)其他陣列，全系運(yùn)行一套系統(tǒng)支持高端向中低端產(chǎn)品容災(zāi)節(jié)約災(zāi)備端投入。就硬件可靠性來(lái)說(shuō)，該廠商承諾8個(gè)9系統(tǒng)可靠性。后端擴(kuò)展柜和各種板卡在控制器之間都共享而且冗余連接。全局緩存在控制器之間進(jìn)行統(tǒng)一編址管理。該產(chǎn)品硬件可靠性設(shè)計(jì)較為完善。重刪壓縮技術(shù)方面，該產(chǎn)品需要消耗控制器資源。容災(zāi)方案而言，構(gòu)成雙活的兩個(gè)鏡像會(huì)區(qū)分主從角色，而另外兩廠商的產(chǎn)品支持全對(duì)等的雙活，比較起來(lái)較為不足。華為高端全閃存OceanStorDorado18500V6區(qū)別于另外兩個(gè)廠商，是一控制框滿配四個(gè)控制器形態(tài)，內(nèi)部使用無(wú)源背板而不是用交換機(jī)將四個(gè)控制器互聯(lián)在一起，前后端的接口卡及后端的擴(kuò)展柜在四個(gè)控制器之間共享。使用100GbRDMA協(xié)議連接擴(kuò)展框。處理器基于ARM架構(gòu)開(kāi)發(fā)。支持異構(gòu)其他存儲(chǔ)，可納管中低端存儲(chǔ)為其實(shí)現(xiàn)容災(zāi)保護(hù)現(xiàn)有投入。硬件可靠性：1)每張前端接口卡通過(guò)4個(gè)PCIE3.0X4端口連接到4個(gè)控制器，支持Multihost技術(shù)，能夠以active-active方式同時(shí)訪問(wèn)4個(gè)控制器。任一控制器故障物理鏈路不中斷。主機(jī)層面無(wú)感知。2)緩存三倍鏡像及持續(xù)鏡像。單引擎四控支持“四壞三”，三個(gè)控制器的故障不能同時(shí)發(fā)生，“四壞三”需滿足控制器依次發(fā)生故障并有時(shí)間間隔。3)RAID-TP支持三塊盤同時(shí)故障。重刪壓縮方面：支持2.6：1的壓縮比，需使用控制器處理資源。容災(zāi)方案方面：1）雙活方案支持雙仲裁。2）支持在線同步復(fù)制轉(zhuǎn)異步復(fù)制，監(jiān)控帶寬和時(shí)延，跟原先配置的門檻觸發(fā)同步轉(zhuǎn)異步，可以規(guī)避鏈路抖動(dòng)對(duì)業(yè)務(wù)影響。減少人為干預(yù)不及時(shí)導(dǎo)致的業(yè)務(wù)中斷。3）支持雙活+同步復(fù)制容災(zāi)架構(gòu)。4）支持NAS雙活。以上三個(gè)產(chǎn)品均為存儲(chǔ)產(chǎn)品線里最高端的產(chǎn)品，因此冗余度，配置豐富性即數(shù)據(jù)管理能力都非常優(yōu)異。我行選型主要考慮華為和E是權(quán)對(duì)等的雙活，腦裂發(fā)生后決策出存活站點(diǎn)較快，IO暫停的時(shí)間短（當(dāng)然三家產(chǎn)品IO暫停的時(shí)間均在linux操作系統(tǒng)IO超時(shí)時(shí)間范圍內(nèi)均滿足需要）。綜合考慮之下，選擇了性能更為優(yōu)異、與我行需求更匹配的華為高端全閃存OceanStorDorado18500V6。建設(shè)規(guī)劃最終我行形成了同城“2+1”的存儲(chǔ)容災(zāi)架構(gòu)，即生產(chǎn)中心部署兩臺(tái)存儲(chǔ)組成同中心的存儲(chǔ)雙活，提高生產(chǎn)中心站內(nèi)的高可用，同城中心部署一臺(tái)存儲(chǔ)與生產(chǎn)形成同步復(fù)制。架構(gòu)說(shuō)明我行計(jì)劃建成同城“2+1”存儲(chǔ)容災(zāi)架構(gòu)，生產(chǎn)數(shù)據(jù)中心兩臺(tái)存儲(chǔ)A和B組成本地雙活架構(gòu)，在同一個(gè)機(jī)房?jī)?nèi)部署存儲(chǔ)雙活，提高生產(chǎn)中心存儲(chǔ)可靠性，可以有效規(guī)避同城雙活運(yùn)營(yíng)商線路質(zhì)量問(wèn)題的影響。從生產(chǎn)的A到同城的C配置是同步復(fù)制，但預(yù)先設(shè)置好同步轉(zhuǎn)異步的檢查條件，如果延遲等參數(shù)觸發(fā)轉(zhuǎn)換的門檻，可以不經(jīng)人工干預(yù)轉(zhuǎn)為異步復(fù)制，最大限度保障生產(chǎn)業(yè)務(wù)的可用性，降低維護(hù)三分鏡像的開(kāi)銷。從生產(chǎn)的B到異地的D配置成異步復(fù)制，滿足異地有一份保留一份數(shù)據(jù)要求。業(yè)務(wù)擺放華為高端全閃存OceanStorDorado18500V6主要承載行內(nèi)A類關(guān)鍵業(yè)務(wù)系統(tǒng)。其中已經(jīng)改造成應(yīng)用級(jí)雙活的系統(tǒng)，生產(chǎn)站點(diǎn)的應(yīng)用通過(guò)存儲(chǔ)雙活保持兩份實(shí)時(shí)鏡像的數(shù)據(jù)，任一臺(tái)存儲(chǔ)故障或進(jìn)行升級(jí)維護(hù)，生產(chǎn)存儲(chǔ)服務(wù)不中斷，保障業(yè)務(wù)系統(tǒng)連續(xù)性。同城站點(diǎn)的應(yīng)用在同城存儲(chǔ)保留一份數(shù)據(jù)鏡像。主備型應(yīng)用在生產(chǎn)數(shù)據(jù)中心配置兩份雙活鏡像數(shù)據(jù)，生產(chǎn)存儲(chǔ)A到同城存儲(chǔ)C配置同步復(fù)制，利用災(zāi)備切換平臺(tái)預(yù)先編排存儲(chǔ)切換及上層應(yīng)用切換，生產(chǎn)中心災(zāi)難發(fā)生時(shí)用災(zāi)備切換平臺(tái)聯(lián)動(dòng)的調(diào)用存儲(chǔ)和應(yīng)用的切換。一旦生產(chǎn)存儲(chǔ)Ａ故障，生產(chǎn)存儲(chǔ)Ｂ接替Ａ和同城存儲(chǔ)Ｃ形成復(fù)制關(guān)系?？偨Y(jié)華為高端存儲(chǔ)項(xiàng)目的實(shí)施構(gòu)建了本地雙活+同步復(fù)制的同城容災(zāi)體系，是我行落實(shí)提升存儲(chǔ)基礎(chǔ)架構(gòu)的關(guān)鍵舉措。主要價(jià)值體現(xiàn)在：一、在生產(chǎn)機(jī)房采用免網(wǎng)關(guān)SAN和NAS一體化雙活，優(yōu)先保障生產(chǎn)數(shù)據(jù)中心的業(yè)務(wù)連續(xù)性，嵌入了我行關(guān)鍵業(yè)務(wù)向應(yīng)用級(jí)雙活架構(gòu)發(fā)展的規(guī)劃，華為存儲(chǔ)的多仲裁方案進(jìn)一步消除了過(guò)去單一仲裁不可用的風(fēng)險(xiǎn)；二、同城兩數(shù)據(jù)中心間使用同步復(fù)制方案，使兩個(gè)數(shù)據(jù)中心在存儲(chǔ)架構(gòu)上進(jìn)一步解耦，華為特有的同步轉(zhuǎn)