雙活數(shù)據(jù)中心方案

雙活數(shù)據(jù)中心方案雙活數(shù)據(jù)中心方案一、需求背景：伴隨數(shù)據(jù)大集中，銀行紛紛建設(shè)了負責(zé)本行各業(yè)務(wù)處理生產(chǎn)數(shù)據(jù)中心機房（通常稱為數(shù)據(jù)中心），數(shù)據(jù)中心因其負擔(dān)了全行業(yè)務(wù)，所以其并發(fā)業(yè)務(wù)負荷能力和不間斷運行能力是評價一個數(shù)據(jù)中心成熟是否關(guān)鍵性指標(biāo)。近年來，伴隨網(wǎng)上銀行、手機銀行等各種互聯(lián)網(wǎng)業(yè)務(wù)迅猛發(fā)展，銀行數(shù)據(jù)中心業(yè)務(wù)壓力業(yè)成倍增加，用戶對于業(yè)務(wù)訪問質(zhì)量要求也越來越高，保障業(yè)務(wù)系統(tǒng)7*二十四小時連續(xù)運行并提升用戶體驗成為信息部門首要職責(zé)。商業(yè)銀行信息系統(tǒng)安全、穩(wěn)定運行關(guān)系著國家金融安全和社會穩(wěn)定，監(jiān)管機構(gòu)也十分重視商業(yè)銀行災(zāi)難備份體系建設(shè)，數(shù)次公布了商業(yè)銀行信息系統(tǒng)災(zāi)難備份相關(guān)標(biāo)準(zhǔn)和指導(dǎo)，對商業(yè)銀行災(zāi)備系統(tǒng)建設(shè)提出了明確要求。為適應(yīng)互聯(lián)網(wǎng)業(yè)務(wù)快速增加，保障銀行各業(yè)務(wù)安全穩(wěn)定不間斷運行，提升市場競爭力，同時符合監(jiān)管機構(gòu)相關(guān)要求，建設(shè)災(zāi)備、雙活甚至多活數(shù)據(jù)中心正在成為商業(yè)銀行共同選擇。二、發(fā)展趨勢：多數(shù)據(jù)中心建設(shè)需要投入大量資金，其項目周期往往很長，包括范圍也比較大。從技術(shù)上來說，要實現(xiàn)真正意義上雙活，就要求網(wǎng)絡(luò)、應(yīng)用、數(shù)據(jù)庫和存放都要雙活。就現(xiàn)階段來看，大多數(shù)客戶多數(shù)據(jù)中心建設(shè)還達不到完全雙活要求，主流建設(shè)目標(biāo)是實現(xiàn)應(yīng)用雙活。當(dāng)前客戶建設(shè)多數(shù)據(jù)中心模型能夠歸納為以下幾個：1.單純數(shù)據(jù)容災(zāi)：正常情況下只有主數(shù)據(jù)中心投入運行，備數(shù)據(jù)中心處于待命狀態(tài)。發(fā)生災(zāi)難時，災(zāi)備數(shù)據(jù)中心能夠短時間內(nèi)恢復(fù)業(yè)務(wù)并投入運行，減輕災(zāi)難帶來損失。這種模式只能處理業(yè)務(wù)連續(xù)性需求，但用戶無法就近快速接入。災(zāi)備中心建設(shè)投資巨大且運維成本高昂，正常情況下災(zāi)備中心不對外服務(wù)，資源利用率偏低，造成了巨大浪費。2.構(gòu)建業(yè)務(wù)連續(xù)性：兩個數(shù)據(jù)中心（同城/異地）應(yīng)用都處于活動狀態(tài)，都有業(yè)務(wù)對外提供服務(wù)且互為備份。但出于技術(shù)成熟度、成本等原因考慮，數(shù)據(jù)庫采取主備方式布署，數(shù)據(jù)庫讀寫操作都在主中心進行，災(zāi)備中心進行數(shù)據(jù)同時。發(fā)生災(zāi)難時，數(shù)據(jù)中心間數(shù)據(jù)庫能夠快速切換，防止業(yè)務(wù)中止。雙活數(shù)據(jù)中心可充分盤活企業(yè)閑置資源，確保業(yè)務(wù)連續(xù)性，幫助用戶接入最優(yōu)節(jié)點，提升用戶訪問體驗。3.提升業(yè)務(wù)服務(wù)能力：多個數(shù)據(jù)中心同時對外提供服務(wù)且互為備份，各中心數(shù)據(jù)庫可同時處理應(yīng)用讀寫請求，網(wǎng)絡(luò)、存放、應(yīng)用和數(shù)據(jù)庫全部實現(xiàn)多活。各數(shù)據(jù)中心獨立運行，用戶流量可被智能調(diào)度，形成靈活、彈性和可擴展面向服務(wù)業(yè)務(wù)架構(gòu)。三、業(yè)務(wù)目標(biāo)：用戶建設(shè)多數(shù)據(jù)中心思緒和建設(shè)模型略有不一樣，但大多數(shù)用戶主要建設(shè)目標(biāo)能夠歸納為以下幾點：流量分發(fā)用戶訪問流量可靈活、彈性調(diào)度到多個數(shù)據(jù)中心，使各數(shù)據(jù)中心壓力相對均衡，確保用戶接入最近最快速數(shù)據(jù)中心節(jié)點，提升用戶訪問體驗。故障切換當(dāng)出口鏈路或內(nèi)部服務(wù)器出現(xiàn)異常時，運維人員可第一時間得悉故障情況，業(yè)務(wù)可依照需要自動或手動平滑切換至正常節(jié)點，確保用戶訪問連續(xù)性。業(yè)務(wù)安全數(shù)據(jù)中心所處位置基礎(chǔ)設(shè)施完善，水電通信供給穩(wěn)定，數(shù)據(jù)中心內(nèi)部有對應(yīng)技術(shù)伎倆確保整個數(shù)據(jù)中心抵抗DDos攻擊，各業(yè)務(wù)系統(tǒng)不被黑客非法入侵。環(huán)境一致性多個數(shù)據(jù)中心對用戶來說理應(yīng)是透明，其對外服務(wù)時提供統(tǒng)一接口，各數(shù)據(jù)中心內(nèi)部數(shù)據(jù)和服務(wù)能力需要完全一致，且隨時處于可切換狀態(tài)。四、實現(xiàn)邏輯我們把整個數(shù)據(jù)中心在邏輯上分為接入層和服務(wù)層，其處理邏輯示意圖以下：接入層（智能DNS）接入層（RHI路由注入）服務(wù)層故障切換五、總體設(shè)計總行數(shù)據(jù)中心整體上分為主中心和災(zāi)備中心，二者網(wǎng)絡(luò)架構(gòu)、業(yè)務(wù)系統(tǒng)和服務(wù)能力都基本相同，同時對外提供服務(wù)，形成雙活數(shù)據(jù)中心。數(shù)據(jù)中心內(nèi)部劃分為互聯(lián)網(wǎng)業(yè)務(wù)區(qū)（提供外網(wǎng)服務(wù)，如手機銀行、網(wǎng)上銀行等）、關(guān)鍵生產(chǎn)業(yè)務(wù)區(qū)（傳統(tǒng)生產(chǎn)業(yè)務(wù)，如ATM、柜面等）、數(shù)據(jù)庫區(qū)（生產(chǎn)/查詢）和業(yè)務(wù)測試區(qū)，出于成本考慮，災(zāi)備數(shù)據(jù)中心不設(shè)業(yè)務(wù)測試區(qū)。主備數(shù)據(jù)中心和各一級分行之間經(jīng)過專線互聯(lián)，利用動態(tài)路由協(xié)議組建企業(yè)內(nèi)部專網(wǎng)。數(shù)據(jù)中心對外業(yè)務(wù)集中在互聯(lián)網(wǎng)業(yè)務(wù)區(qū)，通常使用域名方式對外公布，客戶端訪問業(yè)務(wù)系統(tǒng)時，需要先由DNS將域名解析為IP地址，然后再訪問該目標(biāo)IP。對外業(yè)務(wù)全局負載通常利用DNS解析實現(xiàn)，其可依照用戶地理位置、用戶所屬運行商和網(wǎng)絡(luò)質(zhì)量、數(shù)據(jù)中心服務(wù)能力等原因作為判斷依據(jù)，為不一樣用戶返回不一樣IP地址，實現(xiàn)流量合理分配。對于數(shù)據(jù)中心內(nèi)網(wǎng)業(yè)務(wù)，一部分與外網(wǎng)業(yè)務(wù)相同，經(jīng)過域名公布。另一部分與一級分行業(yè)務(wù)類似，直接經(jīng)過IP地址訪問。對于經(jīng)過IP地址訪問業(yè)務(wù)，內(nèi)網(wǎng)全局負載采取IP-Anycast（RHI路由注入）技術(shù)實現(xiàn)，其原理是在各數(shù)據(jù)中心以相同IP公布業(yè)務(wù)，由動態(tài)路由協(xié)議依照COST值等參數(shù)用戶判斷訪問最好路徑。六、互聯(lián)網(wǎng)業(yè)務(wù)全局負載（以網(wǎng)銀為例）1.設(shè)計模型我們把網(wǎng)銀業(yè)務(wù)從邏輯上分為接入側(cè)和服務(wù)側(cè)，接入側(cè)包含出口鏈路、全局負載設(shè)備；服務(wù)側(cè)包含WEB服務(wù)單元、APP服務(wù)單元和DB服務(wù)單元。WEB服務(wù)單元包含SSL卸載設(shè)備、WAF防火墻、負載均衡和服務(wù)器；APP服務(wù)單元包含防火墻、負載均衡和服務(wù)器；DB服務(wù)單元包含防火墻、負載均衡、數(shù)據(jù)庫審計和數(shù)據(jù)庫。WEB服務(wù)單元和APP服務(wù)單元在2個數(shù)據(jù)中心同時提供服務(wù)，實現(xiàn)應(yīng)用雙活?？紤]到數(shù)據(jù)強一致性、技術(shù)成熟度和成本等原因，雙數(shù)據(jù)中心間DB服務(wù)單元提議主備布署，數(shù)據(jù)中心內(nèi)部數(shù)據(jù)庫集群可結(jié)合當(dāng)?shù)刎撦d均衡實現(xiàn)多活。為達成最好負載效果，需要各服務(wù)單元負載設(shè)備能夠訪問其它數(shù)據(jù)中心對應(yīng)服務(wù)單元服務(wù)器，但優(yōu)先調(diào)度當(dāng)?shù)胤?wù)器。2.實現(xiàn)方式（1）流量調(diào)度數(shù)據(jù)中心層面：我們推薦使用兩層邏輯算法智能DNS調(diào)度策略，首先，全局負載設(shè)備會判斷用戶地理位置，將用戶調(diào)度到就近數(shù)據(jù)中心，處理南北互訪問題；其次，依照用戶所屬運行商選擇對應(yīng)鏈路供用戶接入，處理跨運行商訪問慢問題。另外，全局負載還可對客戶端LDNS發(fā)起反向探測，判斷用戶網(wǎng)絡(luò)質(zhì)量，為用戶選擇最好接入路徑。服務(wù)單元層面：WEB、APP和DB服務(wù)單元都配置了當(dāng)?shù)刎撦d均衡器，用戶訪問流量抵達數(shù)據(jù)中心內(nèi)部后，由服務(wù)單元負載設(shè)備依照預(yù)設(shè)策略分發(fā)給各服務(wù)器，可依照用戶需求靈活選擇輪詢、優(yōu)先級、最小連接等算法。（2）業(yè)務(wù)連續(xù)性數(shù)據(jù)中心層面：經(jīng)過DCCookie確保用戶接入同一數(shù)據(jù)中心。用戶首次訪問時，當(dāng)?shù)豔EB負載設(shè)備在響應(yīng)數(shù)據(jù)包中插入DCCookie，當(dāng)客戶端網(wǎng)絡(luò)發(fā)生改變時，第二次訪問就可能被調(diào)度到其它數(shù)據(jù)中心，這時其它數(shù)據(jù)中心WEB負載設(shè)備會識別該Cookie，將用戶請求轉(zhuǎn)發(fā)至第一次處理該用戶訪問WEB負載設(shè)備，再由該負載設(shè)備進行調(diào)度。服務(wù)單元層面：WEB服務(wù)單元負載提議經(jīng)過cookie會話保持（插入、改寫和被動）確保業(yè)務(wù)連續(xù)性；APP服務(wù)單元負載可經(jīng)過cookie或源IP會話保持確保業(yè)務(wù)連續(xù)性（是否需要會話保持，選擇何種會話保持方式需要結(jié)合應(yīng)用詳細情況）；DB服務(wù)單元通常不需要會話保持。（3）健康狀態(tài)檢驗服務(wù)單元層面：經(jīng)過內(nèi)置應(yīng)用級健康監(jiān)視器對服務(wù)器進行主動探測，提供HTTP、HTTPS、RADIUS、FTP等常見模板。對于其它應(yīng)用，提供接口供用戶自定義檢測內(nèi)容和響應(yīng)內(nèi)容。另外，還提供極具特色被動健康檢驗功效，經(jīng)過對TCP和HTTP協(xié)議數(shù)據(jù)交互做采樣分析，判斷服務(wù)器健康狀態(tài)。數(shù)據(jù)中心層面：全局負載與服務(wù)側(cè)各區(qū)域負載均衡聯(lián)動，實時共享信息，判斷服務(wù)側(cè)整體服務(wù)能力；同時全局負載設(shè)備會探測出口各鏈路健康狀態(tài)，結(jié)合服務(wù)側(cè)整體服務(wù)能力和設(shè)備本身負荷情況，綜合判斷該數(shù)據(jù)中心健康狀態(tài)（正常、繁忙、故障）。（4）故障切換服務(wù)單元層面：服務(wù)單元內(nèi)部某服務(wù)器繁忙或故障時，將用戶請求調(diào)度到其它正常服務(wù)器。數(shù)據(jù)中心層面：a.某數(shù)據(jù)中心WEB或APP服務(wù)器全部繁忙或全部故障時，用戶接入鏈路不切換，經(jīng)過專線將數(shù)據(jù)轉(zhuǎn)發(fā)至正常數(shù)據(jù)中心對應(yīng)服務(wù)單元。b.主數(shù)據(jù)中心數(shù)據(jù)庫服務(wù)器全部故障時，用戶接入鏈路不切換，經(jīng)過專線將直接激活備數(shù)據(jù)中心數(shù)據(jù)庫，實現(xiàn)數(shù)據(jù)庫一鍵切換。數(shù)據(jù)庫切換前需要驗證數(shù)據(jù)庫正確性，用戶需要完成數(shù)據(jù)驗證并確保數(shù)據(jù)庫按次序切換。c.數(shù)據(jù)中心全部鏈路同時故障時，全局負載設(shè)備將用戶流量平滑牽引至正常數(shù)據(jù)中心。單鏈路故障時，可依照用戶需求切換至本中心其它鏈路或其它中心同ISP鏈路。另外，當(dāng)某數(shù)據(jù)中心出現(xiàn)服務(wù)能力不足時（鏈路繁忙、服務(wù)單元繁忙等），全局負載設(shè)備還能夠基于數(shù)據(jù)中心整體健康得分情況將用戶分流至其它數(shù)據(jù)中心，保障用戶正常訪問。（5）安全保障數(shù)據(jù)中心層面：a.網(wǎng)絡(luò)出口處布署DDos防護設(shè)備并在運行商處購置流量清洗服務(wù)，確保數(shù)據(jù)中心整體安全。b.網(wǎng)絡(luò)出口處布署FW和IPS設(shè)備，從網(wǎng)絡(luò)層和應(yīng)用層確保數(shù)據(jù)中心不被惡意入侵。c.全局負載設(shè)備提供DNS防火墻功效，充分確保DNS安全。服務(wù)單元層面：各服務(wù)單元布署防火墻，確保區(qū)域安全。WEB服務(wù)單元直接面向互聯(lián)網(wǎng)用戶，需要布署SSL卸載設(shè)備實現(xiàn)SSL加解密，提升業(yè)務(wù)訪問安全。同時，經(jīng)過布署WAF保障WEB服務(wù)器安全。（6）業(yè)務(wù)優(yōu)化加速a.跨數(shù)據(jù)中心數(shù)據(jù)庫同時需占用大量帶寬資源，且數(shù)據(jù)量非常大，布署WOC設(shè)備可大幅壓縮傳輸數(shù)據(jù)，削減流量。WEB或APP服務(wù)單元跨數(shù)據(jù)中心通信時，經(jīng)過WOC設(shè)備協(xié)議優(yōu)化和流緩存等技術(shù)實現(xiàn)加速。當(dāng)二者同時需要大量帶寬資源時，優(yōu)先確保數(shù)據(jù)庫同時。b.互聯(lián)網(wǎng)區(qū)WEB服務(wù)單元直接面向公網(wǎng)，受公網(wǎng)網(wǎng)絡(luò)質(zhì)量影響較大，負載均衡可經(jīng)過協(xié)議優(yōu)化、數(shù)據(jù)壓縮和智能加速等技術(shù)降低網(wǎng)絡(luò)環(huán)境影響，提升用戶訪問體驗。另外，外網(wǎng)用戶會有大量重復(fù)請求，經(jīng)過負載設(shè)備高速緩存技術(shù)，對靜態(tài)和內(nèi)容進行緩存，降低服務(wù)器數(shù)據(jù)交互，降低服務(wù)器性能壓力，提升訪問速度。（7）其它a.負載設(shè)備在服務(wù)單元內(nèi)部經(jīng)過旁路布署，為確保往返數(shù)據(jù)一致需要開啟SNAT功效，通常情況下，WEB服務(wù)器都需要統(tǒng)計用戶訪問源IP，可經(jīng)過負載設(shè)備在HTTP頭部插入X-Forwarded-for字段來透傳用戶真實源IP。b.數(shù)據(jù)中心網(wǎng)絡(luò)出口對各類設(shè)備性能要求較高，針對一些傳統(tǒng)防火墻性能不足情況，能夠在防火墻前后各布署負載均衡設(shè)備，實現(xiàn)防火墻負載。c.考慮到極端情況，單數(shù)據(jù)中心需要能承載全部業(yè)務(wù)壓力，提議選擇2倍于實際性能需求負載均衡設(shè)備。負載均衡設(shè)備本身擁有過載保護機制，當(dāng)CPU、內(nèi)存等指標(biāo)達成閥值時，向用戶發(fā)出告警信息，并重定向或丟棄后續(xù)新建連接。七、內(nèi)網(wǎng)業(yè)務(wù)全局負載（以一級分行為例）1.設(shè)計模型各分行數(shù)據(jù)中心與總行數(shù)據(jù)中心經(jīng)過動態(tài)路由協(xié)議互聯(lián)，形成大企業(yè)內(nèi)網(wǎng)環(huán)境。其大多數(shù)業(yè)務(wù)（ATM、POS、簽章、柜面等）經(jīng)過IP地址直接訪問，利用RHI路由注入方式對外公布。負載設(shè)備以M+N集群方式分別布署在兩個數(shù)據(jù)中心，不一樣業(yè)務(wù)系統(tǒng)由不一樣負載設(shè)備承載，處理了應(yīng)用集中風(fēng)險問題，同時提供靈活應(yīng)用布署和無縫業(yè)務(wù)切換。2.實現(xiàn)方式（1）流量調(diào)度以ATM業(yè)務(wù)為例，各分行數(shù)據(jù)中心對外公布業(yè)務(wù)訪問IP相同，經(jīng)過RHI路由注入方式與OSPF實現(xiàn)聯(lián)動，以COST大小來判斷訪問最優(yōu)路徑。負載均衡設(shè)備以集群方式布署，單臺設(shè)備與單個業(yè)務(wù)“靜態(tài)綁定”，各設(shè)備間互為備份，宣告路由時基于詳細業(yè)務(wù)系統(tǒng)進行宣告，可有效削減過多路由條目，極大簡化運維工作。如上圖，數(shù)據(jù)中心對外公布4種業(yè)務(wù)，通常情況下，每臺設(shè)備需要對外宣告4條路由，共16條路由，客戶端最終訪問路徑由動態(tài)路由協(xié)議本身策略（依照COST值）決定。而采取M+N方式高可用集群，配合基于詳細應(yīng)用IP-Anycast技術(shù)，每臺設(shè)備承載一個主要業(yè)務(wù)，其它業(yè)務(wù)在該設(shè)備作為備份狀態(tài)，設(shè)備對外宣告路由時，只宣告主要業(yè)務(wù)相關(guān)路由，共4條，路由條目削減了75%。（2）業(yè)務(wù)連續(xù)性內(nèi)網(wǎng)業(yè)務(wù)比較特殊，客戶端位置和IP都相對固定。不考慮故障情況，正常網(wǎng)絡(luò)環(huán)境下，路由器依照COST判斷訪問路徑時結(jié)果也相對固定，不存在同一客戶端數(shù)次訪問同一業(yè)務(wù)被調(diào)度到不一樣負載情況。負載設(shè)備可依照訪問源IP做會話保持，確保請求由同一服務(wù)器處理。（3）健康狀態(tài)檢驗服務(wù)器：經(jīng)過內(nèi)置應(yīng)用級健康監(jiān)視器對服務(wù)器進行主動探測，提供HTTP、HTTPS、RADIUS、FTP等常見模板。對于其它應(yīng)用，提供接口供用戶自定義檢測內(nèi)容和響應(yīng)內(nèi)容。另外，還提供極具特色被動健康檢驗功效，經(jīng)過對TCP和HTTP協(xié)議數(shù)據(jù)交互做采樣分析，判斷服務(wù)器健康狀態(tài)。