雙活數(shù)據(jù)中心方案.doc

雙活數(shù)據(jù)中心方案一、需求背景： 隨著數(shù)據(jù)的大集中，銀行紛紛建設了負責本行各業(yè)務處理的生產(chǎn)數(shù)據(jù)中心機房（一般稱為數(shù)據(jù)中心），數(shù)據(jù)中心因其負擔了全行業(yè)務，所以其并發(fā)業(yè)務負荷能力和不間斷運行能力是評價一個數(shù)據(jù)中心成熟與否的關鍵性指標。近年來，隨著網(wǎng)上銀行、手機銀行等各種互聯(lián)網(wǎng)業(yè)務的迅猛發(fā)展，銀行數(shù)據(jù)中心的業(yè)務壓力業(yè)成倍增加，用戶對于業(yè)務訪問質(zhì)量的要求也越來越高，保障業(yè)務系統(tǒng)的7*24小時連續(xù)運營并提升用戶體驗成為信息部門的首要職責。商業(yè)銀行信息系統(tǒng)的安全、穩(wěn)定運行關系著國家金融安全和社會穩(wěn)定，監(jiān)管機構也十分重視商業(yè)銀行的災難備份體系建設，多次發(fā)布了商業(yè)銀行信息系統(tǒng)災難備份的相關標準和指引，對商業(yè)銀行災備系統(tǒng)建設提出了明確的要求。為適應互聯(lián)網(wǎng)業(yè)務的快速增長，保障銀行各業(yè)務安全穩(wěn)定的不間斷運行，提高市場競爭力，同時符合監(jiān)管機構的相關要求，建設災備、雙活甚至多活數(shù)據(jù)中心正在成為商業(yè)銀行的共同選擇。二、發(fā)展趨勢：多數(shù)據(jù)中心的建設需要投入大量資金，其項目周期往往很長，涉及的范圍也比較大。從技術上來說，要實現(xiàn)真正意義上的雙活，就要求網(wǎng)絡、應用、數(shù)據(jù)庫和存儲都要雙活。就現(xiàn)階段來看，大多數(shù)客戶的多數(shù)據(jù)中心建設還達不到完全的雙活要求，主流的建設目標是實現(xiàn)應用雙活。目前客戶建設多數(shù)據(jù)中心的模型可以歸納為以下幾種：1.單純的數(shù)據(jù)容災：正常情況下只有主數(shù)據(jù)中心投入運行，備數(shù)據(jù)中心處于待命狀態(tài)。發(fā)生災難時，災備數(shù)據(jù)中心可以短時間內(nèi)恢復業(yè)務并投入運行，減輕災難帶來的損失。這種模式只能解決業(yè)務連續(xù)性的需求，但用戶無法就近快速接入。災備中心建設的投資巨大且運維成本高昂，正常情況下災備中心不對外服務，資源利用率偏低，造成了巨大的浪費。2.構建業(yè)務連續(xù)性：兩個數(shù)據(jù)中心（同城/異地）的應用都處于活動狀態(tài)，都有業(yè)務對外提供服務且互為備份。但出于技術成熟度、成本等因素考慮，數(shù)據(jù)庫采用主備方式部署，數(shù)據(jù)庫讀寫操作都在主中心進行，災備中心進行數(shù)據(jù)同步。發(fā)生災難時，數(shù)據(jù)中心間的數(shù)據(jù)庫可以快速切換，避免業(yè)務中斷。雙活數(shù)據(jù)中心可充分盤活企業(yè)閑置資源，保證業(yè)務的連續(xù)性，幫助用戶接入最優(yōu)節(jié)點，提高用戶訪問體驗。3.提升業(yè)務服務能力：多個數(shù)據(jù)中心同時對外提供服務且互為備份，各中心的數(shù)據(jù)庫可同時處理應用的讀寫請求，網(wǎng)絡、存儲、應用和數(shù)據(jù)庫全部實現(xiàn)多活。各數(shù)據(jù)中心獨立運營，用戶流量可被智能調(diào)度，形成靈活、彈性和可擴展的面向服務的業(yè)務架構。三、業(yè)務目標：用戶建設多數(shù)據(jù)中心的思路和建設模型略有不同，但大多數(shù)用戶的主要建設目標可以歸納為以下幾點：u 流量分發(fā)用戶訪問流量可靈活、彈性的調(diào)度到多個數(shù)據(jù)中心，使各數(shù)據(jù)中心壓力相對均衡，保證用戶接入最近最快速的數(shù)據(jù)中心節(jié)點，提高用戶訪問體驗。u 故障切換當出口鏈路或內(nèi)部服務器出現(xiàn)異常時，運維人員可第一時間獲悉故障情況，業(yè)務可根據(jù)需要自動或手動平滑切換至正常節(jié)點，保證用戶訪問的連續(xù)性。u 業(yè)務安全數(shù)據(jù)中心所處位置基礎設施完善，水電通信供應穩(wěn)定，數(shù)據(jù)中心內(nèi)部有相應技術手段保證整個數(shù)據(jù)中心抵抗DDos攻擊，各業(yè)務系統(tǒng)不被黑客非法入侵。u 環(huán)境一致性多個數(shù)據(jù)中心對用戶來說理應是透明的，其對外服務時提供統(tǒng)一接口，各數(shù)據(jù)中心內(nèi)部數(shù)據(jù)和服務能力需要完全一致，且隨時處于可切換狀態(tài)。四、實現(xiàn)邏輯我們把整個數(shù)據(jù)中心在邏輯上分為接入層和服務層，其處理邏輯的示意圖如下：u 接入層（智能DNS）u 接入層（RHI路由注入）u 服務層u 故障切換五、總體設計總行數(shù)據(jù)中心整體上分為主中心和災備中心，二者的網(wǎng)絡架構、業(yè)務系統(tǒng)和服務能力都基本相同，同時對外提供服務，形成雙活數(shù)據(jù)中心。數(shù)據(jù)中心內(nèi)部劃分為互聯(lián)網(wǎng)業(yè)務區(qū)（提供外網(wǎng)服務，如手機銀行、網(wǎng)上銀行等）、核心生產(chǎn)業(yè)務區(qū)（傳統(tǒng)生產(chǎn)業(yè)務，如ATM、柜面等）、數(shù)據(jù)庫區(qū)（生產(chǎn)/查詢）和業(yè)務測試區(qū)，出于成本考慮，災備數(shù)據(jù)中心不設業(yè)務測試區(qū)。主備數(shù)據(jù)中心和各一級分行之間通過專線互聯(lián)，利用動態(tài)路由協(xié)議組建企業(yè)內(nèi)部專網(wǎng)。數(shù)據(jù)中心的對外業(yè)務集中在互聯(lián)網(wǎng)業(yè)務區(qū)，通常使用域名方式對外發(fā)布，客戶端訪問業(yè)務系統(tǒng)時，需要先由DNS將域名解析為IP地址，然后再訪問該目標IP。對外業(yè)務的全局負載通常利用DNS解析實現(xiàn)，其可根據(jù)用戶地理位置、用戶所屬運營商和網(wǎng)絡質(zhì)量、數(shù)據(jù)中心服務能力等因素作為判斷依據(jù)，為不同用戶返回不同的IP地址，實現(xiàn)流量的合理分配。對于數(shù)據(jù)中心的內(nèi)網(wǎng)業(yè)務，一部分與外網(wǎng)業(yè)務相同，通過域名發(fā)布。另一部分與一級分行業(yè)務類似，直接通過IP地址訪問。對于通過IP地址訪問的業(yè)務，內(nèi)網(wǎng)全局負載采用IP-Anycast（RHI路由注入）技術實現(xiàn)，其原理是在各數(shù)據(jù)中心以相同IP發(fā)布業(yè)務，由動態(tài)路由協(xié)議根據(jù)COST值等參數(shù)用戶判斷訪問的最佳路徑。六、互聯(lián)網(wǎng)業(yè)務全局負載（以網(wǎng)銀為例）1.設計模型我們把網(wǎng)銀業(yè)務從邏輯上分為接入側和服務側，接入側包括出口鏈路、全局負載設備；服務側包括WEB服務單元、APP服務單元和DB服務單元。WEB服務單元包含SSL卸載設備、WAF防火墻、負載均衡和服務器；APP服務單元包含防火墻、負載均衡和服務器；DB服務單元包含防火墻、負載均衡、數(shù)據(jù)庫審計和數(shù)據(jù)庫。WEB服務單元和APP服務單元在2個數(shù)據(jù)中心同時提供服務，實現(xiàn)應用雙活?？紤]到數(shù)據(jù)強一致性、技術成熟度和成本等因素，雙數(shù)據(jù)中心間的DB服務單元建議主備部署，數(shù)據(jù)中心內(nèi)部的數(shù)據(jù)庫集群可結合本地負載均衡實現(xiàn)多活。為達到最佳負載效果，需要各服務單元的負載設備可以訪問其他數(shù)據(jù)中心對應服務單元的服務器，但優(yōu)先調(diào)度本地服務器。2.實現(xiàn)方式（1）流量調(diào)度數(shù)據(jù)中心層面：我們推薦使用兩層邏輯算法的智能DNS調(diào)度策略，首先，全局負載設備會判斷用戶的地理位置，將用戶調(diào)度到就近的數(shù)據(jù)中心，解決南北互訪的問題；其次，根據(jù)用戶所屬運營商選擇對應鏈路供用戶接入，解決跨運營商訪問慢的問題。此外，全局負載還可對客戶端LDNS發(fā)起反向探測，判斷用戶網(wǎng)絡質(zhì)量，為用戶選擇最佳接入路徑。 服務單元層面：WEB、APP和DB服務單元都配備了本地負載均衡器，用戶訪問流量到達數(shù)據(jù)中心內(nèi)部后，由服務單元的負載設備根據(jù)預設策略分發(fā)給各服務器，可根據(jù)用戶需求靈活選擇輪詢、優(yōu)先級、最小連接等算法。（2）業(yè)務連續(xù)性數(shù)據(jù)中心層面：通過DC Cookie保證用戶接入同一數(shù)據(jù)中心。用戶首次訪問時，本地WEB負載設備在響應數(shù)據(jù)包中插入DC Cookie，當客戶端網(wǎng)絡發(fā)生變化時，第二次訪問就可能被調(diào)度到其他數(shù)據(jù)中心，這時其他數(shù)據(jù)中心的WEB負載設備會識別該Cookie，將用戶請求轉發(fā)至第一次處理該用戶訪問的WEB負載設備，再由該負載設備進行調(diào)度。服務單元層面：WEB服務單元的負載建議通過cookie會話保持（插入、改寫和被動）保證業(yè)務連續(xù)性；APP服務單元的負載可通過cookie或源IP會話保持保證業(yè)務連續(xù)性（是否需要會話保持，選擇何種會話保持方式需要結合應用具體情況）；DB服務單元一般不需要會話保持。（3）健康狀態(tài)檢查服務單元層面：通過內(nèi)置的應用級健康監(jiān)視器對服務器進行主動探測，提供HTTP、HTTPS、RADIUS、FTP等常用模板。對于其他應用，提供接口供用戶自定義檢測內(nèi)容和響應內(nèi)容。此外，還提供極具特色的被動健康檢查功能，通過對TCP和HTTP協(xié)議的數(shù)據(jù)交互做采樣分析，判斷服務器的健康狀態(tài)。數(shù)據(jù)中心層面：全局負載與服務側的各區(qū)域負載均衡聯(lián)動，實時共享信息，判斷服務側整體服務能力；同時全局負載設備會探測出口各鏈路健康狀態(tài)，結合服務側整體服務能力和設備自身負荷情況，綜合判斷該數(shù)據(jù)中心的健康狀態(tài)（正常、繁忙、故障）。（4）故障切換服務單元層面：服務單元內(nèi)部某服務器繁忙或故障時，將用戶請求調(diào)度到其他正常服務器。數(shù)據(jù)中心層面：a.某數(shù)據(jù)中心的WEB或APP服務器全部繁忙或全部故障時，用戶接入鏈路不切換，通過專線將數(shù)據(jù)轉發(fā)至正常數(shù)據(jù)中心對應服務單元。b.主數(shù)據(jù)中心的數(shù)據(jù)庫服務器全部故障時，用戶接入鏈路不切換，通過專線將直接激活備數(shù)據(jù)中心的數(shù)據(jù)庫，實現(xiàn)數(shù)據(jù)庫一鍵切換。數(shù)據(jù)庫切換前需要驗證數(shù)據(jù)庫的正確性，用戶需要完成數(shù)據(jù)驗證并保證數(shù)據(jù)庫按順序切換。c.數(shù)據(jù)中心的所有鏈路同時故障時，全局負載設備將用戶流量平滑牽引至正常數(shù)據(jù)中心。單鏈路故障時，可根據(jù)用戶需求切換至本中心其他鏈路或其他中心同ISP鏈路。此外，當某數(shù)據(jù)中心出現(xiàn)服務能力不足時（鏈路繁忙、服務單元繁忙等），全局負載設備還可以基于數(shù)據(jù)中心的整體健康得分情況將用戶分流至其他數(shù)據(jù)中心，保障用戶正常訪問。（5）安全保障數(shù)據(jù)中心層面：a.網(wǎng)絡出口處部署DDos防護設備并在運營商處購買流量清洗服務，保證數(shù)據(jù)中心整體安全。b.網(wǎng)絡出口處部署FW和IPS設備，從網(wǎng)絡層和應用層保證數(shù)據(jù)中心不被惡意入侵。c.全局負載設備提供DNS防火墻功能，充分保證DNS安全。 服務單元層面：各服務單元部署防火墻，保證區(qū)域安全。WEB服務單元直接面向互聯(lián)網(wǎng)用戶，需要部署SSL卸載設備實現(xiàn)SSL加解密，提高業(yè)務訪問安全。同時，通過部署WAF保障WEB服務器的安全。（6）業(yè)務優(yōu)化加速a.跨數(shù)據(jù)中心的數(shù)據(jù)庫同步需占用大量帶寬資源，且數(shù)據(jù)量非常大，部署WOC設備可大幅壓縮傳輸數(shù)據(jù)，削減流量。WEB或APP服務單元跨數(shù)據(jù)中心通信時，通過WOC設備的協(xié)議優(yōu)化和流緩存等技術實現(xiàn)加速。當二者同時需要大量帶寬資源時，優(yōu)先保證數(shù)據(jù)庫同步。b.互聯(lián)網(wǎng)區(qū)的WEB服務單元直接面向公網(wǎng)，受公網(wǎng)網(wǎng)絡質(zhì)量影響較大，負載均衡可通過協(xié)議優(yōu)化、數(shù)據(jù)壓縮和智能加速等技術減少網(wǎng)絡環(huán)境影響，提高用戶訪問體驗。此外，外網(wǎng)用戶會有大量重復請求，通過負載設備的高速緩存技術，對靜態(tài)和內(nèi)容進行緩存，減少服務器數(shù)據(jù)交互，降低服務器性能壓力，提高訪問速度。（7）其他a.負載設備在服務單元內(nèi)部通過旁路部署，為保證來回數(shù)據(jù)一致需要開啟SNAT功能，一般情況下，WEB服務器都需要統(tǒng)計用戶訪問源IP，可通過負載設備在HTTP頭部插入X-Forwarded-for字段來透傳用戶真實源IP。b.數(shù)據(jù)中心網(wǎng)絡出口對各類設備性能要求較高，針對某些傳統(tǒng)防火墻性能不足的情況，可以在防火墻前后各部署負載均衡設備，實現(xiàn)防火墻的負載。 c.考慮到極端情況，單數(shù)據(jù)中心需要能承載所有業(yè)務壓力，建議選擇2倍于實際性能需求的負載均衡設備。負載均衡設備自身擁有過載保護機制，當CPU、內(nèi)存等指標達到閥值時，向用戶發(fā)出告警信息，并重定向或丟棄后續(xù)新建連接。七、內(nèi)網(wǎng)業(yè)務全局負載（以一級分行為例）1.設計模型各分行數(shù)據(jù)中心與總行數(shù)據(jù)中心通過動態(tài)路由協(xié)議互聯(lián)，形成大的企業(yè)內(nèi)網(wǎng)環(huán)境。其大多數(shù)業(yè)務（ATM、POS、簽章、柜面等）通過IP地址直接訪問，利用RHI路由注入的方式對外發(fā)布。負載設備以M+N集群的方式分別部署在兩個數(shù)據(jù)中心，不同的業(yè)務系統(tǒng)由不同的負載設備承載，解決了應用集中的風險問題，同時提供靈活的應用部署和無縫業(yè)務切換。2.實現(xiàn)方式（1）流量調(diào)度以ATM業(yè)務為例，各分行數(shù)據(jù)中心對外發(fā)布的業(yè)務訪問IP相同，通過RHI路由注入的方式與OSPF實現(xiàn)聯(lián)動，以COST的大小來判斷訪問的最優(yōu)路徑。負載均衡設備以集群方式部署，單臺設備與單個業(yè)務“靜態(tài)綁定”，各設備間互為備份，宣告路由時基于具體業(yè)務系統(tǒng)進行宣告，可有效削減過多的路由條目，極大的簡化運維工作。如上圖，數(shù)據(jù)中心對外發(fā)布4種業(yè)務，一般情況下，每臺設備需要對外宣告4條路由，共16條路由，客戶端最終訪問的路徑由動態(tài)路由協(xié)議自身策略（根據(jù)COST值）決定。而采用M+N方式的高可用集群，配合基于具體應用的IP-Anycast技術，每臺設備承載一種主要業(yè)務，其他業(yè)務在該設備作為備份狀態(tài)，設備對外宣告路由時，只宣告主要業(yè)務相關的路由，共4條，路由條目削減了75%。（2）業(yè)務連續(xù)性內(nèi)網(wǎng)業(yè)務比較特殊，客戶端的位置和IP都相對固定。不考慮故障情況，正常網(wǎng)絡環(huán)境下，路由器根據(jù)COST判斷訪問路徑時結果也相對固定，不存在同一客戶端多次訪問同一業(yè)務被調(diào)度到不同負載的情況。負載設備可根據(jù)訪問的源IP做會話保持，保證請求由同一服務器處理。（3）健康狀態(tài)檢查服務器：通過內(nèi)置的應用級健康監(jiān)視器對服務器進行主動探測，提供HTTP、HTTPS、RADIUS、FTP等常用模板。對于其他應用，提供接口供用戶自定義檢測內(nèi)容和響應內(nèi)容。此外，還提供極具特色的被動健康檢查功能，通過對TCP和HTTP協(xié)議的數(shù)據(jù)交互做采樣分析，判斷服務器的健