雙活數(shù)據(jù)中心技術(shù)研究方案.ppt

雙活數(shù)據(jù)中心技術(shù)研究方案匯報,雙活數(shù)據(jù)中心研究項目組 2019年11月4日,匯報內(nèi)容,雙活/多活數(shù)據(jù)中心實現(xiàn)方案,雙活/多活數(shù)據(jù)中心實現(xiàn)層次,訪問接入層,Web層,應(yīng)用層,數(shù)據(jù)庫層,存儲層,訪問接入層,Web層,應(yīng)用層,數(shù)據(jù)庫層,存儲層,上?？▓@,上海集電港,訪問接入層,Web層,應(yīng)用層,數(shù)據(jù)庫層,存儲層,北京稻香湖,網(wǎng)絡(luò)層,網(wǎng)絡(luò)層,網(wǎng)絡(luò)層,系統(tǒng)平臺層,系統(tǒng)平臺層,系統(tǒng)平臺層,虛擬中心,虛擬服務(wù),虛擬資源,虛擬層次,匯報內(nèi)容,雙活/多活數(shù)據(jù)中心實現(xiàn)層次,訪問接入層,Web層,應(yīng)用層,數(shù)據(jù)庫層,存儲層,訪問接入層,Web層,應(yīng)用層,數(shù)據(jù)庫層,存儲層,上海卡園,上海集電港,訪問接入層,Web層,應(yīng)用層,數(shù)據(jù)庫層,存儲層,北京稻香湖,網(wǎng)絡(luò)層,網(wǎng)絡(luò)層,網(wǎng)絡(luò)層,系統(tǒng)平臺層,系統(tǒng)平臺層,系統(tǒng)平臺層,虛擬中心,虛擬服務(wù),虛擬資源,虛擬層次,WEB/應(yīng)用層雙活實現(xiàn)機制,WEB/應(yīng)用層雙活實現(xiàn)機制主要有三種，一是基于主機集群技術(shù)，二是基于WEB SERVER/應(yīng)用中間件軟件自身集群軟件實現(xiàn)功能，三是基于負載均衡設(shè)備方式,城域互聯(lián),站點選擇服務(wù)器,WEB層雙活工作機制,WEB層雙活工作機制,城域互聯(lián),站點選擇服務(wù)器,WEB層雙活工作機制,城域互聯(lián),站點選擇服務(wù)器,應(yīng)用層雙活工作機制,城域互聯(lián),應(yīng)用層雙活工作機制,城域互聯(lián),應(yīng)用層雙活工作機制,城域互聯(lián),雙活/多活數(shù)據(jù)中心實現(xiàn)層次,訪問接入層,Web層,應(yīng)用層,數(shù)據(jù)庫層,存儲層,訪問接入層,Web層,應(yīng)用層,數(shù)據(jù)庫層,存儲層,上?？▓@,上海集電港,訪問接入層,Web層,應(yīng)用層,數(shù)據(jù)庫層,存儲層,北京稻香湖,網(wǎng)絡(luò)層,網(wǎng)絡(luò)層,網(wǎng)絡(luò)層,系統(tǒng)平臺層,系統(tǒng)平臺層,系統(tǒng)平臺層,虛擬中心,虛擬服務(wù),虛擬資源,虛擬層次,數(shù)據(jù)庫層雙活實現(xiàn)示意圖,跨機房的ORACLE RAC集群+VPLEX ，實現(xiàn)數(shù)據(jù)零丟失和數(shù)據(jù)庫實時切換,跨機房的數(shù)據(jù)庫利用數(shù)據(jù)同步復(fù)制技術(shù)，通過應(yīng)用部署實現(xiàn)讀寫分離,數(shù)據(jù)庫層雙活實現(xiàn)機制主要有兩種，一是基于ORACLE RAC+VPLEX，二是基于ORACLE DATAGUARD/GOLDENGATE,數(shù)據(jù)庫層雙活實現(xiàn)機制-ERAC,數(shù)據(jù)庫層雙活實現(xiàn)機制-ERAC,數(shù)據(jù)庫層雙活實現(xiàn)機制-讀寫分離,主應(yīng)用域,應(yīng)用域1,主數(shù)據(jù)庫,應(yīng)用域2,應(yīng)用域k,客戶端1,客戶端2,客戶端k,RAC,Node1,RAC,Node2,RAC,Nodej,備數(shù)據(jù)庫,Oracle DB,Server,Active Data Guard,輔助應(yīng)用域,應(yīng)用域1,應(yīng)用域i,鏡像庫,Oracle DB,Server,Golden Gate SharePlex 存儲復(fù)制等,災(zāi)備 精算,數(shù)據(jù)庫層雙活實現(xiàn)機制-讀寫分離,主應(yīng)用域,應(yīng)用域1,主數(shù)據(jù)庫,應(yīng)用域2,應(yīng)用域k,客戶端1,客戶端2,客戶端k,RAC,Node1,RAC,Node2,RAC,Nodej,數(shù)據(jù)庫,Oracle DB,Server,主、輔助應(yīng)用域,應(yīng)用域1,應(yīng)用域i+k,鏡像庫,Oracle DB,Server,Golden Gate SharePlex 存儲復(fù)制等,災(zāi)備 精算,數(shù)據(jù)庫層雙活實現(xiàn)機制-讀寫分離,主應(yīng)用域,應(yīng)用域1,主數(shù)據(jù)庫,應(yīng)用域2,應(yīng)用域k,客戶端1,客戶端2,客戶端k,RAC,Node1,RAC,Node2,RAC,Nodej,數(shù)據(jù)庫,Oracle DB,Server,主、輔助應(yīng)用域,應(yīng)用域1,應(yīng)用域i+k,鏡像庫,Oracle DB,Server,主、輔助應(yīng)用域,應(yīng)用域1,應(yīng)用域i+k,數(shù)據(jù)庫層雙活實現(xiàn)機制對比,雙活/多活數(shù)據(jù)中心實現(xiàn)層次,訪問接入層,Web層,應(yīng)用層,數(shù)據(jù)庫層,存儲層,訪問接入層,Web層,應(yīng)用層,數(shù)據(jù)庫層,存儲層,上海卡園,上海集電港,訪問接入層,Web層,應(yīng)用層,數(shù)據(jù)庫層,存儲層,北京稻香湖,網(wǎng)絡(luò)層,網(wǎng)絡(luò)層,網(wǎng)絡(luò)層,系統(tǒng)平臺層,系統(tǒng)平臺層,系統(tǒng)平臺層,虛擬中心,虛擬服務(wù),虛擬資源,虛擬層次,系統(tǒng)平臺層雙活實現(xiàn)機制,VMFS Active-Active,ESX備份代理,VPLEX Metro,城域互聯(lián) RTT5ms,卡園,集電港,AccessAnywhere,LAN,SAN,SAN,VPLEX Metro,FC,VMFS Active-Active,Storage Array,Storage Array,ITOI VDC集中監(jiān)控 控制臺,Avamar Data Store,Avamar Data Store,Avamar Proxy VM,ITOI虛擬 服務(wù)器,Nexus 7000,Nexus 7000,ESX,ESX,ESX備份代理,ITOI虛擬 服務(wù)器,ESX,ESX,SAN,SAN,LAN,備份數(shù)據(jù)復(fù)制,虛機在線透明遷移,基于VPLEX技術(shù)的虛擬機雙活解決方案,雙活/多活數(shù)據(jù)中心實現(xiàn)層次,訪問接入層,Web層,應(yīng)用層,數(shù)據(jù)庫層,存儲層,訪問接入層,Web層,應(yīng)用層,數(shù)據(jù)庫層,存儲層,上?？▓@,上海集電港,訪問接入層,Web層,應(yīng)用層,數(shù)據(jù)庫層,存儲層,北京稻香湖,網(wǎng)絡(luò)層,網(wǎng)絡(luò)層,網(wǎng)絡(luò)層,系統(tǒng)平臺層,系統(tǒng)平臺層,系統(tǒng)平臺層,虛擬中心,虛擬服務(wù),虛擬資源,虛擬層次,存儲復(fù)制示意圖,利用基于存儲的數(shù)據(jù)復(fù)制，可以實現(xiàn)災(zāi)備，但不能實現(xiàn)實時雙活，災(zāi)備數(shù)據(jù)不能實時使用，切換時間較長。,主機卷工作示意圖,主機,磁盤陣列,磁盤陣列,城域互聯(lián),Logic Volume,上海集電港,上?？▓@,Physical Volume,Physical Volume,鏡像,I/O,I/O,I/O,同步距離,利用基于主機的卷管理軟件，實現(xiàn)物理卷映射為邏輯卷的方式，將兩個數(shù)據(jù)中心的物理卷，映射為一個主機可見的邏輯卷。并在邏輯卷的層次，實現(xiàn)I/O分離。,城域互聯(lián),虛擬機群,10110,10110,10110,10110,ACK,ACK,ACK,ACK,同步距離,主機,主機,磁盤陣列,磁盤陣列,V-Plex Cluster-1/上?？▓@,V-Plex Cluster-2/上海集電港,分布式的設(shè)備部署,存儲雙活示意圖,存儲雙活實現(xiàn)機制,存儲雙活實現(xiàn)機制主要有四種：一是基于主機卷復(fù)制技術(shù)，二是基于存儲虛擬化技術(shù)；三是基于存儲復(fù)制技術(shù)，四是基于SAN網(wǎng)絡(luò)復(fù)制技術(shù),匯報內(nèi)容,雙活/多活數(shù)據(jù)中心實現(xiàn)層次,訪問接入層,Web層,應(yīng)用層,數(shù)據(jù)庫層,存儲層,訪問接入層,Web層,應(yīng)用層,數(shù)據(jù)庫層,存儲層,上?？▓@,上海集電港,訪問接入層,Web層,應(yīng)用層,數(shù)據(jù)庫層,存儲層,北京稻香湖,網(wǎng)絡(luò)層,網(wǎng)絡(luò)層,網(wǎng)絡(luò)層,系統(tǒng)平臺層,系統(tǒng)平臺層,系統(tǒng)平臺層,虛擬中心,虛擬服務(wù),虛擬資源,虛擬層次,扁平化網(wǎng)絡(luò)接入,網(wǎng)絡(luò)扁平化，將實現(xiàn)全公司業(yè)務(wù)終端的便捷網(wǎng)絡(luò)接入和快速網(wǎng)絡(luò)傳輸； 將實現(xiàn)網(wǎng)絡(luò)平臺與業(yè)務(wù)平臺松耦合的跨越，降低業(yè)務(wù)系統(tǒng)部署位置對用戶端的影響； 核心網(wǎng)將成為多中心網(wǎng)絡(luò)傳輸平臺，有效保障了多活中心的靈活部署； 大大降低多活中心廣域網(wǎng)部署復(fù)雜度和資金投入；,訪問接入層的雙活實現(xiàn)機制,為滿足雙活數(shù)據(jù)中心的需求，必須使客戶端的請求在多個中心進行智能選擇，實現(xiàn)業(yè)務(wù)的連續(xù)性(性能最優(yōu)/故障切換/按需連接)，實現(xiàn)站點選擇通常有兩種方式，一是傳統(tǒng)站點輪詢技術(shù)，二是站點負載均衡技術(shù),卡園數(shù)據(jù)中心,匯聚層,接入層,負載均衡設(shè)備,核心網(wǎng),訪問接入層的雙活實現(xiàn)方案,WEB,AP,DB,WEB,AP,DB,集電港數(shù)據(jù)中心,匯聚層,接入層,負載均衡設(shè)備,WEB,AP,DB,WEB,AP,DB,站點選擇設(shè)備,站點選擇設(shè)備,js.cbps8.clic,城域互聯(lián),1.5,1.5,2,3,用戶端通過公司內(nèi)網(wǎng)DNS解析域名請求，DNS解析請求被轉(zhuǎn)向站點選擇設(shè)備 站點選擇設(shè)備探測域名所對應(yīng)的多個服務(wù)器的狀態(tài)，并返回最合適的服務(wù)器IP地址，以實現(xiàn)多數(shù)據(jù)中心間負載均衡 用戶訪問對應(yīng)的WEB/應(yīng)用服務(wù)器 當其中一個數(shù)據(jù)中心的WEB/應(yīng)用服務(wù)器出現(xiàn)故障或數(shù)據(jù)中心出現(xiàn)故障： 用戶自動流量自動切換到正常數(shù)據(jù)中心的服務(wù)器，從而實現(xiàn)雙活,站點選擇設(shè)備對WEB/應(yīng)用服務(wù)器狀態(tài)的檢測,卡園數(shù)據(jù)中心,匯聚層,接入層,負載均衡設(shè)備,核心網(wǎng),WEB/應(yīng)用層雙活實現(xiàn)方案,WEB,AP,DB,WEB,AP,DB,集電港數(shù)據(jù)中心,匯聚層,接入層,負載均衡設(shè)備,WEB,AP,DB,WEB,AP,DB,js.cbps8.clic,城域互聯(lián),1,2,2,用戶不直接訪問服務(wù)器，而是訪問負載均衡設(shè)備的虛擬IP 負載均衡設(shè)備探測虛IP對應(yīng)的多個服務(wù)器的狀態(tài)，將流量指向合適的服務(wù)器，并在業(yè)務(wù)處理過程中保持會話的一致性 當其中一臺WEB/應(yīng)用服務(wù)器出現(xiàn)故障時： 用戶自動流量自動切換到正常的服務(wù)器，從而實現(xiàn)數(shù)據(jù)中心內(nèi)部高可用 當數(shù)據(jù)中心出現(xiàn)故障時： 通過訪問接入層策略將流量遷引至正常數(shù)據(jù)中心,負載均衡設(shè)備對于會話狀態(tài)的保持 負載均衡設(shè)備對WEB/應(yīng)用服務(wù)器狀態(tài)的檢測,2,網(wǎng)絡(luò)層雙活實現(xiàn)機制,兩地三中心多活模式下的網(wǎng)絡(luò)互聯(lián)和存儲備份，需要保證IP網(wǎng)絡(luò)的高可用性，又要保證能夠滿足既定RTO/RPO目標及多活要求： 大量使用Vmware虛擬化技術(shù)，需要多活中心間二層互通； 同城間同步數(shù)據(jù)復(fù)制，需滿足Oracle DataGuard同步復(fù)制或ORACLE RAC+VPLEX的實際要求 ； 異地間異地數(shù)據(jù)復(fù)制技術(shù)， 需滿足Oracle DataGuard/Goldengate技術(shù)的實際要求； 考慮在卡園和集電港間部署DWDM設(shè)備，實現(xiàn)IP網(wǎng)、存儲網(wǎng)的高可用； 網(wǎng)絡(luò)上通過直接二層互聯(lián)或OTV技術(shù)實現(xiàn)二層互通； 在北京和上海間用SDH構(gòu)建核心傳輸網(wǎng)，實現(xiàn)IP網(wǎng)絡(luò)高速互通；,同城網(wǎng)絡(luò)互聯(lián)方案,業(yè)務(wù)主機,存儲,存儲 交換機,FC,城域波分系統(tǒng)可以提供豐富和大量的光纖接口，如：GE、10GE、FC等,城域波分,主數(shù)據(jù)中心,光傳輸設(shè)備,以太 交換機,業(yè)務(wù)主機,存儲,存儲 交換機,FC,同城數(shù)據(jù)中心,光傳輸設(shè)備,以太 交換機,DWDM:Dense Wavelength Division Multiplexing(密集型光波復(fù)用),VMotion遷移虛擬機,SAN、iSCSI或NAS,動態(tài)遷移可在 X86架構(gòu)的 VMWARE ESX上實現(xiàn)； 在不中斷服務(wù)的情況下，將VM遷移到其他的物理服務(wù)器上； 可用在災(zāi)備、資源調(diào)整、服務(wù)器維護等場合； 實現(xiàn)遷移的服務(wù)器必須在一個二層網(wǎng)絡(luò)內(nèi)，VM的GW在相同設(shè)備上；,虛擬機動態(tài)遷移需要二層網(wǎng)絡(luò)的支持,同城網(wǎng)絡(luò)二層擴展需求,OTV虛擬化技術(shù) 有兩個或以上的數(shù)據(jù)中心L2互聯(lián)需求或者數(shù)據(jù)中心內(nèi)有跨L3的L2連接需求； 需要盡量避免跨數(shù)據(jù)中心STP環(huán)路、優(yōu)化跨數(shù)據(jù)中心擴展局域網(wǎng)的廣播流量、對多地點的網(wǎng)關(guān)一致性有配套的解決方案； 需要支持跨數(shù)據(jù)中心虛擬資源的自由調(diào)度； 需要建立跨數(shù)據(jù)中心的服務(wù)器集群等； OTV技術(shù)不受數(shù)據(jù)中心互聯(lián)介質(zhì)影響；,Source: IPs,OTV,OTV,Receiver,OTV,IP A,數(shù)據(jù)中心1,數(shù)據(jù)中心2,生產(chǎn)服務(wù)器,主數(shù)據(jù)中心,同城數(shù)據(jù)中心,A.B.0.0,OTV,Source: IPs,IP A,Receiver,同城網(wǎng)絡(luò)連接示意圖,IP B,Internet,CN2 MPLS 核心網(wǎng),CN2 MPLS 核心網(wǎng),Internet,集電港數(shù)據(jù)中心,卡園數(shù)據(jù)中心,DMZ路由,廣域網(wǎng)路由,廣域網(wǎng)路由,DMZ路由,OTV服務(wù),核心交換 Catalyst 6500,核心交換,DWDM通信系統(tǒng)ONS 15400,生產(chǎn)應(yīng)用匯聚交換,生產(chǎn)應(yīng)用匯聚交換,同城網(wǎng)絡(luò)連接實現(xiàn)方案,Nexus 7000,Nexus 7000,異地網(wǎng)絡(luò)連接示意圖,上海數(shù)據(jù)中心,北京數(shù)據(jù)中心,155/622M SDH,FCIP隧道,Source: IPs,IP A,VLAN1,OTV,Receiver,IP B,VLAN1,OTV,數(shù)據(jù)中心雙活/多活的實現(xiàn)示意圖,廣域網(wǎng),Active/Active 應(yīng)用服務(wù)器層,Active/Standby 數(shù)據(jù)庫層 or Active/Active For Different Application,Active/Active Web 層,廣域網(wǎng),運營商 A,運營商 B,INTERNET,盤陣,數(shù)據(jù)庫,應(yīng)用,Web,網(wǎng)絡(luò) 核心/匯聚/接入,Active/Standby Web 層,異步數(shù)據(jù)復(fù)制,Active/Standby 應(yīng)用服務(wù)器層,Active/Standby 數(shù)據(jù)庫層,上?？▓@,上海集電港,北京稻香湖,INTERNET,訪問,Active/Active 用戶訪問層,Active/Active 用戶訪問層,同步數(shù)據(jù)復(fù)制,155/622M SDH,DMZ 區(qū),核心網(wǎng)/廣域網(wǎng),LAN 區(qū),安全管理區(qū),DMZ 區(qū),核心網(wǎng)/廣域網(wǎng),LAN 區(qū),安全管理區(qū),Internet,站點選擇服務(wù) 路由優(yōu)化,站點選擇服務(wù) 路由優(yōu)化,防火墻 入侵檢測,防火墻 入侵檢測,DWDM,統(tǒng)一的安全管理,安全事件的關(guān)聯(lián),CN2 MPLS 核心網(wǎng),集電港數(shù)據(jù)中心,卡園數(shù)據(jù)中心,雙活中心安全服務(wù)部署,事件收集分析 和關(guān)聯(lián),事件收集分析 和關(guān)聯(lián),站點選擇服務(wù) 防火墻 入侵防御,站點選擇服務(wù) 防火墻 入侵防御,雙活中心網(wǎng)絡(luò)路徑管理,DMZ 區(qū),核心網(wǎng)/廣域網(wǎng),網(wǎng)絡(luò)匯聚區(qū),DMZ 區(qū),核心網(wǎng)/廣域網(wǎng),Internet,站點選擇服務(wù) 防火墻 入侵防御,站點選擇服務(wù) 路由優(yōu)化,站點選擇服務(wù) 路由優(yōu)化,防火墻 負載均衡,防火墻 入侵檢測,DWDM,CN2 MPLS 核心網(wǎng),集電港數(shù)據(jù)中心,卡園數(shù)據(jù)中心,網(wǎng)絡(luò)匯聚區(qū),服務(wù)器區(qū),服務(wù)器區(qū),站點選擇服務(wù) 防火墻 入侵防御,防火墻 Active/Standby,二層網(wǎng)關(guān) 路由控制 站點選擇 負載均衡 防火墻,網(wǎng)絡(luò)路徑管理,匯報內(nèi)容,相關(guān)技術(shù)總結(jié),實現(xiàn)難點,應(yīng)用系統(tǒng)分級,核心系統(tǒng)采用讀寫分離、非核心系統(tǒng)虛擬化，存儲不虛擬化。,核心系統(tǒng)、UNIX應(yīng)用技術(shù)方案,非核心系統(tǒng)、X86平臺應(yīng)用,綜合方案一,成本分析主要依據(jù)是與原有的兩地三中心方案做對比，分析需要增加的成本,核心系統(tǒng)、UNIX應(yīng)用需增加的成本,非核心系統(tǒng)、X86平臺應(yīng)用需增加的成本,綜合方案一成本分析,核心系統(tǒng)采用Extended RAC、非核心系統(tǒng)虛擬化，存儲虛擬化。,核心系統(tǒng)、UNIX應(yīng)用技術(shù)方案,非核心系統(tǒng)、X86平臺應(yīng)用,綜合方案二,核心系統(tǒng)、UNIX應(yīng)用需增加的成本,非核心系統(tǒng)、X86平臺應(yīng)用需增加的成本,綜合方案二成本分析,核心系統(tǒng)采用讀寫分離、非核心系統(tǒng)虛擬化，非核心存儲虛擬化。,核心系統(tǒng)、UNIX應(yīng)用技術(shù)方案,非核心系統(tǒng)、X86平臺應(yīng)用,綜合方案三,核心系統(tǒng)、UNIX應(yīng)用需增加的成本,非核心系統(tǒng)、X86平臺應(yīng)用需增加的成本,綜合方案三成本分析,匯報內(nèi)容,技術(shù)測試方案,基于雙活規(guī)劃設(shè)計，模擬卡園和集電港基礎(chǔ)架構(gòu)環(huán)境，驗證關(guān)鍵技術(shù)要點，并評估整體方案的可行性，包括： 1. 整體架構(gòu)的可行性； 2.實現(xiàn)跨機房的虛擬資源靈活調(diào)度、統(tǒng)一管理，提供基礎(chǔ)架構(gòu)云服務(wù)； 3.實現(xiàn)對用戶透明的應(yīng)用服務(wù)負載均衡； 4.異常運行狀態(tài)下，實現(xiàn)對用戶透明的快速應(yīng)用服務(wù)切換：包括接入層、應(yīng)用層、數(shù)據(jù)庫層、存儲層、網(wǎng)絡(luò)層等； 5.對各類相關(guān)技術(shù)進行功能性測試。 基于測試結(jié)果，進一步明確未來卡園和集電港雙活實現(xiàn)目標； 通過測試，發(fā)現(xiàn)規(guī)劃設(shè)計中存在的問題與不足，并對設(shè)計規(guī)劃進行相應(yīng)的調(diào)整； 通過測試，識別雙活中心實施和管理中可能存在的技術(shù)風(fēng)險，作為后續(xù)實施計劃和運維方案設(shè)計的參考； 在測試過程中，幫助運維管理人員熟悉新引入的解決方案和設(shè)備配置方法。,測試目標,測試場地：北京朝陽門機房 測試時間：2011年10-11月 測試人員：中國人壽雙活研究項目組主導(dǎo)，相關(guān)廠商參與，包括：思科、HP、EMC、Vmware、Oracle、HDS、F5、 Quest、博科、IBM等,測試部署,模擬卡園,模擬集電港,模擬遠程節(jié)點,存儲,MDS,MDS,GSS,GSS,DWDM,ONS,ONS,應(yīng)用終端 * 2,ISR2800,Cat3750,N7K,N7K,ACE,TUXEDO應(yīng)用服務(wù)器,存儲,VPlex,Web 服務(wù)器,應(yīng)用與SQL數(shù)據(jù)庫 服務(wù)器（基于虛擬機）,Web 服務(wù)器,應(yīng)用與SQL數(shù)據(jù)庫 服務(wù)器（基于虛擬機）,TUXEDO應(yīng)用服務(wù)器,Oracle RAC服務(wù)器 * 2,終端服務(wù)器,管理服務(wù)器（ITOI）,Ava