雙活數(shù)據(jù)中心技術(shù)架構(gòu)課件

1、雙活數(shù)據(jù)中心技術(shù)架構(gòu)雙活數(shù)據(jù)中心技術(shù)架構(gòu)常見容災(zāi)模式主備模式冷備 切換A中心B中心A中心B中心雙中心互備模式復(fù)制切換1、故障下需要定位+決策+切換流程，超過0.5小時2、容災(zāi)側(cè)資源閑置3、SRDF、PPRC等技術(shù)1、故障下需要定位+決策+ 切換流程，超過0.5小時2、勱態(tài)資源管理技術(shù)，容災(zāi) 資源閑置3、 SRDF、PPRC等技術(shù)雙活并行模式并行 處理A中心B中心兩個中心平時均可承擔(dān)業(yè) 務(wù)，同時對外服務(wù)，壞掉 任何一方丌影響。生產(chǎn)生產(chǎn)容災(zāi)容災(zāi)生產(chǎn)容災(zāi)容災(zāi)生產(chǎn)生產(chǎn)生產(chǎn)生產(chǎn)生產(chǎn)傳統(tǒng)方案：“主備”模式或“互備”雙中心模式“雙活并行處理”模式，做到準(zhǔn)0切換常見容災(zāi)模式主備模式A中心B中心A中心B中心雙中

2、心互備模式1雙活應(yīng)用架構(gòu)接入層：借劣DNS、全局負(fù)載均衡 等技術(shù)實現(xiàn)雙活接入和智能路由， 流量調(diào)配應(yīng)用層：基亍開放分布式集群架構(gòu)、 或服務(wù)總線技術(shù)數(shù)據(jù)層：需要構(gòu)建雙中心同時可讀 寫的機制，如遠(yuǎn)程RAC基礎(chǔ)架構(gòu)層：網(wǎng)絡(luò)上對穩(wěn)定性和帶 寬吞吐性能要求更高，甚至需要打 通跨中心的大二層網(wǎng)絡(luò)。存儲方面， 則需改變一主一備的讀寫機制，實 現(xiàn)同時可讀寫。接入層改造智能路由，流量調(diào)配數(shù)據(jù)層連接自勱重連Ebus服務(wù)總線，分布式集 群架構(gòu)核心數(shù)據(jù)層應(yīng)用層部署、接口數(shù)據(jù)庫層 技術(shù)改造存儲層 優(yōu)化改造基礎(chǔ)架構(gòu)層數(shù)據(jù)層應(yīng)用層雙活零切換 DNS、全局負(fù)載均衡等如Oracle extend rac分布式內(nèi)存庫帶寬、穩(wěn)定性

3、、大二層存儲支持雙活讀寫接入層雙活應(yīng)用架構(gòu)接入層：借劣DNS、全局負(fù)載均衡 等技術(shù)實現(xiàn)雙活數(shù)據(jù)層存儲層接入/應(yīng)用層虛擬化/云平臺技術(shù)關(guān)鍵點數(shù)據(jù)層數(shù)據(jù)層雙活三種方式Active-Standby方式：基于Oracle ADG技術(shù)，采用從 主庫向備庫傳輸redo日志方式，備庫恢復(fù)數(shù)據(jù)過程可 以用只讀方式打開進行查詢操作，實現(xiàn)了部分雙活功 能，在主節(jié)點故障后可以將備節(jié)點切為Active-Active方式：通過Oracle Extend RAC實現(xiàn)多 個集群節(jié)點同時對外提供業(yè)務(wù)訪問。該方式做到故障無縫切換，提升應(yīng)用系統(tǒng)整體性能。數(shù)據(jù)邏輯復(fù)制軟件方式：通過實時抽取在線日志中的數(shù)據(jù)變化信息，然后通過網(wǎng)絡(luò)將變

4、化信息投遞到目標(biāo)端， 最后在目標(biāo)端還原數(shù)據(jù)，從而實現(xiàn)源和目標(biāo)的數(shù)據(jù)同步。主數(shù)據(jù)庫目標(biāo)庫數(shù)據(jù)層雙活三種方式Active-Standby方式：基于Or方式1、oracle ADG通過網(wǎng)絡(luò)從生產(chǎn)向容災(zāi)傳輸歸檔或redo 日志，容災(zāi)端恢復(fù)方式同步數(shù)據(jù)。Oracle 11g 以后容災(zāi)庫可打開為只讀模式，容災(zāi)切換時能快速alter為讀寫狀態(tài)。存儲支持異構(gòu)，OS需要同構(gòu)應(yīng)用場景：作為應(yīng)急或容災(zāi)作為讀寫分離作為數(shù)據(jù)保護手段（結(jié)合flash DB）Network調(diào)度管理器Primary數(shù)據(jù)庫邏輯Standby（ADG） 數(shù)據(jù)庫（平時只讀訪問）實時查詢 報表SQL恢復(fù)轉(zhuǎn)換Redo 成為SQL額外索引&物化視圖物理

5、Standby數(shù)據(jù)庫（平時不能打開）備份Redo 恢復(fù)DIGITAL DATA STORAGEDIGITAL DATA STORAGE同步或異步Redo 傳送ADG = Active Data Guard方式1、oracle ADG通過網(wǎng)絡(luò)從生產(chǎn)向容災(zāi)傳輸歸檔或r方式2、邏輯復(fù)制通過DSG、GoldenGate等邏輯復(fù)制技術(shù) 實現(xiàn)跨中心數(shù)據(jù)庫的相互復(fù)制支持表級的復(fù)制兩個數(shù)據(jù)中心各建一套數(shù)據(jù)庫，物理獨 立，同時能讀寫基于數(shù)據(jù)庫日志準(zhǔn)實時復(fù)制數(shù)據(jù)支持異構(gòu)數(shù)據(jù)庫、異構(gòu)OS可以實現(xiàn)一對一、一對多、多對一、雙 向復(fù)制等多種拓?fù)浣Y(jié)構(gòu)Dsg工作原理方式2、邏輯復(fù)制通過DSG、GoldenGate等邏輯復(fù)制技

6、方式3、Oracle 遠(yuǎn)程RACOracleExtended RAC以跨中心共享存 儲為基礎(chǔ)，通過共享存儲資源和OracleClusterware數(shù)據(jù)庫集群管理，實現(xiàn)各個中心節(jié)點對數(shù)據(jù)庫并行訪問。共享存儲可以采用存儲自身數(shù)據(jù)復(fù)制技術(shù)，存儲虛擬網(wǎng)關(guān)或遠(yuǎn)程卷管理等技術(shù)， 左圖以O(shè)racle ASM存儲卷管理為例，實 現(xiàn)數(shù)據(jù)的雙向?qū)崟r復(fù)制。ASM支持對本地磁盤的優(yōu)先讀取，避免 跨數(shù)據(jù)中心的數(shù)據(jù)讀取，提高I/O性能并 減少網(wǎng)絡(luò)流量；要點（ASM）：兩個數(shù)據(jù)中心分別部署一套存儲，各提供一套LUN設(shè)備給全部數(shù)據(jù) 庫主機。存儲的SAN網(wǎng)絡(luò)和RAC心跳網(wǎng)絡(luò)需使用低延遲、高帶寬的DWDM光 纖鏈路。配置ASM磁

7、盤組。每個磁盤組配置兩個失效組，每個失效組對應(yīng)來 自一套存儲的LUN設(shè)備。在第三個站點部署用亍RAC的第3個投票盤，使用NFS的方式掛載到 所有數(shù)據(jù)庫主機。不管理普通的RAC系統(tǒng)類似，需要重點加強對站點間光纖鏈路情況 的監(jiān)控與應(yīng)急。方式3、Oracle 遠(yuǎn)程RACOracleExtende內(nèi)存庫雙活技術(shù)將數(shù)據(jù)常駐在內(nèi)存中直接操作的數(shù)據(jù) 庫。相對于磁盤，內(nèi)存的數(shù)據(jù)讀寫速度要 高出幾個數(shù)量級，將數(shù)據(jù)保存在內(nèi)存中相比從磁盤上訪問能夠極大地提高 應(yīng)用的性能應(yīng)用場景：用于實時計費、讀寫分離 場景，主要有Oracle Times Ten，Altibase商用以及華為、亞信和斯特 奇等自研產(chǎn)品。內(nèi)存庫集群部

8、署主要有HA模式，雙 活模式，線性拆分和分布式集群四種模式。HA模式雙活模式線性拆分模式分布式集群模式內(nèi)存庫雙活技術(shù)將數(shù)據(jù)常駐在內(nèi)存中直接操作的數(shù)據(jù) 庫。HA模式數(shù)據(jù)層雙活技術(shù)比較技術(shù)種類技術(shù)特征數(shù)據(jù)一致性雙活讀 寫數(shù)據(jù)延遲可維護性可靠性適用模式物理庫基于數(shù)據(jù)邏輯 復(fù)制軟件DSG、gg、 shareplex等邏輯錯誤會導(dǎo) 致不一致，無 法稽核支持存在延遲（和日志量有關(guān)）較差，系統(tǒng)變 更需要人工介 入較好，支持多線 程，不影響生產(chǎn) 需定期重新同步數(shù)據(jù)一致性 要求較低或 基于表的同 步基于數(shù)據(jù)庫自 身oracleactive dataguard一致（前提正 常同步）不支持存在延遲（和日志量有關(guān)）維

9、護簡單，支 持線性擴展較好，同步效率 高，快速切換讀寫分離場 景Oracle Extended RAC一致支持實時同步，沒有 延遲較好較好核心系統(tǒng)對 穩(wěn)定性較高內(nèi)存庫HA模式基于日志實時或 異步同步存在不一 致風(fēng)險不支持存在延遲較好一般適合物理庫 較小雙活模式基于日志實時或 異步同步存在不一 致風(fēng)險支持存在延遲較好一般線性拆分基于日志實時或 異步同步存在不一、致 風(fēng)險不支持存在延遲較差，復(fù)雜一般適合物理庫 較大分布式集群基于日志實時或 異步同步一致支持存在延遲較好較好適合核心系 統(tǒng)建議：在實際使用中應(yīng)根據(jù)具體情況選擇合適的方案，理論上只有Extended RAC為真正的雙讀雙寫數(shù)據(jù)層雙活技術(shù)比

10、較技術(shù)種類技術(shù)特征數(shù)據(jù)一致性雙活讀 寫數(shù)據(jù)延數(shù)據(jù)層存儲層接入/應(yīng)用層虛擬化/云平臺技術(shù)關(guān)鍵點數(shù)據(jù)層存儲雙活流派存儲層作為雙活系統(tǒng)核心基礎(chǔ)架構(gòu)平臺， 其雙活技術(shù)在整個架構(gòu)中起到關(guān)鍵作用， 目前基于存儲層雙活方案主要有下面三種：基于遠(yuǎn)程卷管理軟件的虛擬化，如：SymantecSF，IBM GPFS ， OracleASM等基于存儲網(wǎng)關(guān)虛擬化，如：EMC vplex、IBM SVC基于存儲自身卷鏡像技術(shù)，HDS GAD 、Huawei等1.卷管理軟件虛擬化：通過安裝在主機上卷管理軟件的邏輯卷鏡 像技術(shù)實現(xiàn)底層數(shù)據(jù)邏輯同步。存儲網(wǎng)關(guān)虛擬化：在每個站點 新增存儲虛擬化網(wǎng)關(guān)設(shè)備組成 跨站點集群,并對存儲卷

11、進重新 行封裝，對外提供主機I/O訪問。存儲卷鏡像技術(shù)：將兩套磁盤陣列組成一個集群，兩臺存儲上的LUN被虛擬化為一個虛擬卷，主機寫操作通過卷虛擬化鏡像技術(shù)同時寫入兩個數(shù)據(jù)中心的存儲設(shè)備，保證站點之間數(shù)據(jù)實時同步。存儲雙活流派存儲層作為雙活系統(tǒng)核心基礎(chǔ)架構(gòu)平臺， 其雙活技流派1、遠(yuǎn)程卷管理軟件數(shù)據(jù)同步：底層數(shù)據(jù)復(fù)制采用遠(yuǎn)程 卷管理軟件，如賽門鐵克的storageFoundation（SF）、IBM的GPFS、Oracle的ASM等，通過邏輯卷鏡像技術(shù)實現(xiàn)底層數(shù)據(jù)邏輯同步。上層應(yīng) 用采用Oracle Extended RAC方案實 現(xiàn)遠(yuǎn)程多節(jié)點RAC,使生產(chǎn)和容災(zāi)節(jié) 點都處于在線狀態(tài)，應(yīng)用邏輯訪問

12、的 是同一個數(shù)據(jù)庫。數(shù)據(jù)讀寫：支持雙讀寫。數(shù)據(jù)一致性：完全一致。流派1、遠(yuǎn)程卷管理軟件數(shù)據(jù)同步：底層數(shù)據(jù)復(fù)制采用遠(yuǎn)程 卷管理流派1、遠(yuǎn)程卷管理軟件案例： IBM GPFS+oracle 11g Extended RAC應(yīng)用場景：一邊承擔(dān)生產(chǎn)，另一端 承載統(tǒng)計分析和查詢實施要點：網(wǎng)絡(luò)改造：需要打通兩個中心間大二 層網(wǎng)絡(luò)。底層存儲鏈路改造：需要認(rèn)到對端機 房存儲，帶寬要求高。提供可靠性較高的二層網(wǎng)絡(luò)（心跳網(wǎng)絡(luò)）提供可靠性較高的共享存儲（投票盤）對底層鏈路和距離要求高：距離太遠(yuǎn)會導(dǎo)致響應(yīng)變慢，官方建議50KM之內(nèi)。流派1、遠(yuǎn)程卷管理軟件案例： IBM GPFS+oracle流派2、存儲網(wǎng)關(guān)虛擬化實現(xiàn)

13、原理：將存儲虛擬化技術(shù)(EMC 的vplex)和Oracle的遠(yuǎn)程RAC技術(shù)結(jié) 合，實現(xiàn)跨中心的數(shù)據(jù)雙活訪問?？缰行牡膬蓚€存儲通過網(wǎng)關(guān)設(shè)備虛擬成一個對外訪問，內(nèi)部實時同步， 保持?jǐn)?shù)據(jù)的一致性，平時兩邊主機 分別訪問本地存儲，故障情況下可 跨中心訪問對方存儲。對于同一個數(shù)據(jù)塊的讀寫沖突機制，是由OracleRAC來保證的。具備腦裂預(yù)防服務(wù)器“witness”：witness是VPLEX的仲裁裝置；流派2、存儲網(wǎng)關(guān)虛擬化實現(xiàn)原理：將存儲虛擬化技術(shù)(EMC 流派3、基于存儲自身卷鏡像不需要額外軟硬件，需要采用特定 高端存儲設(shè)備，如VSP、XP7以上 才可以。存儲網(wǎng)絡(luò)架構(gòu)沒有改變，易于實行。兩邊存儲可

14、以同時讀寫。上層需要結(jié)合Oracle遠(yuǎn)程RAC實現(xiàn) 雙活流派3、基于存儲自身卷鏡像不需要額外軟硬件，需要采用特定 高存儲層雙活技術(shù)對比技術(shù)特征技術(shù)特征數(shù)據(jù)一致性雙活讀寫可靠性異構(gòu)性投資成本優(yōu)缺點基亍遠(yuǎn)程卷管理（軟件虛擬化）Symantec SF AIX LVMIBM GPFSOracle ASMRPO=0支持較差支持異構(gòu)成本較低基亍存儲網(wǎng)關(guān)虛擬 化EMC Vplex IBM SVC華為 VIS飛康 NSSRPO=0支持較差支持異構(gòu)較高組網(wǎng)復(fù)雜，可靠性 差，數(shù)據(jù)同步性能 差基于存儲卷鏡像（存儲自身虛擬化HDS GADHuawei OceanStor V3RPO=0支持較好 RTO=0不支持較低組

15、網(wǎng)簡單，維護方 便，但技術(shù)較新， 實用經(jīng)驗少基亍存儲HA機制IBM powerHAHyperSwap、 日立的HAMRPO=0支持較差丌支持投資較高采用高端存儲虛擬 化軟件，有一端遠(yuǎn) 程讀寫效率低整體看紅色為最優(yōu)方案，但要根據(jù)實際情況選擇，上述方案均需要Extend RAC支持。存儲層雙活技術(shù)對比技術(shù)特征技術(shù)特征數(shù)據(jù)一致性雙活讀寫可靠性異數(shù)據(jù)層存儲層接入/應(yīng)用層虛擬化/云平臺技術(shù)關(guān)鍵點數(shù)據(jù)層應(yīng)用層雙活要點雙活需要從接入、應(yīng)用層、數(shù)據(jù)連 接等層面考慮實現(xiàn)，才能實現(xiàn)“零” 切換。應(yīng)用支持：建議構(gòu)建統(tǒng)一管理的接口層或采用服務(wù)總線技術(shù)實現(xiàn)應(yīng)用自動重連機制，確保自動 切換，減少人工切換。支持?jǐn)?shù)據(jù) 庫切換

16、后應(yīng)用的正常運行雙中心部署相同的應(yīng)用集群方式，或跨中心的集群應(yīng)用層雙活要點雙活需要從接入、應(yīng)用層、數(shù)據(jù)連 接等層面考慮實接入層技術(shù)采用全局負(fù)載均衡（如F5的GTM）、DNS、或前置CDN等技術(shù)實現(xiàn)跨中 心靈活接入。1、業(yè)務(wù)多中心并行模式：通過一組GSLB來對外提供服務(wù)，GSLB監(jiān)控 服務(wù)的狀態(tài)，并通知組內(nèi)其他設(shè)備， 對于每一個DNS請求返回最佳結(jié)果， 好的策略選擇和配置方式可以最大 幅度提高客戶體驗。2、業(yè)務(wù)多中心互備模式：對于內(nèi)網(wǎng) 業(yè)務(wù)通過一組SLB來提供服務(wù)，實 現(xiàn)DNS解析，負(fù)載分發(fā)和故障切換。應(yīng)用雙活：當(dāng)單數(shù)據(jù)中心出現(xiàn)故障時，可以將請求引導(dǎo)向另一 個可用的數(shù)據(jù)中心，實現(xiàn)雙活高可用。智能

17、流量控制：GSLB根據(jù)后端服務(wù)器負(fù)載和鏈路狀況實現(xiàn)不同站點間流量調(diào)配，鏈路優(yōu)選，保證用戶訪問最佳性能服務(wù)器，確保訪問質(zhì)量，提升用戶感知。接入層技術(shù)采用全局負(fù)載均衡（如F5的GTM）、2、業(yè)務(wù)多中心數(shù)據(jù)層存儲層接入/應(yīng)用層虛擬化/云平臺技術(shù)關(guān)鍵點數(shù)據(jù)層云架構(gòu)下的雙活云化后的變化：虛擬化技術(shù)應(yīng)用實現(xiàn)集群化和x86化帶來問題：難以沿用原有的雙 活設(shè)計方式，需要新考慮考慮集群化的業(yè)務(wù)連續(xù)性雙活方案。云化雙活分類方案描述場景舉例傳統(tǒng)基亍負(fù)載均 衡的雙活架構(gòu)每個中心部署獨立的于化應(yīng)用集群， 通過接入層負(fù)載均衡實現(xiàn)雙活Web集群等基亍分布式應(yīng)用協(xié)調(diào)機制構(gòu)建一套跨中心應(yīng)用集群，通過分布 式應(yīng)用協(xié)調(diào)如zooke

18、eper實現(xiàn)跨中心 的高可靠性集群，統(tǒng)一配置、統(tǒng)一管 理和任務(wù)分配。EBUS跨中心雙 活應(yīng)用集群、 分布式緩存等hadoop、mpp 等的雙活機制1、應(yīng)用寫兩份方式實現(xiàn)雙活2、跨中心集群方式大數(shù)據(jù)虛擬化平臺的跨 中心雙活（遷移）1、跨中心虛擬機集群，可平滑遷移2、每個中心一套集群，通過接入層構(gòu) 建負(fù)載均衡實現(xiàn)雙活于資源池云架構(gòu)下的雙活云化后的變化：云化雙活分類方案描述場景舉例傳統(tǒng)模式1、相互獨立的雙集群在每個中心部署獨立的云化應(yīng) 用集群1、如Web類應(yīng)用可通過接入層和負(fù)載均衡實現(xiàn)雙活訪問，2、如hadoop或MPP集群應(yīng)用可 通過上層應(yīng)用實現(xiàn)雙集群數(shù)據(jù) 同步，從而實現(xiàn)雙活。APP1APPnAP

19、P1APPn接入層負(fù)載均衡器接入層負(fù)載均衡器APP2數(shù)據(jù)中心1APP2數(shù)據(jù)中心2Node1NodenNode1Node2Noden應(yīng)用Node2數(shù)據(jù)中心1集群數(shù)據(jù)中心2集群前端同時向兩個集群寫模式1、相互獨立的雙集群在每個中心部署獨立的云化應(yīng) 用集群A模式2、跨中心單集群模式第一種是基于分布式應(yīng)用協(xié)調(diào)機制：構(gòu) 建一套跨中心應(yīng)用集群，通過分布式應(yīng) 用協(xié)調(diào)如Zookeeper實現(xiàn)跨中心的高可靠 性集群，實現(xiàn)統(tǒng)一配置、統(tǒng)一管理和任 務(wù)分配。第二種是基于數(shù)據(jù)副本保護機制：如詳 單云和大數(shù)據(jù)的hadoop集群、大數(shù)據(jù)的 MPP集群等，通過進行合理規(guī)劃設(shè)計， 確保任一中心節(jié)點都是完整的數(shù)據(jù)副本， 由集群自

20、動維護兩個中心的數(shù)據(jù)副本同 步機制來實現(xiàn)雙活?？蛻?端任務(wù)分配器MASTER 1業(yè)務(wù)處理服務(wù) 器 1業(yè)務(wù)處理服務(wù) 器 2業(yè)務(wù)處理服務(wù) 器n發(fā)送業(yè)務(wù)處理請求負(fù)載均衡健康檢查返回可處理請求的節(jié)點業(yè)務(wù) 數(shù)據(jù) 交互任務(wù)分配器SLAVE n任務(wù)分配器SLAVEZookeeper集群應(yīng)用服務(wù)器集群數(shù)據(jù)數(shù)據(jù)機房1機房2應(yīng)用1、通過設(shè)計集群副本，實現(xiàn)兩個中心節(jié)點互為副本2、前端應(yīng)用向單一跨數(shù)據(jù)中心集群寫Node1Node2數(shù)據(jù)中心1節(jié)點NodenNode1Node2數(shù)據(jù)中心2節(jié)點Noden模式2、跨中心單集群模式第一種是基于分布式應(yīng)用協(xié)調(diào)機制：構(gòu) 虛擬化云平臺雙活基于存儲陣列雙活和VMware 跨站點集群功能

21、 實現(xiàn)虛擬化平臺數(shù)據(jù)中心容災(zāi)解決方案，在陣 列雙活技術(shù)支撐下，通過VMware Cluster 的HA 高可用功能實現(xiàn)故障業(yè)務(wù)切換保護，從而達到 保證業(yè)務(wù)連續(xù)性的要求。網(wǎng)絡(luò)站點間二層互聯(lián)，采用波分傳輸，存儲實現(xiàn)雙 活為上層提供共享存儲；將兩個數(shù)據(jù)中心服務(wù)器配置為一個集群，通過HA和DRS實現(xiàn)高可用和資源動態(tài)智能分配；服務(wù)器之間建議通過萬兆以太網(wǎng)提供心跳服務(wù)與 vMotion遷移流量，集群內(nèi)的所有服務(wù)器需符合集群 的兼容性規(guī)則。應(yīng)用層：由四臺服務(wù)器構(gòu)建VMware ESXi Cluster。虛擬化云平臺雙活基于存儲陣列雙活和VMware 跨站點集群功數(shù)據(jù)層存儲層接入/應(yīng)用層虛擬化/云平臺技術(shù)關(guān)鍵

22、點數(shù)據(jù)層1、跨中心大二層網(wǎng)絡(luò)方案1： EVN/OTV/EVI 技術(shù)以EVN為例，每個中心部署互聯(lián)匯聚 交換機，網(wǎng)關(guān)交換機通過鏈路聚合接入該 互聯(lián)匯聚交換機，互聯(lián)匯聚交換機通過鏈 路聚合接入波分設(shè)備，互聯(lián)匯聚交換機運 行EVN PE，EVN PE間形成EVN二層通道。 數(shù)據(jù)中心間三層互通，二層域完全隔離ARP廣播、未知單播限制在本數(shù)據(jù)中心。Mac IN IP1、跨中心大二層網(wǎng)絡(luò)方案1： EVN/OTV/EVI 技術(shù)1、跨中心大二層網(wǎng)絡(luò)方案2：采用二層光纖直連技 術(shù)打通。每個中心部署互聯(lián)匯聚交換機， 中心內(nèi)的匯聚（網(wǎng)關(guān)）交換機通過 鏈路聚合接入該互聯(lián)匯聚交換機， 互聯(lián)匯聚交換機通過鏈路聚合接入 波

23、分設(shè)備，鏈路聚合保證整網(wǎng)無二 層環(huán)路。同時在匯聚互聯(lián)交換機配 置二層風(fēng)暴抑制1、跨中心大二層網(wǎng)絡(luò)方案2：采用二層光纖直連技 術(shù)打通。1、跨中心大二層網(wǎng)絡(luò)方案3：采用基亍MPLS網(wǎng)絡(luò)的VPLS虧聯(lián)。每個中心的核心交換機與專用 的MPLS域?qū)Ｓ镁W(wǎng)絡(luò)直連，通過MPLS專屬網(wǎng)絡(luò)的本地PE設(shè)備與對端中心的機房PE設(shè)備之間建立VPN， 將各個PE設(shè)備所互連的二層網(wǎng)絡(luò)通 過MPLS VPN方式建立二層互通。1、跨中心大二層網(wǎng)絡(luò)方案3：采用基亍MPLS網(wǎng)絡(luò)的1、跨中心大二層網(wǎng)絡(luò)方案4：基亍Overlay網(wǎng)絡(luò)的大二層虧 聯(lián)。以Vxlan實現(xiàn)方式為例，每個中心通過單獨 的ED設(shè)備與Underlay網(wǎng)絡(luò)連接，在每個

24、中心內(nèi) 部業(yè)務(wù)數(shù)據(jù)通過VXLAN進行業(yè)務(wù)交換，涉及到 跨中心業(yè)務(wù)互訪時，將通過與ED設(shè)備直連的Leaf設(shè)備剝離VXLAN標(biāo)簽轉(zhuǎn)換為VLAN業(yè)務(wù)后， 由ED設(shè)備再次進行VXLAN封裝，從而通過大二 層透傳到對端中心的ED設(shè)備剝離VXLAN標(biāo)簽， 由對端中心的Leaf設(shè)備重新封裝VXLAN標(biāo)簽。1、跨中心大二層網(wǎng)絡(luò)方案4：基亍Overlay網(wǎng)絡(luò)的大二層虧1、跨中心大二層網(wǎng)絡(luò)技術(shù)種類組網(wǎng)方式優(yōu)勢劣勢適用模式基于MPLS網(wǎng)絡(luò)的二層互聯(lián)VPLS1、標(biāo)準(zhǔn)化程度高，兼容性強，能 夠兼容大部分的MPLS網(wǎng)絡(luò)2、CE實現(xiàn)雙歸屬，HA性能高， 保證數(shù)據(jù)中心間互聯(lián)的高可靠性3、價格優(yōu)勢技術(shù)比較復(fù)雜，部署及運維管理難

25、度較大適用于跨地域多中心互聯(lián)光纖直連VPLS Over GRE與基于MPLS網(wǎng)絡(luò)的VPLS優(yōu)勢相 同1、技術(shù)比較復(fù)雜，部署及運維管 理 難 度 較 大 2 、需要部署QoS來保證帶寬，時 延難以保證數(shù)據(jù)中心間只有IP互 聯(lián)網(wǎng)絡(luò)時大二層互連OTV/EVN/EVN1、網(wǎng)絡(luò)改動較小2、配置簡單1、各廠商私有協(xié)議，在涉及多品 牌網(wǎng)絡(luò)環(huán)境中難以實現(xiàn)對接適用于多地域的中 心互連基于Overlay網(wǎng) 絡(luò)的二層互聯(lián)VXLAN1、支持Overlay網(wǎng)絡(luò)，可以跨裸光 纖、MPLS或IP網(wǎng)絡(luò)實現(xiàn)二層互聯(lián)2、配置簡單3、提高系統(tǒng)的HA性能1、各廠商的私有協(xié)議，需要數(shù)據(jù) 中心間采用同品牌設(shè)備2、案例較少適用于跨地域多中

26、 心互聯(lián)1、跨中心大二層網(wǎng)絡(luò)技術(shù)種類組網(wǎng)方式優(yōu)勢劣勢適用模式1、標(biāo)準(zhǔn)2、 關(guān)于GoldenGateOracle GoldenGate 性能瓶頸在數(shù)據(jù)同步環(huán)節(jié)，即在復(fù)制進程Replicat入庫速 度，因為在容災(zāi)端恢復(fù)數(shù)據(jù)過程是執(zhí)行邏輯SQL，比較消耗資源：抽取進程（Extract） ：該進程主要瓶頸在亍LCR(logical change record)轉(zhuǎn)換為UDF環(huán)節(jié)，主要優(yōu)化建議：拆分Extract進程，建議同一個schema下表盡量在一個進程組中優(yōu)化進程參數(shù)如eofdelay、flushsecs等I/O部分建議增加日志讀取間隔3s，增加內(nèi)存刷新時間3s投遞進程（Pump）：帶寬優(yōu)化和IO優(yōu)

27、化：復(fù)制的表最好有主鍵或唯一索引，減少生產(chǎn)日志量數(shù)據(jù)傳輸過程啟用數(shù)據(jù)壓縮特性，減少帶寬需求量適當(dāng)增大TCP緩存增加隊列讀取間隔為3s，內(nèi)存刷新時間為5s復(fù)制/應(yīng)用進程（Replicat）：該環(huán)節(jié)出現(xiàn)性能問題較多，需要重點優(yōu)化：合并小交易減少事物數(shù)量，減少寫checkpoint file/table次數(shù)大交易拆分（maxtransops參數(shù)），提高寫入速度基亍表或Range等拆分replicat進程OGG同步不同日志量 延遲情況分析160140120100 80604020016G20G30G40G50G延遲情況（分種)2、 關(guān)于GoldenGateOracle GoldenGa3、 關(guān)于ADG

28、日志產(chǎn)生量（采集于2015年4月初）日均產(chǎn)生歸檔量 1,300 GB,其中節(jié)點600 GB,2節(jié)點 700 GB1天日志的峰值為 1705 GB,節(jié)點峰值 811 GB,2節(jié)點峰值 911 GB單個小時日志峰值為 183 GB,1節(jié)點峰 值 90 GB,2節(jié)點峰值 96 GB網(wǎng)絡(luò)流量采用千兆網(wǎng)，傳輸日志平均占用帶寬 為 16.24 MB/s，單個小時內(nèi)峰值為52 MB/s應(yīng)用時延（Transport Lag + Apply Lag）異步方式傳送日志，平均延時 0.65 秒，正常業(yè)務(wù)處理期間時延小于10 秒生產(chǎn)庫中產(chǎn)生大量I/O的維護操作，比如添 加數(shù)據(jù)文件，會導(dǎo)致目標(biāo)庫應(yīng)用時延相應(yīng) 增加，可通

29、過調(diào)整維護作業(yè)時間窗口加以 避免。服務(wù)器型號CPU內(nèi)存Primary ServerIBM P780 240 2280G 2Standby ServerIBM P780 124120G數(shù)據(jù)庫數(shù)據(jù)總量：11,545 GB數(shù)據(jù)庫存儲總量：14,142 GBADG方式：Maximum PerformanceADG日志同步延時分析100 0183G200G300G400G延時情況（分鐘)3、 關(guān)于ADG日志產(chǎn)生量（采集于2015年4月初）服務(wù)器型3、 Extend RAC關(guān)鍵參數(shù)參數(shù)名稱建議值說明GPFSCluster 關(guān)鍵參數(shù)GPFS集群性 能參數(shù)mmchconfig pagepool204Mmmch

30、config prefetchThreads128mmchconfig maxMBpS8192mmchconfig worker1Threads475心跳參數(shù)mmchconfig minquorumnodes2leaseRecoveryWait15Default 35sTotalPingTimeout20sDefault 120s網(wǎng)絡(luò)故障系 統(tǒng)恢復(fù)關(guān)鍵 參數(shù)mmchconfig failureDetectionTime20mmchconfig leaseRecoveryWait15mmchconfig totalPingTimeout20mmchconfig leaseDuration15I/

31、O性能mmchconfig readReplicaPolicylocal本地優(yōu)先讀Oracle RAC 和ASM參數(shù)RAC仲裁站點距離10km ，網(wǎng)絡(luò)傳輸用DWDMDisk timeout （Disk Heartbeat IOT）250s默認(rèn)120sMisscount（Network Heartbeat）200s默認(rèn) 30sASM參數(shù)asm_preferred_read_failure_groupdg1.fg1,dg2.fg2. .ASM本地優(yōu)先讀_asm_hbeatiowait120sASM磁盤心跳超時 時間注意：關(guān)于RAC仲裁和GPFS仲裁， 保證RAC的磁盤仲裁要晚 于GPFS的仲裁，使得在網(wǎng) 絡(luò)故障情況下GPFS提前RAC做出判定。ORACL