NetApp MCC解決方案 NetAppNetApp MCC解決方案 NetApp

TableofContents1 用戶(hù)需求分析 41.1 背景概述 41.2 客戶(hù)需求 42 方案設(shè)計(jì)原則 53 本項(xiàng)目實(shí)施的重點(diǎn) 74 NETAPP存儲(chǔ)系統(tǒng)特點(diǎn) 85 整體架構(gòu)設(shè)計(jì) 96 NetAppMCC方案描述 106.1 NetApp雙活數(shù)據(jù)中心設(shè)計(jì)方案 106.2 第一階段，建立雙活數(shù)據(jù)中心 116.2.1 數(shù)據(jù)中心雙活架構(gòu)可行性分析 116.2.2 風(fēng)險(xiǎn)和影響分析 156.2.3 雙活建設(shè)方案 166.3 第二階段規(guī)劃，完善異地容災(zāi)，實(shí)現(xiàn)完整的“兩地三中心”架構(gòu) 186.3.1 容災(zāi)驗(yàn)證和演練 196.4 第三階段，利用存儲(chǔ)集成數(shù)據(jù)保護(hù)機(jī)制完善數(shù)據(jù)保護(hù)機(jī)制 206.4.1 邏輯故障防范–秒級(jí)備份和恢復(fù) 216.4.2 D2D備份設(shè)計(jì)規(guī)劃 227 MCC方案布線(xiàn)連接示意圖 248 NetApp的雙活數(shù)據(jù)中心架構(gòu)技術(shù)優(yōu)勢(shì) 248.1 NetApp雙活數(shù)據(jù)中心架構(gòu)在中國(guó)金融行業(yè)的部分成功案例 268.2 同城容災(zāi)系統(tǒng)與雙活數(shù)據(jù)中心架構(gòu)的比較 318.3 雙活數(shù)據(jù)中心架構(gòu)的優(yōu)勢(shì)和設(shè)計(jì)思路 328.4 主備數(shù)據(jù)中心升級(jí)為雙活數(shù)據(jù)中心 338.5 雙活數(shù)據(jù)中心架構(gòu)實(shí)現(xiàn)方式比較 349 存儲(chǔ)虛擬化平臺(tái)技術(shù)方案 359.1 雙活存儲(chǔ)虛擬化平臺(tái)設(shè)計(jì)方案 359.2 雙活存儲(chǔ)虛擬化平臺(tái)故障切換場(chǎng)景 379.2.1 NetApp存儲(chǔ)雙活站點(diǎn)故障切換場(chǎng)景1 379.2.2 NetApp存儲(chǔ)雙活站點(diǎn)故障切換場(chǎng)景2 389.2.3 NetApp存儲(chǔ)雙活站點(diǎn)故障切換場(chǎng)景3 399.2.4 NetApp存儲(chǔ)雙活站點(diǎn)故障切換場(chǎng)景4 409.2.5 仲裁站點(diǎn)設(shè)計(jì)方案及實(shí)現(xiàn)方式、功能說(shuō)明 409.2.6 雙活數(shù)據(jù)中心的擴(kuò)容升級(jí) 4110 NetApp一體化平臺(tái)面向私有云架構(gòu)的優(yōu)化管理 4211 MCC架構(gòu)與VMware虛擬化平臺(tái)的結(jié)合 4411.1 NetApp一體化平臺(tái)與服務(wù)器虛擬化的整合 4411.2 虛擬化環(huán)境中的性能提速技術(shù) 4511.3 虛擬化環(huán)境中的數(shù)據(jù)保護(hù)和災(zāi)備 4711.4 NetAppFAS和VMware的深度集成 4811.5 VSC存儲(chǔ)管理插件 4911.6 NFSPlug-in插件 4911.7 SRA插件 5011.8 VAAI插件 5011.9 VASA插件 5011.10 內(nèi)置消重功能，降本增效 5011.11 vSphereHA實(shí)現(xiàn)的VM自動(dòng)切換 5211.12 vSphereDRS組雙活架構(gòu)設(shè)計(jì)原則 5211.13 VMwarevSphereHAforNetAppMetroCluster 5311.14 VM失效場(chǎng)景 5411.15 ESXihost失效 5411.16 ESXihost失聯(lián) 5611.17 磁盤(pán)擴(kuò)展柜整盤(pán)柜故障 5711.18 控制器節(jié)點(diǎn)故障 5811.19 站點(diǎn)間心跳網(wǎng)絡(luò)失聯(lián) 5811.20 站點(diǎn)完全失效 6112 MCC架構(gòu)與OracleRAC結(jié)構(gòu)的結(jié)合 6112.1 架構(gòu)對(duì)Oracle故障及災(zāi)難場(chǎng)景應(yīng)對(duì) 6112.2 Oraclenode單節(jié)點(diǎn)故障 6212.3 OraclehostHBA失效 6312.4 aggregate單個(gè)磁盤(pán)失效 6312.5 diskshelf磁盤(pán)柜失效 6412.6 MetroClustercluster控制器故障 6412.7 MetroClustercluster后臺(tái)FC交換機(jī)故障 6512.8 ISL心跳級(jí)聯(lián)線(xiàn)故障 6512.9 siteAtositeB主動(dòng)站點(diǎn)級(jí)切換 6612.10 siteAtositeB被動(dòng)站點(diǎn)級(jí)切換 6613 NetApp一體化存儲(chǔ)平臺(tái)在石油行業(yè)的廣泛應(yīng)用 6714 NetAppNAS系統(tǒng)在石油行業(yè)勘探開(kāi)發(fā)領(lǐng)域的優(yōu)勢(shì) 6715 NetApp一體化平臺(tái)在國(guó)內(nèi)勘探開(kāi)發(fā)領(lǐng)域應(yīng)用案列 6916 NetApp存儲(chǔ)資源池的劃分方案 7016.1 NetApp存儲(chǔ)目標(biāo)架構(gòu) 7016.2 存儲(chǔ)架構(gòu)的分層設(shè)計(jì) 7216.2.1 與前端高端存儲(chǔ)的接口設(shè)計(jì) 7216.2.2 存儲(chǔ)交換網(wǎng)絡(luò)設(shè)計(jì) 7217 存儲(chǔ)資源池的數(shù)據(jù)安全與隔離方案 7617.1 數(shù)據(jù)安全設(shè)計(jì) 7617.1.1 RAIDDP 7617.1.2 本地Snapshot 7717.2 數(shù)據(jù)隔離設(shè)計(jì) 7717.2.1 應(yīng)用數(shù)據(jù)的邏輯隔離 7717.2.2 網(wǎng)絡(luò)隔離 7817.2.3 存儲(chǔ)數(shù)據(jù)卷隔離 7818 存儲(chǔ)資源池的監(jiān)控與管理 7918.1 NetAppOnCommand監(jiān)控工具 7918.2 存儲(chǔ)產(chǎn)品監(jiān)控方法 8118.2.1 容量管理 8118.2.2 性能管理 8118.2.3 狀態(tài)管理 8218.3 存儲(chǔ)資源池內(nèi)部和跨存儲(chǔ)資源池的數(shù)據(jù)遷移方案 8318.3.1 資源池內(nèi)部數(shù)據(jù)遷移設(shè)計(jì) 8318.3.2 跨資源池的數(shù)據(jù)遷移設(shè)計(jì) 8318.4 資源調(diào)度和調(diào)整自動(dòng)化方案 8418.4.1 存儲(chǔ)資源調(diào)度功能設(shè)計(jì) 8418.4.2 存儲(chǔ)資源池管理流程 8518.4.3 存儲(chǔ)自動(dòng)化腳本編寫(xiě) 8718.5 存儲(chǔ)配置標(biāo)準(zhǔn)化設(shè)計(jì) 88用戶(hù)需求分析背景概述華北油田是中國(guó)石油天然氣股份有限公司華北油田分公司的簡(jiǎn)稱(chēng)，主要從事石油天然氣勘探和生產(chǎn)、石油天然氣儲(chǔ)運(yùn)、石油天然氣勘探開(kāi)發(fā)工藝研究及規(guī)劃研究等石油勘探開(kāi)發(fā)核心業(yè)務(wù)。目前華北油田勘探開(kāi)發(fā)研究院平穩(wěn)運(yùn)行兩部分私有云平臺(tái)，分別為企業(yè)IT信息化應(yīng)用平臺(tái)私有云和高性能計(jì)算地質(zhì)云，兩個(gè)云平臺(tái)彼此物理分離，獨(dú)立運(yùn)營(yíng)維護(hù)，分別滿(mǎn)足勘探開(kāi)發(fā)采集數(shù)據(jù)的存儲(chǔ)，高性能計(jì)算和企業(yè)門(mén)戶(hù)，管理平臺(tái)，數(shù)據(jù)庫(kù)及OA等業(yè)務(wù)系統(tǒng)?？蛻?hù)需求目前需要針對(duì)企業(yè)IT信息應(yīng)用平臺(tái)私有云進(jìn)行升級(jí)改造，建立滿(mǎn)足企業(yè)未來(lái)發(fā)展需要的IT基礎(chǔ)架構(gòu)平臺(tái)，建立IT基礎(chǔ)架構(gòu)資源池，提供滿(mǎn)足各種服務(wù)響應(yīng)級(jí)別要求的IT資源服務(wù)。企業(yè)私有云的存儲(chǔ)平臺(tái)作為整個(gè)IT基礎(chǔ)架構(gòu)的最底層基礎(chǔ)平臺(tái)，將決定整個(gè)IT基礎(chǔ)架構(gòu)私有云平臺(tái)的可靠性、可用性和資源使用效率。存儲(chǔ)平臺(tái)作為企業(yè)私有云共享基礎(chǔ)架構(gòu)平臺(tái)，需要滿(mǎn)足為前端各種類(lèi)型的應(yīng)用平臺(tái)提供數(shù)據(jù)共享存儲(chǔ)服務(wù)，存儲(chǔ)平臺(tái)的可靠性和可用性直接影響到私用云平臺(tái)的可靠性和可用性，目前最可靠的容錯(cuò)和容災(zāi)架構(gòu)就是能夠達(dá)到RPO=0，RTO≈0的數(shù)據(jù)中心雙活基礎(chǔ)架構(gòu)。建立數(shù)據(jù)中心雙活基礎(chǔ)架構(gòu)可實(shí)現(xiàn)業(yè)務(wù)連續(xù)性的量化指標(biāo)如下：情景解決方案業(yè)務(wù)系統(tǒng)運(yùn)行情況單一組件故障全冗余系統(tǒng)架構(gòu)零影響單一生產(chǎn)存儲(chǔ)故障雙活數(shù)據(jù)中心RPO=RTO=0，零影響數(shù)據(jù)中心癱瘓雙活數(shù)據(jù)中心RPO=RTO=0，零影響生產(chǎn)數(shù)據(jù)邏輯故障快照結(jié)合日志恢復(fù)RPO~0（恢復(fù)到出現(xiàn)故障前）RTO<30分鐘區(qū)域性災(zāi)難異地災(zāi)備系統(tǒng)RPO<5分鐘，RTO<60分鐘存儲(chǔ)平臺(tái)作為企業(yè)私有云共享基礎(chǔ)架構(gòu)平臺(tái)，前端各種類(lèi)型的應(yīng)用平臺(tái)所需的數(shù)據(jù)類(lèi)型和訪(fǎng)問(wèn)模式也不盡相同，既有需要滿(mǎn)足高并發(fā)、高IOPS的結(jié)構(gòu)化數(shù)據(jù)塊型應(yīng)用類(lèi)型，如Oracle數(shù)據(jù)庫(kù)，又有滿(mǎn)足高并發(fā)、共享訪(fǎng)問(wèn)、協(xié)同工作需求的NAS文件類(lèi)應(yīng)用需求，如大部分的非結(jié)構(gòu)化文件系統(tǒng)類(lèi)的數(shù)據(jù)訪(fǎng)問(wèn)需求。特別是面向VMware虛擬化平臺(tái)，由于VMware虛擬化平臺(tái)的特殊架構(gòu)，既有數(shù)據(jù)塊類(lèi)型的訪(fǎng)問(wèn)需求，又有大量的NAS文件系統(tǒng)類(lèi)型的訪(fǎng)問(wèn)需求，所以存儲(chǔ)平臺(tái)必需是采用一體化架構(gòu)的基礎(chǔ)平臺(tái)，可以提供各種類(lèi)型的最新一代高速訪(fǎng)問(wèn)接口，如16GbpsFC接口，10GbpsIP接口或FCoE接口，同時(shí)提供FCSAN、IPSAN、NAS等多種存儲(chǔ)連接能力，可以根據(jù)應(yīng)用平臺(tái)需求，按需提供各種服務(wù)響應(yīng)級(jí)別的存儲(chǔ)服務(wù)，最大化資源共享和資源復(fù)用能力，最大化IT基礎(chǔ)架構(gòu)的使用效率。同時(shí)雙活基礎(chǔ)架構(gòu)平臺(tái)也需要同時(shí)滿(mǎn)足一體化平臺(tái)的雙活能力，既能夠提供SAN類(lèi)型數(shù)據(jù)的雙活，也同時(shí)能提供NAS類(lèi)型數(shù)據(jù)的雙活架構(gòu)。方案設(shè)計(jì)原則整體方案設(shè)計(jì)將遵循以下基本原則：先進(jìn)性：先進(jìn)的設(shè)計(jì)思想、網(wǎng)絡(luò)結(jié)構(gòu)、開(kāi)發(fā)工具，市場(chǎng)覆蓋率高、標(biāo)準(zhǔn)化和技術(shù)成熟的軟硬件產(chǎn)品。靈活性：由于存儲(chǔ)系統(tǒng)的數(shù)據(jù)量非常大，如何與VMware虛擬化結(jié)合，管理大量的數(shù)據(jù)，包括數(shù)據(jù)備份/恢復(fù)，都對(duì)存儲(chǔ)系統(tǒng)的管理提出了巨大的挑戰(zhàn)。系統(tǒng)管理人員需要有高效的方法實(shí)現(xiàn)全面的存儲(chǔ)系統(tǒng)監(jiān)控，包括實(shí)時(shí)數(shù)據(jù)性能監(jiān)視、錯(cuò)誤監(jiān)測(cè)、錯(cuò)誤狀態(tài)識(shí)別等等。另外作為集中的存儲(chǔ)平臺(tái)，由于前端需要連接的服務(wù)器數(shù)量很多，如何在多個(gè)服務(wù)器平臺(tái)之間對(duì)容量進(jìn)行靈活的劃分和調(diào)度也將為存儲(chǔ)系統(tǒng)的管理提出了巨大的挑戰(zhàn)。采用積木式模塊組合和結(jié)構(gòu)化設(shè)計(jì)，系統(tǒng)配置靈活，滿(mǎn)足用戶(hù)逐步到位的建設(shè)原則，使存儲(chǔ)及網(wǎng)絡(luò)具有強(qiáng)大的可增長(zhǎng)性和強(qiáng)壯性。可靠性：本次存儲(chǔ)系統(tǒng)數(shù)據(jù)的集中管理，屬于關(guān)鍵業(yè)務(wù)，對(duì)系統(tǒng)的高可靠性有著很高的要求。由于采用了集中存儲(chǔ)方案，存儲(chǔ)平臺(tái)的任何故障均會(huì)造成巨大的影響。因此存儲(chǔ)平臺(tái)的數(shù)據(jù)安全性和系統(tǒng)高可靠性尤為重要，我們?cè)O(shè)計(jì)的整體系統(tǒng)軟、硬件設(shè)備具有高可靠性，具備長(zhǎng)期穩(wěn)定工作的能力，可實(shí)現(xiàn)系統(tǒng)冗余功能，并具有防止誤操作等行為對(duì)系統(tǒng)造成的破壞。實(shí)用性：方案設(shè)計(jì)符合國(guó)際相關(guān)標(biāo)準(zhǔn)和技術(shù)規(guī)范，并且容易使用、操作簡(jiǎn)便。充分考慮利用各種資源，人機(jī)界面友好，能使用戶(hù)最方便地實(shí)現(xiàn)各種功能。高性能：存儲(chǔ)系統(tǒng)要存儲(chǔ)大量的在線(xiàn)/離線(xiàn)數(shù)據(jù)信息,支持更多服務(wù)器的數(shù)據(jù)存儲(chǔ)要求。由于總的數(shù)據(jù)量較大,如何在大數(shù)據(jù)量情況下滿(mǎn)足多客戶(hù)機(jī)的并發(fā)訪(fǎng)問(wèn)，整個(gè)存儲(chǔ)系統(tǒng)的性能也是一個(gè)非常關(guān)鍵的要求。發(fā)展性：考慮到將來(lái)業(yè)務(wù)的增長(zhǎng)，數(shù)據(jù)量還會(huì)持續(xù)增加，客戶(hù)機(jī)的數(shù)量也會(huì)繼續(xù)增加，系統(tǒng)的性能還應(yīng)能很好的適應(yīng)未來(lái)的擴(kuò)展需要。存儲(chǔ)系統(tǒng)規(guī)劃設(shè)計(jì)滿(mǎn)足用戶(hù)發(fā)展在配置上的預(yù)留，滿(mǎn)足因技術(shù)發(fā)展需要而實(shí)現(xiàn)低成本擴(kuò)展和升級(jí)的需求。擴(kuò)展性：作為集中存儲(chǔ)的基本要求，存儲(chǔ)系統(tǒng)應(yīng)能支持巨大的存儲(chǔ)容量，可以集中存儲(chǔ)不同平臺(tái)的應(yīng)用數(shù)據(jù)。隨著時(shí)間的推移、技術(shù)的發(fā)展以及環(huán)境的變化，業(yè)務(wù)系統(tǒng)的數(shù)據(jù)量會(huì)飛速增長(zhǎng)，許多新業(yè)務(wù)系統(tǒng)會(huì)不斷產(chǎn)生，因此對(duì)存儲(chǔ)系統(tǒng)的可擴(kuò)展性有很高要求。這主要表現(xiàn)在對(duì)存儲(chǔ)系統(tǒng)容量的平滑擴(kuò)充以及對(duì)新的主機(jī)系統(tǒng)的平滑連接，以盡量減少對(duì)已有正常業(yè)務(wù)的影響。我們?cè)O(shè)計(jì)的系統(tǒng)具有開(kāi)放的、可擴(kuò)展的系統(tǒng)架構(gòu)，在中石油相關(guān)業(yè)務(wù)發(fā)生變化時(shí)，可以方便地進(jìn)行系統(tǒng)升級(jí)與擴(kuò)展。兼容性：同時(shí)連接不同的服務(wù)器平臺(tái)，以滿(mǎn)足數(shù)據(jù)集中存儲(chǔ)的需要系統(tǒng)建設(shè)具有良好的兼容性，充分考慮系統(tǒng)向下、向上的兼容，將系統(tǒng)建設(shè)和現(xiàn)有的系統(tǒng)資源以及未來(lái)的系統(tǒng)規(guī)劃充分結(jié)合。本項(xiàng)目實(shí)施的重點(diǎn)從云計(jì)算的定義出發(fā)，借鑒業(yè)內(nèi)的云計(jì)算項(xiàng)目的經(jīng)驗(yàn)，我們認(rèn)為，要成功設(shè)計(jì)并實(shí)施云存儲(chǔ)系統(tǒng)，必須考慮如下要點(diǎn)：存儲(chǔ)能夠靈活地?cái)U(kuò)展性。存儲(chǔ)平臺(tái)云化后應(yīng)該類(lèi)似于對(duì)虛擬服務(wù)器做的事情，需要能夠迅速且以最少的開(kāi)銷(xiāo)分配、增加、減少并重新分配存儲(chǔ)。而在中石油架構(gòu)中，由于NetApp存儲(chǔ)需要通過(guò)高端存儲(chǔ)網(wǎng)關(guān)向主機(jī)提供容量空間。存儲(chǔ)的擴(kuò)容、監(jiān)控、調(diào)整等帶來(lái)的天然的復(fù)雜性，如何處理存儲(chǔ)的日常調(diào)整是項(xiàng)目設(shè)計(jì)與實(shí)施中需要重點(diǎn)考慮的內(nèi)容。能夠自動(dòng)化存儲(chǔ)管理流程。進(jìn)行配置、備份和復(fù)制等常規(guī)操作的自動(dòng)化程度越高，環(huán)境的可擴(kuò)展性就越強(qiáng)。能夠測(cè)量和匯報(bào)使用情況。為了實(shí)施云服務(wù)，必須將資源理解為滿(mǎn)足各部門(mén)和各業(yè)務(wù)系統(tǒng)服務(wù)需求的一個(gè)要素，能夠匯報(bào)該要素實(shí)際的使用情況，并且現(xiàn)在或?qū)?lái)能夠按照資源的使用情況進(jìn)行審計(jì)。能夠自由移動(dòng)數(shù)據(jù)。如果數(shù)據(jù)束縛在缺乏靈活性的存儲(chǔ)里，有效性和可用性將變差。能夠在確保資源足夠安全的時(shí)候建立多租戶(hù)，達(dá)到安全隔離要求。允許多個(gè)業(yè)務(wù)單元或獨(dú)立應(yīng)用系統(tǒng)分享同一存儲(chǔ)硬件是有效云存儲(chǔ)的一個(gè)必要條件。能夠提升存儲(chǔ)效率。第一步是提高利用率，除此之外，削減開(kāi)銷(xiāo)、自動(dòng)精簡(jiǎn)配置和消除冗余都有助于提高效率。能夠有效保護(hù)業(yè)務(wù)數(shù)據(jù)。成功實(shí)現(xiàn)云的一個(gè)關(guān)鍵是集成所有的流程，讓它們變得簡(jiǎn)單、可重復(fù)和有效。具有合適的策略級(jí)別、覆蓋所提供的每項(xiàng)服務(wù)的一致數(shù)據(jù)保護(hù)和災(zāi)難恢復(fù)流程是基本的。存儲(chǔ)環(huán)境支持存儲(chǔ)虛擬化。存儲(chǔ)虛擬化將是云架構(gòu)的一個(gè)關(guān)鍵組成部分，需要存儲(chǔ)與現(xiàn)在正在使用和將來(lái)很可能采用的任何虛擬化解決方案緊密集成在一起。NETAPP存儲(chǔ)系統(tǒng)特點(diǎn)統(tǒng)一存儲(chǔ)平臺(tái)，一體化設(shè)備，同時(shí)支持FCSAN、IPSAN、NAS、FCoE，F(xiàn)CSAN和NAS在同一個(gè)管理界面下進(jìn)行管理，存儲(chǔ)空間管理方式完全相同，管理簡(jiǎn)便，可靠性高，易于維護(hù)。NetApp一體化存儲(chǔ)平臺(tái)集成存儲(chǔ)虛擬化和存儲(chǔ)雙活解決方案，無(wú)需任何外置的控制器，與VMware與OracleRAC架構(gòu)的緊密結(jié)合，提供應(yīng)用級(jí)雙活解決方案，全球有超過(guò)8000個(gè)雙活結(jié)構(gòu)案例，廣泛應(yīng)用于金融行業(yè)的核心業(yè)務(wù)系統(tǒng)及制造行業(yè)的ERP系統(tǒng)。NetApp存儲(chǔ)產(chǎn)品完全模塊化設(shè)計(jì)，產(chǎn)品包括從底端6塊磁盤(pán)到最高端4800塊磁盤(pán)，擴(kuò)容和升級(jí)簡(jiǎn)便，產(chǎn)品延續(xù)性好，管理方式也完全相同，具有良好的擴(kuò)展，易于保護(hù)投資。NetApp存儲(chǔ)產(chǎn)品全部采用RAID6磁盤(pán)容錯(cuò)技術(shù)，數(shù)據(jù)保護(hù)級(jí)別最高，容錯(cuò)能力最強(qiáng)，磁盤(pán)利用率遠(yuǎn)遠(yuǎn)高于RAID0+1，產(chǎn)品性?xún)r(jià)比好。NetApp存儲(chǔ)產(chǎn)品提供副本消除技術(shù)，節(jié)省存儲(chǔ)空間的耗費(fèi)，最大可以比同類(lèi)產(chǎn)品節(jié)省30-50%的存儲(chǔ)空間耗費(fèi)。NetApp存儲(chǔ)產(chǎn)品可以提供一整套完善的存儲(chǔ)集成數(shù)據(jù)備份和容災(zāi)解決方案，解決數(shù)據(jù)管理的所有問(wèn)題。NetApp存儲(chǔ)產(chǎn)品具有同類(lèi)產(chǎn)品的最優(yōu)性能，包括FCSAN性能和NAS性能，以及IPSAN性能。NetApp存儲(chǔ)產(chǎn)品同時(shí)支持SSD、SAS磁盤(pán)和SATA磁盤(pán)，可以達(dá)到性能、空間以及電力耗費(fèi)的最優(yōu)配比。配置復(fù)制備份軟件、應(yīng)用程序管理套件解決數(shù)據(jù)備份、應(yīng)用程序數(shù)據(jù)備份恢復(fù)。NetApp存儲(chǔ)產(chǎn)品結(jié)構(gòu)最簡(jiǎn)單，對(duì)于中石油項(xiàng)目涉及的控制器數(shù)目最少，需要的管理平臺(tái)也最少，對(duì)電力和空間的耗費(fèi)最小。容量擴(kuò)展簡(jiǎn)單命令、一秒鐘即時(shí)見(jiàn)效，獨(dú)到的Qtree概念方便空間的管理，同時(shí)真正實(shí)現(xiàn)“所買(mǎi)即所需”的升級(jí)模式，最大程度保護(hù)投資，不存在任何重復(fù)購(gòu)買(mǎi)現(xiàn)象。最優(yōu)的整體擁有成本（TCO）。集群架構(gòu)，徹底避免單點(diǎn)故障。數(shù)據(jù)大集中，有效利用存儲(chǔ)空間，磁盤(pán)利用率最高。存儲(chǔ)設(shè)備有業(yè)界領(lǐng)先的快速響應(yīng)時(shí)間（NetApp是業(yè)界第一個(gè)提供低于1ms響應(yīng)時(shí)間的存儲(chǔ)廠(chǎng)商）。專(zhuān)業(yè)DataONTAP操作系統(tǒng)，高度可靠，免于病毒侵襲感染。秒鐘級(jí)的備份和恢復(fù)，減少宕機(jī)時(shí)間，充分提高數(shù)據(jù)和系統(tǒng)的可用性。Unix和Windows可以實(shí)現(xiàn)真正文件級(jí)的數(shù)據(jù)共享，節(jié)約投資、簡(jiǎn)化管理；整體架構(gòu)設(shè)計(jì)本次項(xiàng)目配置2套NetAppFAS8060一體化存儲(chǔ)系統(tǒng)平臺(tái)構(gòu)成雙活體系架構(gòu)，NetAppFAS8060一體化雙活架構(gòu)，含4個(gè)控制器節(jié)點(diǎn)，每節(jié)點(diǎn)64GB緩存，合計(jì)256GB緩存，配置無(wú)容量限制存儲(chǔ)虛擬化許可FlexArray，支持連接第三方存儲(chǔ)設(shè)備，合計(jì)配置32個(gè)16GbpsFC端口，配置雙活架構(gòu)光纖連接設(shè)備，含4套Brocade6505交換機(jī)，4個(gè)ATTOSAS-FC橋接器，配置336塊1.2TB10krpmSAS磁盤(pán)NetAppMCC方案描述NetApp雙活數(shù)據(jù)中心設(shè)計(jì)方案統(tǒng)拓?fù)涫疽鈭D如下：第一階段，建立雙活數(shù)據(jù)中心前面已經(jīng)討論過(guò)，雙活數(shù)據(jù)中心是當(dāng)前成熟的部署方式，相對(duì)于傳統(tǒng)主備容災(zāi)，有很多優(yōu)點(diǎn)。但首先需要分析的是，雙活數(shù)據(jù)中心如何落地？數(shù)據(jù)中心雙活架構(gòu)可行性分析完整的雙活數(shù)據(jù)中心需要以下幾個(gè)層面的支持：雙活的存儲(chǔ)架構(gòu)。支持一個(gè)數(shù)據(jù)庫(kù)實(shí)例在兩個(gè)數(shù)據(jù)中心之間互為鏡像，任一損壞都不會(huì)影響應(yīng)用運(yùn)行?？鐢?shù)據(jù)中心的存儲(chǔ)網(wǎng)絡(luò)互連（ExtendedFabric），Oracle官方建議RAC之間的鏈路延遲低于1ms（Round-Trip）?？鐢?shù)據(jù)中心的主機(jī)高可用跨數(shù)據(jù)中心的應(yīng)用雙活跨數(shù)據(jù)中心的應(yīng)用網(wǎng)絡(luò)互連，要求延遲低于1ms（同樣是OracleRAC的要求）因此，首先需要確認(rèn)可以獲得低延遲的裸光纖鏈路，用于存儲(chǔ)的最低要求是4對(duì)裸光纖：用途連接設(shè)備光纖(對(duì))服務(wù)器到存儲(chǔ)原有SAN交換機(jī)互聯(lián)2雙活存儲(chǔ)互聯(lián)(心跳)MC內(nèi)部SAN交換機(jī)互聯(lián)4（建議）主機(jī)高可用方面，無(wú)論是IBMPowerHA、HPServiceGuard、MSCS、VCS等都支持長(zhǎng)距離的高可用集群。因此這個(gè)條件也是具備的。應(yīng)用方面，主要應(yīng)用是OracleRAC。OracleRAC在這種遠(yuǎn)距離距離的實(shí)施，早在2006年就有大量的安裝案例了。可參考Oracle白皮書(shū)《OracleRealApplicationClustersonExtendedDistanceClusters–UpdatedforOracleRAC10gRelease2》，發(fā)布日期是2006年10月。OracleRAC在NetAppMetroCluster上的應(yīng)用是非常成熟和可靠的，早在2008年，Oracle官網(wǎng)就介紹了RAC和NetAppMetroCluster的案例，見(jiàn)：/us/solutions/custstory-rac-gottwald-177716.pdf下圖描述了OracleRACExtendedCluster基于NetAppMetroCluster技術(shù)上的實(shí)現(xiàn)(兩地三中心)：值得指出的是，當(dāng)前其他應(yīng)用平臺(tái)都能夠支持雙活技術(shù)了，如DB2、vSphere等。VMware的白皮書(shū)“VMwarevSphereMetroStorageClusterCaseStudy”就以NetAppMetroCluster為例，闡述了VMware如何實(shí)現(xiàn)雙活數(shù)據(jù)中心。

綜上所述，現(xiàn)有生產(chǎn)環(huán)境升級(jí)到雙活數(shù)據(jù)中心完全是可行的。升級(jí)之后，同一個(gè)應(yīng)用可以同時(shí)跑在兩個(gè)數(shù)據(jù)中心，兩個(gè)數(shù)據(jù)中心對(duì)客戶(hù)端提供統(tǒng)一的接入接口?？梢赃@樣講，邏輯上的一個(gè)應(yīng)用，物理上分布到兩個(gè)數(shù)據(jù)中心，均衡負(fù)載，互為備份。發(fā)生任一單點(diǎn)故障，均不會(huì)影響應(yīng)用運(yùn)行。請(qǐng)參見(jiàn)下圖：風(fēng)險(xiǎn)和影響分析由于雙活數(shù)據(jù)中心的各個(gè)組成方面，或者是已經(jīng)具備條件，或者采用成熟解決方案，如果實(shí)施計(jì)劃周密，風(fēng)險(xiǎn)完全可控。兩個(gè)數(shù)據(jù)中心之間采用可采用運(yùn)營(yíng)商裸光纖，同時(shí)也可利用xWDM設(shè)備實(shí)現(xiàn)線(xiàn)路復(fù)用（南充商行將部署DWDM設(shè)備），滿(mǎn)足雙活的基本要求。如有將來(lái)有條件，可考慮增加不同的運(yùn)營(yíng)商或者物理路徑，從而實(shí)現(xiàn)鏈路的物理冗余。另外一個(gè)需要考慮的因素是長(zhǎng)距離OracleRAC的性能是否會(huì)降低。根據(jù)Oracle官方文檔的評(píng)估，在20KM距離下，OracleRAC在兩個(gè)數(shù)據(jù)中心上運(yùn)行的性能，比所有設(shè)備在同一數(shù)據(jù)中心運(yùn)行的性能，性能低了不到5%：雙活建設(shè)方案存儲(chǔ)方案建議選擇NetAppFAS8060統(tǒng)一存儲(chǔ)設(shè)備作為核心應(yīng)用持續(xù)高可用存儲(chǔ)。核心應(yīng)用存儲(chǔ)由兩套FAS8060統(tǒng)一存儲(chǔ)構(gòu)成，兩套FAS8060之間通過(guò)同城DWDM光纖連接，采用光纖鏈路實(shí)現(xiàn)互相的心跳檢測(cè)及數(shù)據(jù)傳輸，存儲(chǔ)系統(tǒng)采用物理磁盤(pán)組成兩份物理鏡像通過(guò)SyncMirror軟件實(shí)現(xiàn)磁盤(pán)數(shù)據(jù)同步，利用MetroCluster技術(shù)實(shí)現(xiàn)存儲(chǔ)遠(yuǎn)程雙活集群。借助第三地的Tiebreaker仲裁節(jié)點(diǎn)，可以有效地防范雙活架構(gòu)中的“腦裂”（SplitBrain）現(xiàn)象，并實(shí)現(xiàn)自動(dòng)化的故障恢復(fù)。

NetAppFAS8060磁盤(pán)陣列作為是NetApp公司的最新一代的統(tǒng)一存儲(chǔ)架構(gòu)的磁盤(pán)陣列產(chǎn)品，能夠?yàn)橛脩?hù)提供高性能、大容量存儲(chǔ)系統(tǒng)。NetAppFAS8060不論從性能、可靠性和擴(kuò)展能力都可以滿(mǎn)足用戶(hù)對(duì)當(dāng)前和未來(lái)的數(shù)據(jù)存儲(chǔ)系統(tǒng)的要求。FAS8060是一款中高端的企業(yè)級(jí)存儲(chǔ)設(shè)備，SAN平臺(tái)下最大支持8個(gè)控制器、512GB一級(jí)緩存和32TB二級(jí)緩存，最大容量為4800塊磁盤(pán)、11.5PB，可以支持最多96個(gè)16Gb光纖通道口。云平臺(tái)數(shù)據(jù)庫(kù)類(lèi)型應(yīng)用數(shù)據(jù)基本上為結(jié)構(gòu)化數(shù)據(jù)，可以考慮采用高性能、低延遲的FCSAN網(wǎng)絡(luò)部署。每個(gè)數(shù)據(jù)數(shù)據(jù)中心需部署兩臺(tái)SAN交換機(jī)，形成冗余的存儲(chǔ)網(wǎng)絡(luò)。云平臺(tái)文件類(lèi)非結(jié)構(gòu)化數(shù)據(jù)，可以采用NAS方式進(jìn)行部署，網(wǎng)絡(luò)為IP網(wǎng)絡(luò)，同樣需要建立冗余的訪(fǎng)問(wèn)路徑。對(duì)于虛擬化平臺(tái)，可選擇部署在NAS的大文件系統(tǒng)上，通過(guò)NFS協(xié)議訪(fǎng)問(wèn)，非常有利于管理和擴(kuò)展，也可選擇FCSAN方式，利用其高性能、低時(shí)延的特點(diǎn)。總結(jié)起來(lái)，本階段雙活數(shù)據(jù)中心達(dá)到的目標(biāo)是：針對(duì)各類(lèi)物理故障可實(shí)現(xiàn)零數(shù)據(jù)丟失和零應(yīng)用影響。所需要具備的條件和設(shè)備如下：6對(duì)裸光纖鏈路（其中4對(duì)用于存儲(chǔ)互聯(lián)，2對(duì)用于主機(jī)端SAN網(wǎng)絡(luò)互聯(lián)）。對(duì)稱(chēng)部署的NetAppFAS8060雙活存儲(chǔ)NetAppTiebreaker軟件NetApp專(zhuān)業(yè)實(shí)施服務(wù)第二階段規(guī)劃，完善異地容災(zāi)，實(shí)現(xiàn)完整的“兩地三中心”架構(gòu)第一階段云平臺(tái)雙活數(shù)據(jù)中心完成后，可總結(jié)第一階段的經(jīng)驗(yàn)，并著手第二階段的規(guī)劃實(shí)施。在異地災(zāi)備中心，可以利用一臺(tái)NetAppFAS8000，虛擬化利舊的EMC存儲(chǔ)，與生產(chǎn)中心的FAS8060MetroCluster雙活存儲(chǔ)實(shí)現(xiàn)遠(yuǎn)程容災(zāi)復(fù)制。采用的復(fù)制技術(shù)是FAS8000內(nèi)置的SnapMirror遠(yuǎn)程容災(zāi)功能，可直接支持IP鏈路，支持鏈路壓縮。SnapMirror允許客戶(hù)選擇適當(dāng)?shù)耐郊?jí)別（同步、半同步和異步），從而實(shí)現(xiàn)了較高的災(zāi)難恢復(fù)保護(hù)級(jí)別。其中異步模式復(fù)制間隔最低為1分鐘。SnapMirror支持?jǐn)?shù)據(jù)的增量反向遠(yuǎn)程復(fù)制：在正常情況下，業(yè)務(wù)數(shù)據(jù)從主磁盤(pán)陣列復(fù)制到容災(zāi)磁盤(pán)陣列上。在主磁盤(pán)陣列發(fā)生故障無(wú)法正常運(yùn)行的時(shí)候，前端主機(jī)可以直接訪(fǎng)問(wèn)容災(zāi)磁盤(pán)陣列上的數(shù)據(jù)，當(dāng)主磁盤(pán)陣列恢復(fù)正常運(yùn)行的時(shí)候，這時(shí)可以利用SnapMirror增量反向遠(yuǎn)程復(fù)制功能以增量的方式把容災(zāi)磁盤(pán)陣列上那些變化的數(shù)據(jù)復(fù)制到主磁盤(pán)陣列上，大大縮短了系統(tǒng)恢復(fù)到原有狀態(tài)所需的時(shí)間，使得兩邊的數(shù)據(jù)再次保持一致，然后就可以恢復(fù)SnapMirror的正常數(shù)據(jù)復(fù)制。服務(wù)器方面，可利舊原有服務(wù)器，應(yīng)用級(jí)容災(zāi)。雙活系統(tǒng)所需的Tiebreaker，可部署在容災(zāi)中心。容災(zāi)驗(yàn)證和演練容災(zāi)數(shù)據(jù)的驗(yàn)證和測(cè)試，以及定期的容災(zāi)演練，是容災(zāi)系統(tǒng)建設(shè)不可缺少的部分。通過(guò)容災(zāi)數(shù)據(jù)的驗(yàn)證測(cè)試，以確保容災(zāi)中心的數(shù)據(jù)完整性和可用性；而定期的容災(zāi)演練，有利于讓維護(hù)人員熟悉容災(zāi)流程，完善應(yīng)急預(yù)案。使用NetApp獨(dú)有的精簡(jiǎn)克隆技術(shù)，可利用任一快照，秒級(jí)生成克隆，極低空間占用。利用這些克隆可方便地進(jìn)行容災(zāi)系統(tǒng)中必須定期完成的容災(zāi)演練、數(shù)據(jù)驗(yàn)證。請(qǐng)參見(jiàn)下圖：第三階段，利用存儲(chǔ)集成數(shù)據(jù)保護(hù)機(jī)制完善數(shù)據(jù)保護(hù)機(jī)制隨著數(shù)據(jù)量的增加，同時(shí)希望故障后對(duì)業(yè)務(wù)的影響降到最低，因此有必要建立多重?cái)?shù)據(jù)保護(hù)機(jī)制。前面提到，對(duì)于邏輯故障，現(xiàn)有解決方案是采用傳統(tǒng)備份軟件。但是在恢復(fù)速度上滿(mǎn)足不了新的要求。解決辦法是：使用雙活存儲(chǔ)設(shè)備自身的快照備份功能，實(shí)現(xiàn)秒級(jí)數(shù)據(jù)備份和恢復(fù)優(yōu)化原有備份方式，例如采用D2D2T的備份方案，備份和恢復(fù)速度上得到一定的提升，同時(shí)也可以保留離線(xiàn)歸檔備份。未來(lái)災(zāi)備存儲(chǔ)也需要建立快照歷史備份，有效應(yīng)對(duì)邏輯故障傳遞建設(shè)完成之后，可以達(dá)到的效果是：恢復(fù)最近的數(shù)據(jù)，可利用雙活存儲(chǔ)自身的快照備份，秒級(jí)數(shù)據(jù)恢復(fù)，分鐘級(jí)恢復(fù)應(yīng)用恢復(fù)較長(zhǎng)時(shí)間前的數(shù)據(jù)，從近線(xiàn)存儲(chǔ)（可考慮未來(lái)部署一套）恢復(fù)，可實(shí)現(xiàn)分鐘級(jí)的數(shù)據(jù)恢復(fù)邏輯故障防范–秒級(jí)備份和恢復(fù)NetAppFAS8000內(nèi)置快照功能，提供秒級(jí)備份和恢復(fù)功能，有效防范邏輯故障(海量文件、數(shù)據(jù)庫(kù)和虛擬機(jī)的最有效備份恢復(fù)方式)利用NetApp卓越的快照技術(shù)，對(duì)Oracle、DB2、SQLServer以及海量文件系統(tǒng)進(jìn)行數(shù)據(jù)一致性的秒級(jí)快照備份。備份窗口從原來(lái)的幾個(gè)小時(shí)縮短為1~2分鐘，僅僅為數(shù)據(jù)進(jìn)入熱備模式時(shí)間+1秒。對(duì)于同一個(gè)數(shù)據(jù)庫(kù)，NetApp支持多達(dá)255個(gè)時(shí)間點(diǎn)的歷史備份。如數(shù)據(jù)庫(kù)（Oracle、DB2、SQLServer）或文件系統(tǒng)發(fā)生邏輯數(shù)據(jù)錯(cuò)誤，可使用SnapRestore進(jìn)行快速的恢復(fù)。數(shù)據(jù)恢復(fù)時(shí)間為數(shù)秒，再加上日志重做的時(shí)間，應(yīng)用恢復(fù)可控制在十幾分鐘至數(shù)十分鐘內(nèi)，遠(yuǎn)低于其他方案的數(shù)個(gè)小時(shí)。虛擬化平臺(tái)（如VMware）下，因?yàn)閭浞荽翱谶^(guò)長(zhǎng),傳統(tǒng)的備份技術(shù)更加難以適應(yīng)。而NetApp的快照技術(shù)，不但可以通過(guò)秒級(jí)備份和恢復(fù)解決這一問(wèn)題，而且還可以實(shí)現(xiàn)與VMware在管理上的集成。即備份恢復(fù)數(shù)據(jù)，僅僅需要在vCenter內(nèi)部調(diào)用NetApp的功能即可，無(wú)需掌握備份軟件、無(wú)需掌握存儲(chǔ)管理技術(shù)，提升應(yīng)用在線(xiàn)能力的同時(shí)，大幅降低了管理的復(fù)雜度。D2D備份設(shè)計(jì)規(guī)劃在未來(lái)，還可利用一套NetAppFAS8000作為近線(xiàn)存儲(chǔ)，利用高效的SnapVaultD2D備份，提升應(yīng)用的可用性。和傳統(tǒng)備份模式相比，NetAppSnapVault是Server-Free方式，備份流不通過(guò)主機(jī)，因此不會(huì)影響主機(jī)性能；而傳統(tǒng)方式為L(zhǎng)AN或者LANFree方式，對(duì)主機(jī)性能有一定的影響。除此之外，NetAppSnapVault和傳統(tǒng)備份模式相比，還有如下優(yōu)點(diǎn)：項(xiàng)目NetAppSnapVault傳統(tǒng)D2D備份數(shù)據(jù)備份很快，秒級(jí)更多的備份點(diǎn)很慢，小時(shí)級(jí)一天一個(gè)備份點(diǎn)對(duì)生產(chǎn)的影響無(wú)較大，且時(shí)間較長(zhǎng)數(shù)據(jù)恢復(fù)很快，秒級(jí)很慢，小時(shí)級(jí)空間效率高，僅一次全備的方式，加上消重技術(shù)較高，僅虛擬帶庫(kù)的消重技術(shù)備份驗(yàn)證方便，且不需要空間–降低人力、硬件成本復(fù)雜，且需要額外空間–額外人力和硬件成本備份數(shù)據(jù)利用備份數(shù)據(jù)為主機(jī)可以直接識(shí)別和掛接的格式；可方便用于開(kāi)發(fā)、培訓(xùn)以及生產(chǎn)應(yīng)急，提升投資回報(bào)率只能用于數(shù)據(jù)恢復(fù)許可證方式總體很低：僅一次性購(gòu)買(mǎi)，再多的主機(jī)接入、再多的數(shù)據(jù)量，均不會(huì)增加成本總體很高：按主機(jī)數(shù)量收費(fèi)，每增加業(yè)務(wù)主機(jī)，需要額外購(gòu)買(mǎi)備份軟許可MCC方案布線(xiàn)連接示意圖NetApp的雙活數(shù)據(jù)中心架構(gòu)技術(shù)優(yōu)勢(shì)這兩年來(lái)，大數(shù)據(jù)行業(yè)的應(yīng)用有以下發(fā)展：一是數(shù)據(jù)量越來(lái)越大，數(shù)據(jù)類(lèi)型也呈多樣化。由于大數(shù)據(jù)和云技術(shù)的應(yīng)用發(fā)展，各行業(yè)的沉淀數(shù)據(jù)量呈幾何級(jí)增長(zhǎng)。我們估計(jì)，在不久的將來(lái)，很多行業(yè)的數(shù)據(jù)量將達(dá)到PB級(jí)別。同時(shí)，非結(jié)構(gòu)數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)在各應(yīng)用中將并存，而且數(shù)據(jù)增長(zhǎng)方向主要在非結(jié)構(gòu)化數(shù)據(jù)。如何管理海量的數(shù)據(jù)，對(duì)傳統(tǒng)存儲(chǔ)來(lái)說(shuō)，是巨大的挑戰(zhàn)。二是應(yīng)用要求越來(lái)越高。這既體現(xiàn)在應(yīng)用對(duì)“不中斷運(yùn)行”的要求上，同時(shí)也對(duì)應(yīng)用系統(tǒng)性能的需求。兩者其實(shí)可以歸為一個(gè)目的，保證應(yīng)用正常運(yùn)行，減少宕機(jī)時(shí)間。三是應(yīng)用種類(lèi)越來(lái)越多，對(duì)管理維護(hù)也提出更高要求。新需求不斷地提出，也會(huì)產(chǎn)生新的應(yīng)用。那么對(duì)于存儲(chǔ)系統(tǒng)最大的挑戰(zhàn)是，如何滿(mǎn)足新應(yīng)用需求的同時(shí)，降低管理維護(hù)的復(fù)雜度。四是突破不同系統(tǒng)、不同行業(yè)、不同地域之間的信息壁壘，實(shí)現(xiàn)充分的信息資源共享、互備。利用傳統(tǒng)的存儲(chǔ)技術(shù)，要實(shí)現(xiàn)以上目標(biāo)，必須付出很大的代價(jià)。而NetApp的創(chuàng)新技術(shù)可以幫助用戶(hù)輕松實(shí)現(xiàn)，而且這些技術(shù)全部“統(tǒng)一”到一個(gè)平臺(tái)上了：統(tǒng)一存儲(chǔ)

NetApp發(fā)明了統(tǒng)一存儲(chǔ)，它可以同時(shí)整合不同類(lèi)型的數(shù)據(jù)，統(tǒng)一管理。同時(shí)，單套NetAppFAS存儲(chǔ)可以管理超過(guò)50PB的數(shù)據(jù)量，輕松應(yīng)對(duì)新的業(yè)務(wù)帶來(lái)的海量數(shù)據(jù)––這正是我們擅長(zhǎng)的。

彈性擴(kuò)展

從較小的型號(hào)起步，后期也可以靈活地對(duì)性能和容量進(jìn)行擴(kuò)展和升級(jí)，沒(méi)有數(shù)據(jù)遷移的陣痛，而且可以保護(hù)原有投資。

業(yè)務(wù)連續(xù)性

NetApp存儲(chǔ)內(nèi)置了豐富的數(shù)據(jù)保護(hù)措施，足以應(yīng)對(duì)各類(lèi)故障。如“雙活”、容災(zāi)、秒級(jí)快照備份、D2D備份…這些功能全部?jī)?nèi)置于存儲(chǔ)本身，不需要額外購(gòu)買(mǎi)軟件。

高效率存儲(chǔ)技術(shù)，應(yīng)對(duì)海量數(shù)據(jù)

針對(duì)日益膨脹的數(shù)據(jù)量，NetApp免費(fèi)提供了壓縮、消重等技術(shù)，可以大幅降低磁盤(pán)購(gòu)買(mǎi)量。NetApp還提供性能加速技術(shù)，各項(xiàng)性能測(cè)試表明，相同硬件配置下，NetApp可以提供最好的性能，保證核心業(yè)務(wù)的最低延時(shí)目標(biāo)。

面向虛擬化、云計(jì)算的共享式架構(gòu)

NetApp最初設(shè)計(jì)就是按照共享式的IT架構(gòu)來(lái)做的。共享式架構(gòu)，也是虛擬化和云計(jì)算的基礎(chǔ)。不但可以打破應(yīng)用、地域之間的信息壁壘，同時(shí)還可以提升硬件資源利用率，降低維護(hù)復(fù)雜度。更重要的是，面對(duì)新的應(yīng)用需求時(shí)，可以做出更快的反應(yīng)和調(diào)整。NetApp雙活數(shù)據(jù)中心架構(gòu)在中國(guó)金融行業(yè)的部分成功案例NETAPP在金融行業(yè)部分成功案例客戶(hù)名稱(chēng)產(chǎn)品型號(hào)及臺(tái)數(shù)應(yīng)用SnapMirror災(zāi)備距離是否為MetroClusterSAN/NAS中國(guó)銀行FAS6040A*2CallCenterY同城NSAN/NASFAS3240A*2分行級(jí)核心應(yīng)用Y同機(jī)房NNAS中國(guó)建設(shè)銀行總行數(shù)據(jù)中心FAS6280AMC*1數(shù)據(jù)交換平臺(tái)N同城YNASFAS6280*42+FAS3200*6虛擬化云平臺(tái)+非結(jié)構(gòu)化數(shù)據(jù)云平臺(tái)N

同機(jī)房YFCSAN+NAS招商銀行總行數(shù)據(jù)中心FAS3040A*2郵件系統(tǒng)Y深圳-南京NFCSANFAS3040A*2DB2/MSSQL數(shù)據(jù)庫(kù),通用系統(tǒng)Y深圳-南京NFCSANFAS3040A*2網(wǎng)銀日志Y深圳-南京NNAS招商銀行總行數(shù)據(jù)中心FAS6040AMC*2VMwareY深圳-南京YFCSANFAS3040AMC*1VMwareN同城YFCSANFAS6240AMC*1招商銀行信用卡中心FAS6240AMC*1WindowsSQL，一卡通網(wǎng)關(guān)，第三方支持平臺(tái)N同機(jī)房YFCSAN深圳發(fā)展銀行總行（現(xiàn)平安銀行）FAS3240AMC*1VMware/OAN同機(jī)房YiSCSI/NASFAS3240AMC*1ODS應(yīng)用系統(tǒng)，IBM小機(jī)＋OracleN同機(jī)房YFCSANFAS3240AMC*1Oracle報(bào)表系統(tǒng)N同機(jī)房YFCSANIBMAIX+OracleRAC內(nèi)蒙古銀行FAS3140*1，F(xiàn)AS3040*2核心系統(tǒng)，兩地三中心Y兩地三中心NFCSAN烏魯木齊商行FAS6220（V）*2前置整合，儲(chǔ)蓄，國(guó)債，支票影像，OA，城商聯(lián)盟，黃金系統(tǒng)，信貸，基金，銀聯(lián)，VM虛擬化Y同城（10KM）NFCSAN四川省農(nóng)村信用社FAS2040*16后督系統(tǒng)N無(wú)NNAS成都銀行FAS6240*1，F(xiàn)AS3220*5流程銀行Y同城NFCSAN南充銀行FAS6220*1流程銀行，數(shù)據(jù)倉(cāng)庫(kù)N無(wú)NFCSAN/NAS上海農(nóng)商銀行FAS6240*2虛擬化平臺(tái)部署及容災(zāi)Y同城YFCSAN/NAS曲靖商行FAS3240MC*2核心業(yè)務(wù)系統(tǒng)Y同機(jī)房+曲靖/昆明雙中心YFC浦發(fā)銀行信用卡中心FAS3040*2文件服務(wù)Y同城NFC浦發(fā)銀行數(shù)據(jù)中心FAS3020*2文件服務(wù)Y同城NNAS交通銀行數(shù)據(jù)中心FAS6240AMC*1VMwareN同機(jī)房YFCSAN交通銀行數(shù)據(jù)中心FAS6030A*2VMwareY同城NNAS文件服務(wù)民生銀行外匯交易中心FAS6280AMC*1SAPN同城YNASFAS3270AMC*1VMwareN同機(jī)房YFCSAN柳州銀行1xFAS3020C銀行核心，OracleRACY200公里NFCSAN2xFAS270C1xFAS2040A桂林銀行1xFAS3160A銀行核心，OracleRACY同城NFCSAN1xV3140A南海農(nóng)信FAS3140/FAS2050VMwareY同城NFCSAN/NAS影像/日志恒生銀行FAS2040*2文件服務(wù)Y同城NNAS匯豐銀行FAS3240*2文件服務(wù)Y同城NNAS瑞穗銀行FAS3140*2文件服務(wù)Y同城NNAS存儲(chǔ)虛擬化光大銀行FAS3140/FAS2040備份Y北京-上海NNAS中登北京FAS3270A*2文件存儲(chǔ)/服務(wù)器虛擬化Y同城/北京-上海NSAN/NAS中登上海FAS3170A*2桌面虛擬化Y同城/上海-北京NSAN/NAS/iSCSIOA服務(wù)器虛擬化報(bào)文上海證券交易所FAS3210*4文件服務(wù)Y同城NNAS信誠(chéng)基金FAS3210*2核心應(yīng)用Y上海-北京NSAN/NAS安誠(chéng)保險(xiǎn)FAS3250*1（MC），F(xiàn)AS2240*2全部核心應(yīng)用+虛擬化Y兩地三中心（重慶-北京）YFCSAN、NAS太平洋保險(xiǎn)FAS3210A*2文件服務(wù)Y同城NNAS太平洋保險(xiǎn)FAS3160AMC*1VMwareN同機(jī)房YNAS同城容災(zāi)系統(tǒng)與雙活數(shù)據(jù)中心架構(gòu)的比較在同城這一環(huán)節(jié)，雙活技術(shù)是優(yōu)于傳統(tǒng)同步容災(zāi)技術(shù)。傳統(tǒng)容災(zāi)技術(shù)有以下局限：故障后切換時(shí)間太長(zhǎng)，對(duì)業(yè)務(wù)影響很大目前同城災(zāi)備模式一般為“主備”模式，雖然同步容災(zāi)技術(shù)可以實(shí)現(xiàn)RPO=0的目標(biāo)，即零數(shù)據(jù)丟失，但是由于同步復(fù)制的原理，導(dǎo)致容災(zāi)庫(kù)數(shù)據(jù)平時(shí)完全不能夠被主機(jī)訪(fǎng)問(wèn)和使用。即下圖中，源端存儲(chǔ)實(shí)時(shí)地將生產(chǎn)庫(kù)的變化，復(fù)制并更新到目標(biāo)端的容災(zāi)庫(kù)。因?yàn)檫@個(gè)更新是底層存儲(chǔ)發(fā)起的，并非通過(guò)上層的數(shù)據(jù)庫(kù)軟件完成，所以容災(zāi)端的數(shù)據(jù)庫(kù)必須保持關(guān)閉狀態(tài)。只有斷開(kāi)容災(zāi)復(fù)制關(guān)系，才能在容災(zāi)主機(jī)端重新設(shè)備和導(dǎo)入存儲(chǔ)設(shè)備，掛接和打開(kāi)數(shù)據(jù)庫(kù)。再加上災(zāi)難后的網(wǎng)絡(luò)切換、數(shù)據(jù)檢驗(yàn)時(shí)間，導(dǎo)致整個(gè)容災(zāi)切換過(guò)程通常以小時(shí)來(lái)計(jì)算。具體的過(guò)程一般如下：同城容災(zāi)中心斷開(kāi)容災(zāi)復(fù)制關(guān)系容災(zāi)庫(kù)掛接到災(zāi)備主機(jī)上，啟動(dòng)容災(zāi)庫(kù)檢驗(yàn)容災(zāi)庫(kù)數(shù)據(jù)有效性將業(yè)務(wù)請(qǐng)求重定向到容災(zāi)中心，接管生產(chǎn)

主備關(guān)系的容災(zāi)模式，容災(zāi)中心設(shè)備閑置率高

由于前面提到的技術(shù)原因，容災(zāi)庫(kù)實(shí)際上一直只能夠處于關(guān)閉狀態(tài)，因此所有的業(yè)務(wù)全部在生產(chǎn)中心處理，而容災(zāi)中心設(shè)備利用率很低，無(wú)法分擔(dān)生產(chǎn)任務(wù)。邏輯故障應(yīng)對(duì)能力較弱

由于生產(chǎn)庫(kù)和容災(zāi)庫(kù)為實(shí)時(shí)同步，因此當(dāng)生產(chǎn)端出現(xiàn)邏輯故障，如誤刪除一張表、誤刪除一個(gè)數(shù)據(jù)文件（OracleDatafile）、Oracle出現(xiàn)bug導(dǎo)致無(wú)法啟動(dòng)，容災(zāi)端也會(huì)出現(xiàn)同樣的故障。

目前應(yīng)對(duì)此類(lèi)故障主要依賴(lài)于備份軟件。但恢復(fù)數(shù)據(jù)和業(yè)務(wù)時(shí)間通常都是以小時(shí)來(lái)計(jì)算，對(duì)業(yè)務(wù)影響較大。管理復(fù)雜度較高由于容災(zāi)庫(kù)平時(shí)都是關(guān)閉狀態(tài)，如何保證其數(shù)據(jù)的有效性和可用性？而且容災(zāi)切換大部分都是人工操作，如何確保應(yīng)急預(yù)案可以順利地執(zhí)行？因此在容災(zāi)系統(tǒng)建設(shè)中，都存在以下的制度和規(guī)定：常態(tài)化的數(shù)據(jù)驗(yàn)證和定期的容災(zāi)演練。這樣無(wú)疑給運(yùn)維帶來(lái)巨大的管理和人力成本。對(duì)于以上的情況，雙活數(shù)據(jù)中心具有更好的技術(shù)和解決手段。接下來(lái)，我們將對(duì)這些技術(shù)進(jìn)行介紹和分析。雙活數(shù)據(jù)中心架構(gòu)的優(yōu)勢(shì)和設(shè)計(jì)思路為解決前面提到的問(wèn)題和挑戰(zhàn)，本方案提出以下幾點(diǎn)建設(shè)目標(biāo)：同城災(zāi)備升級(jí)為同城雙活，消除嚴(yán)重故障對(duì)業(yè)務(wù)的影響全面提升業(yè)務(wù)連續(xù)服務(wù)能力均衡負(fù)載，資源利用更充分和合理優(yōu)化管理，降低運(yùn)維成本為實(shí)現(xiàn)以上建設(shè)目標(biāo)，可按照以下設(shè)計(jì)思路，逐步建設(shè)和完善。主備數(shù)據(jù)中心升級(jí)為雙活數(shù)據(jù)中心業(yè)界對(duì)于雙活數(shù)據(jù)中心解決方案進(jìn)行了深入的研究和發(fā)展。2006年開(kāi)始，主機(jī)廠(chǎng)商、存儲(chǔ)廠(chǎng)商和數(shù)據(jù)庫(kù)廠(chǎng)商逐漸將該技術(shù)推向市場(chǎng)。目前，雙活數(shù)據(jù)中心已經(jīng)非常成熟，而且得到了廣泛的應(yīng)用。主備數(shù)據(jù)中心升級(jí)為雙活數(shù)據(jù)中心，并在此基礎(chǔ)上進(jìn)一步完善為“兩地三中心”模式。這個(gè)階段始于2012年。雙活數(shù)據(jù)中心實(shí)現(xiàn)后，可以達(dá)到以下目標(biāo)：極大提升業(yè)務(wù)連續(xù)服務(wù)能力

發(fā)生重大故障后，業(yè)務(wù)運(yùn)行不受影響，消除了現(xiàn)有環(huán)境中“容災(zāi)切換”帶來(lái)的停機(jī)時(shí)間。核心業(yè)務(wù)系統(tǒng)得到最完善和最充分的保護(hù)。我們預(yù)計(jì)，對(duì)于物理故障，雙活數(shù)據(jù)中心可以實(shí)現(xiàn)RPO=0和RTO=0的理想目標(biāo)。業(yè)務(wù)負(fù)載分?jǐn)偟絻蓚€(gè)數(shù)據(jù)中心，避免了資源閑置故障后可實(shí)現(xiàn)自我修復(fù)，大幅降低了人為因素?zé)o需常態(tài)化的容災(zāi)數(shù)據(jù)檢驗(yàn)和容災(zāi)演練，降低運(yùn)維壓力和成本情景解決方案業(yè)務(wù)系統(tǒng)運(yùn)行情況單一組件故障（較高概率）全冗余系統(tǒng)架構(gòu)零影響單一生產(chǎn)存儲(chǔ)故障（低概率）雙活數(shù)據(jù)中心RPO=RTO=0數(shù)據(jù)中心癱瘓（低概率）雙活數(shù)據(jù)中心RPO=RTO=0生產(chǎn)數(shù)據(jù)邏輯故障(低概率)快照結(jié)合日志恢復(fù)RPO~0（恢復(fù)到出現(xiàn)故障前）RTO<20分鐘區(qū)域性災(zāi)難（極低概率）異地災(zāi)備系統(tǒng)RPO<5分鐘RTO<1小時(shí)雙活數(shù)據(jù)中心架構(gòu)實(shí)現(xiàn)方式比較雙活數(shù)據(jù)中心架構(gòu)主要由基于數(shù)據(jù)Oracle數(shù)據(jù)庫(kù)的應(yīng)用解決方案、基于專(zhuān)門(mén)的存儲(chǔ)虛擬化雙活網(wǎng)關(guān)解決方案、以及存儲(chǔ)系統(tǒng)內(nèi)置雙活解決方案，NetAppFAS8000一體化存儲(chǔ)平臺(tái)就是采用的存儲(chǔ)系統(tǒng)內(nèi)置雙活解決方案?；跀?shù)據(jù)庫(kù)的解決方案基于專(zhuān)門(mén)的雙活存儲(chǔ)網(wǎng)關(guān)的解決方案NetAppFAS8000核心業(yè)務(wù)數(shù)據(jù)庫(kù)的同城雙活很好，但有數(shù)據(jù)庫(kù)品牌的限制很好很好文件服務(wù)雙活不提供不支持支持異地災(zāi)備很好，但有數(shù)據(jù)庫(kù)品牌的限制需要增加CDP平臺(tái)支持?jǐn)?shù)據(jù)備份慢，應(yīng)用一致性實(shí)時(shí)，但非應(yīng)用一致性很快，應(yīng)用一致性數(shù)據(jù)恢復(fù)速度慢一般快系統(tǒng)擴(kuò)展性依賴(lài)于底層硬件網(wǎng)關(guān)和后端盤(pán)陣必須同時(shí)擴(kuò)展，投資較大很好，支持橫向擴(kuò)展和縱向升級(jí)優(yōu)化運(yùn)維管理N/A本身由雙活網(wǎng)關(guān)、盤(pán)陣、CDP三個(gè)產(chǎn)品組合而成，管理復(fù)雜度增加大幅簡(jiǎn)化管理。僅一種平臺(tái)，且提供豐富的自動(dòng)化管理手段，與應(yīng)用和虛擬化平臺(tái)實(shí)現(xiàn)深度的集成加速應(yīng)用研發(fā)無(wú)無(wú)精簡(jiǎn)克隆，極低空間，生成多個(gè)數(shù)據(jù)副本，支持并發(fā)測(cè)試原有存儲(chǔ)利舊支持支持VMware環(huán)境多協(xié)議支持僅FCSAN全部協(xié)議VMware環(huán)境熱點(diǎn)數(shù)據(jù)加速雙活網(wǎng)關(guān)無(wú)法提供二級(jí)緩存自動(dòng)識(shí)別加速熱點(diǎn)數(shù)據(jù)VMware雙活架構(gòu)支持支持VMware備份不支持必須引入備份軟件內(nèi)置，且優(yōu)于備份軟件VMware遠(yuǎn)程容災(zāi)不支持必須依賴(lài)CDP平臺(tái)內(nèi)置存儲(chǔ)虛擬化平臺(tái)技術(shù)方案 雙活存儲(chǔ)虛擬化平臺(tái)設(shè)計(jì)方案存儲(chǔ)虛擬化平臺(tái)是建設(shè)虛擬數(shù)據(jù)中心的核心與關(guān)鍵，本次NetApp雙活數(shù)據(jù)站點(diǎn)虛擬化方案設(shè)計(jì)可滿(mǎn)足兩個(gè)最遠(yuǎn)200公里以外的數(shù)據(jù)中心的虛擬化數(shù)據(jù)應(yīng)用，同時(shí)可實(shí)現(xiàn)存儲(chǔ)后端統(tǒng)一管理其它品牌光纖存儲(chǔ)設(shè)備（NetApp存儲(chǔ)虛擬化兼容列表內(nèi)的其它品牌存儲(chǔ)設(shè)備），前端滿(mǎn)足虛擬化應(yīng)用的需求。存儲(chǔ)虛擬化平臺(tái)負(fù)責(zé)按需提供滿(mǎn)足要求的存儲(chǔ)資源，以及對(duì)異構(gòu)產(chǎn)品的統(tǒng)一管理、保障數(shù)據(jù)安全等基礎(chǔ)服務(wù)。如圖：本次方案中每套存儲(chǔ)虛擬化網(wǎng)關(guān)后端配置168塊1.2TB10KSAS磁盤(pán)，兩個(gè)虛擬化網(wǎng)關(guān)最遠(yuǎn)位于200km以外的兩個(gè)數(shù)據(jù)中心，為了保證兩個(gè)存儲(chǔ)虛擬化數(shù)據(jù)中心的數(shù)據(jù)雙活，本次方案采用NetAppMetroCluster技術(shù)，在每個(gè)數(shù)據(jù)中心配置一份本地?cái)?shù)據(jù)及另一個(gè)數(shù)據(jù)中心的鏡像數(shù)據(jù)，保證數(shù)據(jù)的統(tǒng)一性和完整性，保證本地硬件設(shè)備故障時(shí)，可通過(guò)訪(fǎng)問(wèn)異地?cái)?shù)據(jù)中心的備份數(shù)據(jù)來(lái)保證數(shù)據(jù)的高可用性，同一個(gè)虛擬卷可供兩個(gè)數(shù)據(jù)中心主機(jī)同時(shí)進(jìn)行讀寫(xiě)訪(fǎng)問(wèn)，并且訪(fǎng)問(wèn)請(qǐng)求由主機(jī)所在數(shù)據(jù)中心的虛擬化網(wǎng)關(guān)/控制器響應(yīng)。同時(shí)為了節(jié)約成本，方案可通過(guò)采用NetAppFAS8060存儲(chǔ)虛擬化網(wǎng)關(guān)整合環(huán)境中現(xiàn)有存儲(chǔ)設(shè)備，可整合包括IBM、HP、EMC、HDS、3PAR、FUJITSU多家的FC存儲(chǔ)設(shè)備，本次配置的存儲(chǔ)設(shè)備是經(jīng)過(guò)Vmware認(rèn)證的存儲(chǔ)設(shè)備，可與Vmware完美結(jié)合實(shí)現(xiàn)存儲(chǔ)平臺(tái)上的虛擬化應(yīng)用，為應(yīng)用層提供透明的存儲(chǔ)服務(wù)。雙活存儲(chǔ)虛擬化平臺(tái)故障切換場(chǎng)景NetApp存儲(chǔ)雙活站點(diǎn)故障切換場(chǎng)景1如圖：場(chǎng)景1為SITEA數(shù)據(jù)中心虛擬化網(wǎng)關(guān)發(fā)生故障，在此虛擬化網(wǎng)關(guān)后端的存儲(chǔ)空間應(yīng)用無(wú)法通過(guò)此虛擬化網(wǎng)關(guān)訪(fǎng)問(wèn)，通過(guò)第三方仲裁站點(diǎn)仲裁后自動(dòng)啟用存儲(chǔ)Failover功能啟用，存儲(chǔ)空間應(yīng)用此時(shí)可通過(guò)SITEB數(shù)據(jù)中心的虛擬化網(wǎng)關(guān)進(jìn)行訪(fǎng)問(wèn)SITEA數(shù)據(jù)中心的A_LOCAL數(shù)據(jù)，數(shù)據(jù)訪(fǎng)問(wèn)不中斷。此時(shí)可通過(guò)更換故障虛擬化網(wǎng)關(guān)后數(shù)據(jù)訪(fǎng)問(wèn)鏈路恢復(fù)正常。此場(chǎng)景中數(shù)據(jù)訪(fǎng)問(wèn)不中斷。同理，SITEB數(shù)據(jù)中心虛擬化網(wǎng)關(guān)發(fā)生故障同樣適用。NetApp存儲(chǔ)雙活站點(diǎn)故障切換場(chǎng)景2如圖：場(chǎng)景2中SITEA數(shù)據(jù)中心的部分Shelf發(fā)生故障，用戶(hù)通過(guò)存儲(chǔ)虛擬化網(wǎng)關(guān)無(wú)法正常訪(fǎng)問(wèn)本地故障Shelf，第三方仲裁站點(diǎn)無(wú)任何操作，存儲(chǔ)MetroCluster功能發(fā)現(xiàn)SITEA數(shù)據(jù)中心A_LOCALShelf故障后自動(dòng)訪(fǎng)問(wèn)SITEB數(shù)據(jù)中心的A_LOCAL的鏡像數(shù)據(jù)，數(shù)據(jù)訪(fǎng)問(wèn)不中斷。此時(shí)可通過(guò)更換故障存儲(chǔ)設(shè)備后數(shù)據(jù)訪(fǎng)問(wèn)鏈路恢復(fù)正常。此場(chǎng)景中數(shù)據(jù)訪(fǎng)問(wèn)不中斷。同理，SITEB數(shù)據(jù)中心部分Shelf發(fā)生故障同樣適用。NetApp存儲(chǔ)雙活站點(diǎn)故障切換場(chǎng)景3如圖：場(chǎng)景3中其中一個(gè)數(shù)據(jù)中心的光纖交換機(jī)發(fā)生故障，SITEA端數(shù)據(jù)無(wú)法通過(guò)正常鏈路連接到SITEB數(shù)據(jù)中心的鏡像存儲(chǔ)設(shè)備，通過(guò)第三方仲裁站點(diǎn)仲裁后SITEA端的虛擬化網(wǎng)關(guān)通過(guò)本地另外一臺(tái)光纖交換機(jī)訪(fǎng)問(wèn)另一個(gè)數(shù)據(jù)中心的鏡像數(shù)據(jù)，數(shù)據(jù)訪(fǎng)問(wèn)不中斷。此時(shí)可通過(guò)更換故障交換機(jī)設(shè)備后數(shù)據(jù)交互鏈路恢復(fù)正常。此場(chǎng)景中數(shù)據(jù)訪(fǎng)問(wèn)不中斷。同理，SITEB數(shù)據(jù)中心光纖交換機(jī)發(fā)生故障同樣適用。NetApp存儲(chǔ)雙活站點(diǎn)故障切換場(chǎng)景4如圖：場(chǎng)景4中SITEA數(shù)據(jù)中心的存儲(chǔ)完全故障或是本地?cái)?shù)據(jù)中心電力故障導(dǎo)致本地?cái)?shù)據(jù)無(wú)法正常訪(fǎng)問(wèn)，用戶(hù)無(wú)法通訪(fǎng)問(wèn)虛擬化網(wǎng)關(guān)后端的故障存儲(chǔ)空間，通過(guò)第三方仲裁站點(diǎn)仲裁后數(shù)據(jù)訪(fǎng)問(wèn)自動(dòng)切換到SITEB數(shù)據(jù)中心的鏡像數(shù)據(jù)，數(shù)據(jù)訪(fǎng)問(wèn)不中斷。此時(shí)可通過(guò)更換故障存儲(chǔ)設(shè)備或是電力恢復(fù)正常后數(shù)據(jù)訪(fǎng)問(wèn)鏈路恢復(fù)正常。此場(chǎng)景中數(shù)據(jù)訪(fǎng)問(wèn)不中斷。同理，SITEB數(shù)據(jù)中心存儲(chǔ)完全故障或是本地?cái)?shù)據(jù)中心電力故障導(dǎo)致本地?cái)?shù)據(jù)無(wú)法正常訪(fǎng)問(wèn)時(shí)同樣適用。仲裁站點(diǎn)設(shè)計(jì)方案及實(shí)現(xiàn)方式、功能說(shuō)明針對(duì)MetroCluster的第三方仲裁是為了應(yīng)對(duì)在MetroCluster環(huán)境中發(fā)生故障后MetroCluster無(wú)法自動(dòng)進(jìn)行切換的主動(dòng)監(jiān)測(cè)，自動(dòng)切換的仲裁方案。第三方仲裁通過(guò)在第三方位置的DFM服務(wù)器持續(xù)的監(jiān)測(cè)MetroCluster控制器以及網(wǎng)關(guān)設(shè)備，當(dāng)仲裁服務(wù)器發(fā)現(xiàn)MetroCluster控制器達(dá)到Failover條件后，則自動(dòng)執(zhí)行Failover命令，自動(dòng)執(zhí)行Failover操作。如圖：在環(huán)境中，位于第三方位置仲裁站點(diǎn)服務(wù)器上安裝有MetroClusterTieBreaker（DFM插件），仲裁站點(diǎn)插件可安裝的Windows或Linux服務(wù)器客戶(hù)端，服務(wù)器需通過(guò)網(wǎng)絡(luò)與兩地雙活數(shù)據(jù)中心部署的NetAppMetroCluster存儲(chǔ)節(jié)點(diǎn)連接。在仲裁站點(diǎn)需創(chuàng)建自動(dòng)仲裁切換條件雙活數(shù)據(jù)中心的擴(kuò)容升級(jí)NetApp存儲(chǔ)擴(kuò)容非常簡(jiǎn)單，只需在擴(kuò)容前做好容量規(guī)劃，然后在整套存儲(chǔ)設(shè)備不斷電的情況下串接好擴(kuò)容設(shè)備，按照規(guī)劃好的容量進(jìn)行存儲(chǔ)擴(kuò)容配置。如圖：NetApp存儲(chǔ)擴(kuò)容前后數(shù)據(jù)中心的網(wǎng)絡(luò)架構(gòu)無(wú)任何改變，我方工程師會(huì)根據(jù)用戶(hù)現(xiàn)有的存儲(chǔ)設(shè)備以及用戶(hù)的擴(kuò)容需求進(jìn)行嚴(yán)密的擴(kuò)容規(guī)劃，以及做好擴(kuò)容前的相關(guān)準(zhǔn)備工作，以保證用戶(hù)擴(kuò)容現(xiàn)場(chǎng)工作的順利實(shí)施。存儲(chǔ)擴(kuò)容工作需用戶(hù)準(zhǔn)備足夠的電源接口，我方根據(jù)用戶(hù)需求配置相應(yīng)的存儲(chǔ)容量，并根據(jù)用戶(hù)需求進(jìn)行編制存儲(chǔ)擴(kuò)容規(guī)劃書(shū)，經(jīng)用戶(hù)認(rèn)可后按照規(guī)劃書(shū)具體實(shí)施存儲(chǔ)擴(kuò)容工作。存儲(chǔ)擴(kuò)容工作可根據(jù)用戶(hù)需求進(jìn)行在線(xiàn)擴(kuò)容或離線(xiàn)擴(kuò)容。本次方案中配置NetAppFAS8060一體化存儲(chǔ)平臺(tái)，支持存儲(chǔ)控制器集群升級(jí)，最大可擴(kuò)展控制器數(shù)量8個(gè)，本次配置控制器緩存128GB，最大可擴(kuò)展到512GB緩存，支持FlashCache二級(jí)緩存可擴(kuò)展至96TB以上，NetAppFAS8060一體化存儲(chǔ)平臺(tái)后端配置磁盤(pán)168塊，NetAppFAS8060一體化存儲(chǔ)平臺(tái)可擴(kuò)展磁盤(pán)1200塊；NetApp一體化平臺(tái)面向私有云架構(gòu)的優(yōu)化管理NetApp提供自動(dòng)化存儲(chǔ)服務(wù)定制，支持與客戶(hù)數(shù)據(jù)中心業(yè)務(wù)流程管理軟件的集成：可利用NetApp管理工具實(shí)現(xiàn)存儲(chǔ)服務(wù)自動(dòng)化。也可和第三方管理軟件進(jìn)行無(wú)縫集成，同時(shí)NetApp也開(kāi)放API和SDK，支持用戶(hù)自定義云管理平臺(tái)。通過(guò)定制化的自助服務(wù)環(huán)境，使內(nèi)部客戶(hù)在幾乎沒(méi)有或是根本沒(méi)有管理人員介入的情況下請(qǐng)求和獲得適當(dāng)配置的IT資源，是實(shí)現(xiàn)整體業(yè)務(wù)靈活性和服務(wù)快捷性的一個(gè)重要步驟。這樣一來(lái)，可輕松實(shí)現(xiàn)：持續(xù)滿(mǎn)足服務(wù)級(jí)別快速擴(kuò)展和添加新應(yīng)用和IT服務(wù)以最少的投入滿(mǎn)足不斷變化的業(yè)務(wù)需求高效利用IT資源，最大限度地提高硬件利用率通過(guò)自動(dòng)執(zhí)行重復(fù)性活動(dòng)來(lái)提高生產(chǎn)率借助集成工具和自動(dòng)化配置流程來(lái)簡(jiǎn)化管理MCC架構(gòu)與VMware虛擬化平臺(tái)的結(jié)合NetApp一體化平臺(tái)與服務(wù)器虛擬化的整合NetAppFAS存儲(chǔ)平臺(tái)為虛擬化環(huán)境進(jìn)行了專(zhuān)門(mén)的優(yōu)化，以VMware為例，體現(xiàn)在以下幾個(gè)方面：統(tǒng)一存儲(chǔ)，支持VMware三種不同的部署協(xié)議NetApp的智能二級(jí)緩存技術(shù)，針對(duì)虛擬化環(huán)境中常見(jiàn)的I/O熱點(diǎn)數(shù)據(jù)，提供了實(shí)時(shí)加速能力,效果明顯優(yōu)于其他廠(chǎng)家的自動(dòng)分層技術(shù)（有SAN標(biāo)準(zhǔn)性能測(cè)試SPC-1報(bào)告為證）最緊密的特性和管理集成。VMware和存儲(chǔ)相關(guān)的白皮書(shū)，包括雙活架構(gòu)（vSphereMetroStorageCluster），容災(zāi)（SRM）和存儲(chǔ)集成（VAAI），采用的唯一范例都是NetApp。此外，NetApp還提供了進(jìn)一步的管理集成：VSC插件允許VMware管理員在權(quán)限范圍內(nèi)自由地調(diào)配和管理存儲(chǔ)資源，從而大幅簡(jiǎn)化了運(yùn)維模式針對(duì)虛擬化環(huán)境下常見(jiàn)的備份難題，NetApp存儲(chǔ)內(nèi)置的備份功能提供了最好的解決手段。例如成都一個(gè)央企（東方電氣），部署了130個(gè)虛機(jī)，過(guò)去采用VAAI+傳統(tǒng)備份軟件備份方式，日備時(shí)間為6小時(shí)，而采用NetApp方案，僅需12分鐘。降本增效。NetAppFAS內(nèi)置消重功能，針對(duì)VMware環(huán)境中，大量冗余的虛機(jī)映像，能夠節(jié)省90%以上的存儲(chǔ)空間。虛擬化環(huán)境中的性能提速技術(shù)虛擬化平臺(tái)對(duì)存儲(chǔ)性能的要求非?？量?，已成為業(yè)界的共識(shí)。存儲(chǔ)性能的高低，將決定著應(yīng)用性能的快慢，也決定著用戶(hù)交易的體驗(yàn)。如何衡量不同存儲(chǔ)性能的高低？業(yè)界公認(rèn)的方法是通過(guò)第三方的公開(kāi)性能測(cè)試，如代表FCSAN性能的SPC-1，代表NAS性能的SPECSFS2008。值得指出的是，SPC-1性能結(jié)果高低，雖然不能代表真實(shí)業(yè)務(wù)環(huán)境的存儲(chǔ)性能，但是至少提供了一個(gè)公平公開(kāi)公正的比較手段。性能測(cè)試結(jié)果往往以IOPS的形式展現(xiàn)。但必須注意的是，這個(gè)數(shù)字和用戶(hù)購(gòu)買(mǎi)的存儲(chǔ)的性能IOPS，完全是兩回事。因?yàn)橛脩?hù)購(gòu)買(mǎi)的存儲(chǔ)，和性能測(cè)試的存儲(chǔ)，在配置上差別很大。性能測(cè)試往往都采用滿(mǎn)配，以達(dá)到最好的結(jié)果。但用戶(hù)配置，往往受容量需求和經(jīng)費(fèi)限制，遠(yuǎn)低于測(cè)試配置。因此，我們建議用性能效率來(lái)進(jìn)行衡量，即通過(guò)測(cè)試IOPS/測(cè)試配置，來(lái)得到單位硬件能夠提供的性能，以比較不同存儲(chǔ)之間的性能差異。在相同配置的情況下，性能效率高的存儲(chǔ)系統(tǒng)，可以提供更高的性能。提升性能效率的方法，在保證性?xún)r(jià)比的前提下，除了不同的存儲(chǔ)操作系統(tǒng)的算法差異以外，主要有兩種：二級(jí)緩存技術(shù)，如NetAppFlashCache和FlashPool，EMCFastCache。是以閃存作為存儲(chǔ)的二級(jí)緩存。這種技術(shù)不做任何數(shù)據(jù)遷移，因此對(duì)于性能提升的反應(yīng)速度和效果都非常好。自動(dòng)分層技術(shù)，如EMCFast、IBMEasyTier，HDSDynamicTier，需要在不同的性能層之間遷移數(shù)據(jù)。對(duì)性能提升的反應(yīng)速度較慢。但如果應(yīng)用的熱點(diǎn)數(shù)據(jù)分布變化本身較慢，這種技術(shù)也有不錯(cuò)的效果。NetApp采用先進(jìn)的控制器技術(shù)，存儲(chǔ)具有最領(lǐng)先的性能效率。下圖對(duì)比了幾種主流的SAN存儲(chǔ)產(chǎn)品，包括IBM最新的DS8870、HP最高端的P10000(即收購(gòu)自3PAR的產(chǎn)品)、HDS的VSP(HPOEM的型號(hào)是p9500，即XP24000的下一代)，而EMC沒(méi)有參加SAN性能測(cè)試。(數(shù)據(jù)來(lái)源：SPC-1標(biāo)準(zhǔn)FCSAN性能測(cè)試。圖中反映的是，在SPC-1測(cè)試中，單個(gè)磁盤(pán)可以提供的IOPS性能。顯然，更好的技術(shù)，可以讓同樣的磁盤(pán)發(fā)揮更好的性能)。這意味著，相同的磁盤(pán)配置下，NetApp可以為業(yè)務(wù)提供更多的IOPS性能。例如，在測(cè)試中，NetAppFAS6240僅僅需要432塊普通SAS磁盤(pán)，采用RAID6，可獲得25萬(wàn)SPC-1IOPS，而HDS最高端VSP使用了1152塊SAS盤(pán)，采用RAID10，取得26.9萬(wàn)SPC-1IOPS。試想如果應(yīng)用容量需求僅僅需要100塊SAS盤(pán)，那么NetAppFAS6240仍然可以提供6萬(wàn)左右的SPC-1IOPS，而VSP卻不到3萬(wàn)SPC-1IOPS。這里面最關(guān)鍵的技術(shù)之一就是NetApp領(lǐng)先的虛擬分層和大容量二級(jí)緩存技術(shù)。其他廠(chǎng)家也具有自動(dòng)分層，多級(jí)緩存技術(shù)，但從未經(jīng)過(guò)標(biāo)準(zhǔn)性能測(cè)試檢驗(yàn)。虛擬化環(huán)境中的數(shù)據(jù)保護(hù)和災(zāi)備前文已經(jīng)提及，VMware雙活架構(gòu)vSphereMetroStorageCluster支持NetAppMetroCluster，而且其技術(shù)白皮書(shū)正是以NetAppMetroCluster為范例。此外，在虛擬化環(huán)境中的數(shù)據(jù)保護(hù)具有如下特點(diǎn)：NetApp的快照技術(shù)可集成于VMware環(huán)境中，提供秒級(jí)的數(shù)據(jù)備份和恢復(fù)。NetApp可以提供VM中單個(gè)文件的恢復(fù)NetApp全面支持VMwareSRM容災(zāi)軟件NetApp專(zhuān)利的快照技術(shù)可輕易地集成到VMware環(huán)境中，可實(shí)現(xiàn)虛擬主機(jī)的恢復(fù)、完整的虛擬主機(jī)克隆，或者站點(diǎn)復(fù)制以及冗災(zāi)等。這種解決方案的優(yōu)點(diǎn)在于它是存儲(chǔ)界唯一對(duì)系統(tǒng)性能沒(méi)有負(fù)面影響的快照技術(shù)。VMware也聲明為了達(dá)到最佳的性能和擴(kuò)展性，建議使用給予硬件的快照解決方案而不是軟件的快照解決方案。在基于磁盤(pán)的備份方案中，包含了從生產(chǎn)系統(tǒng)拷貝虛擬磁盤(pán)文件到備份的磁盤(pán)系統(tǒng)。盡管和直接將生產(chǎn)系統(tǒng)的數(shù)據(jù)備份到磁帶相比，這種方式提供了非常快速的備份方案，但是每次備份都需要100%的額外空間。某些友商提供了Copy-Out的快照技術(shù)，但是Copy-Out快照技術(shù)所帶來(lái)的性能問(wèn)題，嚴(yán)重地影響了生產(chǎn)，使得這些快照技術(shù)也不能被用戶(hù)所接受。而NetApp的專(zhuān)利的快照技術(shù)完全沒(méi)有傳統(tǒng)的基于磁盤(pán)備份的固有的問(wèn)題。而和Copy-Out的快照技術(shù)相比，NetApp的快照技術(shù)由于不移動(dòng)數(shù)據(jù)，從而不會(huì)產(chǎn)生對(duì)性能的負(fù)面影響。同時(shí)，NetApp快照技術(shù)的開(kāi)銷(xiāo)只是變化的數(shù)據(jù)塊，占用空間更少。NetAppFAS和VMware的深度集成NetAppFAS系列存儲(chǔ)和Vmware虛擬化軟件實(shí)現(xiàn)了深度的集成，可以最大化提升運(yùn)行效率，簡(jiǎn)化管理。VMwarevCenter通過(guò)調(diào)用FAS設(shè)備插件，可以驅(qū)動(dòng)FAS執(zhí)行一系列任務(wù)。比如備份、災(zāi)備功能，菜單化部署單元功能。FAS存儲(chǔ)分別通過(guò)VMware的四個(gè)插件實(shí)現(xiàn)不同的功能。以下是詳細(xì)的調(diào)用關(guān)系如下圖所示。VSC存儲(chǔ)管理插件在云計(jì)算架構(gòu)下，管理不再是存儲(chǔ)、服務(wù)器、網(wǎng)絡(luò)等分離式管理，統(tǒng)一的、集成的管理平臺(tái)是云存儲(chǔ)的最佳實(shí)踐。vCenter是虛擬化平臺(tái)的管理平臺(tái)，在vCenter上集中對(duì)存儲(chǔ)進(jìn)行配置、監(jiān)控等是虛擬化平臺(tái)與云存儲(chǔ)結(jié)合的一種推薦方式。為此，F(xiàn)AS系統(tǒng)存儲(chǔ)擁有專(zhuān)門(mén)的vCenter上的存儲(chǔ)管理插件VirtualStorageConsole（VSC）。它主要有以下功能：虛擬存儲(chǔ)控制臺(tái)配置和克隆備份與恢復(fù)NFSPlug-in插件ESXServer通過(guò)NAS的NFSPlug-in插件，可以將NAS文件系統(tǒng)掛載到ESXServer，作為NFSDataStore。通過(guò)NFSPlug-in插件，還可以定義虛擬機(jī)IO的優(yōu)先級(jí)，保證關(guān)鍵業(yè)務(wù)的IO的優(yōu)先級(jí)，不受其它業(yè)務(wù)IO性能影響。SRA插件SRA插件由NetApp提供，部署在SRMServer上，與SRM軟件實(shí)現(xiàn)無(wú)縫連接。在SRM界面，通過(guò)SRA插件可以直接調(diào)用的SnapMirror（存儲(chǔ)復(fù)制功能）和FlexClone（虛擬克隆工具），實(shí)現(xiàn)災(zāi)備功能和虛擬機(jī)克隆功能。VAAI插件VAAI（vStorageAPIsforArrayIntegration）是VMware提供存儲(chǔ)管理接口，主流的NAS和SAN存儲(chǔ)都支持這個(gè)接口，并針對(duì)VAAI提供專(zhuān)用的插件，部署在vCenterServer。NetApp存儲(chǔ)提供的VAAI插件，可以實(shí)現(xiàn)虛擬機(jī)和存儲(chǔ)空間的快照和恢復(fù)功能、NFSDatastorge參數(shù)調(diào)整和配置功能。VASA插件VASA的目的是加強(qiáng)存儲(chǔ)資源在VMware的可視化，可以通過(guò)vCenter和CapacityIQ工具獲得對(duì)物理存儲(chǔ)陣列的一些細(xì)節(jié)信息，如RAID信息，磁盤(pán)數(shù)量等等。內(nèi)置消重功能，降本增效在VMware環(huán)境中，非常流行的部署方式是從預(yù)先創(chuàng)建的虛機(jī)的模板來(lái)快速創(chuàng)建新的虛機(jī)。一個(gè)虛機(jī)的模板通常包含了虛機(jī)的配置文件(.vmx)以及一個(gè)或多個(gè)虛擬磁盤(pán)文件(.vmdk)，包含了操作系統(tǒng)，公共應(yīng)用程序，以及補(bǔ)丁文件或系統(tǒng)更新。從模板來(lái)創(chuàng)建新的虛機(jī)，通過(guò)拷貝配置文件以及虛擬磁盤(pán)文件，并注冊(cè)成為獨(dú)立的虛機(jī)，大大減少了管理上的時(shí)間開(kāi)銷(xiāo)。但是，在這種方式下，造成了大量的重復(fù)數(shù)據(jù)。下圖說(shuō)明了在VMware環(huán)境下的典型存儲(chǔ)開(kāi)銷(xiāo)。NetApp提供了一種重復(fù)數(shù)據(jù)刪除的技術(shù)，稱(chēng)為FASDedup。通過(guò)FASDedup技術(shù)，我們能夠消除在VMware環(huán)境中的重復(fù)數(shù)據(jù)，大大提供存儲(chǔ)的總體利用率。FASDedup提供了一種虛擬化的技術(shù)，使得多個(gè)虛機(jī)可以共享在NetApp主存儲(chǔ)上的相同的物理數(shù)據(jù)塊。FASDedup無(wú)縫的集