南充商行技術(shù)文件 NetApp

PAGE69PAGE南充市商業(yè)銀行技術(shù)文件

第一部分NetApp公司簡介

創(chuàng)新是我們的DNA幫助客戶成功是我們的文化我們是云計算、大數(shù)據(jù)的領(lǐng)導者我們的FAS統(tǒng)一存儲全球銷量第一我們是《財富》“全球最佳跨國公司”第三我們是NetApp我們發(fā)明了統(tǒng)一存儲我們引領(lǐng)了存儲發(fā)展潮流NetApp公司介紹NetApp是全球領(lǐng)先的存儲與數(shù)據(jù)管理廠商，由DaveHitz和JamesLau(劉冠新)于1992年在美國加州陽光谷(Sunnyvale)創(chuàng)立。經(jīng)過二十多年的發(fā)展，今天的NetApp已經(jīng)是一家擁有13000名員工，年營業(yè)額達到63億美金的跨國公司。雖然是一家年輕的公司，但在截止到2013年全球外部存儲系統(tǒng)市場占有率上，NetApp公司已經(jīng)穩(wěn)居第二的市場地位。從創(chuàng)立之初，NetApp就確立了兩大宗旨，也是我們賴以成功的企業(yè)文化。首先是“幫助客戶成功”。NetApp重視每一個客戶，而且提出“GoBeyond”的原則，即不僅僅只是做好自己分內(nèi)的事，要進一步、更深入地為客戶服務。例如，在項目中，我們不但會做好存儲設(shè)計、規(guī)劃和實施，也會對基礎(chǔ)架構(gòu)、應用部署提出最佳實踐的建議，使整個系統(tǒng)成為更加協(xié)調(diào)的有機體。其次是創(chuàng)新。從成立以來，NetApp就不斷地進行技術(shù)創(chuàng)新，引領(lǐng)著世界存儲技術(shù)的發(fā)展方向。NetApp認為，優(yōu)秀的存儲是業(yè)務系統(tǒng)更加可靠的基石，更快運行的推進劑，業(yè)務整合的黏合劑，降低成本提升效率的魔術(shù)棒。拿設(shè)計汽車類比，過去傳統(tǒng)存儲廠家只是一代又一代地擴大氣缸尺寸，提升馬力，雖然載貨量和性能提升了，但油耗也上去了，同時駕駛?cè)藛T得到的只是一輛更難開的車。而NetApp一方面通過高效技術(shù)，減小氣缸尺寸、降低油耗，同時還提升了動力；另一方面，NetApp豐富了很多安全、人性化方面的功能，駕駛?cè)藛T開起來更加輕松、更安全，也獲得了更好的駕駛體驗。這是一個典型的“雙贏”：在數(shù)據(jù)急劇膨脹、應用日趨復雜、業(yè)務要求越來越高的今天，NetApp的技術(shù)創(chuàng)新則幫助客戶降本增效：節(jié)省成本開支，提升運行效率；反過來，客戶也幫助NetApp獲得了成功。根據(jù)IDC統(tǒng)計，NetAppFAS系列是全球銷量第一的單一存儲系統(tǒng)。業(yè)界榮譽近年來NetApp獲得的業(yè)界榮譽包括：連續(xù)11年取得《財富》雜志“全美最佳公司”前十，其中2009年擊敗Google獲得第一。2013年《財富》雜志“全球最佳跨國公司”第三連續(xù)6年在Gartner中高端SAN和NAS存儲魔力象限中，獲得“領(lǐng)導者”評價。微軟“最佳存儲解決方案”、“最佳私有云解決方案”大獎DCIG2013年“最佳統(tǒng)一存儲”、“最佳云存儲”評比，囊括前三存儲標準化組織SNIA成立的云存儲標準化小組中，6個領(lǐng)導席位，NetApp占據(jù)3席IDC99.999%可用性認證連續(xù)4年獲得美國《存儲》最佳企業(yè)級存儲大獎NetApp的技術(shù)優(yōu)勢及在中國地區(qū)案例這兩年來，大數(shù)據(jù)行業(yè)的應用有以下發(fā)展：一是數(shù)據(jù)量越來越大，數(shù)據(jù)類型也呈多樣化。由于大數(shù)據(jù)和云技術(shù)的應用發(fā)展，各行業(yè)的沉淀數(shù)據(jù)量呈幾何級增長。我們估計，在不久的將來，很多行業(yè)的數(shù)據(jù)量將達到PB級別。同時，非結(jié)構(gòu)數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)在各應用中將并存，而且數(shù)據(jù)增長方向主要在非結(jié)構(gòu)化數(shù)據(jù)。如何管理海量的數(shù)據(jù)，對傳統(tǒng)存儲來說，是巨大的挑戰(zhàn)。二是應用要求越來越高。這既體現(xiàn)在應用對“不中斷運行”的要求上，同時也對應用系統(tǒng)性能的需求。兩者其實可以歸為一個目的，保證應用正常運行，減少宕機時間。三是應用種類越來越多，對管理維護也提出更高要求。新需求不斷地提出，也會產(chǎn)生新的應用。那么對于存儲系統(tǒng)最大的挑戰(zhàn)是，如何滿足新應用需求的同時，降低管理維護的復雜度。四是突破不同系統(tǒng)、不同行業(yè)、不同地域之間的信息壁壘，實現(xiàn)充分的信息資源共享、互備。利用傳統(tǒng)的存儲技術(shù)，要實現(xiàn)以上目標，必須付出很大的代價。而NetApp的創(chuàng)新技術(shù)可以幫助用戶輕松實現(xiàn)，而且這些技術(shù)全部“統(tǒng)一”到一個平臺上了：統(tǒng)一存儲NetApp發(fā)明了統(tǒng)一存儲，它可以同時整合不同類型的數(shù)據(jù)，統(tǒng)一管理。同時，單套NetAppFAS存儲可以管理超過50PB的數(shù)據(jù)量，輕松應對新的業(yè)務帶來的海量數(shù)據(jù)––這正是我們擅長的。彈性擴展從較小的型號起步，后期也可以靈活地對性能和容量進行擴展和升級，沒有數(shù)據(jù)遷移的陣痛，而且可以保護原有投資。業(yè)務連續(xù)性NetApp存儲內(nèi)置了豐富的數(shù)據(jù)保護措施，足以應對各類故障。如“雙活”、容災、秒級快照備份、D2D備份…這些功能全部內(nèi)置于存儲本身，不需要額外購買軟件。高效率存儲技術(shù)，應對海量數(shù)據(jù)針對日益膨脹的數(shù)據(jù)量，NetApp免費提供了壓縮、消重等技術(shù)，可以大幅降低磁盤購買量。NetApp還提供性能加速技術(shù)，各項性能測試表明，相同硬件配置下，NetApp可以提供最好的性能，保證核心業(yè)務的最低延時目標。面向虛擬化、云計算的共享式架構(gòu)NetApp最初設(shè)計就是按照共享式的IT架構(gòu)來做的。共享式架構(gòu)，也是虛擬化和云計算的基礎(chǔ)。不但可以打破應用、地域之間的信息壁壘，同時還可以提升硬件資源利用率，降低維護復雜度。更重要的是，面對新的應用需求時，可以做出更快的反應和調(diào)整。NetApp在中國金融行業(yè)的部分成功案例NETAPP在金融行業(yè)部分成功案例客戶名稱產(chǎn)品型號及臺數(shù)應用SnapMirror災備距離是否為MetroClusterSAN/NAS中國銀行FAS6040A*2CallCenterY同城NSAN/NASFAS3240A*2分行級核心應用Y同機房NNAS中國建設(shè)銀行總行數(shù)據(jù)中心FAS6280AMC*1數(shù)據(jù)交換平臺N同城YNASFAS6280*42+FAS3200*6虛擬化云平臺+非結(jié)構(gòu)化數(shù)據(jù)云平臺N

同機房YFCSAN+NAS招商銀行總行數(shù)據(jù)中心FAS3040A*2郵件系統(tǒng)Y深圳-南京NFCSANFAS3040A*2DB2/MSSQL數(shù)據(jù)庫,通用系統(tǒng)Y深圳-南京NFCSANFAS3040A*2網(wǎng)銀日志Y深圳-南京NNAS招商銀行總行數(shù)據(jù)中心FAS6040AMC*2VMwareY深圳-南京YFCSANFAS3040AMC*1VMwareN同城YFCSANFAS6240AMC*1招商銀行信用卡中心FAS6240AMC*1WindowsSQL，一卡通網(wǎng)關(guān)，第三方支持平臺N同機房YFCSAN深圳發(fā)展銀行總行（現(xiàn)平安銀行）FAS3240AMC*1VMware/OAN同機房YiSCSI/NASFAS3240AMC*1ODS應用系統(tǒng)，IBM小機＋OracleN同機房YFCSANFAS3240AMC*1Oracle報表系統(tǒng)N同機房YFCSANIBMAIX+OracleRAC內(nèi)蒙古銀行FAS3140*1，F(xiàn)AS3040*2核心系統(tǒng)，兩地三中心Y兩地三中心NFCSAN烏魯木齊商行FAS6220（V）*2前置整合，儲蓄，國債，支票影像，OA，城商聯(lián)盟，黃金系統(tǒng)，信貸，基金，銀聯(lián)，VM虛擬化Y同城（10KM）NFCSAN四川省農(nóng)村信用社FAS2040*16后督系統(tǒng)N無NNAS成都銀行FAS6240*1，F(xiàn)AS3220*5流程銀行Y同城NFCSAN南充銀行FAS6220*1流程銀行，數(shù)據(jù)倉庫N無NFCSAN/NAS上海農(nóng)商銀行FAS6240*2虛擬化平臺部署及容災Y同城YFCSAN/NAS曲靖商行FAS3240MC*2核心業(yè)務系統(tǒng)Y同機房+曲靖/昆明雙中心YFC浦發(fā)銀行信用卡中心FAS3040*2文件服務Y同城NFC浦發(fā)銀行數(shù)據(jù)中心FAS3020*2文件服務Y同城NNAS交通銀行數(shù)據(jù)中心FAS6240AMC*1VMwareN同機房YFCSAN交通銀行數(shù)據(jù)中心FAS6030A*2VMwareY同城NNAS文件服務民生銀行外匯交易中心FAS6280AMC*1SAPN同城YNASFAS3270AMC*1VMwareN同機房YFCSAN柳州銀行1xFAS3020C銀行核心，OracleRACY200公里NFCSAN2xFAS270C1xFAS2040A桂林銀行1xFAS3160A銀行核心，OracleRACY同城NFCSAN1xV3140A南海農(nóng)信FAS3140/FAS2050VMwareY同城NFCSAN/NAS影像/日志恒生銀行FAS2040*2文件服務Y同城NNAS匯豐銀行FAS3240*2文件服務Y同城NNAS瑞穗銀行FAS3140*2文件服務Y同城NNAS存儲虛擬化光大銀行FAS3140/FAS2040備份Y北京-上海NNAS中登北京FAS3270A*2文件存儲/服務器虛擬化Y同城/北京-上海NSAN/NAS中登上海FAS3170A*2桌面虛擬化Y同城/上海-北京NSAN/NAS/iSCSIOA服務器虛擬化報文上海證券交易所FAS3210*4文件服務Y同城NNAS信誠基金FAS3210*2核心應用Y上海-北京NSAN/NAS安誠保險FAS3250*1（MC），F(xiàn)AS2240*2全部核心應用+虛擬化Y兩地三中心（重慶-北京）YFCSAN、NAS太平洋保險FAS3210A*2文件服務Y同城NNAS太平洋保險FAS3160AMC*1VMwareN同機房YNASNetApp在中國電力行業(yè)的部分成功案例NETAPP在電力行業(yè)部分成功案例客戶名稱應用產(chǎn)品型號及臺數(shù)國家電網(wǎng)集團總部集中存儲項目R2001套國家電網(wǎng)集團總部信通公司郵件系統(tǒng)FAS3140A系統(tǒng)2套安徽省電力公司集中存儲項目一期FAS3050A2套安徽省電力公司集中存儲項目二期FAS3020A20套安徽省電力公司營銷系統(tǒng)存儲及容災備份FAS3140A2套四川省電力公司營銷系統(tǒng)存儲及容災備份FAS3140A1套四川省電力公司集中存儲項目一期FAS3020A1套四川省電力公司集中存儲項目二期FAS3020A1套江蘇省電力公司集中存儲項目FAS3050A13套（IBMN5300OEM)江蘇省電力公司集中存儲項目R2002套浙江省電力公司營銷系統(tǒng)FAS31401套浙江省電力公司集中存儲項目FAS3040A1套湖北省電力公司湖北電力郵件系統(tǒng)存儲項目FAS3040A1套湖南株洲市電力公司湖南株洲市電力公司營銷系統(tǒng)項目FAS3040A1套湖南衡陽市電力公司湖南衡陽市電力公司營銷系統(tǒng)存儲項目FAS3040A1套南方電網(wǎng)海南分公司集中存儲項目FAS31701套南方電網(wǎng)海南分公司營銷系統(tǒng)存儲及容災備份1*FAS3160A、1*V3140A第二部分配置清單

雙活存儲平臺配置清單數(shù)量：2套雙活存儲為兩套完全相同的配置，對稱部署，可以部署在同機房不同機柜、同一大樓不同機房，或者最遠至相距200KM的兩個機房。每套描述如下：項目部件名稱配置說明數(shù)量企業(yè)級SAN存儲（統(tǒng)一存儲)平臺FAS8040主控制器統(tǒng)一集群存儲架構(gòu)，最大可支持8個SAN控制器；配置雙活雙控，64GB高速緩存，1TBFlashCache二級緩存；8個16GbFC端口，4個萬兆端口；1存儲協(xié)議配置FCP、NFS協(xié)議1SSD盤200GBSSD8性能硬盤10KRPM600GBSAS硬盤60高級功能標配RAID-DP功能，提供高可靠、高性能的磁盤保護1標配SnapShot數(shù)據(jù)保護套件，實現(xiàn)存儲數(shù)據(jù)的快速備份1標配FlexVol自動精簡調(diào)用軟件，支持動態(tài)卷擴展和縮減，增強虛擬存儲池功能1標配MetroCluster和SyncMirror雙活鏡像功能1標配SVM存儲虛擬機，每個虛機即為一個獨立管理的存儲系統(tǒng)，實現(xiàn)應用的安全隔離和獨立管理1標配FlexShare存儲性能優(yōu)化軟件，可根據(jù)應用優(yōu)先級實現(xiàn)不同應用級別的存儲性能管理和動態(tài)調(diào)整1標配SystemManager企業(yè)級存儲管理套件，實現(xiàn)存儲系統(tǒng)硬件以及軟件功能的統(tǒng)一管理和監(jiān)控，支持中文界面1配置OracleEnterpriseManager管理插件，允許DBA對存儲進行性能分析和故障監(jiān)控1雙活架構(gòu)配件專用雙活光通信設(shè)備2其他原廠機柜1售后服務專業(yè)設(shè)計和實施服務3年原廠7*24小時硬件和軟件售后服務1第三部分存儲系統(tǒng)建議方案

目錄第1章概述和方案亮點 17第2章需求分析和設(shè)計思路 242.1需求分析 242.1.1當前系統(tǒng)現(xiàn)狀 242.1.2同城容災系統(tǒng)的挑戰(zhàn) 242.2建設(shè)目標和設(shè)計思路 262.2.1主備數(shù)據(jù)中心升級為雙活數(shù)據(jù)中心 272.2.2利用先進數(shù)據(jù)保護技術(shù)，全面提升邏輯故障防范能力 292.2.3異地容災系統(tǒng)升級為應用級 312.2.4“兩地三中心”建設(shè)目標小結(jié) 312.2.5整合服務器虛擬化 32第3章設(shè)計方案 333.1方案總體描述 333.2第一階段，建立雙活數(shù)據(jù)中心 343.2.1可行性分析 343.2.2風險和影響分析 373.2.3雙活建設(shè)方案 383.3第二階段，完善異地容災，實現(xiàn)完整的“兩地三中心”架構(gòu) 413.3.1容災驗證和演練 423.4第三階段，完善數(shù)據(jù)保護機制 433.4.1邏輯故障防范–秒級備份和恢復 443.4.2D2D備份設(shè)計規(guī)劃 453.4.3優(yōu)化管理 473.5第四階段，建立高效的研發(fā)測試機制 48第4章整合服務器虛擬化 494.1虛擬化環(huán)境中的性能提速技術(shù) 504.2虛擬化環(huán)境中的數(shù)據(jù)保護和災備 524.3NetAppFAS和VMware的深度集成 534.4內(nèi)置消重功能，降本增效 56概述和方案亮點隨著金融改革的逐步深化，對城市商業(yè)銀行而言，挑戰(zhàn)和機遇并存。例如，根據(jù)麥肯錫剛剛完成的一項調(diào)查，四大國有銀行在快速發(fā)展的零售銀行業(yè)務上損失大量市場份額，儲戶加速流失。調(diào)查顯示，客戶青睞更加精細化的金融產(chǎn)品和方便快捷的電子銀行，是他們選擇其他中小型銀行的重要原因。一方面，客戶非常注重“安全感”，另一方面，客戶也喜歡創(chuàng)新的金融服務所帶來的收益、靈活和便利。無疑，金融創(chuàng)新是城市商業(yè)銀行保持活力、加速增長的根本，是在競爭中取得優(yōu)勢的法寶。而信息化部門不但是銀行業(yè)務正常開展的保障，更是金融創(chuàng)新、推動業(yè)務發(fā)展的催化劑。因此，我們認為銀行數(shù)據(jù)中心基礎(chǔ)架構(gòu)的建設(shè)要點，體現(xiàn)在以下三個方面：增強風險防范能力，保障業(yè)務連續(xù)運行加速新產(chǎn)品上市進程，推動金融創(chuàng)新提供快速靈活的IT服務和響應，降本增效作為銀行最核心的數(shù)字資產(chǎn)的承載和管理平臺，存儲系統(tǒng)的重要性不言而喻。NetApp是業(yè)界領(lǐng)先的存儲廠家，在金融行業(yè)擁有廣泛的應用基礎(chǔ)，與大部分全球性銀行、國有銀行和區(qū)域性中小銀行都建立了長期的合作伙伴關(guān)系，共同成長，并取得了豐富的設(shè)計建設(shè)和運維管理經(jīng)驗。針對南充市商業(yè)銀行的應用、系統(tǒng)現(xiàn)狀和發(fā)展愿景，我們還特別參考和借鑒了幾家城市商業(yè)銀行的建設(shè)經(jīng)驗，都已體現(xiàn)在本方案中，目的在于避免“摸著石頭過河”：有清晰的演進發(fā)展路線，分階段實施，規(guī)避建設(shè)風險，合理化投資。綜合來講，NetApp為南充市商業(yè)銀行定制的方案有以下特點和優(yōu)勢：大幅提升可靠性和故障防范能力，為業(yè)務連續(xù)性運行提供保障存儲平臺采用業(yè)界銷量第一的FAS系列企業(yè)級集群式統(tǒng)一存儲系統(tǒng)，是可靠性的保證。經(jīng)IDC對NetApp用戶的長期跟蹤和驗證，F(xiàn)AS8000系列實際使用中達到99.9999%（6個9可用性，IDC2014年9月報告）可用性，領(lǐng)先于業(yè)界大部分存儲產(chǎn)品（5個9）。FAS8000可靈活配置，從最小規(guī)模入手，可隨需擴展到24個控制器，70PB容量和400萬IOPS的強大數(shù)據(jù)管理和處理能力。成熟“兩地三中心”解決方案：同城雙活，異地容災兩地三中心一般為同城雙中心+異地容災中心。同城雙中心采用“雙活數(shù)據(jù)中心”方案，不但故障恢復速度（可做到RTO=0）上大幅優(yōu)于現(xiàn)有的同城容災方案，而且在數(shù)據(jù)中心之間可平衡負載，優(yōu)化資源利用率。實現(xiàn)“雙活數(shù)據(jù)中心”一般有兩種思路：基于軟件復制，或者基于存儲設(shè)備?；谲浖椭疲嚎刹捎脭?shù)據(jù)庫的雙活/容災技術(shù)，可實現(xiàn)很好的效果，但應用面窄，對其他品牌數(shù)據(jù)庫或者其他數(shù)據(jù)（如文件和虛擬化平臺數(shù)據(jù)）無能為力?；诖鎯υO(shè)備：部分廠家采用專門的雙活設(shè)備，可滿足不同數(shù)據(jù)庫的要求。但功能單一，不具備容災、備份等功能，因此必須組合多種平臺（如遠程復制平臺、備份平臺或CDP平臺）來實現(xiàn)以上功能，大大增加了系統(tǒng)復雜度和排錯難度。同時，它也不具備NAS雙活功能。NetAppFAS8000內(nèi)置雙活功能，也屬于基于存儲設(shè)備的解決方案。FAS8000支持不同數(shù)據(jù)庫和應用的雙活，也可同時提供SAN和NAS的雙活，技術(shù)先進，且全球擁有11000個以上的案例（基于存儲雙活技術(shù)中案例最多），成熟度高。FAS8000同時還具備容災、備份等功能。雙活、容災、備份等功能實際上具有很大關(guān)聯(lián)度，統(tǒng)一到一個平臺下管理，不但簡化整個系統(tǒng)架構(gòu)，也減少很多不必要的系統(tǒng)開銷，提升了整體系統(tǒng)的運行效率。NetAppFAS8000雙活解決方案，已經(jīng)通過了南充商行嚴密而詳盡的系統(tǒng)化測試。多重數(shù)據(jù)保護，快速數(shù)據(jù)恢復能力雙活和容災對物理故障防范能力好，但不能防范邏輯故障。NetAppFAS8000內(nèi)置秒級快照備份和恢復功能，以及磁盤到磁盤的備份功能。出現(xiàn)嚴重數(shù)據(jù)損壞時，可迅速調(diào)用快照備份和日志，將應用數(shù)據(jù)恢復到故障前。重要的是，NetApp提供的多重數(shù)據(jù)保護不會影響生產(chǎn)，也不會增加管理復雜度。NetApp這種秒級備份和恢復能力也可應用于批前備份和批處理失敗后的恢復。批前僅需要1秒備份數(shù)據(jù)，批處理異常，可以在一分鐘內(nèi)恢復到批前數(shù)據(jù)，重新進行檢查和處理。這樣也優(yōu)化了批處理的異常處理流程。另一種思路是采用CDP技術(shù)保護數(shù)據(jù)，可恢復到任一時間點。但CDP產(chǎn)品對生產(chǎn)性能有一定影響，而且不能做到應用一致性的保護（只能做到Crash-Consistency級別），恢復時間較長。同時，CDP是一個獨立的平臺，增加了管理的復雜度。預計項目實施完成后，可實現(xiàn)的業(yè)務連續(xù)性量化指標如下：情景解決方案業(yè)務系統(tǒng)運行情況單一組件故障全冗余系統(tǒng)架構(gòu)零影響單一生產(chǎn)存儲故障雙活數(shù)據(jù)中心RPO=RTO=0，零影響數(shù)據(jù)中心癱瘓雙活數(shù)據(jù)中心RPO=RTO=0，零影響生產(chǎn)數(shù)據(jù)邏輯故障快照結(jié)合日志恢復RPO~0（恢復到出現(xiàn)故障前）RTO<30分鐘區(qū)域性災難異地災備系統(tǒng)RPO<5分鐘極大優(yōu)化新應用的研發(fā)測試流程，加速新應用上市進程NetApp具有獨到的技術(shù)，可以大幅縮短新應用的開發(fā)測試周期。在研發(fā)和測試階段，經(jīng)常需要快速準備多個數(shù)據(jù)副本，實現(xiàn)研發(fā)和測試的并行化。一般存儲廠家面對這個要求，往往需要大量時間和存儲空間，時間成本和設(shè)備成本都大大增加了。而NetApp精簡克隆技術(shù)，可以秒級生成多個數(shù)據(jù)克隆，完全消除了應用團隊的等待時間。同時，這些克隆僅僅占用極少空間。更快生成更多的數(shù)據(jù)副本，更短的研發(fā)周期，更低的成本。因此，很多著名的企業(yè)，其研發(fā)系統(tǒng)和測試平臺都選擇NetApp。在本方案中，我們巧妙地利用備份存儲來滿足研發(fā)測試的要求，實現(xiàn)了硬件資源的充分利用。支持與虛擬化、私有云平臺垂直整合，簡化管理提升效率當前IT部門面臨的一類挑戰(zhàn)是，日益龐大的應用系統(tǒng)使IT基礎(chǔ)架構(gòu)的管理越來越復雜，而稍縱即逝的市場商機又要求IT基礎(chǔ)具備快速應變能力。這就要求對IT基礎(chǔ)架構(gòu)有縱向的整合管理能力，同時能夠?qū)崿F(xiàn)自動化的工作流程管理。NetApp與虛擬化、私有云軟件廠家深度合作，實現(xiàn)了管理上的深度集成，使虛擬化平臺或私有云平臺可直接調(diào)用NetApp的數(shù)據(jù)管理功能，從而實現(xiàn)統(tǒng)一的IT基礎(chǔ)架構(gòu)的管理。管理人員不必懂存儲，也可快速分配和調(diào)用存儲資源，自助恢復數(shù)據(jù)，自動化容災切換等。因此，NetApp可以幫助IT部門，從過去繁瑣的基礎(chǔ)架構(gòu)管理中解脫出來，把更多的資源投入到應用服務上。虛擬化環(huán)境下最佳的存儲平臺NetAppFAS存儲平臺為虛擬化環(huán)境進行了專門的優(yōu)化，以VMware為例，體現(xiàn)在以下幾個方面：統(tǒng)一存儲，支持VMware三種不同的部署協(xié)議NetApp的智能二級緩存技術(shù)，針對虛擬化環(huán)境中常見的I/O熱點數(shù)據(jù)，提供了實時加速能力,效果明顯優(yōu)于其他廠家的自動分層技術(shù)（有業(yè)界標準的SAN性能測試SPC-1報告為證）最緊密的特性和管理集成。VMware和存儲相關(guān)的白皮書，包括雙活架構(gòu)（vSphereMetroStorageCluster），容災（SRM）和存儲集成（VAAI），采用的唯一范例都是NetApp。此外，NetApp還提供了進一步的管理集成：VSC插件允許VMware管理員在權(quán)限范圍內(nèi)自由地調(diào)配和管理存儲資源，從而大幅簡化了運維模式。針對虛擬化環(huán)境下常見的備份難題，NetApp存儲內(nèi)置的備份功能提供了最好的解決手段。例如成都一個央企（DEC），部署了130個虛機，過去采用VAAI+傳統(tǒng)備份軟件備份方式，日備時間為6小時，而采用NetApp方案，僅需12分鐘?？偨Y(jié)起來，實現(xiàn)本次項目的基本目標和系統(tǒng)優(yōu)化目標，前面提到大致有三種方法。簡單比較如下：基于數(shù)據(jù)庫的解決方案基于專門的雙活存儲網(wǎng)關(guān)的解決方案NetAppFAS8000核心業(yè)務數(shù)據(jù)庫的同城雙活很好，但有數(shù)據(jù)庫品牌的限制很好很好文件服務雙活不提供不支持支持異地災備很好，但有數(shù)據(jù)庫品牌的限制需要增加CDP平臺支持數(shù)據(jù)備份慢，應用一致性實時，但非應用一致性很快，應用一致性數(shù)據(jù)恢復速度慢一般快系統(tǒng)擴展性依賴于底層硬件網(wǎng)關(guān)和后端盤陣必須同時擴展，投資較大很好，支持橫向擴展和縱向升級優(yōu)化運維管理N/A本身由雙活網(wǎng)關(guān)、盤陣、CDP三個產(chǎn)品組合而成，管理復雜度增加大幅簡化管理。僅一種平臺，且提供豐富的自動化管理手段，與應用和虛擬化平臺實現(xiàn)深度的集成加速應用研發(fā)無無精簡克隆，極低空間，生成多個數(shù)據(jù)副本，支持并發(fā)測試原有存儲利舊支持支持VMware環(huán)境多協(xié)議支持僅FCSAN全部協(xié)議VMware環(huán)境熱點數(shù)據(jù)加速雙活網(wǎng)關(guān)無法提供二級緩存自動識別加速熱點數(shù)據(jù)VMware雙活架構(gòu)支持支持VMware備份不支持必須引入備份軟件內(nèi)置，且優(yōu)于備份軟件VMware遠程容災不支持必須依賴CDP平臺內(nèi)置由此可見，基于數(shù)據(jù)庫的方案限制較大。而專門的雙活存儲網(wǎng)關(guān)功能單一（因為并非存儲廠家的最核心產(chǎn)品），必須引入CDP、備份等不同的平臺組合在一起，不但會增加系統(tǒng)復雜度，也給后期運維和管理帶來很大的困難。而NetApp，將至繁歸于至簡，一個存儲平臺，也是我們最核心的產(chǎn)品FAS8000，可以很好地滿足以上所有需求，同時也保持了架構(gòu)的簡潔和管理的便利。下文是具體的方案設(shè)計。

需求分析和設(shè)計思路需求分析當前系統(tǒng)現(xiàn)狀當前，南充商行核心業(yè)務系統(tǒng)目前已經(jīng)實現(xiàn)了兩地三中心。其中，生產(chǎn)存儲采用一套EMCVNX5500，同城災備存儲為CX4-480，異地為CX3-40。同城利用MirrorView實現(xiàn)容災復制，數(shù)據(jù)實時更新；異地則利用SANCopy復制技術(shù)，數(shù)據(jù)每天更新一次。服務器為IBMPower小型機，也有部分X86服務器（采用VMware虛擬化平臺），核心業(yè)務數(shù)據(jù)庫為Oracle11g?？梢园l(fā)現(xiàn)，在業(yè)務迅速發(fā)展的今天，生產(chǎn)存儲在性能和功能上，都難以滿足業(yè)務發(fā)展的需求；而且，如出現(xiàn)部件故障，使存儲性能下降，必將嚴重影響聯(lián)機交易的速度。而兩個災備中心存儲設(shè)備非常老舊，基本是EMC兩代以前的產(chǎn)品。除此之外，我們建議將同城容災系統(tǒng)升級為同城雙活系統(tǒng)。原因如下。同城容災系統(tǒng)的挑戰(zhàn)在同城這一環(huán)節(jié)，雙活技術(shù)是優(yōu)于傳統(tǒng)同步容災技術(shù)。傳統(tǒng)容災技術(shù)有以下局限：故障后切換時間太長，對業(yè)務影響很大目前同城災備模式一般為“主備”模式，雖然同步容災技術(shù)可以實現(xiàn)RPO=0的目標，即零數(shù)據(jù)丟失，但是由于同步復制的原理，導致容災庫數(shù)據(jù)平時完全不能夠被主機訪問和使用。即下圖中，源端存儲實時地將生產(chǎn)庫的變化，復制并更新到目標端的容災庫。因為這個更新是底層存儲發(fā)起的，并非通過上層的數(shù)據(jù)庫軟件完成，所以容災端的數(shù)據(jù)庫必須保持關(guān)閉狀態(tài)。只有斷開容災復制關(guān)系，才能在容災主機端重新設(shè)備和導入存儲設(shè)備，掛接和打開數(shù)據(jù)庫。再加上災難后的網(wǎng)絡切換、數(shù)據(jù)檢驗時間，導致整個容災切換過程通常以小時來計算。具體的過程一般如下：同城容災中心斷開容災復制關(guān)系容災庫掛接到災備主機上，啟動容災庫檢驗容災庫數(shù)據(jù)有效性將業(yè)務請求重定向到容災中心，接管生產(chǎn)主備關(guān)系的容災模式，容災中心設(shè)備閑置率高由于前面提到的技術(shù)原因，容災庫實際上一直只能夠處于關(guān)閉狀態(tài)，因此所有的業(yè)務全部在生產(chǎn)中心處理，而容災中心設(shè)備利用率很低，無法分擔生產(chǎn)任務。邏輯故障應對能力較弱由于生產(chǎn)庫和容災庫為實時同步，因此當生產(chǎn)端出現(xiàn)邏輯故障，如誤刪除一張表、誤刪除一個數(shù)據(jù)文件（OracleDatafile）、Oracle出現(xiàn)bug導致無法啟動，容災端也會出現(xiàn)同樣的故障。目前應對此類故障主要依賴于備份軟件。但恢復數(shù)據(jù)和業(yè)務時間通常都是以小時來計算，對業(yè)務影響較大。管理復雜度較高由于容災庫平時都是關(guān)閉狀態(tài)，如何保證其數(shù)據(jù)的有效性和可用性？而且容災切換大部分都是人工操作，如何確保應急預案可以順利地執(zhí)行？因此在容災系統(tǒng)建設(shè)中，都存在以下的制度和規(guī)定：常態(tài)化的數(shù)據(jù)驗證和定期的容災演練。這樣無疑給運維帶來巨大的管理和人力成本。對于以上的情況，雙活數(shù)據(jù)中心具有更好的技術(shù)和解決手段。接下來，我們將對這些技術(shù)進行介紹和分析。建設(shè)目標和設(shè)計思路為解決前面提到的問題和挑戰(zhàn)，本方案提出以下幾點建設(shè)目標：同城災備升級為同城雙活，消除嚴重故障對業(yè)務的影響全面提升業(yè)務連續(xù)服務能力均衡負載，資源利用更充分和合理優(yōu)化管理，降低運維成本為實現(xiàn)以上建設(shè)目標，可按照以下設(shè)計思路，逐步建設(shè)和完善。主備數(shù)據(jù)中心升級為雙活數(shù)據(jù)中心國內(nèi)金融行業(yè)數(shù)據(jù)中心主要經(jīng)歷了以下幾個階段：第一階段，從2000年左右開始，逐步實現(xiàn)了業(yè)務數(shù)據(jù)的集中整合。在運營模式上，采用區(qū)域化集中再到總行集中。從基礎(chǔ)架構(gòu)上，實現(xiàn)了數(shù)據(jù)的集中整合管理，利用存儲區(qū)域網(wǎng)絡實現(xiàn)了業(yè)務主機到后端存儲的互聯(lián)互通。數(shù)據(jù)大集中，不但有利于銀行增強業(yè)務和資金頭寸的統(tǒng)一化管理，而且通過專業(yè)的數(shù)據(jù)中心建設(shè)，大幅提升了IT管理水平。然而，實現(xiàn)數(shù)據(jù)集中后，雖然通過主機雙機集群技術(shù)，實現(xiàn)了一定程度的高可用，但是單數(shù)據(jù)中心模式相當于把所有雞蛋都放到了一個籃子里面，因此，第二階段建設(shè)勢在必行。第二階段，大致從2003、2004年左右開始，開始災備系統(tǒng)的建設(shè)。對于全國性的銀行，異地災備是必然的選擇；而對于地區(qū)性銀行，城域距離的災備中心是更加普遍的選擇。生產(chǎn)、災備中心通常都采用“主備”模式，即所有的業(yè)務都在生產(chǎn)中心運行，災備中心只是保持實時的數(shù)據(jù)更新，一旦發(fā)生故障，才緊急啟用。這種模式雖然解決了第一階段帶來的風險問題，但是不足也很明顯，正如2.1.2節(jié)中分析過的。后來，很多銀行將“主備”數(shù)據(jù)中心升級為“生產(chǎn)–查詢”中心，利用災備中心的容災庫數(shù)據(jù)（前面已經(jīng)提到過，不能直接使用和訪問），通過克隆等手段，得到一份可以使用的副本（但是和生產(chǎn)數(shù)據(jù)有一定的時間差異），用于報表、開發(fā)等用途。這在一定程度上分擔了生產(chǎn)中心的負載，同時也使閑置的災備中心資源得到了部分利用。然而前一節(jié)提到的多數(shù)問題，并沒有得到有效的解決，尤其是生產(chǎn)中心故障后，業(yè)務影響時間還是過長。為有效地解決以上問題，唯有將主備數(shù)據(jù)中心，升級為雙活數(shù)據(jù)中心，類似于Oracle數(shù)據(jù)庫，從90年代的主備模式，升級到RAC雙活模式。兩個數(shù)據(jù)中心運行同一個業(yè)務、同一個數(shù)據(jù)庫，不但負載均衡，而且當一邊數(shù)據(jù)中心故障后，對應用無影響。下圖清楚地展現(xiàn)了數(shù)據(jù)中心高可用模式的發(fā)展路線圖：業(yè)界對于雙活數(shù)據(jù)中心解決方案進行了深入的研究和發(fā)展。2006年開始，主機廠商、存儲廠商和數(shù)據(jù)庫廠商逐漸將該技術(shù)推向市場。目前，雙活數(shù)據(jù)中心已經(jīng)非常成熟，而且得到了廣泛的應用。因此，國內(nèi)部分銀行開始了第三階段的發(fā)展：主備數(shù)據(jù)中心升級為雙活數(shù)據(jù)中心，并在此基礎(chǔ)上進一步完善為“兩地三中心”模式。這個階段始于2012年。雙活數(shù)據(jù)中心實現(xiàn)后，可以達到以下目標：極大提升業(yè)務連續(xù)服務能力發(fā)生重大故障后，業(yè)務運行不受影響，消除了現(xiàn)有環(huán)境中“容災切換”帶來的停機時間。核心業(yè)務系統(tǒng)得到最完善和最充分的保護。我們預計，對于物理故障，雙活數(shù)據(jù)中心可以實現(xiàn)RPO=0和RTO=0的理想目標。業(yè)務負載分攤到兩個數(shù)據(jù)中心，避免了資源閑置故障后可實現(xiàn)自我修復，大幅降低了人為因素無需常態(tài)化的容災數(shù)據(jù)檢驗和容災演練，降低運維壓力和成本利用先進數(shù)據(jù)保護技術(shù)，全面提升邏輯故障防范能力容災技術(shù)和雙活技術(shù)都無法解決邏輯故障，因為兩中心的數(shù)據(jù)完全是鏡像關(guān)系，一損俱損。目前解決此類故障主要依賴于備份軟件，通過定期的備份來保護數(shù)據(jù)。恢復方面，可以通過恢復最近的備份點，再加上數(shù)據(jù)日志重做來恢復到故障前的數(shù)據(jù)。然而備份軟件的恢復速度基本上需要耗費數(shù)小時，對業(yè)務影響極大。尤其是在業(yè)務數(shù)據(jù)日益增長的今天，這個缺點尤其突出。如何解決這個問題呢？目前業(yè)界提供的解決方法包括：基于存儲的快照備份和恢復技術(shù)采用存儲快照技術(shù)，有著備份快和恢復快的優(yōu)勢。對于任意大小的生產(chǎn)庫，可以實現(xiàn)秒級的數(shù)據(jù)備份和恢復?？煺諅浞?，是基于時間點的備份技術(shù)(PointInTime)，因此要恢復到故障前的狀態(tài)，還需要結(jié)合數(shù)據(jù)庫和應用的日志恢復技術(shù)。根據(jù)我們的了解，由于快照不影響生產(chǎn)性能，而且恢復速度快，因此快照技術(shù)被廣泛地應用于國內(nèi)外銀行生產(chǎn)系統(tǒng)的數(shù)據(jù)保護。連續(xù)數(shù)據(jù)保護軟件(CDP)CDP技術(shù)的應用范圍較少，尤其在大規(guī)模的核心應用這一塊，難覓蹤跡。CDP的特點在于，該軟件會忠實記錄每一個寫操作到一個單獨的存儲空間，因此可以反向回退到任何任何時間點。部署方式有主機agent、存儲網(wǎng)絡附加設(shè)備和存儲控制器三種。CDP的缺點在于：由于CDP的實現(xiàn)原理，對應用性能有一定影響恢復大量數(shù)據(jù)速度較慢。如果大量數(shù)據(jù)已經(jīng)重新修改，則恢復時間很長。另外一種情況，如果批處理失敗，需要快速恢復到批前數(shù)據(jù)，CDP的恢復速度遠遠低于快照恢復速度。以上的分析可以簡單總結(jié)為：快照優(yōu)點是備份恢復快，不影響性能；缺點是需要結(jié)合數(shù)據(jù)庫日志技術(shù)。而CDP雖然可以方便地恢復到任一時間點，但對生產(chǎn)性能有一定影響，而且恢復時間會因數(shù)據(jù)改變量而異。綜合起來，快照技術(shù)對現(xiàn)有生產(chǎn)影響更小，實施風險也較小，而且完全能夠滿足RPO和RTO的要求，更適合銀行業(yè)務需求。異地容災系統(tǒng)升級為應用級雖然同城雙活數(shù)據(jù)中心實現(xiàn)了數(shù)據(jù)中心的冗余配置，并構(gòu)成了一個高可用集群，但是對于要求7×24×356提供服務的金融系統(tǒng)來說，一旦出現(xiàn)區(qū)域性災難，如地震、洪水、電網(wǎng)癱瘓等極端情況時，將導致全行業(yè)務的癱瘓，甚至數(shù)據(jù)丟失。因此，有必要在雙活數(shù)據(jù)中心的基礎(chǔ)上，建立一個異地的應用級災難備份數(shù)據(jù)中心，實現(xiàn)應用和數(shù)據(jù)的三重保險，使得銀行能夠為用戶提供優(yōu)質(zhì)、高可靠的服務。由于同城雙活數(shù)據(jù)中心可以應對絕大多數(shù)的故障和災難，因此考慮到投資的合理化分配，異地災備中心設(shè)備能夠支持低于生產(chǎn)系統(tǒng)的降級配置。目前南充商行已經(jīng)建設(shè)了數(shù)據(jù)級異地容災，可考慮將利舊設(shè)備搬遷至容災中心，升級為應用級容災。一方面提升了業(yè)務系統(tǒng)對災難的防范能力，另一方面也有效利用了現(xiàn)有生產(chǎn)資源。異地災備系統(tǒng)的目標是在有限的硬件資源和網(wǎng)絡條件下，實現(xiàn)RPO<5分鐘，RTO<60分鐘?！皟傻厝行摹苯ㄔO(shè)目標小結(jié)按照以上設(shè)計思路，可實現(xiàn)的建設(shè)目標具體量化如下表所示：情景解決方案業(yè)務系統(tǒng)運行情況單一組件故障（較高概率）全冗余系統(tǒng)架構(gòu)零影響單一生產(chǎn)存儲故障（低概率）雙活數(shù)據(jù)中心RPO=RTO=0數(shù)據(jù)中心癱瘓（低概率）雙活數(shù)據(jù)中心RPO=RTO=0生產(chǎn)數(shù)據(jù)邏輯故障(低概率)快照結(jié)合日志恢復RPO~0（恢復到出現(xiàn)故障前）RTO<20分鐘區(qū)域性災難（極低概率）異地災備系統(tǒng)RPO<5分鐘RTO<1小時整合服務器虛擬化未來可以考慮在此架構(gòu)上，統(tǒng)一整合服務器虛擬化數(shù)據(jù)，原因如下：當前銀行IT發(fā)展的方向是，越來越多的重要業(yè)務系統(tǒng)遷移到虛擬化平臺上。因此這部分業(yè)務的連續(xù)運行，也需要得到保證。由于業(yè)務系統(tǒng)之間關(guān)聯(lián)度較大，將核心業(yè)務和重要業(yè)務數(shù)據(jù)整合到一套“兩地三中心”平臺上，有利于統(tǒng)一管理，而且易于實現(xiàn)不同應用交易一致性的備份。與其分散資源構(gòu)建多個平臺，不如集中資源，統(tǒng)一建立一套更高標準的基礎(chǔ)架構(gòu)，在不同應用之間共享資源和靈活調(diào)配，更加符合城市商業(yè)銀行靈活、快速的定位。當前最先進的存儲技術(shù)，如NetAppFAS8000系列，可以同時滿足數(shù)據(jù)庫、虛擬化平臺在雙活、容災架構(gòu)上的部署。設(shè)計方案方案總體描述為實現(xiàn)上述的建設(shè)目標，我們設(shè)計的系統(tǒng)拓撲示意圖如下：為實現(xiàn)在整個建設(shè)過程中進度、風險可控，建議可分階段來實施：現(xiàn)有同城容災系統(tǒng)升級為同城雙活實現(xiàn)兩地三中心，升級異地災備系統(tǒng)為應用級建立完善的數(shù)據(jù)保護機制，并優(yōu)化數(shù)據(jù)中心管理建立靈活高效的研發(fā)測試系統(tǒng)第一階段，建立雙活數(shù)據(jù)中心前面已經(jīng)討論過，雙活數(shù)據(jù)中心是當前成熟的部署方式，相對于傳統(tǒng)主備容災，有很多優(yōu)點。但首先需要分析的是，雙活數(shù)據(jù)中心如何落地？可行性分析完整的雙活數(shù)據(jù)中心需要以下幾個層面的支持：雙活的存儲架構(gòu)。支持一個數(shù)據(jù)庫實例在兩個數(shù)據(jù)中心之間互為鏡像，任一損壞都不會影響應用運行。跨數(shù)據(jù)中心的存儲網(wǎng)絡互連（ExtendedFabric），Oracle官方建議RAC之間的鏈路延遲低于1ms（Round-Trip）。跨數(shù)據(jù)中心的主機高可用跨數(shù)據(jù)中心的應用雙活跨數(shù)據(jù)中心的應用網(wǎng)絡互連，要求延遲低于1ms（同樣是OracleRAC的要求）因此，首先需要確認可以獲得低延遲的裸光纖鏈路，用于存儲的最低要求是4對裸光纖：用途連接設(shè)備光纖(對)服務器到存儲原有SAN交換機互聯(lián)2雙活存儲互聯(lián)(心跳)MC內(nèi)部SAN交換機互聯(lián)4（建議）主機高可用方面，無論是IBMPowerHA、HPServiceGuard、MSCS、VCS等都支持長距離的高可用集群。因此這個條件也是具備的。應用方面，主要應用是OracleRAC。OracleRAC在這種遠距離距離的實施，早在2006年就有大量的安裝案例了?？蓞⒖糘racle白皮書《OracleRealApplicationClustersonExtendedDistanceClusters–UpdatedforOracleRAC10gRelease2》，發(fā)布日期是2006年10月。OracleRAC在NetAppMetroCluster上的應用是非常成熟和可靠的，早在2008年，Oracle官網(wǎng)就介紹了RAC和NetAppMetroCluster的案例，見：/us/solutions/custstory-rac-gottwald-177716.pdf下圖描述了OracleRACExtendedCluster基于NetAppMetroCluster技術(shù)上的實現(xiàn)(兩地三中心)：值得指出的是，當前其他應用平臺都能夠支持雙活技術(shù)了，如DB2、vSphere等。VMware的白皮書“VMwarevSphereMetroStorageClusterCaseStudy”就以NetAppMetroCluster為例，闡述了VMware如何實現(xiàn)雙活數(shù)據(jù)中心。綜上所述，現(xiàn)有生產(chǎn)環(huán)境升級到雙活數(shù)據(jù)中心完全是可行的。升級之后，同一個應用可以同時跑在兩個數(shù)據(jù)中心，兩個數(shù)據(jù)中心對客戶端提供統(tǒng)一的接入接口?？梢赃@樣講，邏輯上的一個應用，物理上分布到兩個數(shù)據(jù)中心，均衡負載，互為備份。發(fā)生任一單點故障，均不會影響應用運行。請參見下圖：風險和影響分析由于雙活數(shù)據(jù)中心的各個組成方面，或者是已經(jīng)具備條件，或者采用成熟解決方案，如果實施計劃周密，風險完全可控。兩個數(shù)據(jù)中心之間采用可采用運營商裸光纖，同時也可利用xWDM設(shè)備實現(xiàn)線路復用（南充商行將部署DWDM設(shè)備），滿足雙活的基本要求。如有將來有條件，可考慮增加不同的運營商或者物理路徑，從而實現(xiàn)鏈路的物理冗余。另外一個需要考慮的因素是長距離OracleRAC的性能是否會降低。根據(jù)Oracle官方文檔的評估，在20KM距離下，OracleRAC在兩個數(shù)據(jù)中心上運行的性能，比所有設(shè)備在同一數(shù)據(jù)中心運行的性能，性能低了不到5%：雙活建設(shè)方案存儲方案建議選擇NetAppFAS8040統(tǒng)一存儲設(shè)備作為核心應用持續(xù)高可用存儲。核心應用存儲由兩套FAS8040統(tǒng)一存儲構(gòu)成，兩套FAS8040之間通過同城DWDM光纖連接，采用光纖鏈路實現(xiàn)互相的心跳檢測及數(shù)據(jù)傳輸，存儲系統(tǒng)采用物理磁盤組成兩份物理鏡像通過SyncMirror軟件實現(xiàn)磁盤數(shù)據(jù)同步，利用MetroCluster技術(shù)實現(xiàn)存儲遠程雙活集群。借助第三地的Tiebreaker仲裁節(jié)點，可以有效地防范雙活架構(gòu)中的“腦裂”（SplitBrain）現(xiàn)象，并實現(xiàn)自動化的故障恢復。NetAppFAS8040磁盤陣列作為是NetApp公司的最新一代的統(tǒng)一存儲架構(gòu)的磁盤陣列產(chǎn)品，能夠為用戶提供高性能、大容量存儲系統(tǒng)。NetAppFAS8040不論從性能、可靠性和擴展能力都可以滿足用戶對當前和未來的數(shù)據(jù)存儲系統(tǒng)的要求。FAS8040是一款中高端的企業(yè)級存儲設(shè)備，SAN平臺下最大支持8個控制器、256GB一級緩存和16TB二級緩存，最大容量為2880塊磁盤、11.5PB，可以支持最多96個16Gb光纖通道口。建議南充商行核心業(yè)務系統(tǒng)和虛擬化平臺運行在NetAppFAS8040雙活存儲集群上。每個數(shù)據(jù)中心配置FAS8040雙控，64GB一級緩存，1TB二級緩存（原有VNX5500僅有24GB一級緩存），8塊SSD和60塊SAS盤。雙活部署以后，更是達到4個控制器，128GB一級緩存、2TB二級緩存，16塊SSD和120塊SAS盤的規(guī)模。FAS8040雙控，配置192塊SAS盤，SPC-1測試結(jié)果超過86000SPC-1IOPS。根據(jù)類似規(guī)模銀行客戶的應用經(jīng)驗，F(xiàn)AS8040完全可以滿足南充銀行數(shù)據(jù)中心核心雙活存儲的性能需求。綜合業(yè)務平臺數(shù)據(jù)基本上為結(jié)構(gòu)化數(shù)據(jù)，可以考慮采用高性能、低延遲的FCSAN網(wǎng)絡部署。每個數(shù)據(jù)數(shù)據(jù)中心需部署兩臺SAN交換機，形成冗余的存儲網(wǎng)絡。而文件類非結(jié)構(gòu)化數(shù)據(jù)，可以采用NAS方式進行部署，網(wǎng)絡為IP網(wǎng)絡，同樣需要建立冗余的訪問路徑。對于虛擬化平臺，可選擇部署在NAS的大文件系統(tǒng)上，通過NFS協(xié)議訪問，非常有利于管理和擴展，也可選擇FCSAN方式，利用其高性能、低時延的特點?？偨Y(jié)起來，本階段雙活數(shù)據(jù)中心達到的目標是：針對各類物理故障（故障場景分析可見5.1節(jié)）可實現(xiàn)零數(shù)據(jù)丟失和零應用影響。所需要具備的條件和設(shè)備如下：6對裸光纖鏈路（其中4對用于存儲互聯(lián)，2對用于主機端SAN網(wǎng)絡互聯(lián)）。南充商行已部署DWDM設(shè)備實現(xiàn)鏈路復用，可以大幅節(jié)省費用。對稱部署的NetAppFAS8040雙活存儲NetAppTiebreaker軟件NetApp專業(yè)實施服務第二階段，完善異地容災，實現(xiàn)完整的“兩地三中心”架構(gòu)第一階段雙活完成后，可總結(jié)第一階段的經(jīng)驗，并著手第二階段的實施。在異地災備中心，可以利用一臺NetAppFAS8000，虛擬化利舊的EMC存儲，與生產(chǎn)中心的FAS8040MetroCluster雙活存儲實現(xiàn)遠程容災復制。采用的復制技術(shù)是FAS8000內(nèi)置的SnapMirror遠程容災功能，可直接支持IP鏈路，支持鏈路壓縮。SnapMirror允許客戶選擇適當?shù)耐郊墑e（同步、半同步和異步），從而實現(xiàn)了較高的災難恢復保護級別。其中異步模式復制間隔最低為1分鐘。SnapMirror支持數(shù)據(jù)的增量反向遠程復制：在正常情況下，業(yè)務數(shù)據(jù)從主磁盤陣列復制到容災磁盤陣列上。在主磁盤陣列發(fā)生故障無法正常運行的時候，前端主機可以直接訪問容災磁盤陣列上的數(shù)據(jù)，當主磁盤陣列恢復正常運行的時候，這時可以利用SnapMirror增量反向遠程復制功能以增量的方式把容災磁盤陣列上那些變化的數(shù)據(jù)復制到主磁盤陣列上，大大縮短了系統(tǒng)恢復到原有狀態(tài)所需的時間，使得兩邊的數(shù)據(jù)再次保持一致，然后就可以恢復SnapMirror的正常數(shù)據(jù)復制。服務器方面，可利舊原有服務器，應用級容災。雙活系統(tǒng)所需的Tiebreaker，可部署在容災中心。容災驗證和演練容災數(shù)據(jù)的驗證和測試，以及定期的容災演練，是容災系統(tǒng)建設(shè)不可缺少的部分。通過容災數(shù)據(jù)的驗證測試，以確保容災中心的數(shù)據(jù)完整性和可用性；而定期的容災演練，有利于讓維護人員熟悉容災流程，完善應急預案。使用NetApp獨有的精簡克隆技術(shù)，可利用任一快照，秒級生成克隆，極低空間占用。利用這些克隆可方便地進行容災系統(tǒng)中必須定期完成的容災演練、數(shù)據(jù)驗證。請參見下圖：第三階段，完善數(shù)據(jù)保護機制隨著數(shù)據(jù)量的增加，同時希望故障后對業(yè)務的影響降到最低，因此有必要建立多重數(shù)據(jù)保護機制。前面提到，對于邏輯故障，現(xiàn)有解決方案是采用傳統(tǒng)備份軟件。但是在恢復速度上滿足不了新的要求。解決辦法是：使用雙活存儲設(shè)備自身的快照備份功能，實現(xiàn)秒級數(shù)據(jù)備份和恢復優(yōu)化原有備份方式，例如采用D2D2T的備份方案，備份和恢復速度上得到一定的提升，同時也可以保留離線歸檔備份。未來災備存儲也需要建立快照歷史備份，有效應對邏輯故障傳遞建設(shè)完成之后，可以達到的效果是：恢復最近的數(shù)據(jù)，可利用雙活存儲自身的快照備份，秒級數(shù)據(jù)恢復，分鐘級恢復應用恢復較長時間前的數(shù)據(jù)，從近線存儲（可考慮未來部署一套）恢復，可實現(xiàn)分鐘級的數(shù)據(jù)恢復邏輯故障防范–秒級備份和恢復NetAppFAS8000內(nèi)置快照功能，提供秒級備份和恢復功能，有效防范邏輯故障(海量文件、數(shù)據(jù)庫和虛擬機的最有效備份恢復方式)利用NetApp卓越的快照技術(shù)，對Oracle、DB2、SQLServer以及海量文件系統(tǒng)進行數(shù)據(jù)一致性的秒級快照備份。備份窗口從原來的幾個小時縮短為1~2分鐘，僅僅為數(shù)據(jù)進入熱備模式時間+1秒。對于同一個數(shù)據(jù)庫，NetApp支持多達255個時間點的歷史備份。如數(shù)據(jù)庫（Oracle、DB2、SQLServer）或文件系統(tǒng)發(fā)生邏輯數(shù)據(jù)錯誤，可使用SnapRestore進行快速的恢復。數(shù)據(jù)恢復時間為數(shù)秒，再加上日志重做的時間，應用恢復可控制在十幾分鐘至數(shù)十分鐘內(nèi)，遠低于其他方案的數(shù)個小時。虛擬化平臺（如VMware）下，因為備份窗口過長,傳統(tǒng)的備份技術(shù)更加難以適應。而NetApp的快照技術(shù)，不但可以通過秒級備份和恢復解決這一問題，而且還可以實現(xiàn)與VMware在管理上的集成。即備份恢復數(shù)據(jù)，僅僅需要在vCenter內(nèi)部調(diào)用NetApp的功能即可，無需掌握備份軟件、無需掌握存儲管理技術(shù)，提升應用在線能力的同時，大幅降低了管理的復雜度。D2D備份設(shè)計規(guī)劃在未來，還可利用現(xiàn)有一套NetAppFAS6220(或另外增加)作為近線存儲，利用高效的SnapVaultD2D備份，提升應用的可用性。和傳統(tǒng)備份模式相比，NetAppSnapVault是Server-Free方式，備份流不通過主機，因此不會影響主機性能；而傳統(tǒng)方式為LAN或者LANFree方式，對主機性能有一定的影響。除此之外，NetAppSnapVault和傳統(tǒng)備份模式相比，還有如下優(yōu)點：項目NetAppSnapVault傳統(tǒng)D2D備份數(shù)據(jù)備份很快，秒級更多的備份點很慢，小時級一天一個備份點對生產(chǎn)的影響無較大，且時間較長數(shù)據(jù)恢復很快，秒級很慢，小時級空間效率高，僅一次全備的方式，加上消重技術(shù)較高，僅虛擬帶庫的消重技術(shù)備份驗證方便，且不需要空間–降低人力、硬件成本復雜，且需要額外空間–額外人力和硬件成本備份數(shù)據(jù)利用備份數(shù)據(jù)為主機可以直接識別和掛接的格式；可方便用于開發(fā)、培訓以及生產(chǎn)應急，提升投資回報率只能用于數(shù)據(jù)恢復許可證方式總體很低：僅一次性購買，再多的主機接入、再多的數(shù)據(jù)量，均不會增加成本總體很高：按主機數(shù)量收費，每增加業(yè)務主機，需要額外購買備份軟許可SnapVault的工作原理可參見5.2節(jié)。備份策略制定建議：數(shù)據(jù)類型本地快照備份SnapVaultD2D備份關(guān)鍵業(yè)務數(shù)據(jù)庫每小時，保留最近30份最近2天每小時一次；一周內(nèi)每天2次；一個月內(nèi)每天一次；一年內(nèi)每周一次；非關(guān)鍵業(yè)務數(shù)據(jù)庫每半天，保留最近10份一周內(nèi)每天2次；一個月內(nèi)每天一次；一年內(nèi)每月一次；虛機系統(tǒng)數(shù)據(jù)每半天，保留最近10份一周內(nèi)每天2次；一個月內(nèi)每天一次；一年內(nèi)每月一次；優(yōu)化管理NetApp提供自動化存儲服務定制，支持與客戶數(shù)據(jù)中心業(yè)務流程管理軟件的集成：可利用NetApp管理工具實現(xiàn)存儲服務自動化。也可和第三方管理軟件進行無縫集成，同時NetApp也開放API和SDK，支持用戶自定義云管理平臺。通過定制化的自助服務環(huán)境，使內(nèi)部客戶在幾乎沒有或是根本沒有管理人員介入的情況下請求和獲得適當配置的IT資源，是實現(xiàn)整體業(yè)務靈活性和服務快捷性的一個重要步驟。這樣一來，可輕松實現(xiàn)：持續(xù)滿足服務級別快速擴展和添加新應用和IT服務以最少的投入滿足不斷變化的業(yè)務需求高效利用IT資源，最大限度地提高硬件利用率通過自動執(zhí)行重復性活動來提高生產(chǎn)率借助集成工具和自動化配置流程來簡化管理第四階段，建立高效的研發(fā)測試機制在產(chǎn)品和研發(fā)階段，未來加快把新產(chǎn)品推向市場，縮短研發(fā)周期，往往需要進行并行化的產(chǎn)品測試。然而，不同的測試小組之間，以及測試和開發(fā)人員之間，都希望數(shù)據(jù)使用的獨立性，以避免相互干擾。這就意味著需要多個數(shù)據(jù)副本。傳統(tǒng)的存儲技術(shù)，每份克隆都要占用一份空間。這樣，存儲資源消耗嚴重：NetAppFAS8000具有專利的精簡克隆技術(shù)，相同的數(shù)據(jù)，共享底層物理存儲，因此占用空間極少，完全可以生成更多的數(shù)據(jù)副本，進一步并行化加速測試流程。這是降本增效的一個典范，也使NetApp存儲作為大部分知名企業(yè)研發(fā)部門的首選。整合服務器虛擬化目前，越來越多的銀行將重要業(yè)務系統(tǒng)部署于虛擬化平臺上，以獲得更加靈活和彈性的資源管理和供給。我們建議南充商行將服務器虛擬化平臺部署在NetAppFAS存儲上。NetAppFAS存儲平臺為虛擬化環(huán)境進行了專門的優(yōu)化，以VMware為例，體現(xiàn)在以下幾個方面：統(tǒng)一存儲，支持VMware三種不同的部署協(xié)議NetApp的智能二級緩存技術(shù)，針對虛擬化環(huán)境中常見的I/O熱點數(shù)據(jù)，提供了實時加速能力,效果明顯優(yōu)于其他廠家的自動分層技術(shù)（有SAN標準性能測試SPC-1報告為證）最緊密的特性和管理集成。VMware和存儲相關(guān)的白皮書，包括雙活架構(gòu)（vSphereMetroStorageCluster），容災（SRM）和存儲集成（VAAI），采用的唯一范例都是NetApp。此外，NetApp還提供了進一步的管理集成：VSC插件允許VMware管理員在權(quán)限范圍內(nèi)自由地調(diào)配和管理存儲資源，從而大幅簡化了運維模式針對虛擬化環(huán)境下常見的備份難題，NetApp存儲內(nèi)置的備份功能提供了最好的解決手段。例如成都一個央企（東方電氣），部署了130個虛機，過去采用VAAI+傳統(tǒng)備份軟件備份方式，日備時間為6小時，而采用NetApp方案，僅需12分鐘。降本增效。NetAppFAS內(nèi)置消重功能，針對VMware環(huán)境中，大量冗余的虛機映像，能夠節(jié)省90%以上的存儲空間。虛擬化環(huán)境中的性能提速技術(shù)虛擬化平臺對存儲性能的要求非?？量?，已成為業(yè)界的共識。存儲性能的高低，將決定著應用性能的快慢，也決定著用戶交易的體驗。如何衡量不同存儲性能的高低？業(yè)界公認的方法是通過第三方的公開性能測試，如代表FCSAN性能的SPC-1，代表NAS性能的SPECSFS2008。值得指出的是，SPC-1性能結(jié)果高低，雖然不能代表真實業(yè)務環(huán)境的存儲性能，但是至少提供了一個公平公開公正的比較手段。性能測試結(jié)果往往以IOPS的形式展現(xiàn)。但必須注意的是，這個數(shù)字和用戶購買的存儲的性能IOPS，完全是兩回事。因為用戶購買的存儲，和性能測試的存儲，在配置上差別很大。性能測試往往都采用滿配，以達到最好的結(jié)果。但用戶配置，往往受容量需求和經(jīng)費限制，遠低于測試配置。因此，我們建議用性能效率來進行衡量，即通過測試IOPS/測試配置，來得到單位硬件能夠提供的性能，以比較不同存儲之間的性能差異。在相同配置的情況下，性能效率高的存儲系統(tǒng)，可以提供更高的性能。提升性能效率的方法，在保證性價比的前提下，除了不同的存儲操作系統(tǒng)的算法差異以外，主要有兩種：二級緩存技術(shù)，如NetAppFlashCache和FlashPool，EMCFastCache。是以閃存作為存儲的二級緩存。這種技術(shù)不做任何數(shù)據(jù)遷移，因此對于性能提升的反應速度和效果都非常好。自動分層技術(shù)，如EMCFast、IBMEasyTier，HDSDynamicTier，需要在不同的性能層之間遷移數(shù)據(jù)。對性能提升的反應速度較慢。但如果應用的熱點數(shù)據(jù)分布變化本身較慢，這種技術(shù)也有不錯的效果。NetApp采用先進的控制器技術(shù)，存儲具有最領(lǐng)先的性能效率。下圖對比了幾種主流的SAN存儲產(chǎn)品，包括IBM最新的DS8870、HP最高端的P10000(即收購自3PAR的產(chǎn)品)、HDS的VSP(HPOEM的型號是p9500，即XP24000的下一代)，而EMC沒有參加SAN性能測試。(數(shù)據(jù)來源：SPC-1標準FCSAN性能測試。圖中反映的是，在SPC-1測試中，單個磁盤可以提供的IOPS性能。顯然，更好的技術(shù)，可以讓同樣的磁盤發(fā)揮更好的性能)。這意味著，相同的磁盤配置下，NetApp可以為業(yè)務提供更多的IOPS性能。例如，在測試中，NetAppFAS6240僅僅需要432塊普通SAS磁盤，采用RAID6，可獲得25萬SPC-1IOPS，而HDS最高端VSP使用了1152塊SAS盤，采用RAID10，取得26.9萬SPC-1IOPS。試想如果應用容量需求僅僅需要100塊SAS盤，那么NetAppFAS6240仍然可以提供6萬左右的SPC-1IOPS，而VSP卻不到3萬SPC-1IOPS。這里面最關(guān)鍵的技術(shù)之一就是NetApp領(lǐng)先的虛擬分層和大容量二級緩存技術(shù)。其他廠家也具有自動分層，多級緩存技術(shù)，但從未經(jīng)過標準性能測試檢驗。虛擬化環(huán)境中的數(shù)據(jù)保護和災備前文已經(jīng)提及，VMware雙活架構(gòu)vSphereMetroStorageCluster支持NetAppMetroCluster，而且其技術(shù)白皮書正是以NetAppMetroCluster為范例。此外，在虛擬化環(huán)境中的數(shù)據(jù)保護具有如下特點：NetApp的快照技術(shù)可集成于VMware環(huán)境中，提供秒級的數(shù)據(jù)備份和恢復。NetApp可以提供VM中單個文件的恢復NetApp全面支持VMwareSRM容災軟件NetApp專利的快照技術(shù)可輕易地集成到VMware環(huán)境中，可實現(xiàn)虛擬主機的恢復、完整的虛擬主機克隆，或者站點復制以及冗災等。這種解決方案的優(yōu)點在于它是存儲界唯一對系統(tǒng)性能沒有負面影響的快照技術(shù)。VMware也聲明為了達到最佳的性能和擴展性，建議使用給予硬件的快照解決方案而不是軟件的快照解決方案。在基于磁盤的備份方案中，包含了從生產(chǎn)系統(tǒng)拷貝虛擬磁盤文件到備份的磁盤系統(tǒng)。盡管和直接將生產(chǎn)系統(tǒng)的數(shù)據(jù)備份到磁帶相比，這種方式提供了非?？焖俚膫浞莘桨?，但是每次備份都需要100%的額外空間。某些友商提供了Copy-Out的快照技術(shù)，但是Copy-Out快照技術(shù)所帶來的性能問題，嚴重地影響了生產(chǎn)，使得這些快照技術(shù)也不能被用戶所接受。而NetApp的專利的快照技術(shù)完全沒有傳統(tǒng)的基于磁盤備份的固有的問題。而和Copy-Out的快照技術(shù)相比，NetApp的快照技術(shù)由于不移動數(shù)據(jù)，從而不會產(chǎn)生對性能的負面影響。同時，NetApp快照技術(shù)的開銷只是變化的數(shù)據(jù)塊，占用空間更少。NetAppFAS和VMware的深度集成NetAppFAS系列存儲和Vmware虛擬化軟件實現(xiàn)了深度的集成，可以最大化提升運行效率，簡化管理。VMwarevCenter通過調(diào)用FAS設(shè)備插件，可以驅(qū)動FAS執(zhí)行一系列任務。比如備份、災備功能，菜單化部署單元功能。FAS存儲分別通過VMware的四個插件實現(xiàn)不同的功能。以下是詳細的調(diào)用關(guān)系如下圖所示。VSC存儲管理插件在云計算架構(gòu)下，管理不再是存儲、服務器、網(wǎng)絡等分離式管理，統(tǒng)一的、集成的管理平臺是云存儲的最佳實踐。vCenter是虛擬化平臺的管理平臺，在vCenter上集中對存儲進行配置、監(jiān)控等是虛擬化平臺與云存儲結(jié)合的一種推薦方式。為此，F(xiàn)AS系統(tǒng)存儲擁有專門的vCenter上的存儲管理插件VirtualStorageConsole（VSC）。它主要有以下功能：虛擬存儲控制臺配置和克隆備份與恢復NFSPlug-in插件ESXServer通過NAS的NFSPlug-in插件，可以將NAS文件系統(tǒng)掛載到ESXServer，作為NFSDataStore。通過NFSPlug-in插件，還可以定義虛擬機IO的優(yōu)先級，保證關(guān)鍵業(yè)務的IO的優(yōu)先級，不受其它業(yè)務IO性能影響。SRA插件SRA插件由NetApp提供，部署在SRMServer上，與SRM軟件實現(xiàn)無縫連接。在SRM界面，通過SRA插件可以直接調(diào)用的SnapMirror（存儲復制功能）和FlexClone（虛擬克隆工具），實現(xiàn)災備功能和虛擬機克隆功能。VAAI插件VAAI（vStorageAPIsforArrayIntegration）是VMware提供存儲管理接口，主流的NAS和SAN存儲都支持這個接口，并針對VAAI提供專用的插件，部署在vCenterServer。NetApp存儲提供的VAAI插件，可以實現(xiàn)虛擬機和存儲空間的快照和恢復功能、NFSDatastorge參數(shù)調(diào)整和配置功能。VASA插件VASA的目的是加強存儲資源在VMware的可視化，可以通過vCenter和CapacityIQ工具獲得對物理存儲陣列的一些細節(jié)信息，如RAID信息，磁盤數(shù)量等等。內(nèi)置消重功能，降本增效在VMware環(huán)境中，非常流行的部署方式是從預先創(chuàng)建的虛機的模板來快速創(chuàng)建新的虛機。一個虛機的模板通常包含了虛機的配置文件(.vmx)以及一個或多個虛擬磁盤文件(.vmdk)，包含了操作系統(tǒng)，公共應用程序，以及補丁文件或系統(tǒng)更新。從模板來創(chuàng)建新的虛機，通過拷貝配置文件以及虛擬磁盤文件，并注冊成為獨立的虛機，大大減少了管理上的時間開銷。但是，在這種方式下，造成了大量的重復數(shù)據(jù)。下圖說明了在VMware環(huán)境下的典型存儲開銷。NetApp提供了一種重復數(shù)據(jù)刪除的技術(shù)，稱為FASDedup。通過FASDedup技術(shù)，我們能夠消除在VMware環(huán)境中的重復數(shù)據(jù)，大大提供存儲的總體利用率。FASDedup提供了一種虛擬化的技術(shù)，使得多個虛機可以共享在NetApp主存儲上的相同的物理數(shù)據(jù)塊。FASDedup無縫的集成到VMware的環(huán)境中，而不需要在VMware的配置和管理中進行任何的改變。下圖說明了VMware環(huán)境中啟用FASDedup后對存儲開銷的影響。在實際環(huán)境中，可以節(jié)省90%的系統(tǒng)空間。目前，F(xiàn)ASDedup是Volume級別的，它消除在同一個Volume中的重復數(shù)據(jù)。因此，為了更好地提高存儲利用率，我們建議盡量將相同操作系統(tǒng)、相同應用的虛機部署在同一個datastore中，從而部署在啟用FASDedup功能的FlexVol中。第四部分NetApp服務體系介紹

服務體系1.技術(shù)支持中心TSC(TechnicalSupportCenter)TSC是一個分布在美洲、歐洲、亞洲，包含多個支持中心的支持網(wǎng)絡，能夠在全球的任何地方為您的運營提供服務，從而保證最高水平的全天候支持。每個支持中心采用follow-the-sun模式為其鄰近地區(qū)提供服務。該中心時間范圍以外的呼叫將自動路由到一個開放著的支持中心，有效地讓您的IT人員能夠始終即時獲得專業(yè)NetApp工程師的支持。TSC接受全球范圍內(nèi)包括電子郵件、電話和web的服務請求，同時自動處理經(jīng)在線連接NetApp設(shè)備發(fā)回的自動支持（AutoSupport）請求，由支持中心專家組會同全球各地的現(xiàn)場支持隊伍和合作伙伴，提供最快速的響應和有力的支持。目前，TSC支持中心分別位于加利福尼亞州桑尼維爾市（Sunnyvale）、北卡羅萊納州Raleigh市、荷蘭Amsterdam、德國Munich、印度班加羅爾（Bangalore）、大連以及日本東京等。技術(shù)支持中心（TSC）提供24x7x365全天候支持。在中國大連市，主要服務于大中華及北亞地區(qū)的NetApp全球第六個技術(shù)支持中心已于2007年九9月加入到全球支持中心的網(wǎng)絡中，從而能為中國本地客戶提供更加及時全面的技術(shù)支持服務。全球支持中心提供多種語種電話支持服務，包括英語、漢語普通話、韓語、日語、法語、德語、荷蘭語等。全國統(tǒng)一的7x24服務熱線:400-6566-577(中國普通話服務)2.TSC人員組成技術(shù)支持工程師（TSE）：是專職技術(shù)支持人員。TSE是具有熟練技能的工程師，負責日常與客戶共同解決技術(shù)問題。客戶服務代表（CSR）：為需要協(xié)助的客戶提供第一線即時支持。CSR根據(jù)客戶需要和實際情況，在線啟動支持案例（SupportCase）和ReturnMaterialRequests（RMA）、處理備件訂單、分派現(xiàn)場服務、處理AutoSupport訊息，并管理其它非技術(shù)領(lǐng)域的支持。全球支持中心經(jīng)理：負責確保GSC的平穩(wěn)運行和客戶問題的及時解決。3.備件保障NetApp負責提供所有在服務范圍內(nèi)的損壞硬件的更換件。通過NetAppAutoSupport或NOW在線發(fā)出的故障通知將自動啟動更換故障部件的流程，在其它情況下可由全球支持中心的NetApp客戶服務代表啟動該流程。他們將為您提供備件，以更換故障部件。故障部件將被換下，并需在10天之內(nèi)返回NetApp。您還將從NetApp客戶服務代表那里得到一個RMA編號，用于對您的返還備件進行跟蹤。對于在購買產(chǎn)品時選擇了Non-ReturnableSystemDisk計劃的客戶而言，您無需返還任何故障硬盤驅(qū)動器。更換上的部件保修期為90天，或原產(chǎn)品有效的剩余保修期（取時間較長者）。NetApp在全球擁有200余個部件倉庫。每個倉庫存放有NetApp產(chǎn)品的更換部件（備件包、主板、風扇、擋板、支架、電源等）。具體的倉庫位置和交付速度信息可通過查詢?nèi)蛑С种行墨@得，或者咨詢NetApp銷售代表。中國范圍內(nèi)有北京、上海、廣州、成都、南京、深圳、濟南、大連等城市建有備件配送中心，可提供2小時、4小時或第二個工作日的遞送服務。其他地區(qū)目前提供第二個工作日的備件配送4.中國分公司和支持團隊NetApp在中國北京、上海、成都、深圳和廣州設(shè)立了分公司，并在南京、西安、杭州及合肥等城市設(shè)有常駐工程師。這些有著經(jīng)驗豐富、技術(shù)高超的服務工程師，包括：客戶服務經(jīng)理（SAM）：對指定的用戶進行case管理，風險提示等；并協(xié)調(diào)各種資源，并保持與客戶的溝通，實現(xiàn)售后服務按時保質(zhì)地完成、提升設(shè)備高可用性，高持續(xù)性，減輕用戶運維壓力。授權(quán)技術(shù)支持工程師（TPM）:提供本地化的售后服務和支持，將在用戶現(xiàn)場解決問題?，F(xiàn)場工程師（FSE）：提供本地化的售后服務和支持，將在用戶現(xiàn)場解決問題。專業(yè)服務工程師（PSE）：提供本地化的安裝和實施服務。專業(yè)服務顧問（PSC）：深入客戶現(xiàn)場提供咨詢服務和增值服務，包括客戶需求確認、解決方案設(shè)計與咨詢、工作文檔和實施。他們貼近客戶，可以根據(jù)需要和實際情況迅速到達用戶現(xiàn)場，與客戶進行充分交流，快速了解用戶的實際應用，判斷問題所在，最直接地加以調(diào)整和維護，力爭使發(fā)生的問題給用戶系統(tǒng)運行的所帶來影響最小。同時，這些服務工程師遵循NetApp全球一致的服務流程和規(guī)范，保證中國用戶同樣得到NetApp全球統(tǒng)一的高品質(zhì)服務。二．服務內(nèi)容NetApp為了滿足不同用戶對于數(shù)據(jù)的安全性和服務能力的需要，制定了極其靈活的售后服務內(nèi)容。在正常的保修期服務基礎(chǔ)之上，對于關(guān)鍵性業(yè)務系統(tǒng)和不能有須臾停頓的企業(yè)級客戶，我們提供SupportEdgePremium，能夠遠程地進行即時系統(tǒng)監(jiān)控和維護；對于非關(guān)鍵性業(yè)務系統(tǒng)且有能力進行