存儲替換遷移方案與關(guān)鍵策略分析

1、 存儲替換遷移方案與關(guān)鍵策略分析 【摘要】存儲替換遷移是一項(xiàng)涉及到了存儲、操作系統(tǒng)、應(yīng)用系統(tǒng)、數(shù)據(jù)庫等等不同類型系統(tǒng)的工作，需要靈活應(yīng)對不同的數(shù)據(jù)遷移需求。本文介紹了常用的數(shù)據(jù)遷移方法，再結(jié)合某銀行存儲體系規(guī)劃建設(shè)的實(shí)踐工作，分析存儲替換遷移過程中存在的難點(diǎn)、風(fēng)險(xiǎn)點(diǎn)，并具體解析其應(yīng)對策略，包括存儲架構(gòu)規(guī)劃、制定遷移計(jì)劃、遷移測試、遷移流程以及回退方案等方面工作。希望給同行在存儲替換遷移工作方面提供一種借鑒。前言隨著企業(yè)業(yè)務(wù)應(yīng)用的拓展和業(yè)務(wù)數(shù)據(jù)不斷增長，作為 IT 基礎(chǔ)架構(gòu)的重要組成，存儲系統(tǒng)不僅面臨著存儲容量與性能提升的需求，還需要適應(yīng)系統(tǒng)架構(gòu)的變化。由于系統(tǒng)架構(gòu)越來越復(fù)雜、數(shù)據(jù)類型越來越多樣

2、性，存儲替換遷移工作也需要越來越細(xì)致。為了高效、安全、完整地完成存儲替換遷移任務(wù)，我們需要結(jié)合不同存儲及各自系統(tǒng)特點(diǎn)有策略地開展遷移相關(guān)的工作。數(shù)據(jù)遷移方法存儲替換遷移其實(shí)也是一個(gè)數(shù)據(jù)遷移的過程，首先我們需要先了解下常用的存儲數(shù)據(jù)遷移技術(shù)，其實(shí)現(xiàn)方法可以大致分為如下幾類：1) 基于應(yīng)用軟件層的數(shù)據(jù)遷移這種方法一般采用應(yīng)用軟件自身的遷移程序或其他第三方遷移工具來實(shí)現(xiàn)數(shù)據(jù)遷移。比較典型的比如 Oracle 數(shù)據(jù)同步工具 DataGuard ，數(shù)據(jù)庫的備份恢復(fù)程序等等數(shù)據(jù)同步或復(fù)制方法。這類方法的優(yōu)勢在于可以定制化數(shù)據(jù)遷移的過程，不受限于主機(jī)、存儲，但是只適用于特定的應(yīng)用。2) 基于主機(jī)系統(tǒng)層的數(shù)據(jù)

3、遷移這種方法是通過主機(jī)系統(tǒng)層的數(shù)據(jù)拷貝或遷移來實(shí)現(xiàn)數(shù)據(jù)的遷移的。比較典型的比如虛擬化環(huán)境中的 VMotion 遷移數(shù)據(jù)存儲，或者通過支持 LVM 的系統(tǒng)的邏輯卷鏡像來實(shí)現(xiàn)數(shù)據(jù)遷移。這類方法優(yōu)勢在于可以方便的在線遷移，但缺點(diǎn)是主機(jī)系統(tǒng)層較復(fù)雜的情況下，需要消耗較多的精力完成遷移所需的系統(tǒng)配置。3) 基于存儲層的數(shù)據(jù)遷移這種方法一般采用兩種方法來實(shí)現(xiàn)：一是借助存儲虛擬化技術(shù)來很方便地實(shí)現(xiàn)數(shù)據(jù)遷移，比較典型的產(chǎn)品是 VPLEX 或 SVC 這類的存儲虛擬化設(shè)備，或者自帶存儲虛擬化技術(shù)的存儲陣列比如 HDS VSP 等，存儲虛擬化則是在服務(wù)器與存儲之間插入一個(gè)中間層，通過存儲虛擬邏輯卷的可以實(shí)現(xiàn)類似于

4、異構(gòu)存儲系統(tǒng)間的數(shù)據(jù)鏡像等功能，這樣只需要在存儲虛擬化層創(chuàng)建鏡像再拆除鏡像，就可以更加高效的完成存儲間的數(shù)據(jù)遷移；二是通過存儲自帶的數(shù)據(jù)復(fù)制軟件或支持的數(shù)據(jù)復(fù)制工具，完成存儲卷的復(fù)制，一般在同類型的存儲系統(tǒng)中完成?；诖鎯Φ臄?shù)據(jù)遷移的優(yōu)勢在于不受主機(jī)層、應(yīng)用層限制，遷移效率更高。存儲替換遷移實(shí)踐案例以本人曾參與的存儲替換遷移工作為例，某銀行同城雙機(jī)房原有 7 套高端存儲及兩套 VPLEX 設(shè)備，其中生產(chǎn)機(jī)房 5 臺存儲按照數(shù)據(jù)類型分為 2 個(gè)區(qū)域：交易域和數(shù)據(jù)域，交易域存放交易類數(shù)據(jù)，數(shù)據(jù)域存放統(tǒng)計(jì)分析類數(shù)據(jù)，災(zāi)備機(jī)房則是 2 臺存儲組成災(zāi)備域。其存儲架構(gòu)如下圖所示：而主機(jī)系統(tǒng)則包括了 IBM

5、 小型機(jī)、 X86 服務(wù)器以及 VMWare 虛擬機(jī)等多種類型的系統(tǒng)架構(gòu)，應(yīng)用則包括 DB2 、 ORACLE 等數(shù)據(jù)庫以及其他關(guān)鍵業(yè)務(wù)應(yīng)用。由于業(yè)務(wù)數(shù)據(jù)量的迅速增長等多種因素，原有的存儲架構(gòu)存在著存儲替換、擴(kuò)容以及分域規(guī)劃等需求，并確立了三個(gè)新的存儲體系規(guī)劃建設(shè)目標(biāo)：一是數(shù)據(jù)域和交易域的存儲需要隔離分開；二是這三個(gè)存儲區(qū)域都需要擴(kuò)容；三個(gè)需要實(shí)施存儲鏡像，消除存儲單點(diǎn)隱患。最終，通過在數(shù)據(jù)域另外引入一套 SVC 設(shè)備，其他三個(gè)存儲域各新增一臺存儲設(shè)備，并通過存儲間的替換遷移實(shí)現(xiàn)最終的架構(gòu)規(guī)劃。遷移難點(diǎn)分析存儲替換遷移本質(zhì)上是一個(gè)通過數(shù)據(jù)遷移技術(shù)完成存儲設(shè)備之間的數(shù)據(jù)遷移，并將原有的數(shù)據(jù)存儲路

6、徑切換為新的存儲路徑的實(shí)施過程。結(jié)合該銀行存儲替換遷移的案例來看，存儲替換遷移的難點(diǎn)可以大致總結(jié)為如下幾點(diǎn)：1) 遷移方法的選擇各種數(shù)據(jù)遷移方法都有各自的優(yōu)缺點(diǎn)，也適用于不同的數(shù)據(jù)遷移需求和遷移場景。在該銀行存儲替換遷移案例中，存儲方面涉及到了多個(gè)廠家多種型號的存儲系統(tǒng)，另外主機(jī)層面和應(yīng)用層面的架構(gòu)也不統(tǒng)一，而且涉及到幾乎全行的業(yè)務(wù)系統(tǒng)，存儲替換遷移整體的工作量也較大，具體該如何選擇存儲層的數(shù)據(jù)遷移方案。2) 遷移時(shí)間窗口控制由于待遷移的存儲容量較大或者涉及的系統(tǒng)較多或者遷移方法所限，整個(gè)遷移工作可能會持續(xù)較長時(shí)間。特別是本案例中，部分待遷移系統(tǒng)的業(yè)務(wù)連續(xù)性要求較高，停機(jī)窗口都有一些限制。所以

7、怎么去控制遷移時(shí)間窗口，做好遷移計(jì)劃也很關(guān)鍵。3) 遷移影響性分析存儲的替換遷移不僅僅涉及到存儲設(shè)備自身，還與系統(tǒng)以及其上運(yùn)行的應(yīng)用也密不可分。整個(gè)遷移過程中會給哪些系統(tǒng)帶來怎樣的影響，會持續(xù)多長時(shí)間，這些也是系統(tǒng)管理員需要充分評估的，并需要與其他同事溝通清楚的點(diǎn)。4) 遷移的風(fēng)險(xiǎn)控制存儲的替換遷移總是存在一定安全風(fēng)險(xiǎn)，如遷移失敗、數(shù)據(jù)不一致或丟失等等情況。這就涉及到了如何回退操作，控制遷移風(fēng)險(xiǎn)。另外存儲替換遷移后，數(shù)據(jù)又是否需要校驗(yàn)，數(shù)據(jù)的完整性要求又如何保證等等風(fēng)險(xiǎn)。應(yīng)對策略那么存儲替換遷移工作又改如何開展，來應(yīng)對上述的遷移難點(diǎn)呢？本文還將結(jié)合上述案例以及個(gè)人的存儲替換遷移實(shí)踐經(jīng)驗(yàn)，來談?wù)?/p>

8、具體的應(yīng)對策略：1) 存儲架構(gòu)的提前規(guī)劃首先我們需要明確存儲替換遷移的目的，一般存儲替換遷移都帶著明確的目標(biāo)，比如舊設(shè)備更新?lián)Q代，比如架構(gòu)規(guī)劃調(diào)整等等。對于設(shè)備更新?lián)Q代的，我們需要在存儲規(guī)劃之初就應(yīng)該確定如何兼顧更新?lián)Q代與存儲遷移的需求，更早地規(guī)劃好存儲架構(gòu)；對于架構(gòu)規(guī)劃調(diào)整的，我們也需要提前做好規(guī)劃，在架構(gòu)規(guī)劃調(diào)整與存儲替換遷移之間找到平衡點(diǎn)。提前做好存儲規(guī)劃，選擇替換遷移阻力最小的方向，盡量減少系統(tǒng)的改造量在本文的案例中，考慮到在線遷移需求且遷移數(shù)據(jù)量較大的情況，我們基本鎖定了存儲層的數(shù)據(jù)遷移方法。另外由于涉及到多廠商異構(gòu)存儲和存儲鏡像雙活技術(shù)，存儲虛擬化技術(shù)成了唯一選項(xiàng)。但如果全部接入到

9、原 VPLEX 設(shè)備下，還會存在無法滿足存儲分域及 VPLEX 性能不足等情況。所以最終的存儲規(guī)劃方案設(shè)計(jì)為在數(shù)據(jù)域另外引入一套 SVC 設(shè)備，其他三個(gè)存儲域各新增一臺存儲設(shè)備，并通過存儲替換遷移實(shí)現(xiàn)最終的架構(gòu)規(guī)劃，如下圖所示：2) 遷移測試及分析在正式遷移前，設(shè)計(jì)好遷移測試方案，并能完整模擬整個(gè)遷移過程，是一項(xiàng)很有意義的工作。在本文的案例中，遷移測試的內(nèi)容主要包括異構(gòu)存儲接入 SVC 納管的功能測試、原 VPLEX 環(huán)境下主機(jī)遷移到 SVC 的改造測試以及虛擬存儲卷數(shù)據(jù)遷移速度等測試。這可以讓我們更熟悉遷移方法和流程，是下一步工作的基礎(chǔ)。結(jié)合遷移測試的數(shù)據(jù)，我們可以估算遷移造成的影響以及大致

10、的遷移時(shí)間窗口。同時(shí)遷移測試也能驗(yàn)證遷移方法的有效性，綜合對比各種遷移方法的優(yōu)劣，結(jié)合實(shí)際環(huán)境，選出最優(yōu)的替換遷移方法。以 NAS 存儲遷移為例，之前實(shí)施過一個(gè)文件數(shù)接近 3000 萬的 NAS 文件系統(tǒng)，目標(biāo) NAS 存儲是 isilon ，原本考慮到文件權(quán)限等因素，計(jì)劃采用的是主機(jī)層面 rsync 數(shù)據(jù)同步工具來同步的，但是同步速度很慢，預(yù)估需要 5 天時(shí)間才能完成數(shù)據(jù)同步。后來測試了下 isilon 內(nèi)置的基于 NDMP 協(xié)議的數(shù)據(jù)遷移工具，發(fā)現(xiàn)遷移速度更快，且文件權(quán)限也能遷移過來，最終 30 多個(gè)小時(shí)就能遷移完成。3) 遷移前的環(huán)境檢查與影響性分析環(huán)境檢查也是替換遷移重要的一步，對替換

11、遷移所涉及的系統(tǒng)，都需要做進(jìn)一步的健康性檢查。在本文的存儲替換遷移案例中， SVC 接入改造涉及到了多個(gè)數(shù)據(jù)域系統(tǒng)的停機(jī)維護(hù)變更，這些系統(tǒng)主要是 DB2 結(jié)合 PowerHA 的高可用架構(gòu) , 也有 GPFS 文件系統(tǒng)集群應(yīng)用。而待遷移改造系統(tǒng)本身的操作系統(tǒng)問題或 PowerHA 配置存在的問題，也給 SVC 接入改造工作帶來了不小的麻煩。所以遷移前的環(huán)境檢查主要是從兩方面考慮的：一是為了避免本身系統(tǒng)隱患在替換遷移中徹底暴露出來，比如說系統(tǒng)本身高可用或集群配置存在隱患，在存儲替換遷移中可能會大大影響變更的實(shí)施進(jìn)度，需要花費(fèi)大量的精力來解決這類問題；二是可以摸清存儲遷移替換變更的影響范圍，結(jié)合遷

12、移測試的部分，進(jìn)一步分析遷移替換對整個(gè)系統(tǒng)的影響性，有利于把控存儲替換遷移的風(fēng)險(xiǎn)。4) 制定合理的遷移替換計(jì)劃合理的遷移替換計(jì)劃是存儲替換遷移工作中最關(guān)鍵的一個(gè)環(huán)節(jié)，在通過上述的三個(gè)關(guān)鍵環(huán)節(jié)的鋪墊之后，還需要制定具體的存儲遷移替換計(jì)劃。其主要包括如下的幾個(gè)部分工作：制定遷移批次及遷移時(shí)間計(jì)劃前文提到，存儲替換遷移很多時(shí)候會涉及到較大的數(shù)據(jù)量，架構(gòu)眾多復(fù)雜的系統(tǒng)以及停機(jī)時(shí)間窗口限制。那么合理的規(guī)劃遷移批次，估算每個(gè)批次的遷移時(shí)間是必要的應(yīng)對策略。在具體遷移批次規(guī)劃方面，我們可能設(shè)置很多規(guī)則，但是總體來說，要考慮遷移的工作量的合理分配，要考慮盡量減少停機(jī)時(shí)間窗口和停機(jī)頻次，還要考慮人員資源的分配。

13、在本文的案例中，存儲替換遷移工作主要是數(shù)據(jù)類系統(tǒng) SVC 接入改造、存儲間的數(shù)據(jù)遷移這兩類工作。而 VC 接入改造工作的難點(diǎn)在于涉及到 10 套系統(tǒng)環(huán)境的改造，都需要做停機(jī)維護(hù)，所以最終根據(jù)停機(jī)時(shí)間窗口及整體工作量分了三個(gè)批次來遷移改造；存儲間的數(shù)據(jù)遷移主要是通過 SVC 或 VPLEX 的雙活鏡像來實(shí)現(xiàn)的，但是涉及的存儲卷較多，遷移的數(shù)據(jù)量接近 80T ，最終對每批次的遷移數(shù)據(jù)量做了平衡，同樣也計(jì)劃了三個(gè)批次的存儲間數(shù)據(jù)遷移。遷移前準(zhǔn)備針對每個(gè)批次的數(shù)據(jù)遷移，我們需要做好遷移前準(zhǔn)備?？紤]存儲數(shù)據(jù)的重要性以及遷移變更存在的極端異常情況，數(shù)據(jù)備份是遷移前不可忽視的部分。數(shù)據(jù)備份的范圍一定要盡可能

14、的考慮周詳，不同類型的數(shù)據(jù)采用不同的備份方式，比如應(yīng)用配置信息、集群配置信息、數(shù)據(jù)庫備份、數(shù)據(jù)備份等等。另外數(shù)據(jù)備份要保證可恢復(fù)性，同時(shí)也是有時(shí)效性的，哪些數(shù)據(jù)相對靜態(tài)，哪些是增量數(shù)據(jù)，如何保證數(shù)據(jù)能盡可能地恢復(fù)到遷移前的時(shí)間點(diǎn)，都是需要重點(diǎn)考慮的。人員協(xié)調(diào)存儲替換遷移是基礎(chǔ)架構(gòu)層面比較重要的調(diào)整動作，很多時(shí)候不是單個(gè)個(gè)體的力量就能很妥善的完成的，需要學(xué)會借力，協(xié)調(diào)各方面的資源參與進(jìn)來。像本文的案例中這樣的存儲替換遷移工作，除了存儲管理方面的工作外，還涉及到了操作系統(tǒng)層的配置、數(shù)據(jù)庫的啟停和備份、應(yīng)用的啟停和驗(yàn)證等等工作。所以，從前期制定遷移計(jì)劃開始，到遷移方案的評審，再到遷移工作的開展，盡可

15、能讓更多的人員參與進(jìn)來，讓參與人員了解遷移工作的整個(gè)流程。這樣不僅給方案的提出更多寶貴的合理性建議，也能減少遷移工作的阻力，集思廣益，讓存儲替換遷移工作更加順利的推進(jìn)。遷移順序和操作流程在做好上述工作之后，制定具體的遷移順序和操作流程會更加容易。下表是 SVC 遷移改造的操作流程模板，可供參考：一般來說，需要將遷移所涉及的工作主要包括準(zhǔn)備工作、系統(tǒng)啟停、數(shù)據(jù)遷移、存儲割接、系統(tǒng)驗(yàn)證、應(yīng)用驗(yàn)證等待。我們還需要對這些工作進(jìn)行原子化細(xì)分，詳細(xì)分析每個(gè)步驟所需時(shí)間，考慮遷移工作的關(guān)聯(lián)關(guān)系，梳理出哪些工作是串行的，哪些工作是可以并行的，做到科學(xué)地人員工作分配，減少遷移工作中本來就緊張的時(shí)間窗口下的等待時(shí)

16、間。應(yīng)急方案應(yīng)急預(yù)案和回退方案是每個(gè)變更操作必須充分考慮的，在實(shí)際存儲替換遷移工作的過程中，依然會存在很多實(shí)施前未充分論證的細(xì)節(jié)，比如數(shù)據(jù)替換遷移過程中，由于各種原因遷移命令執(zhí)行失敗，比如系統(tǒng) HA 或者某個(gè)應(yīng)用起不來等等異常情況。這些異常情況除了臨場的應(yīng)對解決之外，還需要我們能事前制定完整的存儲替換遷移的應(yīng)急預(yù)案和回退方案。一旦在計(jì)劃時(shí)間內(nèi)無法解決異常問題，需要果斷采取應(yīng)急預(yù)案和回退方案，畢竟數(shù)據(jù)丟失或者存儲不可用會造成極其惡劣的影響。善后工作由于遷移工作本身就占用較多的精力以及善后工作可能會拉長時(shí)間周期，存儲替換遷移的善后工作很多時(shí)候會被忽視。在本文案例中的存儲替換工作，善后工作主要包括：一是數(shù)據(jù)完整性、一致性驗(yàn)證工作，比如替換前后數(shù)據(jù)庫信息的校對，文件系統(tǒng)則可以統(tǒng)計(jì)文件 inode 數(shù)和文件 MD5 校驗(yàn)；二是舊配置信息或者臨時(shí)配置信息清理工作，配置信息是否暫時(shí)保留，保留多久，一般來說舊的存儲配置信息都是在變更實(shí)施的第二天才做清理，主要是方便回退；三是存儲替換遷移前后的對比，替換遷移是否達(dá)到了遷移工作的預(yù)期，比如可以觀察遷移前后的批處理作業(yè)或其他性能監(jiān)