數(shù)據(jù)遷移典型問題分析

1、數(shù)據(jù)遷移典型問題分析主機(jī)存儲基礎(chǔ)平臺數(shù)據(jù)遷移（存儲遷移、數(shù)據(jù)庫遷移、虛擬化遷移）典型問題分析 AIX專家俱樂部 一、存儲遷移活動中大量的問題是針對于不同品牌存儲直接的數(shù)據(jù)遷移，相同品牌存儲數(shù)據(jù)直接的遷移，使用存儲虛擬網(wǎng)關(guān)利弊等，下面是會員針對此類的問題的解決方法，技巧與相關(guān)參考意見。以下是幾個(gè)比較典型的問題：V7000和DS8000直接的數(shù)據(jù)遷移問題?1、不借助第三方工具，可以考慮使用基于系統(tǒng)的lvm mirror，aix linux hp-ux都支持 也可以通過應(yīng)用本身來做，如oracle的asm?；蛘遫racle rman的backup as copy 以及db2的重定向恢復(fù)（但需要短暫停

2、機(jī)時(shí)間）。2、只能基于主機(jī)或應(yīng)用。 如果一定要基于存儲做，建議使用svc3、使用svc即可。但也要有個(gè)短暫的停機(jī)時(shí)間。使用vdm 或migration都可以4、完全不停業(yè)務(wù)的話 考慮lvm mirror5、如果目前兩個(gè)環(huán)境都是獨(dú)立使用的情況下，不停機(jī)的遷移基本上不可能。因?yàn)椴还苣阍趺醋?，前端主機(jī)都要有一個(gè)再識別的過程。前端加一個(gè)SVC可能會比較好。V7000 這個(gè)產(chǎn)品如果用作去充當(dāng)svc的作用的話，可能在性能上后續(xù)會差點(diǎn)意思。刀箱的盤陣列上的存儲數(shù)據(jù)，遷移到新的存儲上方法與考慮？目前刀箱上的磁盤是刀箱本地磁盤還是刀箱通過光纖模塊連接的外置存儲，這個(gè)需要說明一下。如果是刀箱內(nèi)置硬盤，是否和本地刀

3、片里的磁盤做過mirror。是否考慮遷移。是否配置連接存儲的光纖模塊。如果是通過光纖模塊連接的那也就沒什么了，和普通環(huán)境一樣。使用LVM 的方式進(jìn)行遷移。使用存儲網(wǎng)關(guān)，遷移同系列存儲和異構(gòu)存儲考慮?1、IO 能力：目前來說存儲網(wǎng)關(guān)產(chǎn)品配合著閃存可以覆蓋95%以上的應(yīng)用，io能力在幾年內(nèi)還是可以的。對于io極為苛刻的場景可以選擇其他的具體方案2、擴(kuò)展能力：很多時(shí)候官方產(chǎn)品宣傳的很好，比如說我可以支持多少個(gè)節(jié)點(diǎn)的擴(kuò)展能力，縱向到什么程度，橫行到什么程度。但我們需要進(jìn)一步去看撥開宣傳華麗的面紗去看技術(shù)的實(shí)現(xiàn)。是成對的擴(kuò)容啊，還是一個(gè)整體的擴(kuò)容，其實(shí)現(xiàn)原理和規(guī)模是不太一樣的。3、兼容性是支持摸一個(gè)具體

4、型號，還是支持摸一個(gè)品牌系列，這里邊有很多種學(xué)問。會不會因?yàn)閷?shí)施了虛擬網(wǎng)關(guān)后整體的io能力反而下降了，是產(chǎn)品不行還是實(shí)施的方案不對，曾經(jīng)有的客戶抱怨實(shí)施后的應(yīng)用io能力下降了。這個(gè)里邊需要做的工作太多了。不同品牌的主機(jī)或存儲服務(wù)器之間進(jìn)行數(shù)據(jù)遷移？1、底層存儲用svc或vplex虛擬化，隨時(shí)可以進(jìn)行數(shù)據(jù)遷移，無需申請停機(jī)窗口2、使用存儲虛擬網(wǎng)關(guān)產(chǎn)品對于前端主機(jī)是透明的，可以忽略底層數(shù)據(jù)的存放和遷移工作，前段主機(jī)安裝一種多路徑軟件，管理維護(hù)性比較好。存儲經(jīng)常會報(bào)警：鏈路不在最優(yōu)路徑上，診斷處理思路？1、lun 鏈路不在最優(yōu)路徑是指在創(chuàng)建lun是選擇lun所在控制器的優(yōu)先級，就是lun首先被那個(gè)控

5、制器管理，如果不在這個(gè)控制器就會提示你說的那個(gè)錯(cuò)誤，這種情況下把lun切過去就可以了，如果經(jīng)常發(fā)生這樣的錯(cuò)誤告警提示就得注意了，檢查鏈路，控制器日志等等2、排除了zone配置，一般都是鏈路問題。ds4k ds5k系列有時(shí)候切回到最優(yōu)路徑還會報(bào)錯(cuò)。臨時(shí)解決方法：自己切自己，空切玩就沒事了3、很多時(shí)候經(jīng)常會遇到主機(jī)掃描新映射的磁盤的時(shí)候存儲鏈路就會切換的情況的出現(xiàn)，手工切換回去也就老實(shí)了，也沒事。4、有的時(shí)候經(jīng)常是因?yàn)橹鳈C(jī)hba卡故障導(dǎo)致鏈路不在最優(yōu)路徑上。曾經(jīng)vmware集群多臺機(jī)器中的一臺hba卡故障，導(dǎo)致存儲上出現(xiàn)鏈路切換的工作。換了就OK。5、出現(xiàn)鏈路切換的時(shí)候大多還是鏈路方面的問題，比如

6、線路不太穩(wěn)定，嘗試換一端口嘗試解決一下。曾經(jīng)碰到一次鏈路衰減的問題，識別巨慢，讀寫都不正常，換條線換個(gè)口基本上可以解決此類問題。分析：以上此類問題大多聚焦于存儲層面的數(shù)據(jù)遷移工作，主要是相同品牌之間和不同品牌之間。經(jīng)過多年的發(fā)展，存儲虛擬網(wǎng)關(guān)已經(jīng)是非常成熟的產(chǎn)品，每個(gè)廠商的產(chǎn)品名稱不一樣，但是效果大多還是不錯(cuò)的。除了個(gè)別存儲兼容性以外，主要考慮的就是存儲虛擬網(wǎng)關(guān)的性能與后期擴(kuò)展性方面。存儲虛擬網(wǎng)關(guān)對前端主機(jī)透明，很好的屏蔽或封裝了后端存儲的復(fù)制性。提高了管理和運(yùn)維的效率。存儲虛擬網(wǎng)關(guān)已經(jīng)是此類場景一個(gè)比較成熟的解決方案，后續(xù)其他應(yīng)用場景廣大同仁可以參考使用。二、數(shù)據(jù)庫遷移還有很多問題主要關(guān)注的

7、是主機(jī)數(shù)據(jù)庫平臺，遇到數(shù)據(jù)庫遷移問題的描述，希望了解通過哪種方式可以降低RTO和RPO，盡可能的在線完成存儲，主機(jī)或數(shù)據(jù)本身的方面的遷移。這里將此類問題進(jìn)行一個(gè)梳理，為后續(xù)此類數(shù)據(jù)遷移場景提供一個(gè)參考。Oracle RAC生產(chǎn)系統(tǒng)，存儲和主機(jī)都要更換？1、之前一個(gè)基于ORACLE的項(xiàng)目策劃，在測試環(huán)境通過，但沒有最終實(shí)施測試環(huán)境是RHEL6.5 ORACLE11201，其中主機(jī)部分是通過添加RAC節(jié)點(diǎn)并通過數(shù)據(jù)庫服務(wù)模式來逐臺更換，存儲部分是通過ASM NOR切換。2、主機(jī)和存儲都要換的話還是比較繁瑣的，當(dāng)然需要做一些嚴(yán)格測試工作，工作需要做的充分一些。存儲端的在線遷移相對來說簡單一些，只是主

8、機(jī)端多路徑設(shè)備識別一塊可能有限異常，可能需要重啟，這個(gè)可以逐臺進(jìn)行，后續(xù)ASM在線遷移一般不會有什么大的問題。主機(jī)端目前不停機(jī)的辦法好像只有rac添加節(jié)點(diǎn)和刪除節(jié)點(diǎn)一種方式比較合適了。3、嘗試一下RAC+DG的方式RAC環(huán)境遷移到云環(huán)境？1、Oracle RAC或者oracle 從Power到X86 或者是X86 到Power平臺之間的遷移由于系統(tǒng)平臺不一樣，文件識別的字節(jié)序等方面不一樣，不能直接使用物理文件拷貝或者rman恢復(fù)的方式進(jìn)行。遷移參照辦法：- 使用導(dǎo)入導(dǎo)出方式- 使用表空間傳輸方式。至于說能不能遷移主要是考慮，業(yè)務(wù)系統(tǒng)是否支持或者是否需要其他特殊的要求，和內(nèi)網(wǎng)有無大數(shù)據(jù)量的交互，

9、有關(guān)性能一個(gè)方面不是太大的問題，可以通過其他方式解決。架構(gòu)問題，每個(gè)企業(yè)都不一樣，且業(yè)務(wù)場景不同。需要依據(jù)具體情況實(shí)施。2、如果考慮把數(shù)據(jù)庫遷移到云上，可以有兩種方式交付，一種是通過從云服務(wù)提供商采購虛機(jī)，在虛機(jī)集群上構(gòu)建oracle RAC，但是需要考慮RAC集群的性能問題，是否仍然能夠滿足之前的業(yè)務(wù)容量需求；另外一種交付模式就是類似阿里云RDBS的云數(shù)據(jù)庫模式，用戶比較省心，不必?fù)?dān)心性能問題，成本也比較低。3、Oracle從Power架構(gòu)遷移到云上是不存在任何技術(shù)障礙的，問題的關(guān)鍵是在于現(xiàn)有的應(yīng)用架構(gòu)是否能支撐基于云的計(jì)算，另外，如果云主機(jī)提供的處理能力無法匹配現(xiàn)有Power主機(jī)的處理能力

10、，那么數(shù)據(jù)庫架構(gòu)也需要進(jìn)行調(diào)整。X86 RAC 遷移到Power平臺RAC1、感覺這個(gè)還是看停機(jī)窗口和數(shù)據(jù)量。因?yàn)榭缙脚_了，如果停機(jī)窗口足夠可以使用數(shù)據(jù)泵導(dǎo)出再導(dǎo)入的方式。這樣操作起來比較簡單。如果停機(jī)窗口不夠，可以考慮使用ogg之類的復(fù)制方案來做。2、參考 RAC遷移云環(huán)境的解決思路。關(guān)于數(shù)據(jù)倉庫跨品牌數(shù)據(jù)庫遷移、數(shù)據(jù)異地同步1、第一 如果你的業(yè)務(wù)遷移涉及到數(shù)據(jù)庫品牌切換，這個(gè)就需要完整的廠家解決方案來確認(rèn)了，比如從DB2遷移到ORACLE，這就需要2個(gè)品牌（主要是ORACLE）的廠商來確認(rèn)數(shù)據(jù)的可用性， 另外ORACLE OGG，QUEST SharePlex號稱可以在異構(gòu)平臺上進(jìn)行不同數(shù)

11、據(jù)庫的數(shù)據(jù)同步，但沒有測試，不敢確定，2、另外異地同步，已經(jīng)類似傳統(tǒng)兩地三中心的第三中心了。 在帶寬有限制的情況下，推薦本地雙活、異地容災(zāi)/實(shí)時(shí)備份Oracle RAC從HP存儲遷移到IBM存儲1、這種跨平臺的遷移，很難直接通過基于塊的存儲復(fù)制遷移。最后通過數(shù)據(jù)庫本身提供的工具。以oracle為例，跨平臺的遷移可選擇數(shù)據(jù)泵導(dǎo)出，再導(dǎo)入的方式。也可以選擇ogg、dsg等數(shù)據(jù)庫復(fù)制軟件。 具體選擇哪種方案，以停機(jī)窗口和數(shù)據(jù)量大小來綜合判斷。2、如果只是更換存儲的話，主機(jī)端使用參考使用LVM方式，主機(jī)識別多個(gè)存儲，rac前端進(jìn)行遷移也是可以的。DB2遷移Oracle的相關(guān)問題問題1：非空字段判定：D

12、B2可在非空約束中插入空字符串，且大量存在業(yè)務(wù)表中，但Oracle不允許此類數(shù)據(jù)存在解答：在遷移的時(shí)候進(jìn)行轉(zhuǎn)換問題2: 數(shù)據(jù)庫對象長度不同：DB2數(shù)據(jù)庫存在較多超長的數(shù)據(jù)庫對象名，但Oracle最多支持30個(gè)字符。解答：目前還是無解的問題3：自增列的遷移：DB2存在自增列，Oracle沒有相關(guān)匹配？解答：可以在遷移完成后再添加序列對象實(shí)現(xiàn)分析：在數(shù)據(jù)層面的數(shù)據(jù)遷移還是比較多，主要涉及的幾個(gè)方面：存儲更換，主機(jī)更換，不同數(shù)據(jù)庫之間的轉(zhuǎn)換遷移，數(shù)據(jù)所在平臺的遷移。數(shù)據(jù)庫層面的遷移問題，在此只是做了簡單梳理，其實(shí)還有大量的問題由于時(shí)間問題沒有提出來，比如oracle如何遷移至mysql，sqlser

13、ver等，其他數(shù)據(jù)庫直接的相互遷移或轉(zhuǎn)換。是否已經(jīng)有比較成熟的產(chǎn)品供我們參考利用，在實(shí)際遷移過程當(dāng)中又遇到過哪些疑難雜癥，后續(xù)我們可以準(zhǔn)備針對數(shù)據(jù)庫方面遷移做一些探討。本次活動當(dāng)中涉及到的數(shù)據(jù)庫層面層面遷移相應(yīng)的參考借鑒方案主要有以下幾種：1. 使用虛擬網(wǎng)關(guān)遷移屏蔽存儲的遷移2. 使用LVM 一臺主機(jī)掛接多個(gè)存儲完成存儲更換3. 使用rac或dg完成oracle層面的遷移4. 使用第三方工具進(jìn)行數(shù)據(jù)層面的遷移或轉(zhuǎn)換。三、虛擬化遷移本次涉及到的虛擬化遷移主要包括vmware 平臺，powervm平臺以及vmware平臺和其他虛擬平臺直接的遷移轉(zhuǎn)換的問題與思考。Vmware P2V 常用場景1、v

14、mware4.1 可以使用的集群的安裝插件在集群上選擇導(dǎo)入的方式進(jìn)行p2v的轉(zhuǎn)換。2、在從5.0版本以后，好像已經(jīng)不能再集群端進(jìn)行直接的導(dǎo)入方式，只能選擇使用VMware vCenter Converter Standalone Client 進(jìn)行轉(zhuǎn)換，在兼容模式下的操作系統(tǒng)基本上問題不大。3、還可以考慮在主機(jī)端直接手工安裝agent或者使用cold converter 光盤進(jìn)行遷移。4、曾經(jīng)遇到一個(gè)只有256內(nèi)存的windows 執(zhí)行在線導(dǎo)入的操作，由于內(nèi)存太低不支持，后來擴(kuò)容到512就好了。5、還有一些時(shí)候經(jīng)常會在p2v 遷移到了99%以后報(bào)錯(cuò)，次遷移就Ok，每次情況可能都不一樣。很多時(shí)候

15、因?yàn)榫W(wǎng)絡(luò)或者其他不穩(wěn)定，具體情況具體分析。6、我個(gè)人覺得實(shí)際生產(chǎn)中一般肯定是冷的，7、假設(shè)是數(shù)據(jù)庫，熱的肯定不一致了。8、應(yīng)用，沒必要遷移了，直接搭建環(huán)境，發(fā)布應(yīng)用就可以了。簡單快速，不停業(yè)務(wù)。9、我覺得是一些開發(fā)環(huán)境，安裝配置比較復(fù)雜的環(huán)境適合p2v。VMWARE虛擬化環(huán)境，更換新的存儲1、vmware的vmotion就是來干這個(gè)事的。大多情況下還是使用vmware的vmfs形式去做的，直接在線遷移即可，如果存儲做過心跳信號的，要注意把老舊的刪除，新存儲的添加2、配置好vMotion，沒有裸映射的虛擬機(jī)之間遷移，如果有裸映射需要設(shè)置成虛擬模式才可以遷移成虛擬磁盤，大于2T的需要在webcli

16、ent里面遷移3、使用vmware自帶的storage vmotion功能即可，在線遷移虛擬機(jī)磁盤小型機(jī)全分區(qū)環(huán)境向PowerVM全虛擬化環(huán)境遷移1、你需要一臺光纖存儲和san網(wǎng)絡(luò),然后升級待遷移小雞的AIX系統(tǒng)補(bǔ)丁，支持san boot把小機(jī)上的rootvg和其他vg遷移到光纖存儲上，用 mirrorvg 和 unmirrorvg關(guān)掉舊小機(jī).在新小機(jī)上創(chuàng)建新的虛擬機(jī)掛載對應(yīng)的磁盤，開機(jī)就好。因?yàn)榫W(wǎng)卡發(fā)生變動了，所以新的小雞需要重新設(shè)置IP地址，就完成遷移工作了2、在于原來的規(guī)劃，rootvg只做系統(tǒng)，系統(tǒng)無非都是文件系統(tǒng)，都可以拷貝的，重要的datavg（應(yīng)在存儲中）也可以在新系統(tǒng)中（pow

17、ervm）重新導(dǎo)入Vmware 遷移到KVM1、virt-v2v 工具是專門針對 VMware ESX/ESXi 的自動化遷移工具，而且支持的虛擬機(jī)系統(tǒng)僅限于 RHEL 和 Windows 虛擬機(jī)。Virt-v2v 在遷移后的 KVM 虛擬機(jī)中優(yōu)先使用 virtio 虛擬驅(qū)動來提高系統(tǒng) IO 的性能。如果不支持，才選用性能稍低，但更穩(wěn)定可靠的虛擬硬件。而且這個(gè)過程全部自動化完成。2、手動遷移可以涵蓋所有的 VMware 軟件和所有的虛擬機(jī)系統(tǒng)。從而遷移中面臨的問題也是多樣化的，需要不同程度的手動干預(yù)。某些特定的環(huán)境下，可以使用一些工具來輔助手動遷移，比如 virt-goodies/vmware

18、2libvirt。另外 libvirt 也在開發(fā)支持 VMware Workstation/Player 遷移的新功能。3、不論是 virt-v2v 自動化工具還是手動遷移，由于商業(yè)軟件 VMware 開放的編程接口的限制，VMware 虛擬機(jī)到 KVM 的遷移有一些軟肋： 一些 VMware 虛擬機(jī)的特性沒有辦法遷移到 KVM 虛擬機(jī)上。比如 VMware 虛擬機(jī)廣泛使用的快照功能。 只能實(shí)現(xiàn)關(guān)閉虛擬機(jī)情況下的靜態(tài)遷移，無法做到虛擬機(jī)不關(guān)機(jī)情況下的在線遷移。 一些特殊的 VMware 設(shè)備不能遷移到 KVM 虛擬機(jī)，于是采用了類似功能的硬件設(shè)備替代。比如 VMware Tools 中的虛擬驅(qū)動、VMware SVGA、VMware USB Controller 等?？偟膩碚f，VMware 虛擬機(jī)到 KVM 的遷移不夠成熟和自動化，遷移的過程需要手動干預(yù)。這要求遷移的操作人員具有相關(guān)的知識和經(jīng)驗(yàn)。開源工具 virt-v2v