FusionSphere存儲虛擬化技術(shù)白皮書

1、 DOCPROPERTY Product Project Name 華為FusionSphere DOCPROPERTY DocumentName 存儲虛擬化技術(shù)白皮書 STYLEREF Contents 目 錄 DOCPROPERTY DocumentName 存儲虛擬化技術(shù)白皮書目 錄 TOC o 1-1 h z t 標(biāo)題 2,2,標(biāo)題 3,3,Appendix heading 2,2,Appendix heading 3,3 HYPERLINK l _Toc395772403 1 執(zhí)行摘要/Executive Summary PAGEREF _Toc395772403 h 1 HYPER

2、LINK l _Toc395772404 2 簡介/Introduction PAGEREF _Toc395772404 h 2 HYPERLINK l _Toc395772405 3 解決方案/Solution PAGEREF _Toc395772405 h 3 HYPERLINK l _Toc395772406 3.1 FusionSphere 存儲虛擬化解決方案 PAGEREF _Toc395772406 h 3 HYPERLINK l _Toc395772407 3.1.1 架構(gòu)描述 PAGEREF _Toc395772407 h 3 HYPERLINK l _Toc395772408

3、 3.1.2 特點描述 PAGEREF _Toc395772408 h 4 HYPERLINK l _Toc395772409 3.2 存儲虛擬化的磁盤文件解決方案 PAGEREF _Toc395772409 h 4 HYPERLINK l _Toc395772410 3.2.1 固定磁盤技術(shù) PAGEREF _Toc395772410 h 4 HYPERLINK l _Toc395772411 3.2.2 動態(tài)磁盤技術(shù) PAGEREF _Toc395772411 h 5 HYPERLINK l _Toc395772412 3.2.3 差分磁盤技術(shù) PAGEREF _Toc395772412

4、h 5 HYPERLINK l _Toc395772413 3.3 存儲虛擬化的業(yè)務(wù)管理解決方案 PAGEREF _Toc395772413 h 6 HYPERLINK l _Toc395772414 3.3.1 磁盤文件的寫時重定向技術(shù) PAGEREF _Toc395772414 h 6 HYPERLINK l _Toc395772415 3.3.2 磁盤文件的存儲熱遷移 PAGEREF _Toc395772415 h 6 HYPERLINK l _Toc395772416 3.3.3 磁盤文件高級業(yè)務(wù) PAGEREF _Toc395772416 h 7 HYPERLINK l _Toc39

5、5772417 3.4 存儲虛擬化的數(shù)據(jù)存儲擴容解決方案 PAGEREF _Toc395772417 h 7 HYPERLINK l _Toc395772418 3.4.1 功能設(shè)計原理 PAGEREF _Toc395772418 h 7 HYPERLINK l _Toc395772419 3.5 存儲虛擬化的數(shù)據(jù)存儲修復(fù)解決方案 PAGEREF _Toc395772419 h 8 HYPERLINK l _Toc395772420 3.5.1 功能設(shè)計原理 PAGEREF _Toc395772420 h 8執(zhí)行摘要/Executive Summary華為提供基于主機的存儲虛擬化功能，用戶不需

6、要再關(guān)注存儲設(shè)備的類型和能力。存儲虛擬化可以將存儲設(shè)備進行抽象，以邏輯資源的方式呈現(xiàn)，統(tǒng)一提供全面的存儲服務(wù)。可以在不同的存儲形態(tài)，設(shè)備類型之間提供統(tǒng)一的功能。簡介/Introduction存儲設(shè)備的能力、接口協(xié)議等差異性很大，存儲虛擬化技術(shù)可以將不同存儲設(shè)備進行格式化，將各種存儲資源轉(zhuǎn)化為統(tǒng)一管理的數(shù)據(jù)存儲資源，可以用來存儲虛擬機磁盤、虛擬機配置信息、快照等信息。用戶對存儲的管理更加同質(zhì)化。虛擬機磁盤、快照等內(nèi)存均以文件的形式存放在數(shù)據(jù)存儲上，所有業(yè)務(wù)操作均可以轉(zhuǎn)化成對文件的操作，操作更加直觀、便捷?；诖鎯μ摂M化平臺提供的眾多存儲業(yè)務(wù)，可以提高存儲利用率，更好的可靠性、可維護性、可以帶來更

7、好的業(yè)務(wù)體驗和用戶價值。解決方案/SolutionFusionSphere 存儲虛擬化解決方案FusionSphere存儲虛擬化平臺能夠屏蔽存儲設(shè)備差異，統(tǒng)一封裝為文件級操作接口，并在虛擬化層提供了豐富的存儲業(yè)務(wù)功能。架構(gòu)描述FusionSphere提出如下存儲虛擬化架構(gòu)：存儲虛擬化平臺架構(gòu)圖用戶虛擬機用戶虛擬機后端卷掛載驅(qū)動前端驅(qū)動前端驅(qū)動鏡像文件通用塊層驅(qū)動層SANNAS主機內(nèi)核空間本地磁盤NFS文件系統(tǒng)文件系統(tǒng)主機用戶空間用戶態(tài)掛載驅(qū)動FusionSphere存儲虛擬化平臺主要由文件系統(tǒng)、磁盤驅(qū)動和磁盤工具組成。SAN設(shè)備和本地磁盤等塊設(shè)備連接到服務(wù)器上后，經(jīng)過設(shè)備驅(qū)動層和通用塊層后，對

8、主機呈現(xiàn)一個磁盤設(shè)備。文件系統(tǒng)建立在主機能夠訪問的存儲設(shè)備上，創(chuàng)建文件系統(tǒng)的過程就是主機對存儲設(shè)備執(zhí)行格式化，在存儲設(shè)備上寫入文件系統(tǒng)的元數(shù)據(jù)和inode信息，建立文件到裸設(shè)備塊的映射，并負責(zé)裸設(shè)備塊的管理，包括空間分配和釋放。對于虛擬化來說，文件系統(tǒng)屏蔽了塊層的操作，提供了文件級的抽象操作。虛擬機磁盤就是放在文件系統(tǒng)中的文件。虛擬機磁盤在使用時，需要由磁盤驅(qū)動掛載給虛擬機，驅(qū)動分為用戶態(tài)驅(qū)動tapdisk2、內(nèi)核態(tài)后端驅(qū)動和前段驅(qū)動，用戶虛擬機的所有讀寫IO都會由前段驅(qū)動截獲，轉(zhuǎn)發(fā)給后端驅(qū)動，并轉(zhuǎn)換為用戶態(tài)驅(qū)動的讀寫操作，最終寫入磁盤文件中。虛擬機磁盤中包含了屬性信息和數(shù)據(jù)區(qū)域，磁盤工具提供

9、了一系列對虛擬機磁盤的操作，可以解析磁盤文件的文件頭，讀取或修改磁盤的屬性信息，創(chuàng)建磁盤的數(shù)據(jù)區(qū)等操作。特點描述FusionSphere 存儲虛擬化技術(shù)定位于構(gòu)建針對電信業(yè)務(wù)環(huán)境的高競爭力的虛擬化平臺，通過對開源xen進行安全加固、功能擴展、性能優(yōu)化和可靠性保障，具備如下特點：存儲設(shè)備兼容性對于不同的存儲設(shè)備，包括IPSAN、FCSAN、NAS、本地磁盤?？梢宰龅揭晕募到y(tǒng)進行屏蔽，統(tǒng)一提供文件級別的業(yè)務(wù)操作。豐富的功能提供了包括精簡置備磁盤、增量快照、存儲冷熱遷移、鏈接克隆虛擬機、虛擬機磁盤擴容等眾多功能。業(yè)務(wù)能力同質(zhì)化業(yè)務(wù)是在虛擬化層進行，基于各種存儲設(shè)備可以提供相同的能力，對存儲設(shè)備無特

10、殊要求 。存儲虛擬化的磁盤文件解決方案在存儲虛擬化中，所有用戶存儲都是以文件形式呈現(xiàn)，虛擬機磁盤、快照、虛擬機配置都對應(yīng)一個獨立的文件，常見的磁盤文件分為固定磁盤、動態(tài)磁盤、差分磁盤這幾種技術(shù)。固定磁盤技術(shù)固定磁盤創(chuàng)建時需要將磁盤對應(yīng)的空間全部空間置零，創(chuàng)建速度較慢，創(chuàng)建完成后，磁盤大小不會再隨著用戶數(shù)據(jù)的寫入而改變大小。該磁盤文件結(jié)構(gòu)如下，首先會分配磁盤大小的數(shù)據(jù)區(qū)，并對數(shù)據(jù)區(qū)進行全置零操作，完成后，再額外分配一個扇區(qū)記錄磁盤的屬性信息。該磁盤用于FusionSphere系統(tǒng)中的普通磁盤。普通磁盤使用固定磁盤技術(shù)，創(chuàng)建時會進行全空間分配和置零操作，能夠提供最好的性能體驗和數(shù)據(jù)安全性。適用于對

11、IOPS要求較高的場景。該磁盤創(chuàng)建所需時間會比創(chuàng)建其他類型的磁盤長。動態(tài)磁盤技術(shù)動態(tài)磁盤創(chuàng)建時只對磁盤的屬性區(qū)域進行空間分配和寫入，只有磁盤中由于寫操作需要持久化數(shù)據(jù)時，才會先按需動態(tài)申請數(shù)據(jù)區(qū)的空間，再進行數(shù)據(jù)寫入。該磁盤結(jié)構(gòu)如下，磁盤文件頭和磁盤末尾都有數(shù)據(jù)區(qū)用于存放磁盤的屬性信息，中間的數(shù)據(jù)區(qū)用于存放磁盤數(shù)據(jù)，每次動態(tài)申請數(shù)據(jù)區(qū)后，都會將末尾的屬性信息往后移動，作為磁盤文件結(jié)束的標(biāo)志。該磁盤用于FusionSphere系統(tǒng)中的精簡磁盤和普通延遲置零磁盤，可以提高存儲設(shè)備的利用率。普通延遲置零磁盤創(chuàng)建很快，創(chuàng)建時進行全空間分配，但未進行全置零動作，性能較普通磁盤有所下降。適用于對發(fā)放速度要

12、求高，但對IOPS要求不高的場景。精簡磁盤使用動態(tài)磁盤技術(shù)，可以節(jié)省存儲空間。該磁盤在創(chuàng)建時不進行空間分配，而是在用戶IO寫入磁盤文件時才進行空間動態(tài)分配，性能較普通磁盤有所下降。適用于用戶對存儲需求不明確，或是規(guī)劃的容量比實際使用的容量多的場景。差分磁盤技術(shù)差分磁盤必須基于一個已有的父磁盤來創(chuàng)建，它只記錄相對于父磁盤的差異數(shù)據(jù)，包括數(shù)據(jù)的增改，差分磁盤不能脫離父磁盤而存在，如果父磁盤進行了修改，則差分磁盤的數(shù)據(jù)將不再可用。對差分磁盤進行讀操作，會首先讀取差分磁盤中的數(shù)據(jù)區(qū)域，如果不存在，則表示該數(shù)據(jù)區(qū)域未被修改，則通過文件頭的索引找到父磁盤，在對該區(qū)域進行讀取。對差分磁盤進行寫操作時，則直接

13、寫在差分磁盤上。差分磁盤的結(jié)構(gòu)和動態(tài)磁盤完全一致，文件頭中會記錄父磁盤的路徑，數(shù)據(jù)區(qū)只記錄和父磁盤差異數(shù)據(jù)，大小也會隨著數(shù)據(jù)的寫入而自動增長。該磁盤用于FusionSphere系統(tǒng)中的快照、非持久化磁盤、鏈接克隆等功能，起到保護源盤不再被修改，并可以跟蹤虛擬機磁盤差異數(shù)據(jù)的作用。差分磁盤的大部分應(yīng)用需要結(jié)合下一章的寫時重定向技術(shù)使用。存儲虛擬化的業(yè)務(wù)管理解決方案磁盤文件的寫時重定向技術(shù)FusionSphere的存儲虛擬化具備寫時重定向技術(shù)（Redirect on Write），能夠在虛擬機磁盤文件被修改時，可以不修改原磁盤文件，而是將修改區(qū)域記錄在另一個差分磁盤中，將差分磁盤的父磁盤指向原磁盤

14、文件，使得虛擬機在從差分磁盤文件中讀取數(shù)據(jù)時，能夠自動從原磁盤文件中獲得需要的數(shù)據(jù)。寫時重定向技術(shù)可以應(yīng)用于快照、鏈接克隆、非持久化磁盤等特性?？煺仗匦裕禾摂M機可以將當(dāng)前狀態(tài)保存在快照文件中，包括磁盤內(nèi)容、內(nèi)存和寄存器數(shù)據(jù)。用戶可以通過恢復(fù)快照多次回到這一狀態(tài)，虛擬機用戶在執(zhí)行一些重大、高危操作前，例如系統(tǒng)補丁，升級，破壞性測試前執(zhí)行快照，可以用于故障時的快速還原。鏈接克隆：鏈接克隆虛擬機可以基于同一個虛擬機模板，快速發(fā)放多個類似的虛擬機。通過對虛擬機模板的系統(tǒng)卷創(chuàng)建多個差分磁盤，將每個差分磁盤掛載給獨立的虛擬機。應(yīng)用于需要大量發(fā)放擁有相同或類似數(shù)據(jù)的虛擬機，且對性能要求不高。鏈接克隆加速：在

15、鏈接克隆場景下，將若干鏈接克隆虛擬機的共同模板中的熱點數(shù)據(jù)放在主機內(nèi)存中，達到快速讀取的目的，能夠極大提升虛擬機的啟動和運行速度。非持久化磁盤：處于保護磁盤數(shù)據(jù)的目的，在啟動虛擬機時，對這種非持久化磁盤先創(chuàng)建差分磁盤，在虛擬機運行過程中，將有更改的數(shù)據(jù)全部寫入差分磁盤，在虛擬機關(guān)機后，將差分磁盤刪除，達到還原磁盤的目的。應(yīng)用于公共計算機、計算機數(shù)據(jù)自動還原的場景。磁盤文件的存儲熱遷移FusionSphere提供了虛擬機磁盤的冷遷移和熱遷移，冷遷移是在虛擬機關(guān)機時候，將其磁盤文件從一個存儲移動到另一個存儲，熱遷移可以在不中斷業(yè)務(wù)的前提下，將虛擬機磁盤從一個存儲遷移至另一個存儲。熱遷移的技術(shù)原理如

16、下：熱遷移首先使用寫時重定向，將虛擬機數(shù)據(jù)寫入目的存儲的一個差異磁盤，這樣，原磁盤文件就變成只讀的。將源卷的所有的數(shù)據(jù)塊依次讀取出來并合并到目標(biāo)端的差異磁盤中，等數(shù)據(jù)合并完成后，目的端的差分磁盤就擁有虛擬磁盤的所有最新數(shù)據(jù)。去除目的端快照對源卷的依賴，將差分磁盤修改為動態(tài)磁盤，這樣，目的端磁盤文件可以獨立運行。磁盤文件高級業(yè)務(wù)FusionSphere提供了虛擬機磁盤的高級業(yè)務(wù)，可以在提供磁盤文件的擴容、精簡置備空間回收等功能，技術(shù)原理如下：磁盤擴容：在離線狀態(tài)下支持固態(tài)和動態(tài)磁盤的容量擴充，對于固定磁盤，會將數(shù)據(jù)區(qū)域進行擴充，再重新寫一個扇區(qū)的屬性信息，并將屬性信息中的磁盤大小修改為擴容后的大

17、小。對于動態(tài)磁盤，直接將文件頭和文件尾的屬性信息中的磁盤大小。精簡置備空間回收：在離線狀態(tài)下支持精簡磁盤的空間回收，可以對用戶刪除的數(shù)據(jù)區(qū)域進行置零操作，再對這些區(qū)域進行掃描，并釋放對應(yīng)的數(shù)據(jù)區(qū)。存儲虛擬化的數(shù)據(jù)存儲擴容解決方案功能設(shè)計原理數(shù)據(jù)存儲擴容使得一個數(shù)據(jù)存儲可以管理多個物理LUN空間，當(dāng)需要擴容數(shù)據(jù)存儲時，可以通過添加另外的物理LUN至數(shù)據(jù)存儲或者對物理LUN進行擴容再擴容數(shù)據(jù)存儲，從而實現(xiàn)對數(shù)據(jù)存儲靈活地進行空間擴容，有效提高數(shù)據(jù)存儲擴展性。 當(dāng)需要擴容時，先在主節(jié)點上將新增的存儲空間以線性映射的方式追加至虛擬塊設(shè)備末尾，完成虛擬塊設(shè)備的擴容后，再將新增的存儲空間分成數(shù)段逐漸增加至文件系統(tǒng) (更新文件系統(tǒng)中的元數(shù)據(jù))，主節(jié)點完成數(shù)據(jù)存儲的擴容。由于虛擬塊設(shè)備的信息都是保存在節(jié)點內(nèi)存中，則當(dāng)其它節(jié)點發(fā)現(xiàn)數(shù)據(jù)存儲空間有變化時，則需要更新虛擬塊設(shè)備信息，完成擴容虛擬塊設(shè)備。如下圖所示：LUN1LUN2LUN3A DMnode Anode Bnode CB DMC DMVIMSDM即為Device Mapper虛擬塊設(shè)備存儲虛擬化的數(shù)據(jù)存儲修復(fù)解決方案功能設(shè)計原理數(shù)據(jù)存儲修復(fù)支持在數(shù)據(jù)存儲故障時進行修復(fù)。數(shù)據(jù)存儲故障時，為防止數(shù)據(jù)存儲遭到進一步的破壞，系統(tǒng)側(cè)會拒絕掉大部分的業(yè)務(wù)操作，只允許管理員