分級存儲管理中數(shù)據(jù)遷移的觸發(fā)條件

1、分級存儲管理中數(shù)據(jù)遷移的觸發(fā)條件    論文導(dǎo)讀：采用分級存儲的方式管理海量數(shù)據(jù)已經(jīng)獲得了存儲業(yè)界的廣泛共識。數(shù)據(jù)遷移模塊在分級存儲管理系統(tǒng)中起關(guān)鍵作用，而明確觸發(fā)數(shù)據(jù)遷移的主要條件則是成功實(shí)施數(shù)據(jù)遷移的首要問題。 關(guān)鍵詞：分級存儲，數(shù)據(jù)遷移，觸發(fā)條件    1 引言 近年來，計(jì)算機(jī)數(shù)據(jù)信息呈爆炸性的增長，越來越多的行業(yè)如氣象、圖書、電信等累積存儲了海量歷史數(shù)據(jù)。如何存儲和管理這些海量數(shù)據(jù)一直是存儲領(lǐng)域研究的熱點(diǎn)問題。論文格式。采用分級存儲的方式管理海量數(shù)據(jù)已經(jīng)獲得了存儲業(yè)界的廣泛共識。 2 分級存儲的意義和方式

2、分級存儲是指根據(jù)數(shù)據(jù)不同的重要性、可用性、訪問頻次、存儲成本等指標(biāo)，分別存放在相應(yīng)的存儲設(shè)備上。其工作原理是基于數(shù)據(jù)訪問的局部性，通過將不經(jīng)常訪問的數(shù)據(jù)自動移到存儲層次中較低的層次，大大減少非重要性數(shù)據(jù)在一級磁盤所占用的空間，釋放出較高成本的存儲空間給更頻繁訪問的數(shù)據(jù)，從而加快整個系統(tǒng)的存儲性能，獲得更好的總體性價比。在分級存儲系統(tǒng)中，一般分為在線存儲、近線存儲和離線存儲三級存儲方式。 21 在線存儲 在線存儲又稱工作級的存儲，是指將數(shù)據(jù)存放在高速的磁盤存儲設(shè)備上（如FC磁盤或SCSI磁盤陣列），其最大特征是存儲設(shè)備和所存儲的數(shù)據(jù)時刻保持“在線”狀態(tài)，可隨時讀取和修改，以滿足前端應(yīng)用服務(wù)器或數(shù)

3、據(jù)庫對數(shù)據(jù)訪問的速度要求。在線存儲適合存儲那些需要經(jīng)常和快速訪問的程序和文件，其存取速度快，性能好，存儲價格相對昂貴。 22 近線存儲 近線存儲是指將那些并不是經(jīng)常用到或者訪問量并不大的數(shù)據(jù)存放在性能較低的存儲設(shè)備上。近線存儲外延比較廣泛，定位于用戶在線存儲和離線存儲之間的應(yīng)用，包括一些存取速度和價格介于高速磁盤與磁帶之間的低端磁盤設(shè)備，如SATA磁盤陣列、DVD-RAM光盤塔和光盤庫等。論文格式。近線存儲對性能總體要求相對不高，但要求能確保數(shù)據(jù)可靠、傳輸穩(wěn)定、適應(yīng)一般的數(shù)據(jù)訪問負(fù)荷。論文格式。 23 離線存儲 離線存儲主要是用于對在線存儲的數(shù)據(jù)進(jìn)行備份，以防范可能發(fā)生的數(shù)據(jù)災(zāi)難，因此又稱備份

4、級的存儲。離線海量存儲的典型產(chǎn)品就是磁帶或磁帶庫，價格相對低廉,但是訪問速度慢、效率低。離線存儲主要用于對在線存儲或近線存儲的數(shù)據(jù)進(jìn)行備份，以防范可能發(fā)生的數(shù)據(jù)災(zāi)難，因此又稱備份級存儲。 3分級存儲管理 對數(shù)據(jù)進(jìn)行分級存儲，有必要對分級存儲進(jìn)行有效的管理，讓數(shù)據(jù)在各個存儲層次間不斷的流動才能實(shí)現(xiàn)其最大價值。 4數(shù)據(jù)遷移的觸發(fā)條件 數(shù)據(jù)遷移模塊在分級存儲管理系統(tǒng)中起關(guān)鍵作用，而明確觸發(fā)數(shù)據(jù)遷移的主要條件則是成功實(shí)施數(shù)據(jù)遷移的首要問題。 41磁盤剩余空間 足夠的磁盤剩余空間是數(shù)據(jù)遷入的先決條件。在分級存儲管理中，需要重點(diǎn)考慮在線存儲的磁盤剩余空間：一方面是由于其性能高，價格昂貴，擴(kuò)展存儲空間有限度

5、；另一方面是由于新產(chǎn)生的數(shù)據(jù)一般采用在線存儲的方式，要預(yù)留足夠的存儲空間來應(yīng)對新數(shù)據(jù)存儲和訪問的正常運(yùn)行。 在線存儲必須在磁盤剩余空間足夠時，才允許數(shù)據(jù)遷入，當(dāng)在線存儲容量不足時，不僅不能遷入數(shù)據(jù)，還得強(qiáng)制遷出一部分?jǐn)?shù)據(jù)，釋放存儲空間。當(dāng)次級存儲空間不足時，可有計(jì)劃、逐步地進(jìn)行擴(kuò)容，在增加存儲系統(tǒng)總體容量的同時也降低了數(shù)據(jù)管理的復(fù)雜性。 分級存儲管理系統(tǒng)需要實(shí)時監(jiān)控在線存儲的磁盤剩余空間，根據(jù)剩余空間占磁盤總空間大小比例的變化，設(shè)定的遷移閥值，參照閥值對數(shù)據(jù)進(jìn)行相應(yīng)的遷入、遷出操作。例如，設(shè)定剩余空間的閥值范圍是30%10%，數(shù)據(jù)遷入、遷出的情況如下表：    &

6、#160; 磁盤空間飽和度    剩余空間    數(shù)據(jù)遷入    數(shù)據(jù)遷出     低    >30%    允許    允許     中    30%10%    暫停  

7、  允許     高    <10%    禁止    強(qiáng)制     在磁盤空間飽和度為低水位的前提下，按照一定的規(guī)則策略遷入數(shù)據(jù)，一般情況下從價值級別高、利用率高的數(shù)據(jù)開始遷入，磁盤空間的飽和度達(dá)到中等水位時停止遷入。對于強(qiáng)制遷出的數(shù)據(jù)則相反，應(yīng)從數(shù)據(jù)價值級別低、利用率低的數(shù)據(jù)開始遷出在線存儲直至磁盤空間飽和度由高水位降至低水位。 42數(shù)據(jù)的價值級別 數(shù)據(jù)并非生而平等，

8、某一些數(shù)據(jù)可能更為重要，其訪問的性能要求、安全保護(hù)級別比其他數(shù)據(jù)要求高。即使是同一數(shù)據(jù)，通常它的價值也會隨著時間的推移而逐漸降低。除非對數(shù)據(jù)的價值級別進(jìn)行適當(dāng)?shù)拇鎯刂?，否則對數(shù)據(jù)的搜索將會導(dǎo)致存儲管理效率的不斷降低。 判定數(shù)據(jù)價值級別的一個有效方法是對數(shù)據(jù)進(jìn)行信息生命周期管理（InformationLifecycle Management，ILM）。ILM理念認(rèn)為信息像生物一樣具有生命以及生命周期，會隨著在生命周期中所處的階段不同而起起落落，信息的生命周期可以劃分為6個階段：創(chuàng)建、保護(hù)、存取、訪問、歸檔和回收2。信息處于不同的周期階段對用戶會有不同的價值。隨著信息價值所發(fā)生的變化，有必要將信

9、息轉(zhuǎn)移到不同的存儲介質(zhì)上。ILM根據(jù)應(yīng)用的要求、數(shù)據(jù)提供的時間及數(shù)據(jù)的等級，提供相適應(yīng)的數(shù)據(jù)產(chǎn)生、存儲和管理等服務(wù)，目的是在數(shù)據(jù)整個生命周期中以盡可能低的成本實(shí)現(xiàn)一種與其價值級別相應(yīng)的管理。 系統(tǒng)在數(shù)據(jù)創(chuàng)建時就應(yīng)當(dāng)獲得數(shù)據(jù)的類型、數(shù)據(jù)產(chǎn)生時間、數(shù)據(jù)有效期限、數(shù)據(jù)對業(yè)務(wù)的重要性、數(shù)據(jù)訪問的性能要求、數(shù)據(jù)安全保護(hù)級別等相關(guān)信息。對數(shù)據(jù)進(jìn)行分類，劃分價值級別，依照數(shù)據(jù)價值級別設(shè)定數(shù)據(jù)的存儲級別，分配最優(yōu)化、最具成本效益的存儲資源。 分級存儲管理系統(tǒng)對數(shù)據(jù)價值級別進(jìn)行定期的掃描監(jiān)測，在時間點(diǎn)、數(shù)據(jù)價值級別、存儲層次三者之間建立對應(yīng)關(guān)系。一但經(jīng)過某個時間點(diǎn)數(shù)據(jù)的價值級別發(fā)生變化，即可觸發(fā)數(shù)據(jù)的遷移，自動

10、將數(shù)據(jù)轉(zhuǎn)移到合適的存儲平臺之上。 43數(shù)據(jù)的利用率 在實(shí)際應(yīng)用中，判定為同等價值級別的各數(shù)據(jù)利用率卻并不一定相同，數(shù)據(jù)本身的利用率會由于各種因素而不斷變化。數(shù)據(jù)的利用率變化的兩種基本形式： 1、數(shù)據(jù)剛產(chǎn)生時，利用率最高，隨著時間的推移，利用率不斷下降，最后極少或不再被利用。數(shù)據(jù)存儲遷移方向?yàn)椋涸诰€?近線?離線。 2、數(shù)據(jù)產(chǎn)生后，利用率逐步上升，達(dá)到一個峰值階段后，再逐步下降，直到很少或不再被利用。由于數(shù)據(jù)的利用率是先上升后下降，只需要保證數(shù)據(jù)訪問到達(dá)高峰的時段處于在線存儲的位置，則數(shù)據(jù)存儲遷移方向?yàn)椋航€?在線離線。 統(tǒng)計(jì)數(shù)據(jù)的利用率可采用增量掃描技術(shù)，通過周期性增量掃描獲取本周期內(nèi)數(shù)據(jù)的最近

11、訪問時間，累加為總訪問次數(shù)，從而判斷出數(shù)據(jù)在該周期利用率的高低。 44人為制定的條件 為了更好地輔助數(shù)據(jù)的管理，通常有人為制定的規(guī)章制度對數(shù)據(jù)存儲以及服務(wù)提出相應(yīng)的要求。其中最常見一類是根據(jù)數(shù)據(jù)的時間特性來制定的規(guī)則，例如，移動公司一般向客戶提供最近5個月話費(fèi)詳單的網(wǎng)上查詢服務(wù)。針對這種服務(wù)規(guī)定，可以對于超過這個時間段的話費(fèi)詳單數(shù)據(jù)設(shè)定相應(yīng)的策略，自動從在線存儲遷移到次級存儲。 除了制度化的規(guī)則外，人為預(yù)測也可能成為觸發(fā)遷移的條件。例如通過有計(jì)劃地宣傳推廣，可以事先預(yù)見相關(guān)數(shù)據(jù)將成為關(guān)注度高的熱點(diǎn)數(shù)據(jù)，訪問率即將快速地增長，那么按照人為制定的策略，應(yīng)主動對這類數(shù)據(jù)提前進(jìn)行遷移，保證數(shù)據(jù)之后的訪問速度。 由于人為設(shè)定的遷移條件往往優(yōu)先于系統(tǒng)判斷的條件，數(shù)據(jù)遷移模塊應(yīng)提供可供選擇的各