


下載本文檔
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
1、分級存儲管理中數(shù)據(jù)遷移的觸發(fā)條件 論文導(dǎo)讀:采用分級存儲的方式管理海量數(shù)據(jù)已經(jīng)獲得了存儲業(yè)界的廣泛共識。數(shù)據(jù)遷移模塊在分級存儲管理系統(tǒng)中起關(guān)鍵作用,而明確觸發(fā)數(shù)據(jù)遷移的主要條件則是成功實(shí)施數(shù)據(jù)遷移的首要問題。 關(guān)鍵詞:分級存儲,數(shù)據(jù)遷移,觸發(fā)條件 1 引言 近年來,計(jì)算機(jī)數(shù)據(jù)信息呈爆炸性的增長,越來越多的行業(yè)如氣象、圖書、電信等累積存儲了海量歷史數(shù)據(jù)。如何存儲和管理這些海量數(shù)據(jù)一直是存儲領(lǐng)域研究的熱點(diǎn)問題。論文格式。采用分級存儲的方式管理海量數(shù)據(jù)已經(jīng)獲得了存儲業(yè)界的廣泛共識。 2 分級存儲的意義和方式
2、分級存儲是指根據(jù)數(shù)據(jù)不同的重要性、可用性、訪問頻次、存儲成本等指標(biāo),分別存放在相應(yīng)的存儲設(shè)備上。其工作原理是基于數(shù)據(jù)訪問的局部性,通過將不經(jīng)常訪問的數(shù)據(jù)自動移到存儲層次中較低的層次,大大減少非重要性數(shù)據(jù)在一級磁盤所占用的空間,釋放出較高成本的存儲空間給更頻繁訪問的數(shù)據(jù),從而加快整個系統(tǒng)的存儲性能,獲得更好的總體性價比。在分級存儲系統(tǒng)中,一般分為在線存儲、近線存儲和離線存儲三級存儲方式。 21 在線存儲 在線存儲又稱工作級的存儲,是指將數(shù)據(jù)存放在高速的磁盤存儲設(shè)備上(如FC磁盤或SCSI磁盤陣列),其最大特征是存儲設(shè)備和所存儲的數(shù)據(jù)時刻保持“在線”狀態(tài),可隨時讀取和修改,以滿足前端應(yīng)用服務(wù)器或數(shù)
3、據(jù)庫對數(shù)據(jù)訪問的速度要求。在線存儲適合存儲那些需要經(jīng)常和快速訪問的程序和文件,其存取速度快,性能好,存儲價格相對昂貴。 22 近線存儲 近線存儲是指將那些并不是經(jīng)常用到或者訪問量并不大的數(shù)據(jù)存放在性能較低的存儲設(shè)備上。近線存儲外延比較廣泛,定位于用戶在線存儲和離線存儲之間的應(yīng)用,包括一些存取速度和價格介于高速磁盤與磁帶之間的低端磁盤設(shè)備,如SATA磁盤陣列、DVD-RAM光盤塔和光盤庫等。論文格式。近線存儲對性能總體要求相對不高,但要求能確保數(shù)據(jù)可靠、傳輸穩(wěn)定、適應(yīng)一般的數(shù)據(jù)訪問負(fù)荷。論文格式。 23 離線存儲 離線存儲主要是用于對在線存儲的數(shù)據(jù)進(jìn)行備份,以防范可能發(fā)生的數(shù)據(jù)災(zāi)難,因此又稱備份
4、級的存儲。離線海量存儲的典型產(chǎn)品就是磁帶或磁帶庫,價格相對低廉,但是訪問速度慢、效率低。離線存儲主要用于對在線存儲或近線存儲的數(shù)據(jù)進(jìn)行備份,以防范可能發(fā)生的數(shù)據(jù)災(zāi)難,因此又稱備份級存儲。 3分級存儲管理 對數(shù)據(jù)進(jìn)行分級存儲,有必要對分級存儲進(jìn)行有效的管理,讓數(shù)據(jù)在各個存儲層次間不斷的流動才能實(shí)現(xiàn)其最大價值。 4數(shù)據(jù)遷移的觸發(fā)條件 數(shù)據(jù)遷移模塊在分級存儲管理系統(tǒng)中起關(guān)鍵作用,而明確觸發(fā)數(shù)據(jù)遷移的主要條件則是成功實(shí)施數(shù)據(jù)遷移的首要問題。 41磁盤剩余空間 足夠的磁盤剩余空間是數(shù)據(jù)遷入的先決條件。在分級存儲管理中,需要重點(diǎn)考慮在線存儲的磁盤剩余空間:一方面是由于其性能高,價格昂貴,擴(kuò)展存儲空間有限度
5、;另一方面是由于新產(chǎn)生的數(shù)據(jù)一般采用在線存儲的方式,要預(yù)留足夠的存儲空間來應(yīng)對新數(shù)據(jù)存儲和訪問的正常運(yùn)行。 在線存儲必須在磁盤剩余空間足夠時,才允許數(shù)據(jù)遷入,當(dāng)在線存儲容量不足時,不僅不能遷入數(shù)據(jù),還得強(qiáng)制遷出一部分?jǐn)?shù)據(jù),釋放存儲空間。當(dāng)次級存儲空間不足時,可有計(jì)劃、逐步地進(jìn)行擴(kuò)容,在增加存儲系統(tǒng)總體容量的同時也降低了數(shù)據(jù)管理的復(fù)雜性。 分級存儲管理系統(tǒng)需要實(shí)時監(jiān)控在線存儲的磁盤剩余空間,根據(jù)剩余空間占磁盤總空間大小比例的變化,設(shè)定的遷移閥值,參照閥值對數(shù)據(jù)進(jìn)行相應(yīng)的遷入、遷出操作。例如,設(shè)定剩余空間的閥值范圍是30%10%,數(shù)據(jù)遷入、遷出的情況如下表: &
6、#160; 磁盤空間飽和度 剩余空間 數(shù)據(jù)遷入 數(shù)據(jù)遷出 低 >30% 允許 允許 中 30%10% 暫停
7、 允許 高 <10% 禁止 強(qiáng)制 在磁盤空間飽和度為低水位的前提下,按照一定的規(guī)則策略遷入數(shù)據(jù),一般情況下從價值級別高、利用率高的數(shù)據(jù)開始遷入,磁盤空間的飽和度達(dá)到中等水位時停止遷入。對于強(qiáng)制遷出的數(shù)據(jù)則相反,應(yīng)從數(shù)據(jù)價值級別低、利用率低的數(shù)據(jù)開始遷出在線存儲直至磁盤空間飽和度由高水位降至低水位。 42數(shù)據(jù)的價值級別 數(shù)據(jù)并非生而平等,
8、某一些數(shù)據(jù)可能更為重要,其訪問的性能要求、安全保護(hù)級別比其他數(shù)據(jù)要求高。即使是同一數(shù)據(jù),通常它的價值也會隨著時間的推移而逐漸降低。除非對數(shù)據(jù)的價值級別進(jìn)行適當(dāng)?shù)拇鎯刂?,否則對數(shù)據(jù)的搜索將會導(dǎo)致存儲管理效率的不斷降低。 判定數(shù)據(jù)價值級別的一個有效方法是對數(shù)據(jù)進(jìn)行信息生命周期管理(InformationLifecycle Management,ILM)。ILM理念認(rèn)為信息像生物一樣具有生命以及生命周期,會隨著在生命周期中所處的階段不同而起起落落,信息的生命周期可以劃分為6個階段:創(chuàng)建、保護(hù)、存取、訪問、歸檔和回收2。信息處于不同的周期階段對用戶會有不同的價值。隨著信息價值所發(fā)生的變化,有必要將信
9、息轉(zhuǎn)移到不同的存儲介質(zhì)上。ILM根據(jù)應(yīng)用的要求、數(shù)據(jù)提供的時間及數(shù)據(jù)的等級,提供相適應(yīng)的數(shù)據(jù)產(chǎn)生、存儲和管理等服務(wù),目的是在數(shù)據(jù)整個生命周期中以盡可能低的成本實(shí)現(xiàn)一種與其價值級別相應(yīng)的管理。 系統(tǒng)在數(shù)據(jù)創(chuàng)建時就應(yīng)當(dāng)獲得數(shù)據(jù)的類型、數(shù)據(jù)產(chǎn)生時間、數(shù)據(jù)有效期限、數(shù)據(jù)對業(yè)務(wù)的重要性、數(shù)據(jù)訪問的性能要求、數(shù)據(jù)安全保護(hù)級別等相關(guān)信息。對數(shù)據(jù)進(jìn)行分類,劃分價值級別,依照數(shù)據(jù)價值級別設(shè)定數(shù)據(jù)的存儲級別,分配最優(yōu)化、最具成本效益的存儲資源。 分級存儲管理系統(tǒng)對數(shù)據(jù)價值級別進(jìn)行定期的掃描監(jiān)測,在時間點(diǎn)、數(shù)據(jù)價值級別、存儲層次三者之間建立對應(yīng)關(guān)系。一但經(jīng)過某個時間點(diǎn)數(shù)據(jù)的價值級別發(fā)生變化,即可觸發(fā)數(shù)據(jù)的遷移,自動
10、將數(shù)據(jù)轉(zhuǎn)移到合適的存儲平臺之上。 43數(shù)據(jù)的利用率 在實(shí)際應(yīng)用中,判定為同等價值級別的各數(shù)據(jù)利用率卻并不一定相同,數(shù)據(jù)本身的利用率會由于各種因素而不斷變化。數(shù)據(jù)的利用率變化的兩種基本形式: 1、數(shù)據(jù)剛產(chǎn)生時,利用率最高,隨著時間的推移,利用率不斷下降,最后極少或不再被利用。數(shù)據(jù)存儲遷移方向?yàn)椋涸诰€?近線?離線。 2、數(shù)據(jù)產(chǎn)生后,利用率逐步上升,達(dá)到一個峰值階段后,再逐步下降,直到很少或不再被利用。由于數(shù)據(jù)的利用率是先上升后下降,只需要保證數(shù)據(jù)訪問到達(dá)高峰的時段處于在線存儲的位置,則數(shù)據(jù)存儲遷移方向?yàn)椋航€?在線離線。 統(tǒng)計(jì)數(shù)據(jù)的利用率可采用增量掃描技術(shù),通過周期性增量掃描獲取本周期內(nèi)數(shù)據(jù)的最近
11、訪問時間,累加為總訪問次數(shù),從而判斷出數(shù)據(jù)在該周期利用率的高低。 44人為制定的條件 為了更好地輔助數(shù)據(jù)的管理,通常有人為制定的規(guī)章制度對數(shù)據(jù)存儲以及服務(wù)提出相應(yīng)的要求。其中最常見一類是根據(jù)數(shù)據(jù)的時間特性來制定的規(guī)則,例如,移動公司一般向客戶提供最近5個月話費(fèi)詳單的網(wǎng)上查詢服務(wù)。針對這種服務(wù)規(guī)定,可以對于超過這個時間段的話費(fèi)詳單數(shù)據(jù)設(shè)定相應(yīng)的策略,自動從在線存儲遷移到次級存儲。 除了制度化的規(guī)則外,人為預(yù)測也可能成為觸發(fā)遷移的條件。例如通過有計(jì)劃地宣傳推廣,可以事先預(yù)見相關(guān)數(shù)據(jù)將成為關(guān)注度高的熱點(diǎn)數(shù)據(jù),訪問率即將快速地增長,那么按照人為制定的策略,應(yīng)主動對這類數(shù)據(jù)提前進(jìn)行遷移,保證數(shù)據(jù)之后的訪問速度。 由于人為設(shè)定的遷移條件往往優(yōu)先于系統(tǒng)判斷的條件,數(shù)據(jù)遷移模塊應(yīng)提供可供選擇的各
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 超長信用債探微跟蹤:超長信用的韌性撐多久
- 如何科學(xué)護(hù)理老年認(rèn)知障礙
- 針對工業(yè)互聯(lián)網(wǎng)平臺的2025年入侵檢測系統(tǒng):異常行為分析與優(yōu)化實(shí)踐報告
- 智能化升級改造對城市污水處理廠設(shè)備壽命影響研究報告
- 2025年農(nóng)業(yè)機(jī)械化智能化發(fā)展中的農(nóng)業(yè)產(chǎn)業(yè)結(jié)構(gòu)優(yōu)化與升級報告
- 2025年餐飲業(yè)會員營銷活動效果評估與客戶忠誠度增長報告
- 2025年“健康中國”戰(zhàn)略下醫(yī)療健康產(chǎn)業(yè)投資策略與風(fēng)險控制研究報告
- 量子計(jì)算技術(shù)在金融風(fēng)險模擬中的大數(shù)據(jù)分析與風(fēng)險管理研究報告
- 數(shù)字孿生在城市公共空間規(guī)劃中的互動體驗(yàn)設(shè)計(jì)報告
- 2025細(xì)胞治療臨床試驗(yàn)與審批流程中的臨床試驗(yàn)倫理審查倫理學(xué)案例報告
- 四川省成都天府新區(qū)2024年八年級下學(xué)期末物理試題附答案
- (完整版)增值稅申報表帶公式模板
- 期末考試卷2《心理健康與職業(yè)生涯》(原題卷)高一思想政治課(高教版2023基礎(chǔ)模塊)
- 數(shù)字圖像處理與機(jī)器視覺智慧樹知到期末考試答案章節(jié)答案2024年溫州理工學(xué)院
- 英文經(jīng)典電影賞析智慧樹知到期末考試答案2024年
- 從安全意識到安全行為習(xí)慣的養(yǎng)成
- 七下第三單元《駱駝祥子》整本書閱讀 公開課一等獎創(chuàng)新教學(xué)設(shè)計(jì)
- 小米創(chuàng)業(yè)思考
- 鐵礦礦石的市場定位與銷售渠道
- 坍塌事故培訓(xùn)課件
- 提升機(jī)安全操作規(guī)程
評論
0/150
提交評論