教育資源服務(wù)下海量云存儲優(yōu)化機(jī)制的研究

1、教育資源服務(wù)下海量云存儲優(yōu)化機(jī)制的研摘要：目前教育資源的數(shù)據(jù)量以爆發(fā)式增長，導(dǎo)致教育 資源服務(wù)面臨著海量數(shù)據(jù)管理困難、數(shù)據(jù)存儲成本高、響應(yīng) 速度慢等難題。本文嘗試從教育資源數(shù)據(jù)訪問特性的角度出 發(fā)，采用基于模糊c均值的聚類算法，建構(gòu)相應(yīng)的教育云存 儲的副本管理策略，以此來優(yōu)化云存儲的存儲機(jī)制，從而提 高教育資源的服務(wù)效率與質(zhì)量。關(guān)鍵詞：教育云存儲；聚類分析；副本管理策中圖分類號：tp315文獻(xiàn)標(biāo)志碼：a文章編號:1673-8454 (2014) 13-0034-03一、引言提供快速、高效的教育資源服務(wù)一直是教育公共服務(wù)平 臺追求的目標(biāo)。早在2010年7月，教育部發(fā)布的國家中 長期教育改革和發(fā)展

2、規(guī)劃綱要（2010-2020年）（公開征求 意見稿）中就明確提出，"要建立開放靈活的教育資源公共 服務(wù)平臺，促進(jìn)優(yōu)質(zhì)教育資源普及共享”。而在當(dāng)今21世 紀(jì)的信息時代，信息技術(shù)得到了飛速發(fā)展，如何應(yīng)用信息技 術(shù)提高教育資源服務(wù)的效率與質(zhì)量，進(jìn)而加快我國教育信息 化進(jìn)程是我國教育發(fā)展規(guī)劃中的一個重要命題。隨著教育信息化進(jìn)程的不斷深入，教學(xué)模式、教學(xué)內(nèi)容、 教學(xué)方法也以多樣化的形式發(fā)展，但隨之而來教育資源的數(shù) 據(jù)量也會以幾何級數(shù)增長，導(dǎo)致教育資源服務(wù)面臨著海量數(shù) 據(jù)管理困難、數(shù)據(jù)存儲成本高、響應(yīng)速度慢等難題。而隨著 云計(jì)算的出現(xiàn)，其提供的云存儲是一個易于擴(kuò)展的、虛擬化 的存儲資源池，可以向

3、用戶提供海量的信息存儲，使國內(nèi)外 有關(guān)教育存儲的學(xué)者將研究的視角轉(zhuǎn)移到云存儲領(lǐng)域當(dāng)中。 但他們更多關(guān)注的是如何把云計(jì)算技術(shù)移植到教育領(lǐng)域中，忽略了教育資源本身具有的特性，如強(qiáng)交互性、多態(tài)性、個 性化等特點(diǎn)，而現(xiàn)有云計(jì)算提供通用的存儲機(jī)制難以滿足這 些教育特殊性的需求。因此，如何結(jié)合教育資源自身的特點(diǎn) 對云存儲的存儲機(jī)制進(jìn)行優(yōu)化則成為現(xiàn)代教育資源服務(wù)技 術(shù)迫切需要解決的重點(diǎn)問題之一。本文嘗試從教育資源數(shù)據(jù) 訪問特性的角度出發(fā)，采用基于模糊c均值的聚類算法，建 構(gòu)相應(yīng)的教育云存儲的副本管理策略，以此來優(yōu)化云存儲的 存儲機(jī)制，從而提高教育資源的服務(wù)效率與質(zhì)量。二、相關(guān)研究1.云環(huán)境下的副本管理策略研

4、究海量數(shù)據(jù)的存儲與管理不僅給資源管理與調(diào)度帶來了 挑戰(zhàn)，對副本管理也提出了新的要求，良好的副本管理策略 不僅可以有效地提高海量數(shù)據(jù)處理平臺的性能，也能有效地 保障數(shù)據(jù)的可靠性，提高數(shù)據(jù)可用性和可擴(kuò)展性。為了提升 云存儲系統(tǒng)的效率與性能，許多學(xué)者都在關(guān)注副本機(jī)制的研 究。yijie wang等1對分布式系統(tǒng)中的數(shù)據(jù)副本技術(shù)提出 了間接副本算法，可以減少副本重復(fù)存儲和存儲開銷，使存 儲系統(tǒng)的持久性和安全性提髙。mohamed y.eltabkh2等針 對hadoop缺少對同一組節(jié)點(diǎn)協(xié)同定位相關(guān)數(shù)據(jù)的能力，提 出了 cohadoop的數(shù)據(jù)放置策略。魏青松3等提出了 一種旨 在用最小的代價獲得最高的效

5、益，同時提高云存儲性能和負(fù) 載平衡的cdrm模型。許信等4提出了 一種面向可靠性副本 管理策略，該策略將副本放置的過程分為副本初次放置與自 適應(yīng)放置，在初次放置時主要考慮節(jié)點(diǎn)的存儲剩余空間、當(dāng) 前qos負(fù)載load、失效次數(shù)、歷史訪問次數(shù)等參數(shù)，從而得 到副本放置傾向度，然后選擇傾向度最高的節(jié)點(diǎn)進(jìn)行放置。熊潤群等5提出了基于qos偏好感知的副本選擇策略，該 策略使用了層次分析法建立了副本選擇的三維qos模型，并 使用模糊綜合法對節(jié)點(diǎn)進(jìn)行綜合評價，最終得到具有最高qos滿意度的副本節(jié)點(diǎn)，來為各類個體服務(wù)質(zhì)量敏感的用戶 提供合理的副本策略。可以看出，許多學(xué)者提出的云存儲優(yōu) 化機(jī)制，通常都使用了副本

6、技術(shù)。副本技術(shù)是云存儲系統(tǒng)的 關(guān)鍵技術(shù)之一，通過研究對數(shù)據(jù)副本進(jìn)行合理的管理，可以 改進(jìn)客戶訪問數(shù)據(jù)的性能，加快各種服務(wù)的反應(yīng)時間，同時 還可以平衡系統(tǒng)的負(fù)載。但以上提出的存儲優(yōu)化方案缺少領(lǐng) 域的針對性，目前結(jié)合教育資源特性來優(yōu)化云存儲的研究還 比較少，也缺乏相關(guān)的實(shí)踐驗(yàn)證。2 數(shù)據(jù)訪問模式的研究隨著資源越來越數(shù)字化與網(wǎng)絡(luò)化，使資源的數(shù)據(jù)訪問模式得到越來越多的關(guān)注，許多研究開始關(guān)注資源數(shù)據(jù)訪問特性來提高資源服務(wù)質(zhì)量，包括資源的重用性、相似性、聚集性、生存性等特性。francisco等6對校的移動無線用戶聚集現(xiàn)象進(jìn)行了統(tǒng)計(jì)，經(jīng)過分析發(fā)現(xiàn)對于無線接入來說13% 的網(wǎng)站占據(jù)了 70%的訪問量，而且當(dāng)

7、地理位置比較接近的用 戶更有可能查詢相同數(shù)據(jù)，對于出現(xiàn)這種現(xiàn)象的環(huán)境具有查 詢和信息的空間聚集性。huang lan等7基于hadoop框架 從web日志數(shù)據(jù)中提取用戶信息，進(jìn)而分析用戶的訪問行為， 這是云存儲中考慮用戶訪問模式的一個重要研究。吳俊杰8 等對數(shù)據(jù)訪問的重用性、相似性與親和性這三種特性進(jìn)行分 析與優(yōu)化，并基于這三種特性提出一種層次存儲的訪問分析 與優(yōu)化方法，這是考慮解決存儲墻問題的一個重要研究。李 夢源9等從用戶體驗(yàn)質(zhì)量的角度，分析云環(huán)境下用戶訪問 服務(wù)的行為，利用其訪問服務(wù)的偏好性，提出基于用戶行為 特征的服務(wù)選擇策略，在保證較高性能的同時也提高了云服 務(wù)的質(zhì)量。根據(jù)以上分析，

8、可以看出目前的數(shù)據(jù)訪問模式很 少有結(jié)合云存儲技術(shù)進(jìn)行研究的，即使有，也并沒有明確地 提出一個提高云存儲效率的解決方案。綜上所述，國內(nèi)外對海量資源優(yōu)化、功能服務(wù)的研究重 點(diǎn)是滿足通用性需求，但目前滿足教育領(lǐng)域資源云服務(wù)需要的研究比較少見，而結(jié)合教育資源數(shù)據(jù)訪問模式研究云存儲 優(yōu)化策略更是少見。為此，探究如何結(jié)合教育資源自身的特 點(diǎn)對云存儲的存儲機(jī)制進(jìn)行優(yōu)化則成為現(xiàn)代教育資源服務(wù) 技術(shù)關(guān)注的研究熱點(diǎn)之一。基于教育資源數(shù)據(jù)訪問特性的云存儲優(yōu)化策略的設(shè)本文提出的基于教育資源數(shù)據(jù)訪問特性的云存儲優(yōu)化 策略的設(shè)計(jì)主要有兩個步驟：第一個步驟是先要對教育資源 數(shù)據(jù)訪問特性進(jìn)行優(yōu)化；第二個步驟是對教育資源副本管

9、理 策略進(jìn)行優(yōu)化。其中，對教育資源數(shù)據(jù)訪問特性的優(yōu)化結(jié)果 是副本管理策略優(yōu)化的基礎(chǔ)，其存儲優(yōu)化的框架如圖1所示。1.基于模糊聚類算法的教育資源數(shù)據(jù)訪問特性優(yōu)化策略的設(shè)計(jì)教育資源的數(shù)據(jù)訪問模式與一般的科學(xué)計(jì)算的數(shù)據(jù)訪 問模式有所不同，它屬于多屬性的訪問模式，因?yàn)槊總€教育 資源都有與之對應(yīng)的元數(shù)據(jù)記錄，該元數(shù)據(jù)在用戶創(chuàng)建文件 上傳時，就描述了對應(yīng)文件的屬性，而每個屬性都可以作為 數(shù)據(jù)訪問的一個特性。通過分析教育數(shù)據(jù)訪問特性，發(fā)現(xiàn)影 響數(shù)據(jù)訪問較大的特性有：一是數(shù)據(jù)的訪問量（聚集性）； 二是數(shù)據(jù)訪問的生存周期（生存性）。為了體現(xiàn)教育用戶對 教育資源需求是多方面的，利用模糊聚類技術(shù)對用戶的數(shù)據(jù) 訪問進(jìn)

10、行聚類，就可以很好地體現(xiàn)用戶需求多興趣大的特 點(diǎn)，在進(jìn)行聚類分析的時候能夠得到更有效的聚類結(jié)果。本 文通過采用基于模糊c均值的聚類算法對這兩個訪問特性進(jìn) 行分析與優(yōu)化設(shè)計(jì)，并依據(jù)該優(yōu)化策略結(jié)合副本管理策略來 對云存儲機(jī)制進(jìn)行優(yōu)化。其基于模糊c均值的聚類算法對數(shù) 據(jù)訪問特性優(yōu)化算法的設(shè)計(jì)如下：(1) 根據(jù)相應(yīng)的教育資源標(biāo)準(zhǔn)分類法對教育資源進(jìn)行 分類，如本文采用中圖法對教育資源進(jìn)行分類。(2) 分析和統(tǒng)計(jì)資源數(shù)據(jù)訪問量和訪問的生存周期， 結(jié)合教育資源的分類，生成用戶數(shù)據(jù)訪問向量表，如表1所 示。由此得到資源分類的向量：ui= (wil, wi2,， wik, -win),其中，wik表示用戶ui對

11、某種資源第k類的 需求強(qiáng)度，n表示某種資源的類別總數(shù)，且nk=lwik=l,其 需求強(qiáng)度wik=wvxv+wtxt, wv代表第k類資源的用戶數(shù)據(jù) 訪問量的權(quán)重，v代表第k類資源的用戶數(shù)據(jù)訪問次數(shù)，wt 代表第k類資源的用戶數(shù)據(jù)訪問的生存周期的權(quán)重，t代表 第k類資源的用戶數(shù)據(jù)訪問生存周期。(3) 相似用戶的聚類計(jì)算，使用模糊c均值算法(fcm) 對相似用戶進(jìn)行計(jì)算，輸入?yún)?shù)為：聚類數(shù)目c和用戶數(shù)據(jù) 訪問向量表。其輸出結(jié)果：用戶在各聚類中的隸屬度和各聚 類的聚類中心，從而可以獲得各資源類別的熱度文件。通過以上算法設(shè)計(jì)，就可以對數(shù)據(jù)訪問特性進(jìn)行優(yōu)化， 從而為下面云存儲副本管理策略優(yōu)化提供優(yōu)化條件

12、的依據(jù)。2.云存儲副本管理策略優(yōu)化的設(shè)計(jì)根據(jù)上述數(shù)據(jù)訪問特性優(yōu)化獲得各資源類別的熱度文件，結(jié)合引入副本池對云存儲副本管理策略進(jìn)行優(yōu)化。引入 副本池，可以有效地提高用戶的訪問熱點(diǎn)文件的傳輸質(zhì)量。本文的副本管理策略設(shè)計(jì)主要是由副本創(chuàng)建策略和空間替 換策略組成。副本創(chuàng)建策略主要是為了保證副本池中存在用 戶訪問的熱度文件副本，而空間替換策略主要是為了新到的 副本創(chuàng)建請求提供存儲空間。其算法設(shè)計(jì)流程如下：(1) 定義副本池的更新周期和副本池?zé)岫任募纳?周期。更新周期的賦值主要通過判斷新的熱度文件是否達(dá)到 一定量來衡量。(2) 判斷是否達(dá)到副本池的更新周期，若不達(dá)到，則跳至(5)；若達(dá)到，則根據(jù)前面數(shù)

13、據(jù)訪問特性優(yōu)化得到的用 戶向量值，將本次更新周期的副本池的各類熱度文件與上一 次更新周期的各類熱度文件做比較，選擇出新的熱度文件加 入副本池的文件，并將這些文件設(shè)為文件集n。(3) 判斷副本池中副本存儲空間文件集n的存儲空間 大小，設(shè)副本池的可用空間大小為se,文件集n所需的存儲 空間大小為sn。若沒有，則跳至(4),若有，循環(huán)文件集n 中的每一個熱度文件，獲取每一個請求創(chuàng)建副本的熱度文 件，選擇相應(yīng)的資源類別的服務(wù)節(jié)點(diǎn)si,然后通過副本定位 服務(wù)，找到該文件的存儲位置，然后通過空間替換策略，在 副本池中創(chuàng)建該熱度文件副本。(4) 選擇一個最長時間沒有副本更新的節(jié)點(diǎn)，采用lru 的方法刪除該節(jié)

14、點(diǎn)中舊的副本，并更新副本池中可用存儲空 間的大小se。如果se<sn,則繼續(xù)執(zhí)行步驟(4),否則返回 步驟(3)繼續(xù)執(zhí)行。(5) 判斷服務(wù)器資源的使用情況，對服務(wù)器處于低能 耗的時間內(nèi)，執(zhí)行該步驟：對已達(dá)到生命周期的熱度文件進(jìn) 行刪除，以釋放副本池的存儲空間，并返回副本池，可用存 儲空間大小為seo通過以上優(yōu)化設(shè)計(jì)，可有效云存儲的各類資源節(jié)點(diǎn)得到 充分利用，優(yōu)化云存儲的服務(wù)調(diào)度。四、結(jié)束語 教育云存儲機(jī)制的優(yōu)化是教育公共資源高度共享和資源的有效利用的關(guān)鍵技術(shù)之一，它一直是教育信息化發(fā)展的 主要研究內(nèi)容和研究方向。本文嘗試從教育資源數(shù)據(jù)訪問特 性的角度出發(fā)，采用基于模糊c均值的聚類算法，建

15、構(gòu)相應(yīng) 的教育云存儲的副本管理策略，以此來優(yōu)化云存儲的存儲機(jī) 制。實(shí)驗(yàn)表明該方法可以有效地控制數(shù)據(jù)存儲成本，同時也 提高了用戶訪問的響應(yīng)速度，從而提高教育資源的服務(wù)效率 與質(zhì)量。參考文獻(xiàn):1 yijie wang, si jun li. research and performance evaluation of data replication technology in distributed storage systems in 2006 computers and mathematics with applications, pages 1625-1632, 20062 giusepp

16、e de candia, deniz hastorun，madan jampani, gunavardhan kakulapati, avinash lakshman, alex pilchin , petervosshall , werner vogels swaminathan svasubramanian. dynamo: amazon? s highly available key-value storec. sosp，07, october 14-17, 2007.3 qingsong wei, bharadwaj veeravaili, bozhao gong, etc. cdrm

17、 : a cost-effective dynamic replication management scheme for cloud storage cluste譏c2010 ieee international conference on cluster computing.4 許信.云存儲系統(tǒng)服務(wù)質(zhì)量控制與可靠性技術(shù)研究 d浙江大學(xué)，2011. 1.5 熊潤群，羅軍舟，宋愛波，金嘉暉.云計(jì)算環(huán)境下qos 偏好感知的副本選擇策略j.通信學(xué)報(bào)，2011 (7)： 32, 93-102.6 francisco chinchilla, mark lindsey, maria papadopouli analysis of wireless information locality and association pa