蘿卜不毒的文獻綜述

1、前1.1 Hadoop RAID 1.2 Hadoop Syste前1.1 Hadoop RAID 1.2 Hadoop System 集（largedata set）RAID(RedundantArray of Independent Disk)(University of California, Berkeley)1987 模式有RAID0，RAID1，RAID5和RAID10HDFS-RAID2基于第一代的Hadoop 分支所開發(fā)的Raid Hadoop 1.3 根據(jù)課題需要，提煉要點，發(fā)現(xiàn)需要從以下幾個方面的文獻資料進行入手，包括 Hadoop， RAID，HDFS-RAID 以及糾刪

2、碼技術(shù)等。Hadoop 的發(fā)展已經(jīng)有一段時間了，RAID 1.4 1.4 的數(shù)據(jù)進行編碼并發(fā)送編碼后的數(shù)據(jù)用于恢復。而在存在副本的時候(例如 主體部分與容錯確保數(shù)據(jù)可用性在分布式 系統(tǒng)中是非常重要的，因為在機器數(shù)目很大的情況下，發(fā)生故障的概率會大大增加。單結(jié)點故障在分布式 系統(tǒng)8是常見的，而且在實踐中，結(jié)點故障往往是相關和并發(fā)的，就如在集群 (例如9，10)和廣域設置 (例如11，12，13)中提到的那樣，這就要求 系統(tǒng)必須提供有效的容錯恢復方案。Hadoop 分布式文件系統(tǒng)(HDFS1)Block 三Rack 內(nèi) 選擇兩個節(jié)點分別 ，然后在另一個 Rack 內(nèi)隨機選擇一個節(jié)點一份，如此可以

3、任意兩個 Block 的丟失，在大多數(shù)的情況下可以 多于兩個 Block 的丟失。當發(fā)生Block丟失，在進行恢復的時候，如果同一Rack Block 的副本，則可以直接在Rack 內(nèi)進行 恢復，否則需要跨 Rack 進行 ，根據(jù)概率可以算出，跨 Rack 的可能1/3200%，并且在恢 RAID5，RAID6 方案的 parity 塊保留兩個備份，源數(shù)據(jù)塊從三備份減少為雙備份，在 StripeLenght 為3，ParityLenght 1 parity 塊保留兩個備份，源數(shù)據(jù)塊從三備份減少為雙備份，在 StripeLenght 為3，ParityLenght 1 的情況下，理論上repli

4、cate 系數(shù)可以從3 減少2.67。對于非常冷的數(shù)據(jù)，則可以采用RS 。在實際系統(tǒng)中，例如 Cleversafe15，它是一個商業(yè)廣域設系統(tǒng)，它采用每 10 個數(shù)據(jù)段系統(tǒng)，例如 OceanStore16和 CFS17，在雙冗碼編碼出 6 個奇偶校驗段；另外一些一些廣余(空間的兩倍)冗余的系統(tǒng)中( - GFS18HDFS1）3系統(tǒng)（HDFS也有其特有的RAIDHDFS-RAID2模塊，其可以采用的編碼方式有 K 出來，NKN 為StripeLength，稱K為ParityLength2.2 是瓶頸。6，7的作者提出了RAID-6 代碼的最佳單一故障恢復。Khan et al.4表明，找到任另一

5、類方法是基于再生碼19最小化帶寬(即恢復過程中通過網(wǎng)絡傳輸?shù)臄?shù)據(jù)量)，其中每 同的權(quán)衡21HDFS，GFS 2.3 根據(jù)相2.3 根據(jù)相關的研究，機架間的傳輸速度與機架內(nèi)的傳輸速度比一般為 1:5 到 1:20， 的可總提出一種采用混合 RAID 的容錯方案，即在采機架內(nèi)高速的傳輸速度，性能上應該會比跨機架恢復更好參考文獻K.Shvachko,H.Kuang,S.Radia,andR.Chansler. TheHadoopDistributedFileSystem.Proc. ofIEEEMSST, MayC. Huang, H. Simitci,Y.Xu,A.Ogus, B.Calder,P

6、. Gopalan,J. Li, andS.Yekhanin.Erasure Coding in Windows Azure Storage. In Proc. of USENIX ATC, Jun 2012.O. Khan, R. Burns, J. Pl,W.Pierce,andC.Huang.RethinkingErasureCodesforCloudFile Systems: Minimizing I/O for Recovery and Degraded Reads. In Proc. of USENIX FAST, Feb M. Sathiamoorthy, M. Asteris,

7、 D. Papailiopoulos, A. G. Dimakis, R. Vadali, S. Chen, and D. kur.XORingElephants:NovelErasureCodesforBigData.Proc.ofVLDBEndowment, Z.Wang,A.Dimakis,andJ.Bruck. RebuildingforArrayCodesinDistributedStorageSystems. In IEEEWorkshops,Dec 2010.L. Xiang, Y. Xu, J.Lui, Q. Chang,Y.Pan,andR.Li. AHybridApproa

8、chtoFailed RecoveryUsingRAID-6Codes:AlgorithmsandL. Xiang, Y. Xu, J.Lui, Q. Chang,Y.Pan,andR.Li. AHybridApproachtoFailed RecoveryUsingRAID-6Codes:AlgorithmsandPerformanceEvaluation.ACMTrans.on Storage, 7(3):11, Oct2011.K.Rashmi,N.B.Shah,D.Gu,H.Kuang,D.kur, andK.Ramchandran.ASolutiontoNetworkChalleng

9、esof DataRecoveryinErasure-CodedDistributed StorageSystems:Aon WSarehouseCluster.InProc. ofUSENIX HotStorage,D.Ford,F.Labelle, F.I.Popovici,M. Stokel, V.-A. Truong,L. Barroso,C.Grimes, andQuinlan.AvailabilityinGloballyDistributedStorageSystems.InProc.ofUSENIXOSDI,Oct B.SchroederandG.A.Gibson.DiskheR

10、ealWorld:WhatDoesanMTTF1,000,000HoursMean to You?InProc. OfUSENIXFAST,Feb B.,F.Dabek,A.Haeberlen,E.Sit, H.Weatherspoon, M. Kaashoek, J.Kubiatowicz, R. Morris.EfficientReplicaNSDI,MayenanceforDistributedStorageSystems. InProc.ofA.Haeberlen,A.Mislove,andP. Druschel.Glacier:HighlyDurable,DecentralizedD

11、espiteMassiveCorrelatedFailures. InProc.ofUSENIX NSDI, MayS.Nath, H.Yu,P. B.Gibbons, andS.Seshan. oleratingCorrelatedFailuresWide-areaStorageSystems. InProc. ofUSENIX NSDI, MayI.ReedandG.Solomon.PolynomialCodesoverCertainFiniteFields.JournaloftheSocietyfor Industrial and Appd Mathematics, 8(2):30030

12、4, Jun 1960.Cleversafe. HYPERLINK http:/w/ .J.Kubiatowicz, D.Bindel,Y.Chen,S. Czerwinski,P.Eaton, D.Geels,R.Gummadi,S.H.Weatherspoon, W.Weimer, C.Wells, andB.Zhao. OceanStore:AnArchitectureScalePersistentStorage.InProc. ofACMASPLOS-IX, NovF.Dabek,M. Kaashoek, D. Karger, R.Morris,andI.Stoica.Wide-Are

13、aCooperativewithCFS.ACMSIGOPSOperatingSystemsReview, 35(5):202215,DecS.Ghemawat,H.Gobioff,andS.Leung.FileSystem.InProc.ofACM SOSP,A. Dimakis, P. Godfrey, Y. Wu, M. Wainwright, and K. Ramchandran. Network Coding for DistributedStorageSystems.IEEETrans.onInformationTheory,56(9):45394551,Sep2010.Z. Wang,I.Tamo,andJ.Bruck.LongMDS CodesforOptimalRepairBandwidth.InProc. IEEEISIT,21 Y. Hu, P. P. C. Lee, and K. W. Shum.ysis and Construction of Functional Regenerating Codes witcoded Repair for Di