RAID原理介紹(2)

1、信息存儲理論與信息存儲理論與技術(shù)技術(shù)主講：馮主講：馮 丹丹 陳陳儉儉喜喜 ()1RAID技術(shù)原理技術(shù)原理計算機存儲系統(tǒng)3操作系統(tǒng)操作系統(tǒng).disksCPUStorage Director StringController StringControllerChannel.CPU.Storage Director. StringController.IBM大型機多路磁盤大型機多路磁盤I/O系統(tǒng)系統(tǒng) RAID設(shè)計借用設(shè)計借用大型機中大型機中Stripping和和Interleaving的的概念概念RAID(獨立冗余磁盤陣列）獨立冗余磁盤陣列） Redundant Arra

2、ys of Independent (Inexpensive) DisksD.A. Patterson, G. Gibson, and R.H. Katz, A Case for Redundant Arrays of Inexpensive Disks(RAID), tech. report, CS Division, Univ. of California Berkley, 1987.Katz, R.H., RAID: A personal recollection of how storage became a system. IEEE Annals of the History of

3、Computing, 2010. 32(4): p. 82-86.6789Why RAID？p存儲容量需求不斷增加：存儲容量需求不斷增加：數(shù)據(jù)總量18個月翻一番，目前每年約5 EB?p存儲數(shù)據(jù)可靠性要求越來越高：存儲數(shù)據(jù)可靠性要求越來越高：247的持續(xù)服務(wù)p存取速度要求越來越快：存取速度要求越來越快：速度要求達TBpsRAID基本原理與特征基本原理與特征p數(shù)據(jù)以條塊化數(shù)據(jù)以條塊化（stripe）分布于多個磁盤分布于多個磁盤p存儲容量擴展存儲容量擴展，I/O性能提升性能提升p冗余機制獲得較高的數(shù)據(jù)可用性冗余機制獲得較高的數(shù)據(jù)可用性n可用性可用性（Availability）: 即使某些部件故障仍能

4、夠為用即使某些部件故障仍能夠為用戶提供服務(wù)戶提供服務(wù)p通過冗余信息實現(xiàn)數(shù)據(jù)恢復(fù)通過冗余信息實現(xiàn)數(shù)據(jù)恢復(fù)（Reconstructed & Rebuild)p不足之處不足之處： 容量損失：存儲冗余信息容量損失：存儲冗余信息 帶寬損失：冗余信息的讀寫帶寬損失：冗余信息的讀寫 計算資源損失：冗余信息的更新計算資源損失：冗余信息的更新, ,恢復(fù)恢復(fù)12RAID定義p磁盤陣列：磁盤陣列： 采用數(shù)據(jù)交叉存取技術(shù)實現(xiàn)多個獨立的采用數(shù)據(jù)交叉存取技術(shù)實現(xiàn)多個獨立的硬磁盤驅(qū)動器并行訪問，且在操作系統(tǒng)硬磁盤驅(qū)動器并行訪問，且在操作系統(tǒng)下視為一個邏輯磁盤驅(qū)動器的存儲設(shè)備。下視為一個邏輯磁盤驅(qū)動器的存儲設(shè)備。塊1

5、1塊10塊9塊8塊7塊6塊5塊4塊3塊2RAIDRAID邏輯上構(gòu)成一個大盤邏輯上構(gòu)成一個大盤塊1塊0塊12塊8塊4塊0塊13塊9塊5塊1塊14塊10塊6塊2塊15塊11塊7塊3陣列控制核心陣列控制核心邏輯盤邏輯盤物理盤物理盤0 0物理盤物理盤1 1物理盤物理盤2 2物理盤物理盤3 3映射，也可稱為虛擬化映射，也可稱為虛擬化實例：實例：Linux DM:MDRAID分類分類軟件式軟件式與與硬件式硬件式(Software RAID & Hardware RAID)區(qū)分的標準是看實現(xiàn)區(qū)分的標準是看實現(xiàn)RAIDRAID是否占用主是否占用主機的資源機的資源（CPU，Memory）RAID 級別（

6、Level）pRAID 0：數(shù)據(jù)分割，無容錯能力：數(shù)據(jù)分割，無容錯能力pRAID 2：海明碼，不具有商業(yè)生命力：海明碼，不具有商業(yè)生命力pRAID 1：鏡像：鏡像(雙拷貝雙拷貝)pRAID 3：并行，位交叉，單校驗盤：并行，位交叉，單校驗盤pRAID 4：并行，塊交叉，單校驗盤：并行，塊交叉，單校驗盤pRAID 5：獨立，循環(huán)校驗盤：獨立，循環(huán)校驗盤pRAID 6：容雙盤錯，塊交叉，近年被廣泛重視：容雙盤錯，塊交叉，近年被廣泛重視2 磁盤陣列結(jié)構(gòu)磁盤陣列結(jié)構(gòu)123456(a) RAID 0： 數(shù)據(jù)分塊，無校驗(b) RAID 1： 鏡像(c) RAID 2： 位交叉，海明碼糾錯(d) RAID

7、 3： 位交叉，奇偶校驗(e) RAID 4：塊交叉，固定校驗盤(f) RAID 5： 塊交叉，校驗信息分散存放(g) RAID 10：分塊與鏡像結(jié)合(h) RAID 6：糾雙錯陣列RAID 0 技術(shù)技術(shù)p多個磁盤構(gòu)成陣列多個磁盤構(gòu)成陣列(ARRAYS) ,提高容量提高容量p解決單磁盤無法并行工作的問題解決單磁盤無法并行工作的問題, ,多磁盤同時操多磁盤同時操作作, ,提高提高速度速度RAID 0 StripingABCDEFGMIEANJFBOKGCPLHDRAID arrayData striped across member disks問題問題: : 可靠性降低可靠性降低, ,無容錯能力

8、無容錯能力. .由由N N個盤構(gòu)成的盤陣個盤構(gòu)成的盤陣的故障率為單盤的的故障率為單盤的N N倍倍 RAID 1RAID 1: Disk Mirroring 每個盤上的數(shù)據(jù)均在鏡像盤上有一個每個盤上的數(shù)據(jù)均在鏡像盤上有一個 完整的復(fù)制副本完整的復(fù)制副本；高可用性高可用性 寫入帶寬縮減寫入帶寬縮減: Logical write = two physical writes Reads may be optimized 代價較高的解決方案代價較高的解決方案: 100% : 100% 容量損失容量損失recoverygroupRAID 1 MirroringABCDEFGDCBADCBARAID arr

9、ayData mirrored across member disks RAID 3、4 適用于大組適用于大組,大文件順序傳送大文件順序傳送RAID 3、4A作業(yè)B作業(yè)Disk1Disk2Disk3Disk4Disk P在同一時刻DISK P只能有一個I/O操作,因此作業(yè) B只能在作業(yè)A完成后才能開始數(shù)據(jù)數(shù)據(jù)塊校驗驗塊RAID4改進改進RAID 5pRAID 4 對讀比較有效p并發(fā)寫操作受限于校驗盤: Write to D0, D5, both also write to P disk D0D1D2D3PD4D5D6PD7合絃皚合絃皚-5磁盤陣列磁盤陣列控制器控制器主機主機磁盤磁盤 RAID

10、5只適用于小組只適用于小組,隨機存取隨機存取;寫速度緩慢寫速度緩慢RAID 5: Rotate ParityRAID arrayData striped across disks, with parity rotatingABCDEFGLJKP3EP4IFBP1GDAHP2CRAID 5A作業(yè)B作業(yè)Disk1Disk2Disk3Disk4Disk 5在同一時刻可以同時完成作業(yè)在同一時刻可以同時完成作業(yè)A A及作業(yè)及作業(yè)B B數(shù)據(jù)數(shù)據(jù)塊校驗驗塊D0D5D10D15P4D1D6D11P3D16D2D7P2D12D17D3P1D8D13D18P0D4D9D14D1901234Block Disk0D

11、isk1Disk2Disk3Disk4D0D4D8D12P4D1D5D9P3D16D2D7P2D13D17D3P1D10D14D18P0D7D11D15D1901234Block Disk0Disk1Disk2Disk3Disk4P0D7D10D13D16D0P1D11D14D17D1D4P2D15D18D2D5D8P3D19D3D6D9D12P401234Block Disk0Disk1Disk2Disk3Disk4(a)(b)P0D4D8D12D16D0P1D9D13D17D1D5P2D14D18D2D6D10P3D19D3D7D11D15P401234Block Disk0Disk1Di

12、sk2Disk3Disk4D0D10P4D20D30D1D11D21D31P8D2P2D12D22D32D3D13D23P6D33P0D4D14D24D3401234Block Disk0Disk1Disk2Disk3Disk4(c)(d)D0D5D10D15P4D1D6D11D16P3D2D7D12D17P2D3D9D13D18P1D4D9D14D19P001234Block Disk0Disk1Disk2Disk3Disk4D5D15D25D25P9D6P3D16D26D36D7D17D27P7D37P1D8D18D28D38D9D19P5D29D3901234Block Disk0Dis

13、k1Disk2Disk3Disk4(e)(f)圖2-3 RAID-5級的六種不同分布a左對稱b左不對稱 c右對稱 d右不對稱e擴展左對稱 f平面左對稱 6RAID 5 操作的操作的例子：例子：寫數(shù)據(jù)寫數(shù)據(jù)D1新值新值D1 D2 D3 D4 P方法2： (1) 讀數(shù)據(jù)D1舊值和校驗碼P舊值 (2)計算新校驗碼 P新值 = D1 舊值 + P 舊值 + D1新值 (3) 寫數(shù)據(jù)D1新值 和校驗碼P新值方法1：讀取D2、D3、D4計算新的校驗碼寫數(shù)據(jù)D1新和檢驗碼RAID 6：P、Q校驗校驗容雙盤錯容雙盤錯P校驗條帶校驗條帶Q校驗條帶校驗條帶D0D3D6D9D1D4D7DaD2D5D8DbD0D3D

14、6D9D1D4D7DaD2D5D8DbRAID 1RAID 1RAID 1RAID 0具有具有RAID1的高可用性的高可用性較高的讀取較高的讀取性能性能寫性能縮減寫性能縮減冗余高，代價冗余高，代價也高也高RAID 10: Striping & MirroringABCDEKHEBKHEBRAID1+0Data striped across mirrored pairs of disksJGDAJGDALIFCLIFCRAID 01 :data mirrored between 2 groups of striped diskspRAID技術(shù)從技術(shù)從0到到5很好地解決了阻礙計算機發(fā)展的兩

15、個重要問題很好地解決了阻礙計算機發(fā)展的兩個重要問題 1. 通過多個盤構(gòu)成陣列通過多個盤構(gòu)成陣列,解決了容量問題解決了容量問題 2. 通過冗余算法通過冗余算法,解決了存儲設(shè)備的可靠性問題解決了存儲設(shè)備的可靠性問題p不足：不足： 存取速度仍是處理器的瓶頸存取速度仍是處理器的瓶頸 1.STRIPING技術(shù)并不能有效地提高速度技術(shù)并不能有效地提高速度 分塊的大小與磁盤的機械特性有關(guān)分塊的大小與磁盤的機械特性有關(guān) 文件的大小也不同文件的大小也不同 2.并行并行I/O提高速度的能力有限提高速度的能力有限 多次讀寫后多次讀寫后,數(shù)據(jù)散列在各個盤上數(shù)據(jù)散列在各個盤上,磁盤的機械運動磁盤的機械運動 成為阻礙速度

16、提高的主要因素成為阻礙速度提高的主要因素. . . . . . . . .parity groupSCSCStringControllerSC盤陣列正交結(jié)構(gòu)示意圖盤陣列正交結(jié)構(gòu)示意圖 . . . . . . . . .SCSCStringControllerSCParitygroupSCSCSCCrosshatch盤陣列結(jié)構(gòu)盤陣列結(jié)構(gòu) 主機通道陣列控制器盤串控制器disks.集中控制式陣列集中控制式陣列 3 磁盤陣列控制器設(shè)計磁盤陣列控制器設(shè)計主機SCSINCR53C 8xxCache-BufferPCI串控制器NCR53C8xx.parity groupInterface Card.NCR5

17、3C8xxSCSISCSI.NCR53C8xx.SCSI(EPROM)ControlsoftwareCPU實例：實例：主機通道陣列控制器節(jié)點disks.局域網(wǎng).分布控制式陣列分布控制式陣列 The end of RAID era?40The authors of the 1988 original RAID paper (Patterson, Gibson and Katz) all moved on long ago: Patterson to scale-out object storage and much more;Gibson to Panasas, a scale-out object storage company he co-founded; Katz has been working on Hadoop among many o