云存儲(chǔ)與備份關(guān)鍵技術(shù)發(fā)展歷程幻燈片

1、1 RAID技術(shù)介紹 2 存儲(chǔ)架構(gòu)發(fā)展歷程 3 數(shù)據(jù)容災(zāi)備份,一 數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)回顧,RAID技術(shù)介紹,一 數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)回顧,磁盤陣列,主機(jī)端,Host Computers,SCSI (or Fibre),Disks,RAID Subsystem,SCSI (or Fibre),Drive-Plane,Redundant Fans,Redundant PSUs,磁盤陣列分類,JBOD,Just a Bunch of Disks，在邏輯上將幾個(gè)物理磁盤一個(gè)接一個(gè)的串聯(lián)起來(lái)，其目的是增加磁盤容量，并不提供數(shù)據(jù)安全保障。,RAID- Redundant Array of Independent

2、 Disks,獨(dú)立冗余磁盤陣列。是按照一定的形式和方案組織起來(lái)的存儲(chǔ)設(shè)備。它比單個(gè)存儲(chǔ)在性能、穩(wěn)定性和可擴(kuò)展性都有很大的提高，并且具備一定的數(shù)據(jù)安全保護(hù)能力。 容量、性能、可靠性,RAID保護(hù)數(shù)據(jù),無(wú)RAID機(jī)制,如果硬盤損壞,數(shù)據(jù)會(huì)丟失,使用 RAID保護(hù),當(dāng)一塊硬盤失效,數(shù)據(jù)依然完成,RAID提升邏輯容量,無(wú)RAID機(jī)制,使用 RAID機(jī)制,磁盤容量,=,每塊硬盤容量,磁盤容量,= N x,每塊硬盤容量,N drives,1,N,( RAID 0為例),RAID改善存儲(chǔ)性能,性能 N x,每塊硬盤性能,Software setup Access Time Data Transfer Sof

3、tware Completion,全部請(qǐng)求執(zhí)行時(shí)間,With RAID,I/O 1,I/O 2,I/O 1,I/O 2,(Disk 1),(Disk 2),Time Saved,Without RAID,(RAID 0為例),RAID的數(shù)據(jù)組織,分塊：將一個(gè)分區(qū)分成多個(gè)大小相等的、地址相鄰的塊。 條帶：同一磁盤陣列中的多個(gè)磁盤上相同“位置”的分塊。 條帶深度（Stripe Depth） 條帶寬度（Stripe Width),未條帶,條帶化,RAID0-條帶,N Blocks,條帶,RAID 0: 無(wú)冗余、分條（最少2塊硬盤） 性能最高、簡(jiǎn)單、易實(shí)現(xiàn) 易失效,RAID1-鏡像,N Blocks,

4、鏡像,RAID 1: - 鏡像（最少2塊） - 數(shù)據(jù)保護(hù)最好、最易實(shí)現(xiàn) - 成本高、利用率低、性能低,RAID1+0,Striping,RAID 10 - 鏡像和分條的結(jié)合（最少4塊硬盤） - 容錯(cuò)能力和性能都很高 - 成本高、不易擴(kuò)展,RAID5,N Blocks,帶校驗(yàn)條帶,RAID 5 - 讀速率高、寫速率中等、使用率高、平均速率較高 - 硬盤失效影響性能,實(shí)現(xiàn)復(fù)雜,重建恢復(fù)慢,RAID5+0,9,7,P(1,3),Disk 1,11,P(5,7),1,Disk 2,P(9,11),5,3,Disk 3,Striping,RAID 5 Logical Drive,10,8,P(2,4),

5、Disk 4,12,P(6,8),2,Disk 5,P(10,12),6,4,Disk 6,RAID 5 Logical Drive,RAID6,RAID6本質(zhì)上是RAID5的升級(jí)，有第二個(gè)獨(dú)立的校驗(yàn)設(shè)計(jì)。數(shù)據(jù)和校驗(yàn)碼被分割成塊寫入每個(gè)硬盤中，像RAID5一樣，第二份奇偶碼有計(jì)劃的寫入組成盤陣的所有磁盤中。作為大盤陣考慮，在掉兩塊盤時(shí)，它能提供更可靠的保護(hù)。,RAID的容量,Disk 1,Disk 2,Disk 3,Disk 4,Disk 5,Disk 6,Maximum Common Capacity,(Among all member drives),存儲(chǔ)架構(gòu)的發(fā)展歷程,一 數(shù)據(jù)存儲(chǔ)關(guān)鍵技

6、術(shù)回顧,存儲(chǔ)架構(gòu)的發(fā)展歷程,第一階段 存儲(chǔ)基本架構(gòu)的演進(jìn)過(guò)程 第二階段 存儲(chǔ)整合、虛擬化統(tǒng)一的過(guò)程 第三階段 云存儲(chǔ)架構(gòu)階段,存儲(chǔ)架構(gòu)的發(fā)展歷程,第一階段 存儲(chǔ)基本架構(gòu)的演進(jìn)過(guò)程,DAS,第一階段 存儲(chǔ)基本架構(gòu)的演進(jìn)過(guò)程,NAS,。,存儲(chǔ)架構(gòu)的發(fā)展歷程,第一階段 存儲(chǔ)基本架構(gòu)的演進(jìn)過(guò)程,SAN,。,存儲(chǔ)架構(gòu)的發(fā)展歷程,第一階段 存儲(chǔ)基本架構(gòu)的演進(jìn)過(guò)程,存儲(chǔ)架構(gòu)的發(fā)展歷程,第二階段 存儲(chǔ)整合、虛擬化統(tǒng)一的過(guò)程,存儲(chǔ)架構(gòu)的發(fā)展歷程,第三階段 云存儲(chǔ)架構(gòu)階段,存儲(chǔ)架構(gòu)的發(fā)展歷程,第三階段 云存儲(chǔ)架構(gòu)階段,存儲(chǔ)架構(gòu)的發(fā)展歷程,第三階段 云存儲(chǔ)架構(gòu)階段,存儲(chǔ)架構(gòu)的發(fā)展歷程,云存儲(chǔ)架構(gòu)是為了應(yīng)付高速成長(zhǎng)的

7、數(shù)據(jù)量與帶寬而產(chǎn)生的新形態(tài)存儲(chǔ)系統(tǒng)，因此云存儲(chǔ)在構(gòu)建時(shí)重點(diǎn)考慮的三點(diǎn)：擴(kuò)容簡(jiǎn)便、性能易于增長(zhǎng)、管理簡(jiǎn)易。,數(shù)據(jù)備份和容災(zāi),一 數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)回顧,為什么要搭建備份系統(tǒng),雙機(jī)熱備,系統(tǒng)命令, 異構(gòu)網(wǎng)絡(luò)無(wú)法備份； 不具備容錯(cuò)功能； 不具備開(kāi)放性； 復(fù)雜備份策略無(wú)法實(shí)現(xiàn)； 對(duì)大型、超大型數(shù)據(jù)庫(kù)無(wú)能為力； 磁帶庫(kù)等特殊設(shè)備無(wú)法支持；,備份關(guān)鍵指標(biāo),恢復(fù)時(shí)間RPO（RECOVERY POINT OBJECTIVE） 災(zāi)難發(fā)生后，系統(tǒng)和數(shù)據(jù)必須恢復(fù)到的時(shí)間點(diǎn)要求。 體現(xiàn)恢復(fù)運(yùn)轉(zhuǎn)時(shí)數(shù)據(jù)丟失的可容忍程度； 恢復(fù)時(shí)間目標(biāo)RTO（RECOVERY TIME OBJECTIE） 災(zāi)難發(fā)生后，信息系統(tǒng)或業(yè)務(wù)功能從停

8、頓到必須恢復(fù)的時(shí)間要求。 體現(xiàn)需要恢復(fù)的緊迫性也即多久能夠得到恢復(fù)的問(wèn)題；,RPO,RTO,災(zāi)難 發(fā)生,數(shù)據(jù)丟失量,業(yè)務(wù)恢復(fù)時(shí)間,成功備份需要考慮的問(wèn)題,您準(zhǔn)備花多少時(shí)間恢復(fù)系統(tǒng)？,每次備份您最長(zhǎng)給我多少時(shí)間？,恢復(fù)時(shí)您能讓我丟多少數(shù)據(jù)？,您備份的數(shù)據(jù)量有多大？,您希望各種數(shù)據(jù)保留多長(zhǎng)時(shí)間？,您的系統(tǒng)環(huán)境？主機(jī)/存儲(chǔ)/帶寬/應(yīng)用,您打算花多少錢？,您備份數(shù)據(jù)的類型是什么？,備份的概念,備份是指用戶為應(yīng)用系統(tǒng)產(chǎn)生的重要數(shù)據(jù)制作一份或者多份拷貝，以增強(qiáng)數(shù)據(jù)的安全性。 采用備份軟件技術(shù)來(lái)實(shí)現(xiàn)數(shù)據(jù)的備份，備份前后數(shù)據(jù)格式不一致，數(shù)據(jù)經(jīng)過(guò)壓縮和格式轉(zhuǎn)換，備份數(shù)據(jù)必須恢復(fù)后才可使用 防止認(rèn)為誤操作或系統(tǒng)問(wèn)

9、題，保存的是歷史數(shù)據(jù)，恢復(fù)相對(duì)長(zhǎng),備份系統(tǒng)組成,備份的類型,全備份 差異備份 增量備份,備份的方式,D2T(Disk to Tape) 數(shù)據(jù)從磁盤陣列備份到磁帶的方式 D2D(Disk to Disk) 數(shù)據(jù)從磁盤陣列備份到磁盤陣列的方式 D2D2T(Disk to Disk to Disk) 數(shù)據(jù)從磁盤陣列備份到磁盤到磁帶的方式,容災(zāi)的概念,利用鏡像或復(fù)制等技術(shù)來(lái)實(shí)現(xiàn)數(shù)據(jù)的同步，其同步前后數(shù)據(jù)格式一致，容災(zāi)數(shù)據(jù)可以直接不通過(guò)恢復(fù)進(jìn)行使用 防止生產(chǎn)數(shù)據(jù)丟失或數(shù)據(jù)中心遭受毀滅性災(zāi)難，恢復(fù)速度快，數(shù)據(jù)基本上就是發(fā)生事故那會(huì)的版本,理解容災(zāi)：數(shù)據(jù)級(jí),生產(chǎn)中心,容災(zāi)中心,LAN,SAN,數(shù)據(jù)鏡像/復(fù)制

10、,理解容災(zāi)：應(yīng)用級(jí),生產(chǎn)中心,容災(zāi)中心,LAN,SAN,AdvancedCopy Manager,ETERNUS,ETERNUS,理解容災(zāi)：業(yè)務(wù)級(jí),生產(chǎn)中心,容災(zāi)中心,LAN,SAN,數(shù)據(jù)鏡像/復(fù)制,主機(jī)跨域集群,備份與容災(zāi),區(qū)別 備份關(guān)心數(shù)據(jù)的安全，容災(zāi)關(guān)心業(yè)務(wù)應(yīng)用的安全，我們可以把備份稱作是“數(shù)據(jù)保護(hù)”，而容災(zāi)稱作“業(yè)務(wù)應(yīng)用保護(hù)”。 備份按照設(shè)定的策略，定時(shí)定期對(duì)數(shù)據(jù)進(jìn)行備份，保存的是歷史生產(chǎn)數(shù)據(jù)。 容災(zāi)的數(shù)據(jù)與生產(chǎn)數(shù)據(jù)實(shí)時(shí)或相差一定時(shí)間保持一致，即基本上容災(zāi)中心的數(shù)據(jù)同生產(chǎn)數(shù)據(jù)基本上是一樣； 聯(lián)系 首先，在備份與容災(zāi)中都有數(shù)據(jù)保護(hù)工作。 其次，備份是存儲(chǔ)領(lǐng)域的一個(gè)基礎(chǔ)，在一個(gè)完整的容災(zāi)方

11、案中必然包括備份的部分；同時(shí)備份還是容災(zāi)方案的有效補(bǔ)充，因?yàn)槿轂?zāi)方案中的數(shù)據(jù)始終在線，因此存儲(chǔ)有完全被破壞的可能，而備份提供了額外的一條防線，即使在線數(shù)據(jù)丟失也可以從備份數(shù)據(jù)中恢復(fù)。,災(zāi)備系統(tǒng)國(guó)際標(biāo)準(zhǔn),根據(jù)SHARE 78國(guó)際組織提出的標(biāo)準(zhǔn)，可以將系統(tǒng)容災(zāi)的級(jí)別劃分為如下7級(jí)。,0層：無(wú)異地備份數(shù)據(jù),沒(méi)有災(zāi)難恢復(fù)計(jì)劃，數(shù)據(jù)僅在本地進(jìn)行備份恢復(fù)，沒(méi)有任何數(shù)據(jù)信息和資料被送往異地，沒(méi)有處理意外 事故的計(jì)劃。 恢復(fù)時(shí)間：在此種情況下，恢復(fù)時(shí)間不可預(yù)測(cè)。,1層：有數(shù)據(jù)備份，無(wú)備用系統(tǒng),將需要的數(shù)據(jù)備份到磁帶上，然后運(yùn)送到其它較為安全的地方。但在那里缺乏能恢復(fù)數(shù)據(jù)的系統(tǒng)，若數(shù)據(jù)備份的頻率很高，則在恢復(fù)時(shí)

12、丟失的數(shù)據(jù)就會(huì)少些。此類業(yè)務(wù)應(yīng)能忍受幾天乃至幾星期的數(shù)據(jù)丟失。,2層：有數(shù)據(jù)備份，有備用系統(tǒng),定期將數(shù)據(jù)備份到磁帶上，并將其運(yùn)到安全的地點(diǎn)。在備份中心有備用的系統(tǒng)，當(dāng)災(zāi)難發(fā)生時(shí)，可以使用這些數(shù)據(jù)備份磁帶來(lái)恢復(fù)系統(tǒng)。雖然還需要數(shù)小時(shí)或幾天的時(shí)間來(lái)恢復(fù)數(shù)據(jù)以使業(yè)務(wù)可用，但不可預(yù)測(cè)的恢復(fù)時(shí)間減少了。,3層：電子鏈接,電子鏈接將磁帶備份后更改的數(shù)據(jù)進(jìn)行記錄， 并傳到備用中心，使用此種方法會(huì)比使用傳統(tǒng)的磁帶備份更快地得到更新的數(shù)據(jù)。 備用中心要保持持續(xù)運(yùn)行，與生產(chǎn)中心間的通訊線路要保證暢通，增加了運(yùn)營(yíng)成本。,4層：使用快照技術(shù)拷貝數(shù)據(jù),對(duì)數(shù)據(jù)的實(shí)時(shí)性和快速恢復(fù)性要求更高些。1-3層的方案中較常使用磁帶備份和傳輸，在4層方案中開(kāi)始使用基于磁盤的解決方案。同基于磁帶的解決方案相比，通過(guò)加快備份頻率，使用最近時(shí)間點(diǎn)的快照拷貝恢復(fù)數(shù)據(jù)會(huì)更快。,