EMC-DD白皮書.doc

1、EMC-DD白皮書Data Domain 技術(shù)白皮書1.1.1綜述Data Domain DD600/800 Restorer產(chǎn)品是基于硬盤的備份存儲器件（liance）。盡管DD600/800是建立在串行A TA硬盤技術(shù)基礎(chǔ)之上的，但并不是又一種廉價RAID磁盤陣列。具備容量優(yōu)化技術(shù)（Capacity Optimized Storage）和數(shù)據(jù)防損架構(gòu)（Data Invulnerability Architecture）的DD OS 操作系統(tǒng)，在為數(shù)據(jù)提供空前的保護的同時，其每GB費用成本已遠遠低于所謂的廉價磁盤，而是接近于自動化磁帶解決方案的費用成本，某些情況下甚至接近于磁帶機的成本。DD

2、600/800s系列產(chǎn)品是為滿足備份和恢復(fù)存儲設(shè)備的特殊需求而設(shè)計的。備份和恢復(fù)兼顧的高性能單個DD600控制器的吞吐量最高可達5400GB/小時，這種性能可與LTO-4磁帶機以及許多主存儲系統(tǒng)的性能相媲美。而且DD600/800并不像磁帶機那樣需要持續(xù)的數(shù)據(jù)流來保證備份的性能。DD600/800同時可以接受多個不同速度的數(shù)據(jù)流。此外DD600/800可以利用磁盤所具備的隨機訪問特性的優(yōu)勢快速恢復(fù)單個文件。如果需要更高的性能，可以通過配備多個DD600/800產(chǎn)品來增加吞吐量。經(jīng)濟性DD OS操作系統(tǒng)通過只保存唯一一份備份鏡像冗余部分中的數(shù)據(jù)樣本，從而大大減少需要的存儲容量。這使得DD600/

3、800不但可以發(fā)現(xiàn)并消除同樣文件重復(fù)存儲，而且發(fā)現(xiàn)和消除在文件內(nèi)和文件間重復(fù)的數(shù)據(jù)樣本。通過其獨特的全局壓縮（Global Compression）技術(shù)，在使用一段時間后，DD OS操作系統(tǒng)提供的壓縮率可以達到20:1。所以說DD600/800與以備份存儲為使用目的的廉價磁盤陣列相比，小得多、簡單得多、使用和管理得更方便。數(shù)據(jù)防損DD600/800設(shè)計之初，為了保證數(shù)據(jù)的完整性和可恢復(fù)性，就充分考慮到了要防止和及時發(fā)現(xiàn)硬件或軟件的故障，并能夠在出現(xiàn)故障后自動恢復(fù)過來。DD OS 的文件系統(tǒng)和RAID設(shè)計從根本上保證了復(fù)制、發(fā)現(xiàn)和糾正軟件和硬件故障，同時與通用的文件系統(tǒng)和磁盤存儲相比其保護程度更

4、為嚴格。易于在已有的備份軟件環(huán)境中使用和集成DD600/800所采用的工業(yè)標準NFS或CIFS接口，對于UNI_、Linu_或dows存儲管理員來說非常熟悉。DD600/800可以很容易地接入到現(xiàn)有備份軟件環(huán)境中，并且支持諸如VERITAS、EMC/Legato和CommV ault等業(yè)界領(lǐng)先的企業(yè)級備份軟件。DD OS還激活了備份產(chǎn)品中許多常被忽視的功能，比如用戶發(fā)起的文件恢復(fù)。高性能的備份、恢復(fù)和磁帶拷貝DD600/800系列產(chǎn)品在設(shè)計之初就從三個方面考慮到性能上的需求：?滿足日益縮小的備份窗口所需的更快速備份?滿足日益縮短的可容忍停機時間所需的更快速、更簡便的恢復(fù)?更快速、更簡便地復(fù)制到

5、異地存儲1.1.2備份性能在備份和恢復(fù)應(yīng)用方面，DD600/800在性能上可以和高端的串行A TA RAID 系統(tǒng)媲美。與磁帶驅(qū)動器不同，DD600/800不需要備份服務(wù)器為保證最佳的性能而發(fā)送持續(xù)的數(shù)據(jù)流。在使用磁帶時，為補償慢速的客戶端和網(wǎng)絡(luò)以及諸如增量備份等短時備份的影響，常會使用復(fù)用技術(shù)。而在使用DD600/800時，可以將多個并發(fā)的、不同速度的數(shù)據(jù)流發(fā)給一個DD600/800。如果需要增加吞吐量和容量，只要增加DD600/800的數(shù)量就可以滿足在可用的備份窗口傳輸任意量數(shù)據(jù)的需要。1.1.3恢復(fù)性能恢復(fù)性能是DD600/800產(chǎn)品最具有優(yōu)勢的地方。我們以一個典型的備份策略為例：每星期

6、六的全備份加每天的增量備份。這種策略下如果采用磁帶備份，那么如果在星期五早上做完全恢復(fù)，就需要順序讀取所有的磁帶，還要反復(fù)的加載和卸載磁帶。如果在磁帶庫中沒有所需要的磁帶，那為了找到必須的磁帶可能花費幾個小時，甚至幾天的時間。復(fù)用技術(shù)的采用會惡化性能，因為需要一邊讀磁帶、一邊要跳過其他客戶端的數(shù)據(jù)。與其相反，不管所需的恢復(fù)影像數(shù)據(jù)分布得多散，DD600/800在響應(yīng)備份軟件的請求時可以提供持久的高性能。我們在來看另一個更常見的情況：在星期五早上的部分恢復(fù)即只有幾個文件需要恢復(fù)。采用磁帶備份，盡管這只是部分恢復(fù)，但仍需要多盤磁帶；當然如果一盤磁帶找不到就會耽誤時間。就算按照平均的文件訪問和介質(zhì)加

7、載時間計算，開始讀取數(shù)據(jù)前所需的時間是按分鐘計的；而采用DD600/800，這種時間是按毫秒計的。DD600/800由于采用磁盤隨機訪問的特性，其性能比磁帶高出許多。1.1.4DD600/800的在線保存技術(shù)和中轉(zhuǎn)平臺技術(shù)的比較由于DD600/800可高效地保存數(shù)月的備份數(shù)據(jù)，所以從DD600/800上實現(xiàn)的恢復(fù)就算不是全部，也是絕大部分。這與以磁盤為中轉(zhuǎn)設(shè)備的以磁帶介質(zhì)為主的恢復(fù)不同。在某些備份系統(tǒng)中，磁盤是作為磁帶的緩存使用的。在緩存的方案中，備份數(shù)據(jù)首先會被導(dǎo)向或中轉(zhuǎn)到磁盤上。在備份數(shù)據(jù)復(fù)制到磁帶上后，為了下一次的備份騰出空間，磁盤上緩存的數(shù)據(jù)就會被刪除。這種備份方式可以利用到磁盤的速度

8、優(yōu)勢以提高備份性能。不過在恢復(fù)時還是需要磁帶來完成，所以影響性能的定位、加載和一序列磁帶的順序訪問等問題依然存在。1.1.5DD600/800用于災(zāi)難恢復(fù)的異地復(fù)制DD600/800讓異地復(fù)制或網(wǎng)絡(luò)倉庫（work vaulting）方案更加簡單、快速、成本更低。可選的Data Domain Replicator軟件利用DD OS特有的優(yōu)勢特性，將在兩個DD600/800之間通過網(wǎng)絡(luò)的異步備份數(shù)據(jù)復(fù)制構(gòu)建得更為簡單和高效。通過采用Replicator，數(shù)據(jù)首先經(jīng)標準的備份軟件備份到本地的DD600/800上；隨后本地的DD600/800會作為“發(fā)起端”通過TCP/IP或廣域網(wǎng)W AN將數(shù)據(jù)復(fù)制到

9、遠端的復(fù)制用DD600/800上。由于容量優(yōu)化（Capacity Optimization）技術(shù)的原因，與其他基于磁盤的備份系統(tǒng)相比，其通過廣域網(wǎng)傳輸?shù)臄?shù)據(jù)量減少了95以上。如果必要的話，數(shù)據(jù)可以通過網(wǎng)絡(luò)以同樣的效率從異地的復(fù)制端恢復(fù)，或者將異地的數(shù)據(jù)直接在異地恢復(fù)。異地的復(fù)制用DD600/800也可以把數(shù)據(jù)導(dǎo)入到磁帶上以便存檔。所以說一對Restorer的復(fù)制性能遠遠高于實際物理鏈接所能夠提供的性能。在ESG實驗室所演示的性能高達450MB/s，這是因為對于整個要傳輸?shù)溺R像來說只會傳那些唯一的數(shù)據(jù)段。所有的備份都被定向到Site A的磁盤設(shè)備； 所有的備份數(shù)據(jù)都被異步復(fù)制到Site B； 既

10、可以在Site A也可以在Site B恢復(fù)文件； 磁帶被轉(zhuǎn)用于長期歸檔應(yīng)用； 1.1.6DD600/800到磁帶的拷貝當為了長期存檔的目的而需要將數(shù)據(jù)拷貝到磁帶上時，單個DD600/800就足以提供足夠的數(shù)據(jù)流以便讓一臺高端的磁帶機發(fā)揮最佳的性能。而在做往磁帶上拷貝數(shù)據(jù)的同時，DD600/800還可以執(zhí)行備份和恢復(fù)操作。與使用磁帶相反，在做磁帶歸檔操作時，如果需要從DD600/800上恢復(fù)數(shù)據(jù)是不需要停止歸檔操作的。DD600/800將高吞吐量，可以保存許多星期備份數(shù)據(jù)的存儲容量，隨機訪問特性，以及通過網(wǎng)絡(luò)的高速復(fù)制這些優(yōu)勢結(jié)合在一起，從而大大改善了整個備份和恢復(fù)過程。1.1.7為高效益恢復(fù)存

11、儲而設(shè)計的容量優(yōu)化技術(shù)備份數(shù)據(jù)中會包含太多的冗余部分，而當我們將某一周的全備份鏡像和其隨后的各個周的全備份鏡像相比尤其如此。盡管增量備份只是取那些變化的文件，但增量備份中通常會包含冗余的數(shù)據(jù)塊。DD OS 容量優(yōu)化（Capacity Optimization）技術(shù)是通過只保存唯一一份備份鏡像冗余部分中的數(shù)據(jù)段來實現(xiàn)的。當數(shù)據(jù)寫入到DD600/800時，數(shù)據(jù)會被分成可變長度的數(shù)據(jù)段，也可以說一序列的字節(jié)。DD OS會實時將該數(shù)據(jù)段與已經(jīng)存儲的各數(shù)據(jù)段做比較。這種方式保證每個唯一獨特的數(shù)據(jù)段只保留一份。所以DD OS可以在文件內(nèi)或文件間，甚至是數(shù)據(jù)塊內(nèi)發(fā)現(xiàn)重復(fù)的文件和數(shù)據(jù)段。實際所需的存儲空間也就

12、相對于所保存的數(shù)據(jù)量低一個數(shù)據(jù)量級。要使得容量優(yōu)化有效率的關(guān)鍵是要不依賴于數(shù)據(jù)格式。DD OS的實現(xiàn)方式全局壓縮（Global Compression）是基于對數(shù)據(jù)內(nèi)容和重復(fù)模式的研究分析p 而定的。Global Compression技術(shù)可以應(yīng)用到任意類型的重復(fù)數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)（比如數(shù)據(jù)庫）或者非結(jié)構(gòu)化數(shù)據(jù)（比如文本文件，存儲在文件系統(tǒng)或原始卷（raw volume）上的數(shù)據(jù)）。DD OS通過采用Global Compression技術(shù)，不管什么樣的數(shù)據(jù)格式，都可以實現(xiàn)高效率的備份。其實容量優(yōu)化技術(shù)所依據(jù)的原理并不是新出現(xiàn)的，而是在學(xué)術(shù)圈里已經(jīng)存在數(shù)十年了（參見本文檔的【參考文獻】：p ）。D

13、ata Domain的實現(xiàn)方式和知識產(chǎn)權(quán)在優(yōu)化算法中屬于性能卓越的，這使得大量數(shù)據(jù)空間節(jié)省的優(yōu)勢對于備份和恢復(fù)過程來說是完全透明的。1.1.8容量優(yōu)化技術(shù)原理Global Compression算法會對所有要存放在DD600/800上數(shù)據(jù)做分析p ，而不管數(shù)據(jù)的格式和排列方式如何。優(yōu)化的好處隨著時間的推移會越來越明顯。對于壓縮效果最大的一個影響是備份策略。全備份相對于增量備份的重復(fù)度更高；越多的全備份越能夠加劇壓縮效率。但就算使用增量備份，Global Compression算法依然可以減少80到90的數(shù)據(jù)量。假設(shè)是每周全備結(jié)合每天的增量備份的話，經(jīng)過四個星期，預(yù)計壓縮率可以達到10：1。八個

14、星期后，預(yù)計壓縮率為14倍。在18個星期后可以達到20倍的壓縮率。而對于Oracle和E_change所推薦的每天全備份策略來說，壓縮效果更快的顯現(xiàn)出來，一般預(yù)計會在1個星期后達到10倍的壓縮率；2個星期后就可以達到20倍的壓縮率。Global Compression技術(shù)被應(yīng)用于各種各樣類型的數(shù)據(jù)，比如Oracle和其他SQL型數(shù)據(jù)庫、SAP數(shù)據(jù)、文本文件、home目錄、工程文件（如軟件開發(fā)和半導(dǎo)體設(shè)計）、UNI_二進制文件、PC應(yīng)用軟件、? E_change，和 Office文檔。影響壓縮效果的另一個因素是數(shù)據(jù)本身。一份包含多份副本文件或相似文件（一個文件被拷貝很多次，各個版本間的變化很?。?/p>

15、的備份鏡像，顯然容量優(yōu)化利于應(yīng)用于這種數(shù)據(jù)。某些數(shù)據(jù)并不重復(fù)，容量優(yōu)化技術(shù)也不是很有利于應(yīng)用在其上，這些數(shù)據(jù)包括含有靜態(tài)二進制圖像的地震映射數(shù)據(jù)或衛(wèi)星遙感數(shù)據(jù)等。如果數(shù)據(jù)無冗余可資利用，DD OS的算法依然比其他常用的壓縮算法或重復(fù)文件消除算法更能夠保證數(shù)據(jù)的壓縮效率。第一份全備份減少的3-4倍的數(shù)據(jù)量； 文件級增量備份的效果是6-7倍，而隨后的全備份可以達到50-60倍壓縮比； 每星期全備和每天增量備份結(jié)合的效果是20倍1.1.9全局壓縮和快照或塊級增量備份的比較全局壓縮（Global Compression）存儲備份數(shù)據(jù)非常高。那么與其他高效存儲技術(shù)（比如基于文件系統(tǒng)的快照或者所塊級增量備

16、份）相比又如何呢？文件系統(tǒng)快照一般是基于即寫即拷貝（copy-on-write）技術(shù)，快照只復(fù)制變化了的文件系統(tǒng)塊。同樣，基于塊的增量備份也是只取變化的塊（這或者作用在文件系統(tǒng)級別，或者作用在諸如數(shù)據(jù)庫的應(yīng)用級別）。這些技術(shù)通過只復(fù)制變化的數(shù)據(jù)塊，與諸如第三鏡像分離（third mirror break-off）或文件級增量備份技術(shù)相比，存儲的效率要更高。不過請注意以下容量優(yōu)化（Capacity Optimization）和其他技術(shù)的主要區(qū)別：異構(gòu)性容量優(yōu)化（Capacity Optimization）技術(shù)不依賴于數(shù)據(jù)格式和存儲，可以應(yīng)用于結(jié)構(gòu)化或非結(jié)構(gòu)化的數(shù)據(jù)，并且支持任意文件系統(tǒng)或原始卷（

17、raw volume）。與之相反，快照依賴于特定的文件系統(tǒng)（或者說卷管理器V olume Manager）。只能作用于相應(yīng)系統(tǒng)中的數(shù)據(jù)。數(shù)據(jù)塊級的增量備份也是如此，它需要依賴于底層機制，通過這種機制它才能夠跟蹤文件系統(tǒng)或者諸如Oracle數(shù)據(jù)庫等應(yīng)用的數(shù)據(jù)塊變化。和備份軟件的集成效果決定存儲的效率其他技術(shù)需要和備份軟件集成。無論如何，備份軟件對這些技術(shù)的不同利用方式會影響存儲效率。絕大多數(shù)備份軟件產(chǎn)品在使用快照時，一般是利用其能夠提供穩(wěn)定的、某一時間點的文件系統(tǒng)視圖的功能，而不是用其獲取變化數(shù)據(jù)塊的功能。當從快照上備份時，備份軟件會保存整個文件，從而失去部分存儲效率。同樣，盡管數(shù)據(jù)塊級的增量備

18、份相對于文件級增量備份的效率高很多，還是需要包含大部分未變化數(shù)據(jù)塊的全備份。與它們相反，容量優(yōu)化（Capacity Optimization）技術(shù)應(yīng)用于來自備份服務(wù)器的數(shù)據(jù)，只是當數(shù)據(jù)要存儲到DD600/800上時才用。不管備份是來自快照，還是來自數(shù)據(jù)塊級的變化，DD OS都會分析p 出重復(fù)數(shù)據(jù)，從而保證了更高級別的存儲效率。基于數(shù)據(jù)內(nèi)容和數(shù)據(jù)位置的不同存儲效率容量優(yōu)化（Capacity Optimization）與快照或數(shù)據(jù)塊級增量備份相比，由于其對數(shù)據(jù)內(nèi)容的分析p 以及允許數(shù)據(jù)變化的粒度更細，所以更可以提高備份存儲數(shù)據(jù)的效率和效益。DD OS會跟蹤數(shù)據(jù)變化，或者說是基于內(nèi)容發(fā)現(xiàn)新數(shù)據(jù)段并和

19、已存儲在DD600/800上的數(shù)據(jù)做比較。另一方面文件系統(tǒng)快照或基于數(shù)據(jù)塊級的增量備份是在每個文件的基礎(chǔ)上跟蹤數(shù)據(jù)的變化。讓我們來看看下面這些簡單的實例：1.復(fù)制文件：比如我們把file1拷貝到file2。用于file2的內(nèi)容和file1完全一樣，備份后DD600/800只會保存file1中的唯一獨特數(shù)據(jù)段，而不會保存任何file2中的數(shù)據(jù)段。但從快照或數(shù)據(jù)塊級增量備份的角度看，file2是一個新文件，也就是說其所有數(shù)據(jù)塊都是新的，所以需要保存file1和file2中所有的數(shù)據(jù)塊。2.多個文件中同樣的變化：比如file1和file2都被追加了相同的數(shù)據(jù)。全局壓縮（Global Compress

20、ion）首先檢查這些新數(shù)據(jù)，如果新的數(shù)據(jù)是唯一獨特的，盡管兩個文件都被修改了，那么也只保存一份。與全局壓縮（Global Compression）不同，快照或數(shù)據(jù)塊級增量備份跟蹤和存儲每個文件的變化。3.一個文件內(nèi)的多個同樣的修改：假設(shè)file2被用同樣的數(shù)據(jù)修改了多處。由于容量優(yōu)化（Capacity Optimization）可以發(fā)現(xiàn)到file2文件內(nèi)重復(fù)的數(shù)據(jù)樣本，所以只會保存一份變化中唯一獨特的部分。與前例相似，快照或數(shù)據(jù)塊級增量備份會分別存儲每一個變化部分。4.文件內(nèi)數(shù)據(jù)位置變化：一個文件經(jīng)過多次的插入和刪除操作，數(shù)據(jù)不會再在原有的位置上。由于容量優(yōu)化（Capacity Optimiz

21、ation）技術(shù)是基于內(nèi)容而不是位置的，所以可以發(fā)現(xiàn)實際沒有變化的數(shù)據(jù)。而快照或數(shù)據(jù)塊級增量備份會把每個插入或刪除后的數(shù)據(jù)當作新數(shù)據(jù)處理，也就是要存儲實際上并沒有變化的數(shù)據(jù)。存儲恢復(fù)拷貝時，容量優(yōu)化（Capacity Optimization）技術(shù)比快照或數(shù)據(jù)塊級增量備份需要存儲空間更小。由于DD600/800支持各種標準的備份軟件，快照或數(shù)據(jù)塊級增量備份可以把數(shù)據(jù)發(fā)給DD600/800，從而利用其全局壓縮（Global Compression）技術(shù)而獲得更高的效率。1.1.10可驗證的可恢復(fù)性和數(shù)據(jù)自愈技術(shù)DD OS的文件系統(tǒng)就算和企業(yè)級主存儲系統(tǒng)相比，明顯更為堅固，因為它提供完整性驗證和可

22、自愈的存儲容量。不管怎樣，備份主存儲系統(tǒng)的一個主要原因就是：這些系統(tǒng)都有漏洞或缺陷。所以備份存儲系統(tǒng)應(yīng)當比主存儲系統(tǒng)受到更高級別的保護。在主存儲系統(tǒng)中，邏輯一致性檢查總會伴隨著風險。如果軟件缺陷導(dǎo)致寫入錯誤的數(shù)據(jù)，那么可能會破壞數(shù)據(jù)塊指針、位圖或者鏈接計數(shù)。一般最好的防范此類問題的辦法是在卸載文件系統(tǒng)后運行文件系統(tǒng)檢查程序（比如fsck）。如果文件系統(tǒng)中保存的是備份數(shù)據(jù)，直到恢復(fù)時需要訪問數(shù)據(jù)前，錯誤是很難被發(fā)現(xiàn)的，而到時候已經(jīng)可能沒有足夠的時間來糾錯了。在高端企業(yè)級RAID系統(tǒng)中，如果有足夠的時間，磁盤故障是不會破壞數(shù)據(jù)塊的。當讀數(shù)據(jù)時會把它和校驗和做比較，如果發(fā)現(xiàn)數(shù)據(jù)塊有錯誤可以通過擦操作

23、（scrubbing）來糾正。在備份存儲上這可能需要在幾個星期后才能完成。如果同時發(fā)生磁盤失效的故障，數(shù)據(jù)就可能丟失。很多RAID系統(tǒng)并不做軟錯誤（soft-error）檢查。而當做糾正時，只是針對數(shù)據(jù)段，而不是針對文件系統(tǒng)的缺陷。最后，這種校驗和的機制有失效的可能；如果錯誤所造成的校驗和與正確的相同，那么錯誤就會被忽略；校驗和是某種程度上的哈希算法，這也就是所謂的“哈希沖突”（hash collision）。要知道驗證的強度取決于系統(tǒng)中最弱的校驗和。備份數(shù)據(jù)是備份工作中最有價值的部分。備份數(shù)據(jù)也不會經(jīng)常性地被訪問，而一旦需要訪問備份數(shù)據(jù)時，往往意味著在什么地方發(fā)生了人為或系統(tǒng)的故障需要做數(shù)據(jù)

24、恢復(fù)。要檢查文件系統(tǒng)在恢復(fù)操作時的一致性，需要等到下一次系統(tǒng)重啟或者讓系統(tǒng)下線，這都會增加不必要的風險。依靠每星期的數(shù)據(jù)完整性檢查的擦操作，意味著當發(fā)現(xiàn)問題時，你也已經(jīng)解決不了。DD OS 包括：文件系統(tǒng)一致性驗證和初始時、使用中和在線時的自愈。文件系統(tǒng)軟件故障保護。數(shù)據(jù)完整性驗證和初始時、使用中和在線時的自愈。可靠的數(shù)據(jù)保護基礎(chǔ)，比如：?防止磁盤錯誤和電力失效?集成到現(xiàn)有的程序中，用磁帶做支持異地保存的補充不過盡管具有上述特性，DD600/800依然可能會收到不正確的數(shù)據(jù)（來自主存儲系統(tǒng)或者存儲網(wǎng)絡(luò)fabric的故障），使得恢復(fù)的數(shù)據(jù)不正確。所以定期的恢復(fù)測試依然是必要的，這樣可以從備份軟件

25、和最終用戶應(yīng)用的角度測試數(shù)據(jù)。1.1.11文件系統(tǒng)一致性驗證和自愈主存儲系統(tǒng)中和快速完整性驗證的相關(guān)的最弱一環(huán)就是文件系統(tǒng)。盡管傳統(tǒng)企業(yè)級文件系統(tǒng)的品質(zhì)很高，依然是軟件，也就必然存在錯誤。軟件錯誤會破壞指針、位圖、或鏈接計數(shù)。而這種問題在如下事情發(fā)生前是不會出現(xiàn)：錯誤導(dǎo)致系統(tǒng)停機離線文件系統(tǒng)檢查發(fā)現(xiàn)問題在DD OS中，備份一旦完成，幾小時內(nèi)新文件系統(tǒng)元數(shù)據(jù)的一致性和數(shù)據(jù)完整性就會被驗證。隨后所有數(shù)據(jù)都會在后臺不斷地被驗證。1.1.12DD OS 端到端（end-to-end）驗證過程1.生成新數(shù)據(jù)的強校驗和2.寫入磁盤3.通過文件系統(tǒng)由磁盤讀回4.與校驗和比較初始端到端（end-to-end）

26、驗證。一旦收到數(shù)據(jù)，DD OS就會計算出強校驗和，然后數(shù)據(jù)會被保存在由電池后備的DD600/800的NAM中，隨后再存儲到磁盤上。幾小時后，DD OS會重新生成校驗和并通過文件系統(tǒng)將磁盤上的數(shù)據(jù)讀回來，以檢驗所保存的數(shù)據(jù)就是原來要保存的，并驗證數(shù)據(jù)的完整性和邏輯一致性。DD OS會及時將備份錯誤通知給管理員，以便修正。傳統(tǒng)文件系統(tǒng)完全不會在線檢查數(shù)據(jù)的一致性。持續(xù)的檢查和報告。元數(shù)據(jù)記錄在DD OS文件系統(tǒng)中，同時也存在數(shù)據(jù)內(nèi)容本身，此外DD OS 文件系統(tǒng)也是自描述釋的。元數(shù)據(jù)中包括關(guān)于數(shù)據(jù)應(yīng)當存儲在哪里的參考信息，這還和系統(tǒng)中其他數(shù)據(jù)的地址相關(guān)。利用這些窗口信息就可以實現(xiàn)活動的、持續(xù)的文件

27、一致性檢查。絕大多數(shù)故障可以自愈。所有的都可以迅速產(chǎn)生報告。時間最近的文件系統(tǒng)快照拷貝會被隔離地保存在系統(tǒng)內(nèi)部；在多數(shù)情況下，快照拷貝中正確的元數(shù)據(jù)會被用來糾正當前系統(tǒng)中元數(shù)據(jù)的錯誤。比如用于將唯一的數(shù)據(jù)段映射為虛擬文件的索引中就包括磁盤上數(shù)據(jù)的元數(shù)據(jù)，這樣就可以通過磁盤上的信息完全自我恢復(fù)索引數(shù)據(jù)。如果出現(xiàn)級別更嚴重的數(shù)據(jù)一致性問題，不得不卸載文件系統(tǒng)來修復(fù)，由于DD OS在之前所做的在線驗證，DD OS可以及時提供通知，以便你有足夠的時間來修復(fù)故障。1.1.13防護軟件錯誤的文件系統(tǒng)DD OS的文件系統(tǒng)和絕大多數(shù)的企業(yè)文件系統(tǒng)相比更為簡單，這就將潛在的錯誤降至最低。絕大多數(shù)文件系統(tǒng)是為隨機

28、數(shù)據(jù)塊修改和低時延而優(yōu)化的。為滿足這些要求的數(shù)據(jù)結(jié)構(gòu)復(fù)制度較高，并易受不一致性的影響。要非常好地管理這種數(shù)據(jù)結(jié)構(gòu)（數(shù)據(jù)塊地址指針、位圖和link count鏈接計數(shù)）非常困難，尤其是其中交叉有系統(tǒng)錯誤。由于軟件的復(fù)雜性，要找到軟件的Bug很難。DD OS是為另一種設(shè)計目的而建立的。一般備份文件都會較大，并會以整個文件的形式輸入進來，而且一般不會被備份軟件修改。一般要寫、讀或刪除備份文件，并且系統(tǒng)每天都會有空閑時間。DD OS就是為備份的需求而開發(fā)出來的。所以DD OS作為一種存儲層，可以做到比常用存儲系統(tǒng)來得更簡單和更易于容錯。DD OS以順序日志結(jié)構(gòu)寫入數(shù)據(jù)。一旦一個數(shù)據(jù)塊被寫入，就不能再被

29、修改和覆蓋；只有清除命令才可以改數(shù)據(jù)（在備份軟件刪除數(shù)據(jù)塊后，安全地將正在使用中的數(shù)據(jù)塊移到日志的末尾，隨后只釋放不再被文件使用的數(shù)據(jù)塊）。這意味著DD OS不會出現(xiàn)混淆從而覆蓋有效數(shù)據(jù)的問題；有效的數(shù)據(jù)一旦寫入到磁盤就處于安全保護中。通過減少數(shù)據(jù)結(jié)構(gòu)的復(fù)雜性，DD OS可以提供更嚴格的、在線的系統(tǒng)和數(shù)據(jù)完整性驗證，并降低了錯誤的整體風險。如果傳統(tǒng)文件系統(tǒng)中的指針說是指向的數(shù)據(jù)塊是82，在請求數(shù)據(jù)時就會訪問82數(shù)據(jù)塊；假設(shè)指針指錯了，它說是指向84數(shù)據(jù)塊了；傳統(tǒng)的文件系統(tǒng)是沒有辦法發(fā)現(xiàn)整個錯誤的，而DD OS訪問數(shù)據(jù)的方式更簡單，并可以在讀過程中重新驗證數(shù)據(jù)，所以可以避免上述問題。1.1.14

30、數(shù)據(jù)完整性驗證和自愈RAID系統(tǒng)有兩種數(shù)據(jù)完整性檢查和糾正方法：1）高端企業(yè)級RAID陣列在數(shù)據(jù)塊段級使用校驗和，而在讀數(shù)據(jù)時再糾錯。很少有高端的磁盤陣列一寫入數(shù)據(jù)就在其后很短的時間內(nèi)再擦它，也很少用校驗鏡像或復(fù)制鏡像修改數(shù)據(jù)。這種策略使得數(shù)據(jù)驗證會被拖到幾天甚至幾個星期之后。如果數(shù)據(jù)只有在讀的時候才驗證，那么只能在恢復(fù)時才發(fā)現(xiàn)問題；如果磁盤故障發(fā)生在RAID檢驗檢查之前，數(shù)據(jù)永遠也不能被恢復(fù)了。2）低端RAID系統(tǒng)完全不使用校驗和或者擦技術(shù)，所以磁盤段的錯誤會在隱藏的、不可修復(fù)的錯誤區(qū)域潛伏著。A TA RAID系統(tǒng)相對于光纖通道fibre channel RAID更容易產(chǎn)生錯誤，這是因為A

31、 TA RAID系統(tǒng)不能夠保證I/O命令在緩存中排隊。比如斷電時，如果要寫到磁盤上的數(shù)據(jù)還沒有從緩存中寫入到磁介質(zhì)上數(shù)據(jù)就會丟失，而RAID系統(tǒng)可能還以為數(shù)據(jù)已經(jīng)寫完了呢。A TA RAID廠商需要增加驗證措施以保證數(shù)據(jù)的完整性。DD OS為了保證數(shù)據(jù)完整性提供了完全的、及時的方法。如前所述，DD OS 在備份完成后幾小時內(nèi)做完整性檢查，這既包括數(shù)據(jù)完整性和文件系統(tǒng)一致性檢查。如果在磁盤層發(fā)現(xiàn)錯誤，DD OS可以使用DD RAID校驗數(shù)據(jù)糾正軟件錯誤，并可以對壞的數(shù)據(jù)塊做重定位。在初始的恢復(fù)數(shù)據(jù)驗證之后，DD OS還在后臺使用非常強的校驗和做持續(xù)性的數(shù)據(jù)驗證。那么強度是多大呢？比如每寫入1PB

32、的數(shù)據(jù)（這是磁盤本身數(shù)據(jù)量的上千倍），DD600/800的每個具備ECC校驗功能的磁盤驅(qū)動器才有出現(xiàn)一次錯誤的可能；DD OS校驗和的驗證方法的強度達到了10-20。通過嚴格的檢查，數(shù)據(jù)在進入DD600/800后出現(xiàn)錯誤的幾率遠遠低于進入前。不過Data Domain還是希望用戶從備份和應(yīng)用軟件的角度定期檢查備份鏡像。作為基于磁盤存儲系統(tǒng)的DD600/800，比自動化磁帶技術(shù)更能支持數(shù)據(jù)檢查功能。1.1.15可靠的數(shù)據(jù)保護基礎(chǔ)DD600/800也具備傳統(tǒng)數(shù)據(jù)保護的所有技術(shù)，包括：雙校驗碼DD RAID技術(shù)兩個DD RAID校驗條帶中的每一個都具有數(shù)據(jù)塊校驗和，以確保數(shù)據(jù)的正確性。在線驗證期間和

33、從DD600/800讀取數(shù)據(jù)時一直會使用校驗和。采用雙校驗方式，系統(tǒng)最多可以允許兩塊磁盤同時出現(xiàn)故障，而依然可以恢復(fù)過來。RAID操作由DD OS完成，而不是由硬件來做。如果發(fā)現(xiàn)壞數(shù)據(jù)塊，系統(tǒng)會使用校驗條帶恢復(fù)數(shù)據(jù)塊。這也是有時所謂的RAID6。顯然這比鏡像或帶熱備的RAID5安全得多，因為鏡像或帶熱備的RAID5在數(shù)據(jù)重建時第二塊磁盤若出現(xiàn)故障就會是災(zāi)難性的。存儲緩存用NAM一旦數(shù)據(jù)被DD OS保存在DD600/800上的、由電池保護的NAM后，就會回應(yīng)一個NFS V3的確認信息。當出現(xiàn)斷電故障時，要恢復(fù)還沒有寫入磁盤的寫操作，只需要簡單地回滾請求并檢查之，這就克服了A T A緩存無斷電保護

34、的弱點。在所有數(shù)據(jù)寫完之前，不會寫入任何元數(shù)據(jù)信息，這就保證在NAM出現(xiàn)故障時不會導(dǎo)致出現(xiàn)數(shù)據(jù)的不一致性或混亂。在NAM出現(xiàn)故障時，最多只會丟失最近的寫數(shù)據(jù)，而系統(tǒng)依然保持著一致性。為了減少必須的NAM的容量，在其中只保存壓縮后的數(shù)據(jù)。作為磁帶支持補充的數(shù)據(jù)完整性備份軟件熟悉磁帶驅(qū)動器的故障，并非常清楚如何通知管理員以及如何重新開始備份工作?；謴?fù)管理員也很熟悉此類情況。DD600/800比磁帶方式更可靠多數(shù)情況下，DD600/800在碰見故障后，會修復(fù)故障，并不間斷地繼續(xù)備份。極少的情況下問題會很嚴重，不次于磁帶驅(qū)動器出現(xiàn)故障給備份所造成的影響一樣。直到出現(xiàn)故障時間點前所接收到的所有的完整數(shù)據(jù)

35、都被保存起來，只是需要重新啟動備份操作。與作為備份存儲的主存儲系統(tǒng)不同，DD600/800不會對數(shù)據(jù)丟失不做任何響應(yīng)完全的數(shù)據(jù)完整性和自覺的一致性使得DD600/800可以給管理員提供全面的報告。多數(shù)情況下，依據(jù)服務(wù)級別要求，備份軟件會為異地存儲復(fù)制多個磁帶拷貝。多份拷貝可以提供最終的數(shù)據(jù)保護，而DD600/800支持所有領(lǐng)先備份軟件的磁帶克隆技術(shù)。異地數(shù)據(jù)存儲和災(zāi)難恢復(fù)DD600/800企業(yè)級系列恢復(fù)器（restorer）支持兩種形式的異地數(shù)據(jù)保護：一種是由標準備份軟件驅(qū)動的全自動的容量優(yōu)化復(fù)制機制，其目的是降低網(wǎng)絡(luò)帶寬成本；另一種是傳統(tǒng)的磁帶倉庫機制。對于很多公司來說，以磁帶備份作為異地存

36、儲是實際上的災(zāi)難恢復(fù)策略。不過隨著存儲數(shù)據(jù)天文數(shù)字的增長，在加上全球化的、全天候的業(yè)務(wù)趨勢，磁帶方案已經(jīng)不切實際了。另外磁帶技術(shù)容易出現(xiàn)錯誤。在恢復(fù)的過程中，發(fā)現(xiàn)關(guān)鍵的磁帶是不可讀的往往會導(dǎo)致原來成功的業(yè)務(wù)的失敗。對于有異地機構(gòu)的公司，使用磁帶的困難還要加上缺少專業(yè)的技術(shù)人員了正確的管理復(fù)雜的磁帶備份系統(tǒng)。由于磁帶結(jié)構(gòu)、軟件和其最佳實踐都已經(jīng)成熟，而且改變它的成本很高，IT 部門不得不在如下幾種方式做出選擇：把磁帶運送到異地把磁帶保存在本地，用于本地恢復(fù)做兩份拷貝（好像一份還不夠麻煩）很多IT部門現(xiàn)在視網(wǎng)絡(luò)磁帶倉庫或在線復(fù)制為異地磁帶存儲的替代災(zāi)難恢復(fù)方案。采用復(fù)制解決方案，數(shù)據(jù)會經(jīng)由局域網(wǎng)或

37、廣域網(wǎng)從本地的主磁盤存儲被拷貝到遠程的磁盤存儲上。為加強保護，可以提高數(shù)據(jù)同步的頻率；而且還可以將遠程的站點配置成完全的災(zāi)難恢復(fù)站點，一旦主站出現(xiàn)需要停機一段時間的時候，可以在遠程站點啟動業(yè)務(wù)操作。盡管通過廣域網(wǎng)的磁盤到磁盤的復(fù)制提供了高級別的災(zāi)難恢復(fù)功能，但傳統(tǒng)上各種因素使得這種方案的成本很高，除了最關(guān)鍵的高價值應(yīng)用，其他應(yīng)用很難承擔其成本。最重要的是廣域網(wǎng)的成本過高。而且并沒有按照原先預(yù)想的那樣有所下降。在必須的成本之外，可用的軟件解決方案也很昂貴，而且難于實施和管理。這些因素使得很多公司看不到在線災(zāi)難恢復(fù)技術(shù)的好處。1.1.16兼容性-簡單地集成到現(xiàn)有備份環(huán)境中DD600/800對于系統(tǒng)

38、或存儲管理員來說，就是一個在千兆以太網(wǎng)上支持NFS 和CIFS協(xié)議的NAS硬件設(shè)備。但相對于NAS的“文件服務(wù)器”功能，DD600/800更注重于自己的“恢復(fù)者”角色。使用同樣的存儲容量，采用全局壓縮（Global Compression）技術(shù)的DD600/800存儲的數(shù)據(jù)量是平臺NAS的20倍以上。業(yè)界領(lǐng)先的備份軟件（比如Bakbone V ault，CommV ault Gala_y，Legato Worker和VERITAS Backup）都已經(jīng)支持，把一個目錄指定為管理設(shè)備的方式，做數(shù)據(jù)到磁盤的備份。備份軟件中的設(shè)定非常簡單，比如在Worker中只需要把DD600/800指定為一個Filesystem或Advanced Filesystem；或在V ault中將其指定為Disk Storage Unit。然后修改或新增備份策略，將磁帶系統(tǒng)替換為DD600/800。之后備份數(shù)據(jù)就會流向DD600/800。Worker和V ault還可以管理DD600/800的恢復(fù)鏡像，刪除那些已經(jīng)過期的。一旦備份數(shù)據(jù)安全地存儲到DD600/800上，可以很容易地使用克隆、復(fù)制或出庫功能將數(shù)據(jù)從DD600/800拷貝到