Commvault重復數據刪除功能介紹

1、重復數據刪除功能介紹內存數據庫為什么使用內存數據庫?提高重刪性能直接將重復數據刪除記錄寫入到磁盤導致很多性能問題.降低DDB重建時間V10中內存中的DDB采用非日志模式,僅僅當重刪引擎停止時才寫入磁盤.重刪引擎只有在備份和數據老化作業(yè)完成后才停止,或者DDB備份時才停止.SIDB2 進程非正常停止會導致磁盤庫和DDB的狀態(tài)不一致.磁盤庫和DDB hash簽名記錄如有大的差異,會導致長時間的DDB重構.內存數據庫是在不影響DDB性能的情況下避免長時間重構的有效方法.內存數據庫如何工作?以事務處理模式運行DDB在內存中創(chuàng)建3個DDB表實例MemDB 2 活動（Active） 從備份流中接受連接Me

2、mDB 1 關閉（Closed） 空閑, 不再接受連接MemDB 0 合并（In Merge） 提交完成的hash簽名到DDB DiskDB每個MemDB實例包含20秒的DDB活動查詢時使用所有的MemDB和DiskDB，但寫操作只涉及活動MemDB第四個DDB表實例存在于DDB磁盤DiskDB 從MemDB 0 （合并）接受完成的交易MemDB1MemDB0MemDB架構- 插入MemDB2MergeMemDBIn MergeClosed - WaitingFor MergeActiveClean UpProcessDDB CallsMemDB LevelsAdd / Update Reco

3、rdsOn-Disk DB(Transaction Enabled)MemDB 架構 查詢MemDB2MemDB1MemDB0On-Disk DB(Transaction Enabled)In MergeClosed - WaitingFor MergeActiveDDB CallsQuery RecordsMemDB LevelsMemDB架構DiskDB InstanceMemDB InstancesActiveClosedIn MergePrimary TableSecondary Table FilesZero Reference TableUnique signature, loca

4、tion on disk, and block counterEach file contains 16 archive file references Holds signature when primary table counter reaches zeroTable StructurePrimary TableSecondary Table Files內存數據庫附加說明V11SP2時內存數據庫是可配置的選項可在DDB創(chuàng)建或封存后時啟用，因為新的DDB是空的使用獨立工具將已經存在的DDB轉換為內存數據庫（即將實現）介質服務器需要至少32GB內存DDB必須放在固態(tài)硬盤傳統(tǒng)的DDB仍舊是默認

5、的配置內存數據庫個數目前不能配置（默認3個）研發(fā)認為3個內存數據庫實例從性能和健壯性來講是最優(yōu)配置內存數據庫摘要內存數據庫是提升DDB性能的可配置選項除了DiskDB外,內存數據庫允許3個DDB實例在內存中運行DiskDB以事務處理模式運行，提交變化到磁盤插入操作， 20秒的活動保存在每個MemDB實例中MemDB每20秒提交到DiskDB中已經提交的MemDB實例內容被清除用作新的插入操作查詢操作， 所有3個MemDBs和DiskDB都會被查詢到其他的內存數據庫優(yōu)勢包括在某些場景下可縮短DDB重構時間增量重構重構類型不同場景（使用內存數據庫)DDB不正常關閉（由于MA重啟，人工干預或進程崩潰

6、）增量重構 新特性DDB卷損壞或丟失傳統(tǒng)重構DDB卷損壞或丟失， 且DDB備份不可用完全重構增量重構使用內存數據庫后新的重構模式恢復階段不需要從備份中恢復DDB 增加記錄階段跳過清除記錄階段，因為數據老化只使用DiskDB,內存數據庫中不存在老化記錄預計執(zhí)行時間- 2分鐘- 比傳統(tǒng)重建節(jié)約大量時間V11 重復數據刪除變化4分區(qū)DDBCLDB134Shared Disk Library Deduplication Database Partitions Signature Lookups2DDB DIPDDB DIPDDB DIP4分區(qū)DDB為什么使用4分區(qū)?性能重刪處理負載到更多的介質服務器，

7、提高重刪處理能力容量每個DDB分區(qū)可以以最優(yōu)的速度支撐50個并發(fā)數據流4分區(qū)重刪池可支持多達200個并發(fā)數據流沒有官方的最大記錄數定義，DDB查詢和插入時間決定最大容量。彈性V10中DDB可用性選項會導致重刪池中50%的塊重定基線。4分區(qū)DDB，如果1個分區(qū)離線， 重定基線降低為25%。4分區(qū)DDB數據如何在DDB分區(qū)中分布?Mod（）函數處理每個重刪塊hash值模函數由hash值做除法后得到余數余數決定數據塊發(fā)送給哪個DDB分區(qū)相同的hash值總是發(fā)送給相同的DDB分區(qū)如果1個分區(qū)離線，備份作業(yè)在任何其他分區(qū)上都不能繼續(xù)除非“DDB可用性選項”被設定4分區(qū)DDB如啟用可用性選項允許最多3個分

8、區(qū)離線由于影響磁盤庫用法，不推薦此種配置分區(qū)中分布數據0231DDB DIPDDB DIPDDB DIPGroup Numberd0c77c4b4d9e6ceb333b527db332b6343c6ae9c39c321daf7764e65c71b2b02693f17a711c22a108b559d316f975e26260b6a8616cf905e4d9ddcd8201161e60SHA-512 HASH (Hex)Modulus Functionhash mod 4 = 0 (Divide the hash by 4, the remainder is 0.) HASH Decimal Eq

9、uivalent10934656070627700798424733116722136166901787802279803557058323294694357019902710585831691683530559954501149273815871731092084381728104818069814618545856096128 KB Blocks Client File System d0c77c4b4d9e6ceb333b527db332b6343c6ae9c39c321daf7764e65c71b2b02693f17a711c22a108b559d316f975e26260b6a861

10、6cf905e4d9ddcd8201161e6110934656070627700798424733116722136166901787802279803557058323294694357019902710585831691683530559954501149273815871731092084381728104818069814618545856097hash mod 4 = 1 (Divide the hash by 4, the remainder is 1.) 4分區(qū)DDB當1個分區(qū)離線, 該分區(qū)的數據塊將會在其他分區(qū)上重做重刪數據塊的hash簽名會添加到主表，即使它已在離線分區(qū)的主

11、表中存在數據塊再次寫入到共享磁盤庫隨時間推移會引起磁盤空間使用量增將DDB可用性選項意味著是一個臨時性舉措以使得備份能夠繼續(xù)(默認關閉)4分區(qū)DDB當1個分區(qū)離線會怎樣?031DDB DIPDDB DIPDDB DIPGroup Number128 KB Data Blocks With Existing HashesClient File System2Partition Goes OfflineRebaselining of Group 2 Blocks Into Group 3Hash Mod 4 = 0 Hash Mod 4 = 1 Hash Mod 4 = 2 Hash Mod 4

12、= 3 25 % Disk Space Consumption Increase in Disk LibraryPartioned StoreDDB網絡接口分區(qū)DDB介質服務器之間推薦使用DDB網絡接口DDB網絡接口是創(chuàng)建重刪存儲池時設置DIP的一種機制用途增加分區(qū)間hash簽名查找性能避免與進來的備份流爭用網絡避免與非Simpana網絡流量爭用網絡傳統(tǒng)的DIP也推薦使用如果分區(qū)介質服務器之間配置了輔助拷貝，則DDB網絡接口將不會專用DDB網絡接口DDB網絡接口允許在創(chuàng)建重刪存儲策略時配置DDB網絡接口重刪策略配置完后，可使用如下方法調整 DDB網卡DIP 配置向導(CommCell控制面板)

13、介質服務器客戶端屬性的作業(yè)配置欄變化會反映到DDB網絡接口界面由于新的ctree數據庫版本，V11現在支持DDB壓縮采用壓縮DDB的數據文件和重索引的方式收縮重刪數據庫僅僅在DDB磁盤空間已耗盡和SIDB2不活動時使用用法舉例sidb2 -compact -in-cn-i-splitsidb2 -compact -in Instance001 -cn qm11v-ma3 -i 62 split 00壓縮DDB其他 v11 重刪變化V11中封存老版本的DDB會創(chuàng)建V11的DDB每個輔助文件的存檔文件從256減少到16減少DDB大小消除V10中使用完全重建來縮減DDB的必要減少使用新的DDB壓縮特

14、性必要Mac客戶端支持客戶端DDB緩存“請勿重復數據刪除久于以下項的對象”設置重新可用已有的重刪儲存策略上增加分區(qū)（即將實現) 增量數據驗證 增量數據驗證驗證重復數據刪除數據庫檢驗從上次數據驗證以來增加的唯一數據塊讀取數據塊做校驗對比, 確保數據塊可讀取驗證磁盤和重復數據刪除數據庫的現有作業(yè)檢驗從上一次數據驗證以來增加的唯一數據塊和作業(yè)讀取數據塊做校驗對比, 確保數據塊可讀取。并且從CSDB中讀取作業(yè)所對應的數據塊，以驗證作業(yè)所有數據均可讀取。增量數據驗證不支持”重復數據刪除數據庫的快速驗證”不做數據塊可讀性驗證，只對比DDB和磁盤元信息中的數據塊信息一致。增量數據驗證增量驗證在 V11 SP3中，當創(chuàng)建重刪策略時自動設定增量數據驗證計劃。每天檢測壞塊，防止壞塊被新的備份使用。與壞塊hash簽名相同的數據塊會在磁盤庫中重新寫入在下一次備份時重新寫入新塊新的備份作業(yè)中數據塊有效，但不會修復已經存在壞塊的作業(yè)已驗證過的數據塊不會再次去檢查，除非該數據塊被沒驗證過的作業(yè)使用。為避免這種場景，需手工執(zhí)行完整數據驗證 增量數據驗證驗證允許備份作業(yè)繼續(xù)執(zhí)行數據驗證不影響備份操作日常的讀操作（恢復，輔助拷貝，合成全備份）也會檢測數據塊的有效性在v10中, 日常讀操作只標記第一個壞塊如果后續(xù)的塊損壞，讀操作檢測不到在V11 中，