NetApp 存儲數(shù)據(jù)壓縮技術

NetApp存儲數(shù)據(jù)壓縮技術高效是靈活IT的關鍵所在。作為存儲效率創(chuàng)新的領導者，NetApp—直努力為您提供最新的效率創(chuàng)新技術，包括Snapshot?和相關技術、精簡配置、FlexClone?、主存儲重復數(shù)據(jù)刪除等。當然，數(shù)據(jù)壓縮技術已經推出很長時間了，但是給大型存儲系統(tǒng)帶來了難題，在性能影響方面尤為嚴重。直到最近，磁帶驅動器和VTL等設備的數(shù)據(jù)壓縮還幾乎一直是通過專用硬件實現(xiàn)，導致成本和復雜性提高?，F(xiàn)在，NetApp開發(fā)了一種實時透明的數(shù)據(jù)壓縮技術，壓縮過程在軟件中完成，同時降低了對計算資源的影響。這使我們能夠在不花費額外成本的條件下將DataONTAP?中數(shù)據(jù)壓縮的優(yōu)勢用在升級到DataONTAP8.0.1或更高版本的現(xiàn)有NetApp?存儲系統(tǒng)。在本文中，我要討論NetApp數(shù)據(jù)壓縮的概念及其工作原理，還會提到一些常見用例，以及每個用例的實測空間節(jié)省。我還會討論數(shù)據(jù)壓縮如何與其他NetApp技術結合使用，并回顧NetApp如何推出這一新功能以取得成功。什么是NetApp數(shù)據(jù)壓縮？NetApp數(shù)據(jù)壓縮作為集成到DataONTAP8.0.1中的免費選項提供，是基于軟件的透明實時數(shù)據(jù)壓縮解決方案。要使用NetApp數(shù)據(jù)壓縮，無需更改應用程序。NetApp數(shù)據(jù)壓縮技術可以在主存儲、二級存儲和歸檔存儲上壓縮靈活卷(FlexVol?)中的數(shù)據(jù)，從而減少在存儲系統(tǒng)上存儲數(shù)據(jù)所需的物理容量。它可以壓縮常規(guī)文件、虛擬本地磁盤和LUN。本文其余部分所參考文件也適用于虛擬本地磁盤和LUN。NetApp數(shù)據(jù)壓縮不是將整個文件作為一個連續(xù)的字節(jié)流進行壓縮。如果要處理部分文件的小量讀取，作為連續(xù)的字節(jié)流壓縮成本非常高，因為需要在處理讀取請求之前從磁盤讀取整個文件且文件處于未壓縮狀態(tài)。讀取大型文件就顯得尤為困難。為了避免這一問題，NetApp數(shù)據(jù)壓縮技術一次只壓縮少量連續(xù)數(shù)據(jù)塊。這是NetApp數(shù)據(jù)壓縮得以更高效的一個關鍵設計要素。收到讀取請求之后，只需讀取和解壓縮少量數(shù)據(jù)塊，而不是整個文件。這樣可以優(yōu)化讀取，還能提高壓縮的文件大小的可擴展性。NetApp壓縮算法將文件分成32KB的數(shù)據(jù)區(qū)塊，稱為“壓縮組”，每個壓縮組僅包含一個文件的數(shù)據(jù)。寫入數(shù)據(jù)。寫入請求在壓縮組級別得到處理。形成組之后，當數(shù)據(jù)還在內存中時執(zhí)行測試，以確定數(shù)據(jù)是否可以壓縮。如果不能壓縮，直接將其傳輸?shù)酱疟P。僅當測試表明數(shù)據(jù)可以壓縮時，才會壓縮整個組。這樣可以優(yōu)化節(jié)省，同時最大限度地降低資源開銷。由于經過壓縮的數(shù)據(jù)所含要寫入磁盤的數(shù)據(jù)塊較少，因此減少了每個壓縮的寫入操作所需的寫入I/O數(shù)。這不僅可以減少磁盤上數(shù)據(jù)的占用空間，而且還能縮短完成磁盤寫入請求的時間，并顯著縮短執(zhí)行備份所需的時間。邏輯數(shù)搖塊物理數(shù)據(jù)塊邏輯數(shù)搖塊物理數(shù)據(jù)塊-琨盤上壓館的數(shù)據(jù)?圖1）在進行任何壓縮之前，都要測試壓縮組是否可以壓縮。然后，將數(shù)據(jù)發(fā)送到磁盤，是否壓縮則取決于測試結果。讀取數(shù)據(jù)。收到壓縮數(shù)據(jù)的讀取請求之后，DataONTAP僅讀取包含請求數(shù)據(jù)的壓縮組，而不是整個文件。這樣可以最大限度地減少處理請求所需的I/O數(shù)，并且開銷微乎其微。壓縮性能NetApp數(shù)據(jù)壓縮可以單獨使用，也可以與NetApp重復數(shù)據(jù)刪除結合使用，以獲得最佳節(jié)省效果。您可以計劃在最方便的時候運行NetApp重復數(shù)據(jù)刪除，而NetApp數(shù)據(jù)壓縮在數(shù)據(jù)寫入磁盤時實時運行。如果在同一卷上同時啟用這兩種技術，則數(shù)據(jù)首先經過壓縮，然后再刪除重復數(shù)據(jù)。重復數(shù)據(jù)刪除不僅對未經壓縮的數(shù)據(jù)起作用；它可以輕松刪除數(shù)據(jù)卷中經過壓縮或未經壓縮的重復數(shù)據(jù)塊。數(shù)據(jù)壓縮利用DataONTAP的內部特性高效執(zhí)行。盡管NetApp數(shù)據(jù)壓縮可以最大限度地降低性能影響，但并不能消除影響。應該評估工作負荷對執(zhí)行數(shù)據(jù)壓縮所需資源的容限。實際影響取決于以下幾個因素：應用程序類型數(shù)據(jù)集的可壓縮性數(shù)據(jù)訪問模式（例如連續(xù)訪問與隨機訪問、I/O大小和模式）平均文件大小更改率系統(tǒng)中啟用數(shù)據(jù)壓縮的卷數(shù)硬件平臺一系統(tǒng)中的CPU/內存量系統(tǒng)中的負載磁盤類型和速度聚合體中的磁盤軸數(shù)我們設計了最佳實踐，幫助您完成大小調整和其他活動，以優(yōu)化實施。由于許多因素起著一定的作用，因此要確定數(shù)據(jù)壓縮是否適用于預期使用目的，最好的方法是在環(huán)境中進行測試。下面幾部分討論在各種應用程序數(shù)據(jù)集和一些典型用例中，測得的空間節(jié)省。執(zhí)行數(shù)據(jù)壓縮和重復數(shù)據(jù)刪除節(jié)省的空間NetApp數(shù)據(jù)壓縮通過實時壓縮數(shù)據(jù)立即節(jié)省空間。NetApp重復數(shù)據(jù)刪除定期運行（后處理），提供積累的空間節(jié)省。結合使用數(shù)據(jù)壓縮和重復數(shù)據(jù)刪除時，應注意，節(jié)省的空間不一定等于對數(shù)據(jù)集單獨運行每種技術所節(jié)省的空間之和。對于某些數(shù)據(jù)類型，與單獨使用重復數(shù)據(jù)刪除相比，結合使用數(shù)據(jù)壓縮不會增加節(jié)省。在其他一些情況下，與單獨使用數(shù)據(jù)壓縮相比，結合使用重復數(shù)據(jù)刪除不會增加節(jié)省。另外還有這樣的情況：結合使用數(shù)據(jù)壓縮和重復數(shù)據(jù)刪除，存儲節(jié)省最多。下表中的示例可以說明這幾點。表1）各種數(shù)據(jù)類型的最佳空間節(jié)省組合。數(shù)據(jù)集類型應用程序最佳節(jié)省組合典型空間節(jié)省主目錄數(shù)據(jù)壓縮和重復數(shù)據(jù)刪除65%虛擬服務器和桌面僅重復數(shù)據(jù)刪除70%數(shù)據(jù)庫僅數(shù)據(jù)壓縮65%電子郵件Exchange2003/2007僅數(shù)據(jù)壓縮35%Exchange2010數(shù)據(jù)壓縮和重復數(shù)據(jù)刪除40%工程數(shù)據(jù)軟件開發(fā)數(shù)據(jù)壓縮和重復數(shù)據(jù)刪除75%Geoseismic僅數(shù)據(jù)壓縮75%盡管這些節(jié)省示例都很典型，但是并非所有數(shù)據(jù)集都相同。應該對數(shù)據(jù)進行測試，以評估會節(jié)省多少空間。NetApp始終都能幫助您完成評估過程。典型用例如上所述，數(shù)據(jù)壓縮可以顯著節(jié)省存儲，但是會降低一些性能。為了確定在您的存儲環(huán)境中將數(shù)據(jù)壓縮用在何處能起到最大作用，綜合衡量這兩方面非常重要。數(shù)據(jù)庫備份（和常規(guī)備份）可能是數(shù)據(jù)壓縮的最佳作用點。數(shù)據(jù)庫通常容量非常大，許多用戶愿意以備份存儲略微的性能影響換來65%以上的容量節(jié)省。另一個可能的用例是文件服務。在繁忙狀態(tài)時間約占50%、數(shù)據(jù)集可壓縮率為50%的系統(tǒng)中，使用文件服務工作負荷進行測試，經測算，吞吐量僅減少了10%。在文件響應時間為兩毫秒的文件服務環(huán)境中，這將轉化成僅增加0.2毫秒，即響應時間增加到2.2毫秒。若能節(jié)省65%的空間，這一小幅度的性能降低您也許可以接受。借助NetApp卷SnapMirror?技術復制數(shù)據(jù)，您可以節(jié)省網(wǎng)絡帶寬和二級存儲空間，從而進一步增加節(jié)省。（在這種情況下，二級存儲繼承主存儲的數(shù)據(jù)壓縮，因此無需另外進行壓縮處理。）在這種情況下，您可以實現(xiàn)：主存儲容量節(jié)省65%通過網(wǎng)絡發(fā)送進行復制的數(shù)據(jù)量減少65%復制速度提高65%二級存儲容量節(jié)省65%數(shù)據(jù)壓縮還可以在其他許多用例中發(fā)揮重要作用，我們提供了多種工具和指南，可以幫助您確定哪些用例最適合您的環(huán)境。將數(shù)據(jù)壓縮與其他NetApp技術結合使用通過前面的介紹，大家已經知道，NetApp數(shù)據(jù)壓縮與NetApp重復數(shù)據(jù)刪除是兩項互補的技術。本部分討論數(shù)據(jù)壓縮與其他一些常見的NetApp技術的結合使用。卷SnapMirror。卷SnapMirror在物理塊級別起作用；如果在源卷上啟用重復數(shù)據(jù)刪除和/或數(shù)據(jù)壓縮，在線纜上和在目標卷上可以保持重復數(shù)據(jù)刪除和數(shù)據(jù)壓縮節(jié)省的空間。這樣可以顯著減少復制期間所需的網(wǎng)絡帶寬，并大大縮短完成SnapMirror傳輸所需的時間。一般需注意以下幾點：?源系統(tǒng)和目標系統(tǒng)應該使用相同版本的DataONTAP。?數(shù)據(jù)壓縮和重復數(shù)據(jù)刪除都僅在源系統(tǒng)管理—目標系統(tǒng)上的靈活卷繼承效率屬性和存儲節(jié)省。?共享塊僅傳輸一次，因此重復數(shù)據(jù)刪除還可以減少網(wǎng)絡帶寬。?數(shù)據(jù)壓縮在整個傳輸過程中持續(xù)進行，這樣可以減少傳輸?shù)臄?shù)據(jù)量，從而降低網(wǎng)絡帶寬使用。?沒有必要執(zhí)行SnapMirror鏈路壓縮，因為NetApp數(shù)據(jù)壓縮已經壓縮了數(shù)據(jù)。網(wǎng)絡帶寬和SnapMirror傳輸時間的減少量與空間節(jié)省量直接成比例。舉個例子，如果您能節(jié)省50%的磁盤容量，則SnapMirror傳輸時間會縮短50%，而且必須通過線纜傳輸?shù)臄?shù)據(jù)量也會減少50%。qtreeSnapMirror和SnapVault?。qtreeSnapMirror和SnapVault都在邏輯塊級別起作用；源存儲系統(tǒng)和目標存儲系統(tǒng)單獨運行重復數(shù)據(jù)刪除和數(shù)據(jù)壓縮。這樣，即使源數(shù)據(jù)并未經過壓縮或重復數(shù)據(jù)刪除，也可以對qtreeSnapMirror和/或SnapVault備份進行數(shù)據(jù)壓縮和/或重復數(shù)據(jù)刪除。克隆。NetAppFlexClone技術實時創(chuàng)建文件或數(shù)據(jù)卷的虛擬副本，在對克隆進行更改之前，這些副本不占用額外的存儲空間。FlexClone支持重復數(shù)據(jù)刪除和數(shù)據(jù)壓縮。NetApp數(shù)據(jù)壓縮入門NetApp數(shù)據(jù)壓縮可以在運行DataONTAP8.0.1及更高版本的所有NetAppFAS和V系列系統(tǒng)上運行。數(shù)據(jù)壓縮在卷級別啟用。這意味著由您選擇在哪些卷上啟用該技術。如果您知道某個卷包含不可壓縮的數(shù)據(jù)，則無需（也不應）在該卷上啟用數(shù)據(jù)壓縮。卷容量可以高達16TB,并且必須包含在64位聚合體中，這是在DataONTAP8中引入的一項功能。（了解有關DataONTAP8的更多信息，請參閱本期TechOnTap中的姊妹篇。）若要開始使用數(shù)據(jù)壓縮，只需在存儲系統(tǒng)上安裝免費許可證，然后在選擇的卷上啟用它。就是這么簡單。面向早期采用者的數(shù)據(jù)壓縮計劃。與幾年前推出的重復數(shù)據(jù)刪除技術一樣，NetApp也管理數(shù)據(jù)壓縮技術的早期采用。如果您申請數(shù)據(jù)壓縮許可證，我們將評價您的環(huán)境，并提供最佳實踐建議。結論NetApp數(shù)據(jù)壓