存儲(chǔ)堆棧數(shù)據(jù)損壞分析

存儲(chǔ)堆棧中的數(shù)據(jù)損壞問(wèn)題分析bairavasundaramLakshmiN.?古德森，加思R.?，比安卡施羅德?安德列C.arpaci杜索?該arpaci杜索，H.??威斯康星大學(xué)-麥迪遜?網(wǎng)絡(luò)設(shè)備公司?多倫多大學(xué){拉克，杜索，該}@，garth.goodson@，bianca@摘要對(duì)數(shù)據(jù)可靠存儲(chǔ)的一個(gè)重要威脅是無(wú)聲的數(shù)據(jù)腐敗。為了開發(fā)合適的保護(hù)對(duì)數(shù)據(jù)腐敗的機(jī)制，它是必不可少的，以了解其特點(diǎn)。在本文中，我們提出了第一次大規(guī)模數(shù)據(jù)腐敗研究。我們分析記錄在生產(chǎn)存儲(chǔ)系統(tǒng)的腐敗現(xiàn)象包含1530000個(gè)磁盤驅(qū)動(dòng)器，超過(guò)41個(gè)月的時(shí)間。我們研究了三類腐?。盒ｒ?yàn)和不匹配，身份的差異，和奇偶校驗(yàn)不一致。我們專注于校驗(yàn)和不匹配因?yàn)樗麄冏?。我們發(fā)現(xiàn)校驗(yàn)和400000多個(gè)實(shí)例41個(gè)月內(nèi)不匹配。我們發(fā)現(xiàn)很多有趣的趨勢(shì)，在這些情況下，包括：（我）近線盤（和適配器）開發(fā)的校驗(yàn)錯(cuò)位的幅度往往比企業(yè)級(jí)磁盤驅(qū)動(dòng)器的順序，（ii）在校驗(yàn)和不匹配同一個(gè)磁盤不是獨(dú)立的事件，它們顯示高的時(shí)間和空間局部性，及（iii）校驗(yàn)在同一存儲(chǔ)的不同磁盤上的不匹配系統(tǒng)不是獨(dú)立的。我們用我們的意見從中吸取教訓(xùn)，以防腐敗體系設(shè)計(jì)。1引言在設(shè)計(jì)存儲(chǔ)系統(tǒng)的最大挑戰(zhàn)之一是提供的可靠性和可用性，用戶期待。一旦他們的數(shù)據(jù)存儲(chǔ)，用戶期望它會(huì)持續(xù)永遠(yuǎn)，永遠(yuǎn)有效。不幸的是，在實(shí)踐中有許多問(wèn)題，如果不處理，可引起存儲(chǔ)系統(tǒng)中的數(shù)據(jù)丟失。數(shù)據(jù)丟失的一個(gè)主要原因是磁盤驅(qū)動(dòng)器的可靠性[16]。眾所周知，硬盤是機(jī)械的，移動(dòng)的設(shè)備，可以承受機(jī)械故障導(dǎo)致的故障和數(shù)據(jù)丟失。對(duì)于例如，媒體的不完善，以及松散的顆粒造成的劃傷，有助于媒體的錯(cuò)誤，簡(jiǎn)稱為潛在的部門錯(cuò)誤，在磁盤驅(qū)動(dòng)器[18]。潛在部門錯(cuò)誤被檢測(cè)到驅(qū)動(dòng)器的內(nèi)部錯(cuò)誤校正碼（ECC）和報(bào)告存儲(chǔ)系統(tǒng)。然而，眾所周知，目前的硬盤驅(qū)動(dòng)器和控制器由數(shù)百條線組成低級(jí)別固件代碼。這個(gè)固件代碼，一起使用更高級(jí)別的系統(tǒng)軟件，具有潛在的窩藏錯(cuò)誤，可以導(dǎo)致更陰險(xiǎn)的類型磁盤錯(cuò)誤：數(shù)據(jù)是錯(cuò)誤的，數(shù)據(jù)是錯(cuò)誤的無(wú)聲的損壞，沒有任何跡象表明，從驅(qū)動(dòng)器發(fā)生錯(cuò)誤。靜默數(shù)據(jù)損壞可能會(huì)導(dǎo)致數(shù)據(jù)丟失的往往比潛在扇區(qū)錯(cuò)誤，因?yàn)?，不像潛在扇區(qū)錯(cuò)誤，他們無(wú)法檢測(cè)或修復(fù)的磁盤驅(qū)動(dòng)器本身。檢測(cè)和恢復(fù)數(shù)據(jù)損壞需要保護(hù)技術(shù)，超越了那些提供磁盤驅(qū)動(dòng)器。事實(shí)上，基本的保護(hù)計(jì)劃，如襲擊[13]可能也無(wú)法檢測(cè)到這些問(wèn)題。存儲(chǔ)系統(tǒng)中最常用的技術(shù)檢測(cè)數(shù)據(jù)腐敗，是為存儲(chǔ)系統(tǒng)添加自己的上級(jí)校驗(yàn)每個(gè)磁盤塊，這在每個(gè)磁盤塊上進(jìn)行驗(yàn)證。企業(yè)級(jí)存儲(chǔ)系統(tǒng)有很長(zhǎng)的歷史，包括我們的，在以各種方式使用校驗(yàn)和檢測(cè)數(shù)據(jù)腐敗[3，6，8，22]。然而，我們稍后再討論，校驗(yàn)和不保護(hù)反對(duì)一切形式的腐敗。因此，除了校驗(yàn)和，我們的存儲(chǔ)系統(tǒng)使用文件系統(tǒng)級(jí)的磁盤塊的身份信息來(lái)檢測(cè)從未發(fā)現(xiàn)的腐敗。為了進(jìn)一步提高處理技術(shù)腐敗，我們需要深入了解數(shù)據(jù)腐敗特征。而最近的研究提供整個(gè)磁盤故障的信息[11，14，16]和潛在部門的錯(cuò)誤[2]，可以幫助系統(tǒng)設(shè)計(jì)師在處理這些錯(cuò)誤的情況下，很少是已知的關(guān)于數(shù)據(jù)腐敗，其患病率及其特點(diǎn)。本文提出了一種大規(guī)模的研究，沉默基于1530000盤數(shù)據(jù)的數(shù)據(jù)腐敗開蓋的時(shí)間期限為41個(gè)月。我們使用在最近的研究中使用的相同的數(shù)據(jù)集扇區(qū)錯(cuò)誤[2]和磁盤故障[11]。我們確定發(fā)展腐敗的磁盤組，檢查可能影響腐敗盛行的因素，例如作為磁盤類和年齡，研究腐敗的特征，如空間和時(shí)間的地方。到最好的我們的知識(shí)，這是第一次在生產(chǎn)和發(fā)展系統(tǒng)中的無(wú)聲數(shù)據(jù)腐敗的研究。我們將數(shù)據(jù)分類為三類它是如何發(fā)現(xiàn)：校驗(yàn)和不匹配，身份的差異，和奇偶incons（描述在2.3節(jié)中詳細(xì)介紹。我們專注于校驗(yàn)和不匹配是因?yàn)樗麄儼l(fā)現(xiàn)發(fā)生的最。我們的重要意見包括以下內(nèi)容：（一）在41個(gè)月的時(shí)間內(nèi)，我們觀察到更多400，校驗(yàn)和不匹配的000個(gè)實(shí)例，8%在空襲重建過(guò)程中發(fā)現(xiàn)的，創(chuàng)造了真實(shí)數(shù)據(jù)丟失的可能性。即使是腐敗率小，校驗(yàn)和發(fā)現(xiàn)在重建過(guò)程中的不匹配說(shuō)明了數(shù)據(jù)腐敗是一個(gè)需要被納入的現(xiàn)實(shí)問(wèn)題由存儲(chǔ)系統(tǒng)設(shè)計(jì)的帳戶。（ii）發(fā)現(xiàn)近線（SATA）磁盤和適配器開發(fā)一個(gè)量級(jí)的校驗(yàn)和不匹配比企業(yè)級(jí)（足球）磁盤更經(jīng)常。令人驚訝的，校驗(yàn)和不匹配的企業(yè)級(jí)磁盤的發(fā)展超過(guò)了近線盤錯(cuò)位。（iii）校驗(yàn)和不匹配的不獨(dú)立–在磁盤和在不同的磁盤上同一存儲(chǔ)系統(tǒng)。（四）校驗(yàn)和不匹配，有巨大的空間位置；對(duì)多錯(cuò)配盤，它往往是連續(xù)的數(shù)據(jù)塊的影響。（五）身份差異和平價(jià)不一致發(fā)生，但影響3到10倍比較少的磁盤校驗(yàn)錯(cuò)配影響。本文其余部分的結(jié)構(gòu)如下。第2節(jié)介紹存儲(chǔ)系統(tǒng)的總體架構(gòu)用于研究和3節(jié)討論所使用的方法。4節(jié)介紹了我國(guó)的校驗(yàn)和不匹配的分析結(jié)果，和5節(jié)介紹了結(jié)果的身份差異，奇偶性不一致。第6節(jié)提供了一個(gè)軼事的腐敗問(wèn)題，發(fā)展的見解，腐敗證據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)。第7節(jié)介紹了有關(guān)工作和8節(jié)提供了一個(gè)總結(jié)的文件。2存儲(chǔ)系統(tǒng)架構(gòu)我們分析的數(shù)據(jù)來(lái)自于成千上萬(wàn)的生產(chǎn)和開發(fā)網(wǎng)絡(luò)設(shè)備TM保管部系統(tǒng)（此后稱為系統(tǒng)）安裝在數(shù)百個(gè)客戶網(wǎng)站。本節(jié)描述了該系統(tǒng)的體系結(jié)構(gòu)，其腐敗的檢測(cè)機(jī)制，并在研究腐敗類。2.1存儲(chǔ)棧物理上，該系統(tǒng)由包含CPU，內(nèi)存，一個(gè)storagecontroller網(wǎng)絡(luò)接口，存儲(chǔ)適配器。存儲(chǔ)控制器通過(guò)光纖通道連接到一組磁盤架上循環(huán)。磁盤架上的單個(gè)磁盤驅(qū)動(dòng)器。磁盤可以是企業(yè)級(jí)的磁盤驅(qū)動(dòng)器或近線串行ATA（SATA）硬盤。近線驅(qū)動(dòng)器使用硬件適配器轉(zhuǎn)換為SATA接口光纖通道協(xié)議。因此，存儲(chǔ)控制器視圖所有驅(qū)動(dòng)器作為光纖通道（然而，對(duì)于這項(xiàng)研究的目的，我們?nèi)匀豢梢源_定是否硬盤是SATA和FC利用其模型類型）。在存儲(chǔ)控制器的軟件堆棧組成的細(xì)胞凋亡R文件系統(tǒng)，突襲和存儲(chǔ)層。該文件系統(tǒng)處理客戶端請(qǐng)求，通過(guò)發(fā)布讀寫操作來(lái)處理層將文件系統(tǒng)請(qǐng)求轉(zhuǎn)換為邏輯磁盤塊請(qǐng)求并將它們發(fā)布到存儲(chǔ)層?？找u層也產(chǎn)生奇偶校驗(yàn)寫入和重構(gòu)故障后的數(shù)據(jù)。存儲(chǔ)層是一組定制的設(shè)備驅(qū)動(dòng)程序，與物理通信使用SCSI命令集[23盤]。2.2腐敗檢測(cè)機(jī)制與其他商業(yè)存儲(chǔ)系統(tǒng)，該系統(tǒng)是設(shè)計(jì)用于處理磁盤相關(guān)的廣泛錯(cuò)誤。數(shù)據(jù)完整性檢查的目的是為了檢測(cè)和恢復(fù)從腐敗的錯(cuò)誤，使他們不傳播給用戶。在任何情況下，該系統(tǒng)不向用戶傳播腐敗數(shù)據(jù)。我們專注于用來(lái)檢測(cè)靜默數(shù)據(jù)損壞，這是技術(shù)，通過(guò)硬盤檢測(cè)不到腐敗或任何其他硬件組件。因此，我們不描述用于其他錯(cuò)誤的技術(shù)，如運(yùn)輸損壞報(bào)告為SCSI傳輸錯(cuò)誤或潛在扇區(qū)錯(cuò)誤。潛在的部門錯(cuò)誤造成的磁盤驅(qū)動(dòng)器內(nèi)的物理問(wèn)題，如媒體劃痕，“高飛”寫等[2，18]，并檢測(cè)磁盤驅(qū)動(dòng)器本身的讀寫扇區(qū)的無(wú)能，或通過(guò)其糾錯(cuò)碼（ECC）。為了檢測(cè)沉默的數(shù)據(jù)損壞，系統(tǒng)存儲(chǔ)額外信息到磁盤塊。它還定期讀取所有磁盤塊來(lái)執(zhí)行數(shù)據(jù)完整性支票。我們現(xiàn)在詳細(xì)描述這些技術(shù)。腐敗類可能導(dǎo)致檢測(cè)機(jī)制的檢測(cè)操作校驗(yàn)和錯(cuò)配位腐??；撕開寫；RAID塊校驗(yàn)磁盤讀錯(cuò)誤的寫身份差異丟失或誤導(dǎo)寫文件系統(tǒng)級(jí)的文件系統(tǒng)讀取塊身份奇偶性不一致的內(nèi)存損壞；丟失的寫；校驗(yàn)失配數(shù)據(jù)擦洗差平價(jià)計(jì)算表1：腐敗類總結(jié)。（一）企業(yè)級(jí)磁盤的格式5205205205205205204KB文件系統(tǒng)數(shù)據(jù)塊52052064?字節(jié)數(shù)據(jù)完整性段（b）為近線磁盤格式4KB的文件系統(tǒng)數(shù)據(jù)塊512512512512512512512512512448字節(jié)未使用64?字節(jié)數(shù)據(jù)完整性段+（）數(shù)據(jù)完整性分部（解散）的結(jié)構(gòu)。數(shù)據(jù)塊校驗(yàn)數(shù)據(jù)塊身份........校驗(yàn)和DIS圖1：數(shù)據(jù)完整性段。圖顯示用于存儲(chǔ)磁盤塊的數(shù)據(jù)完整性段光盤格式的不同（一）與企業(yè)級(jí)硬盤520B部門，和（b）近線驅(qū)動(dòng)器512B扇區(qū)。圖還顯示了數(shù)據(jù)完整性段的結(jié)構(gòu)。特別是，除了校驗(yàn)和身份信息，該結(jié)構(gòu)還包含一個(gè)校驗(yàn)本身。2.2.1數(shù)據(jù)完整段為了檢測(cè)磁盤塊的損壞，系統(tǒng)一個(gè)64字節(jié)的數(shù)據(jù)完整段以及每個(gè)磁盤塊。圖1顯示了存儲(chǔ)的技術(shù)這個(gè)額外的信息，也描述了它的結(jié)構(gòu)。對(duì)于企業(yè)級(jí)磁盤，該系統(tǒng)使用520字節(jié)扇區(qū)。因此，一個(gè)4KB的文件系統(tǒng)的塊存儲(chǔ)在八字節(jié)的數(shù)據(jù)完整性分部在520個(gè)64字節(jié)扇區(qū)。對(duì)于近線盤，系統(tǒng)將使用默認(rèn)的512字節(jié)扇區(qū)存儲(chǔ)數(shù)據(jù)完整性的一段在下列部門設(shè)置八個(gè)部門。我們發(fā)現(xiàn)數(shù)據(jù)完整性段所提供的保護(hù)很值得的額外空間來(lái)存儲(chǔ)它們。數(shù)據(jù)完整性段的一個(gè)組成部分是整個(gè)4KB的文件系統(tǒng)的塊校驗(yàn)。這個(gè)校驗(yàn)和是由RAID層驗(yàn)證時(shí)數(shù)據(jù)讀取。一旦發(fā)現(xiàn)了腐敗，原始的塊通?？梢酝ㄟ^(guò)空襲重建恢復(fù)。我們指的raidlevel檢測(cè)校驗(yàn)和驗(yàn)證作為校驗(yàn)和錯(cuò)配的腐敗。數(shù)據(jù)完整性段的另一個(gè)組成部分是塊身份信息。在這種情況下，事實(shí)上，文件系統(tǒng)是利用存儲(chǔ)系統(tǒng)的一部分。這個(gè)身份是文件系統(tǒng)中的磁盤塊的標(biāo)識(shí)（例如，這一塊屬于inode5偏移100）。這在文件讀取時(shí)間時(shí)，要確保交叉檢查，以確保被讀取的塊屬于被訪問(wèn)的文件。如果，在文件讀取時(shí)，身份不匹配，數(shù)據(jù)是從奇偶校驗(yàn)。我們指的是腐敗，沒有檢測(cè)到通過(guò)校驗(yàn)，但檢測(cè)到文件身份差異的系統(tǒng)身份驗(yàn)證。2.2.2數(shù)據(jù)清理為了積極檢測(cè)錯(cuò)誤，定期擦洗所有磁盤的RAID層。數(shù)據(jù)清洗問(wèn)題讀操作的每個(gè)物理磁盤塊，計(jì)算校驗(yàn)和的數(shù)據(jù)，并比較計(jì)算的校驗(yàn)和校驗(yàn)和位于其完整的數(shù)據(jù)段。如果校驗(yàn)和比較失?。矗粋€(gè)校驗(yàn)和不匹配），數(shù)據(jù)從其他磁盤重建的RAID組，經(jīng)過(guò)校驗(yàn)和驗(yàn)證。如果沒有重建是必要的，數(shù)據(jù)的奇偶性塊生成并與奇偶存儲(chǔ)在奇偶校驗(yàn)塊。如果奇偶校驗(yàn)不匹配的驗(yàn)證數(shù)據(jù)，擦洗過(guò)程修復(fù)的奇偶性，通過(guò)再生的數(shù)據(jù)塊。在受保護(hù)的系統(tǒng)中雙奇偶校驗(yàn)，可以明確地告訴它奇偶或數(shù)據(jù)塊被損壞。我們指的是這些情況下，數(shù)據(jù)之間的不匹配奇偶校驗(yàn)不一致。注意，數(shù)據(jù)服無(wú)法驗(yàn)證存儲(chǔ)在數(shù)據(jù)完整性段中的額外文件系統(tǒng)標(biāo)識(shí)信息，因?yàn)樵撓到y(tǒng)將其自然，這個(gè)信息只對(duì)文件系統(tǒng)有意義，而不是磁盤陣列的擦洗。根據(jù)系統(tǒng)的負(fù)載，數(shù)據(jù)在星期日晚上開始擦洗。從我們的數(shù)據(jù)中，我們發(fā)現(xiàn)，整個(gè)團(tuán)隊(duì)是擦洗一次平均大約每?jī)芍堋Ｈ欢?，我們不能從?shù)據(jù)中確定在研究每一盤被清洗。2.3個(gè)腐敗班本文的研究重點(diǎn)是磁盤塊的腐敗造成的硬件和軟件錯(cuò)誤。硬件缺陷包括磁盤驅(qū)動(dòng)器或磁盤架固件的錯(cuò)誤，壞的記憶，和適配器故障。軟件錯(cuò)誤可以也造成一些腐敗。在許多情況下，原因不能確定腐敗。我們檢測(cè)不同使