淺析LINUX之RAID管理.doc

淺析LINUX之RAID管理1 引言在存儲(chǔ)技術(shù)飛速發(fā)展的今天，RAID技術(shù)為系統(tǒng)帶來的存儲(chǔ)高性能和數(shù)據(jù)高可靠是有目共睹的。經(jīng)過了十幾年發(fā)展的Linux操作系統(tǒng)現(xiàn)已進(jìn)入更具理性、更重實(shí)效的應(yīng)用時(shí)代，如何在Linux系統(tǒng)中高效有序地管理各種RAID設(shè)備成為人們越來越關(guān)注的主題之一。2 RAID概述RAID（Redundant Array of Independent Disks）術(shù)語最早是由加州大學(xué)Berkeley分校于20世紀(jì)80年代提出，后被存儲(chǔ)業(yè)界大力推廣和研究，開發(fā)出為數(shù)眾多的RAID產(chǎn)品，在以后的發(fā)展中，又加入了新的分級(jí)，成為現(xiàn)今最流行的存儲(chǔ)標(biāo)準(zhǔn)。常用的RAID級(jí)別有：RAID0、RAID1、RAID3、RAID4、RAID5、RAID6、RAID10、RAID50、Linear Mode、JBOD等。造成RAID流行的三個(gè)主要原因：l RAID在容量和管理上的優(yōu)勢RAID系統(tǒng)可以組合多個(gè)單盤，而呈現(xiàn)在系統(tǒng)中的可以是單一的地址或LUN，不占用更多的系統(tǒng)總線插槽，還能解決RAID出現(xiàn)之前不得不將應(yīng)用擴(kuò)展到多個(gè)服務(wù)器而造成的管理困難和增加失效幾率等問題。l RAID的性能優(yōu)勢RAID的一個(gè)最重要的概念是磁盤分條。其思想是：通過將I/O操作分散到所有成員磁盤中，使主機(jī)I/O控制器能夠處理更多的操作，這是在單個(gè)磁盤驅(qū)動(dòng)器下所不能達(dá)到的。1l RAID的可靠性和可用性優(yōu)勢由于采用了冗余算法，可以保證：即使在個(gè)別磁盤失效的情況下，數(shù)據(jù)仍能維持一致性。常用的冗余算法包括鏡像和校驗(yàn)。校驗(yàn)算法是利用“異或”操作之逆操作是其本身的特點(diǎn)，來實(shí)現(xiàn)數(shù)據(jù)保護(hù)的功能。如下所示。A B C = DA B D = C假設(shè)、為分條數(shù)據(jù)，為校驗(yàn)數(shù)據(jù)。當(dāng)所在的磁盤失效時(shí)，可利用剩余分條數(shù)據(jù)、和校驗(yàn)數(shù)據(jù)重新生成數(shù)據(jù)，系統(tǒng)并未因盤壞而導(dǎo)致數(shù)據(jù)丟失，仍可繼續(xù)工作，但處于降級(jí)狀態(tài)（Degraded）。不同級(jí)別RAID在降級(jí)時(shí)的表現(xiàn)不同，一般來說，系統(tǒng)的存儲(chǔ)性能和數(shù)據(jù)保護(hù)都將大打折扣，盡管某些級(jí)別的RAID可以容忍多個(gè)磁盤的失效。3 Linux中各種RAID實(shí)現(xiàn)在Linux系統(tǒng)中，根據(jù)RAID在I/O路徑上的位置不同，可分為：3.1 基于主機(jī)系統(tǒng)軟件的RAID即通常所說的軟RAID，RAID算法由Linux內(nèi)核執(zhí)行和管理，由主機(jī)CPU提供處理周期，也占用系統(tǒng)帶寬和I/O總線，如圖1所示。因爭用系統(tǒng)資源，在CPU繁忙時(shí)，軟RAID的性能會(huì)降低許多，這在單處理器系統(tǒng)中尤為嚴(yán)重。 圖1基于內(nèi)核管理的軟RAIDLinux的源碼開放性降低了軟RAID用戶受RAID軟件不夠完善而引入Bug的困擾的機(jī)會(huì)，因?yàn)橛脩艨勺孕行扪a(bǔ)，也可將問題送至開發(fā)者或相關(guān)團(tuán)隊(duì)解決。3.1.1內(nèi)核支持Linux內(nèi)核支持種RAID級(jí)別：RAID0、RAID1、RAID4、RAID5和線性模式。對(duì)于不支持RAID功能的老版本內(nèi)核，需重新編譯。編譯之前，無論使用何種方式來配置內(nèi)核，都應(yīng)在內(nèi)核配置文件的Multiple devices driver support(RAID and LVM)子段中選擇。*Multiple devices driver support(RAID and LVM)RAID supportLinear (append) modeRAID-0 (striping) modeRAID-1 (mirroring) modeRAID-4/RAID-5 modeMultipath I/O supportRAID選項(xiàng)可以靜態(tài)編譯至內(nèi)核，也可作為動(dòng)態(tài)裝載模塊編譯至內(nèi)核。2.4內(nèi)核之后，不再需要以上操作，因RAID代碼已包含在標(biāo)準(zhǔn)內(nèi)核中。3.1.2Linux軟RAID實(shí)現(xiàn)與管理Linux中的軟RAID是在實(shí)際的塊設(shè)備（如/dev/sdb）之上建立虛擬設(shè)備（/dev/md0255）。至于發(fā)到虛擬設(shè)備的數(shù)據(jù)如何在塊設(shè)備上進(jìn)行分撒和校驗(yàn)，由Linux內(nèi)核的RAID模塊完成。在虛擬設(shè)備之上可創(chuàng)建任何文件系統(tǒng)。Linux提供兩種工具來管理和配置軟RAID：raidtools和mdadm2l raidtoolsraidtools是Linux中傳統(tǒng)而經(jīng)典的軟RAID管理工具包。使用之前，需先創(chuàng)建配置文件/etc/raidtab，此文件指定了構(gòu)成軟RAID的所有信息包括成員設(shè)備（/dev/sdb）、md文件、RAID級(jí)別、校驗(yàn)算法、chunk大小等。raidtools常用命令有：mkraid在塊設(shè)備之上依照/etc/raidtab的定義創(chuàng)建RAID設(shè)備。lsraid檢查各個(gè)成員設(shè)備、診斷問題、恢復(fù)丟失的配置文件raidstart/ raidstop啟動(dòng)/停止已創(chuàng)建好的陣列raidhotadd/ raidhotremove在正在運(yùn)行的RAID設(shè)備中插入/去除一個(gè)塊設(shè)備。用于替換RAID中的失效盤。raidreconf重新配置RAID0或RAID5的某些屬性，而不影響陣列工作，數(shù)據(jù)不丟失。l mdadmmdadm提供一個(gè)方便的、單命令接口來管理Linux中的軟RAID。支持但不依賴配置文件，是管理控制軟RAID的理想選擇。Mdadm的操作模式有：Create創(chuàng)建新陣列。陣列配置信息可來自于配置文件/etc/mdadm.conf，也可通過參數(shù)指定。Build創(chuàng)建無superblock的舊類型陣列，用于向下兼容。Assemble啟動(dòng)或停止已創(chuàng)建好的陣列Monitor監(jiān)視陣列的狀態(tài)，包括設(shè)置email通知、異常事件處理及共享備用設(shè)備等。l /proc/mdstat通過/proc文件系統(tǒng)可以對(duì)軟RAID狀態(tài)進(jìn)行監(jiān)視與跟蹤。# cat /proc/mdstat查看有關(guān)軟RAID的各種配置信息：RAID級(jí)別、成員設(shè)備、md文件、塊大小（chunk size）、塊數(shù)、校驗(yàn)算法及工作狀態(tài)等。3.2 基于主機(jī)I/O控制器的RAID即通常所說的硬RAID，RAID功能由帶有RAID固件的專用I/O控制器來完成，如圖2所示。將存儲(chǔ)相關(guān)的操作從主機(jī)CPU分擔(dān)出來，由I/O控制器上自帶的硬件資源如CPU（內(nèi)含校驗(yàn)計(jì)算邏輯AAU），內(nèi)存，I/O總線來完成，不僅能實(shí)現(xiàn)更為復(fù)雜的RAID組合，對(duì)存儲(chǔ)性能的提高也是顯而易見的。 圖2基于I/O控制器的硬RAID3.2.1 內(nèi)核支持對(duì)于板卡級(jí)的硬RAID，和Linux中的其它硬件一樣，首先要安裝驅(qū)動(dòng)軟件，安裝的方式有多種可選：l 編譯至內(nèi)核：需驅(qū)動(dòng)源碼。配置內(nèi)核時(shí)，確保內(nèi)核配置文件和內(nèi)核Makefile文件存有該板卡的相關(guān)信息。同軟RAID一樣可使用靜態(tài)編譯，也可作為模塊編譯進(jìn)內(nèi)核l 作為外掛模塊需驅(qū)動(dòng)源碼。可不編譯內(nèi)核，使用/lib/modules/$(shell uname -r)/build編譯驅(qū)動(dòng)源碼，生成的*.o或*.ko文件拷貝至/lib/modules/$(shell uname -r)/kernel/driver/，執(zhí)行安裝命令（modprobe）即可l DKMS方式廠商不提供源碼，將驅(qū)動(dòng)做進(jìn)DKMS（Dynamic Kernel Module Support）模式的軟件包中，用戶使用DKMS工具將該軟件包展開，板卡驅(qū)動(dòng)便會(huì)自動(dòng)安裝至內(nèi)核中。此方式僅限于標(biāo)準(zhǔn)內(nèi)核。非標(biāo)準(zhǔn)（如經(jīng)過較大動(dòng)作的修改配置和編譯）內(nèi)核有可能因環(huán)境不匹配而導(dǎo)致安裝失敗，嚴(yán)重時(shí)會(huì)破壞系統(tǒng)文件，使用時(shí)應(yīng)格外小心。l RPM方式廠商不提供源碼，將驅(qū)動(dòng)做進(jìn)RPM模式的軟件包中，用戶使用RPM命令展開該軟件包，驅(qū)動(dòng)自動(dòng)安裝。目前為止，最簡便快捷的驅(qū)動(dòng)安裝方式，和DKMS方式相比，出錯(cuò)率低，安全性也更高。3.2.2 硬RAID管理板卡級(jí)的硬RAID管理一般有三種方式：l BIOS和主板一樣，大多數(shù)RAID板卡都帶有BIOS，進(jìn)入該BIOS可對(duì)RAID進(jìn)行創(chuàng)建和管理。操作直接，穩(wěn)定性好，且不依賴Linux。l 管理軟件管理RAID的圖形界面軟件，運(yùn)行在Linux系統(tǒng)之上的用戶空間。依賴Linux內(nèi)核、GUI工具包和庫，不同版本還可能會(huì)不兼容，但界面友好，操作方便。l CLI管理RAID的命令行接口，也運(yùn)行在Linux系統(tǒng)之上的用戶空間。比管理軟件穩(wěn)定，可將所需的命令制成腳本文件，以備重啟系統(tǒng)時(shí)自動(dòng)運(yùn)行。l API對(duì)于需要在Linux系統(tǒng)中對(duì)RAID板卡進(jìn)行二次開發(fā)的用戶，有些廠商可提供控制管理板卡的Linux版API（應(yīng)用程序接口）。硬RAID的建立和初始化工作完成后，在Linux中以塊設(shè)備/dev/sdb的形式存在，直接對(duì)該塊設(shè)備/dev/sdb進(jìn)行分區(qū)（fdisk）、創(chuàng)建文件系統(tǒng)（mkfs）和掛載（mount），便可對(duì)該陣列進(jìn)行正常的讀寫訪問。也可在多個(gè)這樣的設(shè)備之上構(gòu)建更高層次的軟RAID，或使用其它存儲(chǔ)管理工具如邏輯卷管理LVM。3.3 基于磁盤子系統(tǒng)的RAID。RAID設(shè)備的軟、硬件全部集成在outboard（和主機(jī)物理分離）機(jī)箱中，能夠提供最廣泛的RAID特征和功能。機(jī)箱和主機(jī)系統(tǒng)通過標(biāo)準(zhǔn)協(xié)議（如SCSI、FC、SAS）的HBA相連，以提供讀寫操作的數(shù)據(jù)通路，維護(hù)和管理通道可能是串口、網(wǎng)口或其他通信協(xié)議。Linux內(nèi)核中只需安裝HBA的驅(qū)動(dòng)，無需對(duì)陣列提供額外的支持。該設(shè)備可配置性好，模塊化程度高，多數(shù)模塊支持熱交換，跟蹤與監(jiān)視設(shè)備狀態(tài)的實(shí)時(shí)性強(qiáng)，異常處理及時(shí)，故障定位準(zhǔn)確，能提供與主機(jī)的快速無縫連接。缺點(diǎn)是價(jià)格昂貴，無論初期投資或運(yùn)營維護(hù)成本在各種RAID設(shè)備中都是最高的。如圖3所示 圖3Outboard RAID子系統(tǒng)4 在Linux下提升RAID性能雖然RAID本身已具備相當(dāng)?shù)男阅軆?yōu)勢，但在Linux系統(tǒng)中仍能通過多種途徑進(jìn)一步提高數(shù)據(jù)吞吐量。4.1緩存策略在改善I/O性能的標(biāo)準(zhǔn)技術(shù)中，緩存是很重要的一個(gè)。其基本思想是：把數(shù)據(jù)從一個(gè)訪問速度慢的地點(diǎn)拷貝到另一個(gè)訪問速度快的地點(diǎn)1。由于磁盤操作包含機(jī)械動(dòng)作（如尋找磁道），反應(yīng)時(shí)延總是不盡人意，緩存的作用是將數(shù)據(jù)保存在相對(duì)較快的內(nèi)存中，使得系統(tǒng)直接訪問磁盤的概率大大降低，從而提高數(shù)據(jù)的通過量。4.1.1幾種基本的緩存算法3緩存的讀算法：使用智能方法對(duì)系統(tǒng)最近需要的數(shù)據(jù)作出預(yù)言，并預(yù)先放置在緩存中，基本算法有：l 最近最少使用（LRU）最近讀過的數(shù)據(jù)不久將再次被使用。選擇要丟棄的應(yīng)是最近很少使用的數(shù)據(jù)。在應(yīng)用擁有“熱區(qū)”并連續(xù)訪問同樣數(shù)據(jù)的情況下，該算法的效率最高，故適用于數(shù)據(jù)庫的事物處理應(yīng)用。l 預(yù)先讀緩存（read ahead）已經(jīng)讀入的數(shù)據(jù)將不再需要，而依次需要的是即將順序讀入的幾個(gè)數(shù)據(jù)塊，適用于順序訪問數(shù)據(jù)的應(yīng)用。緩存的寫算法：需要被寫至設(shè)備的數(shù)據(jù)，只寫入緩存便向系統(tǒng)返回操作已完成標(biāo)志，而不是必須等待磁盤的存儲(chǔ)確認(rèn)，這樣可節(jié)省大量時(shí)間，讓系統(tǒng)能夠處理更多的I/O操作。緩存中的寫數(shù)據(jù)會(huì)在系統(tǒng)較為空閑的時(shí)候刷新至磁盤?；谶@樣的思想，提供兩種算法：l 通寫（write through）數(shù)據(jù)寫入緩存后，立即寫入磁盤。是最保守、最安全的方案，性能也最低。l 回寫（write back）數(shù)據(jù)寫入緩存后，不立即寫入磁盤，而是在系統(tǒng)較為空閑時(shí)將幾個(gè)I/O操作集中起來，一次性地寫入磁盤，以給應(yīng)用提供更快的響應(yīng)。在使性能得到極大改善的同時(shí)，引入了數(shù)據(jù)不一致的安全隱患。當(dāng)非正常斷電時(shí)，緩存中的數(shù)據(jù)未及時(shí)刷新到盤，數(shù)據(jù)將面臨丟失的危險(xiǎn)，需要應(yīng)急電源等措施來解決數(shù)據(jù)一致性問題。4.1.2板卡級(jí)緩存策略對(duì)于大多數(shù)板卡級(jí)的硬RAID而言，板卡自身的固件中就包含有緩存策略，算法同前所述。各廠家的具體實(shí)現(xiàn)細(xì)節(jié)各不相同，用戶可根據(jù)需要通過前述的管理方式（BIOS、管理軟件、CLI）自行選擇配置。4.1.3系統(tǒng)級(jí)緩存策略在Linux的存儲(chǔ)管理模塊中，也內(nèi)嵌了一定的緩存算法，包括預(yù)讀算法和回寫算法，使用相應(yīng)的命令（如blockdev）啟用它，也能起到提升存儲(chǔ)性能的作用，但程度視情況不同。對(duì)于軟RAID，作用是非常明顯的。對(duì)于硬RAID，某些板卡在研發(fā)時(shí)依賴系統(tǒng)的緩存，性能提升明顯，而某些板卡的性能在啟用系統(tǒng)緩存前后無大區(qū)別。4.2標(biāo)記命令隊(duì)列這是另一種加強(qiáng)性能的技術(shù)，既可在板卡內(nèi)實(shí)現(xiàn)，也可在磁盤控制器中實(shí)現(xiàn)。設(shè)備可以接受從主機(jī)傳來的多個(gè)命令，并組織這些命令，使設(shè)備的操作效率達(dá)到最高。這需要設(shè)備方擁有智能處理器，對(duì)接收的多個(gè)命令重新進(jìn)行優(yōu)化排序，使磁盤的磁臂移動(dòng)量達(dá)到最小。個(gè)別請求可能會(huì)延時(shí)，但設(shè)備的整個(gè)吞吐量將得到更好地改善。用戶可根據(jù)需要和選擇板卡級(jí)緩存策略一樣自行配置。4.3文件系統(tǒng)文件系統(tǒng)的選取對(duì)存儲(chǔ)性能的影響也較大。l 設(shè)定合適的文件系統(tǒng)塊大小當(dāng)需訪問的文件大小與文件系統(tǒng)塊大小相同時(shí)，I/O操作便可在同一個(gè)塊內(nèi)完成。大文件選用較大塊，小文件選用較小塊，可最大限度的降低讀寫開銷。l 日志文件系統(tǒng)中的性能問題Linux的日志文件系統(tǒng)（如ext3）比非日志文件系統(tǒng)（ext2）性能要低，因?yàn)樵黾恿巳罩緞?chuàng)建和修改的開銷。但較新的日志文件系統(tǒng)在設(shè)計(jì)時(shí)就已將存儲(chǔ)性能考慮在內(nèi)，且日志可以設(shè)為僅記錄元數(shù)據(jù)的變化，使得維護(hù)日志對(duì)性能的影響降到最低限度。比起數(shù)據(jù)安全性和系統(tǒng)崩潰時(shí)的快速恢復(fù)，這點(diǎn)性能損失又顯得微不足道了。若將日志存放于單獨(dú)的設(shè)備分區(qū)，和訪問文件的設(shè)備分區(qū)分離開來，又能彌補(bǔ)上述的性能損失。命令如下：# mke2fs -O journal_dev /dev/sdxl 文件系統(tǒng)內(nèi)部的組織結(jié)構(gòu)對(duì)性能的影響傳統(tǒng)UNIX文件系統(tǒng)使用鏈接列表（linked list）來組織數(shù)據(jù)塊和inode，ext2文件系統(tǒng)是依靠塊位圖來查尋inode表，而許多新的文件系統(tǒng)采用數(shù)據(jù)庫中的B-tree（類似于平衡二進(jìn)制樹）的原理來組織文件。B-tree的高度比傳統(tǒng)二進(jìn)制樹的矮，每個(gè)節(jié)點(diǎn)可有兩片或兩片以上的葉子，使遍歷路徑短了許多，搜索數(shù)據(jù)更加快速。4l 調(diào)節(jié)文件系統(tǒng)的參數(shù)在一個(gè)特定的Linux文件系統(tǒng)中，也可通過使用合適的參數(shù)來提高性能。如ext2或ext3在創(chuàng)建時(shí)，使mke2fs命令的-R stride參數(shù)等于陣列的stripe size除以文件系統(tǒng)的block size，對(duì)提高軟RAID的性能有一定的幫助。又例如ext3在掛載時(shí)，選用data=writeback參數(shù)也有同樣的作用，但會(huì)有略微降低可靠性的代價(jià)。# mount t ext3 o data=writeback /dev/sdx /mnt/dirl 調(diào)節(jié)文件和目錄的參數(shù)可以對(duì)指定的文件和目錄，使用合適的參數(shù)來提高性能。如在日志文件系統(tǒng)中，文件和目錄的訪問時(shí)間（atime）比起創(chuàng)建時(shí)間（ctime）和修改（mtime），顯得不是很重要，禁止更新ctime可以減少訪問磁盤的次數(shù)。ext3中，可使用chattr命令設(shè)置文件和目錄的訪問時(shí)間（atime）不再被更新# chattr +A /userdir 4.4 改善RAID性能的其它途徑4.4.1與具體應(yīng)用相結(jié)合離開具體的應(yīng)用，提高存儲(chǔ)性能只能是紙上談兵。不同緩存策略適用于不同的應(yīng)用，如最近最少使用（LRU）算法適用于數(shù)據(jù)庫的事物處理應(yīng)用；預(yù)先讀緩存適用于大塊順序訪問。陣列屬性stripe size，用于定義數(shù)據(jù)分條（striping）的塊大小，64k是其通常的選擇，也可依照不同的應(yīng)用選取合適的值，較小的stripe size適合于隨機(jī)訪問，較大的stripe size在順序訪問時(shí)表現(xiàn)更佳。4.4.2 平衡處理器和I/O性能業(yè)內(nèi)普遍認(rèn)為，平衡各系統(tǒng)部分間的性能是系統(tǒng)達(dá)到最佳性能的關(guān)鍵。如果處理器能力受限，再快速的存儲(chǔ)通道放在系統(tǒng)中也難有出色表現(xiàn)。反之亦然，存儲(chǔ)保持以往不變，僅升級(jí)處理器也達(dá)不到希望的結(jié)果。當(dāng)然，升級(jí)處理器的處理能力影響軟RAID的程度遠(yuǎn)比硬RAID更加令人矚目，原因是不言而喻的。但是有一點(diǎn)要說明：在CPU同樣