SAN智能存儲(chǔ)解決方案

1、SAN智能存儲(chǔ)解決方案目前，計(jì)算機(jī)業(yè)正在進(jìn)入一場(chǎng)新的革命一SAN。這場(chǎng)革命被新的光纖通道技術(shù)(FibreChannel)催進(jìn)著飛快發(fā)展。其中包括光纖集線器，交換機(jī)技術(shù),全新的存儲(chǔ)區(qū)域網(wǎng)(StorageAreaNetwork:SAN)概念。在某種意義上，這些技術(shù)可以被簡(jiǎn)單地想象成一個(gè)與目前流行的網(wǎng)絡(luò)結(jié)構(gòu)沒(méi)有什么本質(zhì)的區(qū)別，不過(guò)是通過(guò)光纖通道提高了系統(tǒng)訪問(wèn)磁盤陣列的速度。但是，如果從另一個(gè)角度來(lái)看，這項(xiàng)技術(shù)給海量衛(wèi)星圖像、遙感數(shù)據(jù)存儲(chǔ)與分析提供了新的解決方案一一SAN智能存儲(chǔ)解決方案?？蒲行袠I(yè)應(yīng)用，特別是衛(wèi)星圖像、遙感數(shù)據(jù)存儲(chǔ)與分析的基礎(chǔ)是，存儲(chǔ)系統(tǒng)能夠提供海量數(shù)據(jù)的文件存儲(chǔ)和管理，同時(shí)能夠解決多

2、臺(tái)服務(wù)器并發(fā)訪問(wèn)和分析同一份數(shù)據(jù)的問(wèn)題。SAN集中存儲(chǔ)平臺(tái)為海量數(shù)據(jù)的存儲(chǔ)與管理提供了基礎(chǔ)架構(gòu)平臺(tái)，包括光纖交換機(jī)、海量磁盤陣列、智能磁帶庫(kù)等硬件存儲(chǔ)設(shè)備，而實(shí)現(xiàn)智能存儲(chǔ)還需要SAN存儲(chǔ)軟件系統(tǒng)，主要包括兩部分SAN共享文件系統(tǒng)、分層存儲(chǔ)管理系統(tǒng)。下面的章節(jié)，我們將詳細(xì)介紹如何為科研行業(yè)應(yīng)用建立一個(gè)智能存儲(chǔ)系統(tǒng)，包括存儲(chǔ)硬件平臺(tái)和軟件存儲(chǔ)管理平臺(tái)。智能存儲(chǔ)架構(gòu)智能存儲(chǔ)架構(gòu)包括如下內(nèi)容：光纖交換機(jī)、海量磁盤陣列、智能磁帶庫(kù)等硬件存儲(chǔ)設(shè)備，能夠?qū)崿F(xiàn)SAN文件系統(tǒng)共享和分層存儲(chǔ)管理的存儲(chǔ)軟件管理系統(tǒng)。智能存儲(chǔ)架構(gòu)如下圖所示。負(fù)責(zé)衛(wèi)星圖像遙感數(shù)據(jù)存儲(chǔ)和分析的服務(wù)器，可以共享存儲(chǔ)和訪問(wèn)磁盤陣列上的同一個(gè)

3、文件。磁盤陣列上存儲(chǔ)著應(yīng)用經(jīng)常訪問(wèn)的文件數(shù)據(jù)，不經(jīng)常訪問(wèn)的數(shù)據(jù)由存儲(chǔ)軟件透明”遷移到磁帶庫(kù)上存儲(chǔ)，同時(shí)存儲(chǔ)軟件還能實(shí)現(xiàn)數(shù)據(jù)備份的功能。SAN存儲(chǔ)架構(gòu)的實(shí)現(xiàn)SAN是目前最成熟的集中存儲(chǔ)系統(tǒng)，通過(guò)使用光纖存儲(chǔ)交換機(jī)將存儲(chǔ)設(shè)備(磁盤陣列、磁帶庫(kù)等)和主機(jī)系統(tǒng)通過(guò)光纖連接起來(lái)，SAN和傳統(tǒng)的SCSI存儲(chǔ)架構(gòu)相比能夠?yàn)閼?yīng)用、數(shù)據(jù)庫(kù)和文件訪問(wèn)均提供更高的性能，具有更強(qiáng)的擴(kuò)展性。一直以來(lái)，SAN系統(tǒng)的投資較高問(wèn)題成為很多中小企業(yè)采用SAN的阻礙，但是現(xiàn)在SAN的投資成本已大幅降低，近兩年，越來(lái)越多的企業(yè)開始轉(zhuǎn)向使用SAN系統(tǒng)。SAN存儲(chǔ)架構(gòu)包括：光纖通道交換機(jī)、高性能海量磁盤陣列、智能磁帶庫(kù)。在SAN系統(tǒng)中

4、，各服務(wù)器、磁帶庫(kù)、磁盤陣列通過(guò)兩個(gè)光纖交換機(jī)連接成一個(gè)SAN的結(jié)構(gòu)。通過(guò)為每個(gè)服務(wù)器配置一個(gè)光纖主機(jī)適配器(HBA卡)，可以將應(yīng)用服務(wù)器和備份服務(wù)器通過(guò)不同的光纖交換機(jī)連接到SAN環(huán)境。關(guān)鍵的應(yīng)用服務(wù)器需要考慮使用冗余通道，通道的冗余不僅提高了應(yīng)用服務(wù)器訪問(wèn)存儲(chǔ)設(shè)備的性能，同時(shí)也提高了對(duì)存儲(chǔ)在SAN存儲(chǔ)設(shè)備上關(guān)鍵數(shù)據(jù)的可訪問(wèn)性。所有需要實(shí)現(xiàn)冗余路徑的應(yīng)用服務(wù)器通過(guò)配置兩個(gè)光纖主機(jī)適配器，分別連接到兩個(gè)不同的交換機(jī)。新的服務(wù)器也可以采用同樣的方式連接到SAN環(huán)境。光纖通道交換機(jī)光纖通道交換機(jī)是構(gòu)架SAN存儲(chǔ)網(wǎng)絡(luò)的關(guān)鍵設(shè)備，其數(shù)據(jù)交換性能、產(chǎn)品的安全性和可靠性直接決定著SAN存儲(chǔ)架構(gòu)的安全性和可

5、靠性。應(yīng)該選擇主流光纖交換機(jī)產(chǎn)品，Brocade或Mcdata交換機(jī)在SAN架構(gòu)中的市場(chǎng)占用率較高，技術(shù)比較成熟，因此建議選用Brocade或Mcdata交換機(jī)構(gòu)架存儲(chǔ)局域網(wǎng)。方案推薦使用兩臺(tái)交換機(jī)，兩臺(tái)交換機(jī)互相作冗余備份。對(duì)于冗余要求不高的主機(jī)，也可以僅連接單臺(tái)交換機(jī)，不使用冗余路徑。主機(jī)光纖通道卡(HBA卡)是主機(jī)和SAN光纖交換機(jī)的連接器件，按照標(biāo)書要求，光纖陣列卡的選型由系統(tǒng)集成商和用戶商定。根據(jù)我們的經(jīng)驗(yàn)，可以選擇QLOGIC、ADEPTEC、JNI、EMULEX等廠商的產(chǎn)品，也可以選擇服務(wù)器配套的HBA(光纖通道卡)。所選擇的HBA卡必須與主機(jī)、磁盤陣列、光纖交換機(jī)等完全兼容。同

6、時(shí)應(yīng)該選擇2Gb/s產(chǎn)品以保證性能。高性能海量磁盤陣列在SAN存儲(chǔ)架構(gòu)中，磁盤陣列系統(tǒng)是關(guān)鍵的數(shù)據(jù)集中存儲(chǔ)系統(tǒng)，磁盤陣列本身的數(shù)據(jù)吞吐量、存儲(chǔ)容量及其擴(kuò)展性，直接決定著貴單位系統(tǒng)的整體性能。方案應(yīng)選取高速的光纖結(jié)構(gòu)的磁盤陣列，提供數(shù)據(jù)的海量存儲(chǔ)，形成SAN存儲(chǔ)架構(gòu)，通過(guò)光纖交換機(jī)，使得各主機(jī)可以跨平臺(tái)的共享存儲(chǔ)設(shè)備。磁盤陣列選型應(yīng)著重考慮以下幾個(gè)方面：(1)可靠性、可用性、可維護(hù)性(2)高性能、和容量可擴(kuò)展性(3)開放性和兼容性智能磁帶庫(kù)磁帶庫(kù)產(chǎn)品的開放型和兼容性、性能和存儲(chǔ)容量及其擴(kuò)展性，和磁盤存儲(chǔ)系統(tǒng)具有同樣的重要性，它直接決定著智能存儲(chǔ)系統(tǒng)的性能和容量，簡(jiǎn)單的說(shuō)，就是智能存儲(chǔ)系統(tǒng)可以在多

7、長(zhǎng)時(shí)間內(nèi)完成不經(jīng)常使用的數(shù)據(jù)從磁盤遷移到磁帶，能夠存儲(chǔ)多大的數(shù)據(jù)量。這就要求磁帶庫(kù)系統(tǒng)的設(shè)計(jì)，必須符合實(shí)際應(yīng)用環(huán)境數(shù)據(jù)磁帶存儲(chǔ)速度和數(shù)據(jù)量的需求，磁帶庫(kù)系統(tǒng)的存儲(chǔ)量在滿足當(dāng)前需求的同時(shí)還要隨應(yīng)用系統(tǒng)數(shù)據(jù)量的增長(zhǎng)而平滑擴(kuò)展，磁帶庫(kù)系統(tǒng)的讀寫速度也需符合具體業(yè)務(wù)環(huán)境的需求，既不能低于環(huán)境需求也不能過(guò)高，速度慢不能在有限的時(shí)間里完成數(shù)據(jù)存儲(chǔ)，速度過(guò)快是以較高的投資為代價(jià)的，不利于合理的利用IT投資。在選擇具體磁帶庫(kù)產(chǎn)品廠家時(shí)，方案推薦使用美國(guó)先進(jìn)數(shù)字信息公司(ADIC)公司的磁帶庫(kù)產(chǎn)品。ADIC是一家世界領(lǐng)先的專門提供數(shù)據(jù)保護(hù)、數(shù)據(jù)管理和數(shù)據(jù)訪問(wèn)的開放系統(tǒng)智能化存儲(chǔ)解決方案供應(yīng)商。ADIC公司提供滿

8、足SAN要求的高性能磁帶庫(kù)、磁盤和磁帶庫(kù)管理軟件等產(chǎn)品。軟件存儲(chǔ)管理平臺(tái)負(fù)責(zé)科研、衛(wèi)星圖像、遙感數(shù)據(jù)存儲(chǔ)和分析的服務(wù)器，可以共享存儲(chǔ)和訪問(wèn)磁盤陣列上的同一個(gè)文件。磁盤陣列上存儲(chǔ)著應(yīng)用經(jīng)常訪問(wèn)的文件數(shù)據(jù)，不經(jīng)常訪問(wèn)的數(shù)據(jù)由存儲(chǔ)軟件透明”遷移到磁帶庫(kù)上存儲(chǔ)，同時(shí)還需實(shí)現(xiàn)數(shù)據(jù)備份的功能。下面就將介紹存儲(chǔ)軟件系統(tǒng)。包括三方面內(nèi)容：SAN共享文件系統(tǒng)、分層存儲(chǔ)管理系統(tǒng)和數(shù)據(jù)備份系統(tǒng)。SAN共享文件系統(tǒng)，實(shí)現(xiàn)SAN存儲(chǔ)架構(gòu)下的文件多主機(jī)共享；分層存儲(chǔ)管理系統(tǒng)，則實(shí)現(xiàn)不經(jīng)常訪問(wèn)的文件遷移到磁帶和數(shù)據(jù)多版本備份的功能。SAN共享文件系統(tǒng)SAN共享文件系統(tǒng)能夠使多個(gè)主機(jī)服務(wù)器通過(guò)SAN同時(shí)對(duì)數(shù)據(jù)進(jìn)行訪問(wèn)，實(shí)現(xiàn)了

9、數(shù)據(jù)訪問(wèn)的高性能。SAN共享文件系統(tǒng)使得存儲(chǔ)管理服務(wù)器可以與應(yīng)用服務(wù)器運(yùn)行在不同的服務(wù)器上，甚至可以運(yùn)行在不同操作系統(tǒng)平臺(tái)的服務(wù)器上，當(dāng)應(yīng)用需要增加服務(wù)器的性能時(shí)，可以在原有服務(wù)器的基礎(chǔ)上進(jìn)行擴(kuò)容，也可以增加新的服務(wù)器運(yùn)行新的應(yīng)用，提高了整個(gè)系統(tǒng)的可伸縮性。目前主流的SAN共享文件系統(tǒng)軟件有三種：(1) VERITASClusterFileSystem;(2) IBMSANergy;(3) ADICStorNextFileSystem(FS);上述三種文件系統(tǒng)，各有各的優(yōu)勢(shì)：VERITASClusterFileSystem是群集文件系統(tǒng)，保證主機(jī)群集中的各個(gè)主機(jī)節(jié)點(diǎn)可以共享訪問(wèn)同一個(gè)存儲(chǔ)空間或

10、同一個(gè)文件。但它的局限性也很高，必須要求所有共享節(jié)點(diǎn)為同一操作系統(tǒng)平臺(tái)，安裝統(tǒng)一版本群集軟件，此外還有很多限制，另外，支持的操作系統(tǒng)有限，目前僅支持Solaris和HP-UX。但是由于其和存儲(chǔ)管理軟件結(jié)合的較緊密，文件共享讀寫性能較高，穩(wěn)定性較好。SANergy對(duì)底層文件系統(tǒng)依賴較高，支持傳統(tǒng)的NTFS、UFS、EXT2等，產(chǎn)品發(fā)展受上述產(chǎn)品的制約，產(chǎn)品未來(lái)發(fā)展不明朗。SANergy采用現(xiàn)有DAS文件系統(tǒng)管理硬件，視主機(jī)平臺(tái)而定(如是Windows就是NTFS、Solaris就是UFS、Linux就是EXT2等)技術(shù)依賴其他廠商，在混合平臺(tái)之間共享數(shù)據(jù)需要采用NFS協(xié)議處理，不能滿足混合平臺(tái)、

11、大量主機(jī)并發(fā)工作環(huán)境中的性能要求。SANergy不是日志型文件系統(tǒng)，系統(tǒng)可靠性較差。ADICStorNextFileSystem(FS)是64位日志型文件系統(tǒng)，ADIC掌握所有技術(shù)和知識(shí)產(chǎn)權(quán)，具有廣泛的發(fā)展?jié)摿?。StorNextFS是真正的64位文件系統(tǒng)，可以保證管理巨大的磁盤空間和文件數(shù)量，不同類型的主機(jī)可以同時(shí)以FCDirectI/O方式訪問(wèn)數(shù)據(jù)，中間不需要任何協(xié)議轉(zhuǎn)換。因此，StorNextFS可以充分利用和發(fā)揮SAN體系結(jié)構(gòu)的所有優(yōu)點(diǎn)，完全擺脫現(xiàn)有文件系統(tǒng)產(chǎn)品的結(jié)構(gòu)束縛(現(xiàn)有文件系統(tǒng)是為DAS存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)的，不能充分發(fā)揮SAN的優(yōu)勢(shì))，特別是在混合平臺(tái)、大量主機(jī)并發(fā)工作環(huán)境中優(yōu)勢(shì)非常突

12、出。采用日志型文件系統(tǒng)的設(shè)計(jì)，保證了系統(tǒng)的可靠性、健壯性和快速恢復(fù)能力。StorNextFS目前支持Solaris>Aix、IRIX、Linux和Windows。綜上所述，從異構(gòu)混合平臺(tái)的支持能力、文件系統(tǒng)體系結(jié)構(gòu)、性能和可靠性等方面，ADICStorNextFS會(huì)是一個(gè)很好的選擇。分層存儲(chǔ)管理系統(tǒng)科研行業(yè)數(shù)據(jù)系統(tǒng)多擁有海量數(shù)據(jù)，未來(lái)幾年數(shù)據(jù)量還將飛速增長(zhǎng)。這些海量數(shù)據(jù)中只有少量的數(shù)據(jù)是經(jīng)常被應(yīng)用訪問(wèn)的部分，而大量的數(shù)據(jù)都具有較低的訪問(wèn)頻率，如果將這些數(shù)據(jù)都存儲(chǔ)在價(jià)格很高的磁盤上，則所需要的投資是巨大的。分層存儲(chǔ)管理系統(tǒng)，需要實(shí)現(xiàn)的最主要的功能就是將大量不經(jīng)常使用的數(shù)據(jù)存儲(chǔ)到較低性能，但

13、價(jià)格低廉的存儲(chǔ)設(shè)備上，通常是磁帶庫(kù)系統(tǒng)。在選擇分層存儲(chǔ)管理軟件時(shí)，除了考慮其本身是否能夠滿足需求外，我們重點(diǎn)還考慮了實(shí)現(xiàn)SAN共享文件系統(tǒng)的軟件與實(shí)現(xiàn)數(shù)據(jù)遷移的存儲(chǔ)管理軟件是否有機(jī)的集成在一起，以及選擇的存儲(chǔ)管理軟件是否支持大數(shù)據(jù)量、高訪問(wèn)量的要求。智能存儲(chǔ)系統(tǒng)需要保證關(guān)鍵數(shù)據(jù)始終可以訪問(wèn)，并具有可靠的數(shù)據(jù)完整性，而不管有任何資源限制。方案推薦使用ADICStorNextStorageManager軟件，通過(guò)用戶定義的策略，StorNextSM能夠?qū)㈥P(guān)鍵數(shù)據(jù)存儲(chǔ)在高性能介質(zhì)上，將低優(yōu)先級(jí)數(shù)據(jù)存儲(chǔ)在較慢的介質(zhì)上，從而在訪問(wèn)需求和可用容量之間實(shí)現(xiàn)平衡。對(duì)于數(shù)據(jù)完整性，StorNextSM提供了關(guān)鍵

14、的數(shù)據(jù)保護(hù)選項(xiàng)，例如版本確定、文件復(fù)制和介質(zhì)復(fù)制。隨著數(shù)據(jù)量不斷增長(zhǎng)，要求企業(yè)更好地利用存儲(chǔ)資源的壓力也在增長(zhǎng)。通過(guò)使用StorNextSM的策略，根據(jù)隨時(shí)間推移所需的服務(wù)質(zhì)量(QoS)級(jí)別管理磁盤和磁帶系統(tǒng)之間的數(shù)據(jù)移動(dòng)，用戶可以規(guī)劃不同數(shù)據(jù)類別的整個(gè)生命周期，其結(jié)果是提供了一個(gè)可輕松地?cái)U(kuò)展，并能讓用戶以最大的靈活性和最小的中斷處理不斷增長(zhǎng)的數(shù)據(jù)量的系統(tǒng)。特另1J是，StorNextStorageManager(StorNextSM)能夠與StorNextFileSystem配合工作，提供自動(dòng)化的數(shù)據(jù)放置和保護(hù)。StorNextSM具有一個(gè)實(shí)時(shí)策略引擎，能使企業(yè)為不同的數(shù)據(jù)類別設(shè)置預(yù)定義的服

15、務(wù)級(jí)別。這些策略能夠隨時(shí)間推移確定將數(shù)據(jù)存儲(chǔ)在什么地方(RAID、ATA磁盤或磁帶上)。具有文件復(fù)制、版本確定和離線介質(zhì)管理等功能，提供增加的數(shù)據(jù)保護(hù)。結(jié)果是一個(gè)可靠的自動(dòng)化系統(tǒng)，能夠?yàn)橛脩魩?lái)如下好處：(1)釋放管理員時(shí)間(2)優(yōu)化存儲(chǔ)資源利用率(3)保護(hù)數(shù)據(jù)完整性(4)提高數(shù)據(jù)安全性軟件存儲(chǔ)平臺(tái)選型實(shí)現(xiàn)SAN共享文件系統(tǒng)與數(shù)據(jù)遷移有多種相應(yīng)的存儲(chǔ)管理軟件，但將具有兩種功能的存儲(chǔ)管理軟件實(shí)現(xiàn)有機(jī)集成卻不是每一種產(chǎn)品都能夠滿足的，有些還是相互排斥的。采用日志型文件系統(tǒng)是實(shí)現(xiàn)故障快速恢復(fù)的基礎(chǔ)，是數(shù)據(jù)中心海量文件系統(tǒng)的最基本的要求，如IBMSANergy就不是日志型文件系統(tǒng)，因此我們不予采用。另

16、外，海量數(shù)據(jù)的遷移，對(duì)數(shù)據(jù)保護(hù)的要求也很高，例如，分層存儲(chǔ)系統(tǒng)是否支持離線介質(zhì)管理、支持磁帶拷貝和存儲(chǔ)介質(zhì)遷移、文件可以同時(shí)復(fù)制到多盤磁帶中、文件可以保留多種版本，這些都是需要考慮的問(wèn)題。有的文件系統(tǒng)配合使用的數(shù)據(jù)遷移軟件本身不具備數(shù)據(jù)保護(hù)的功能或者數(shù)據(jù)保護(hù)的功能不能完全滿足需求，需要其它的產(chǎn)品配合等，也不能采用?？紤]到上述問(wèn)題，方案推薦使用ADICStorNextManagementSuite(SNMS)智能存儲(chǔ)管理系統(tǒng)。ADICStorNextManagementSuite(SNMS)包括兩個(gè)組件：StorNextFileSystem(SAN共享文件系統(tǒng))；StorNext?Storage

17、Manager(基于策略控制的數(shù)據(jù)存儲(chǔ)管理)。ADICStorNextManagementSuite(SNMS)將SAN共享文件系統(tǒng)與數(shù)據(jù)遷移，特別是數(shù)據(jù)保護(hù)技術(shù)有機(jī)的結(jié)合在一起，實(shí)現(xiàn)了智能存儲(chǔ)系統(tǒng)所需的各個(gè)需求的有機(jī)整合。解決方案特點(diǎn)1. .各SAN主機(jī)高速共享訪問(wèn)大型多媒體文件2. -優(yōu)化組合各種磁盤資源，并發(fā)訪問(wèn)多個(gè)磁盤設(shè)備，使系統(tǒng)充分利用SAN的高性能3. .同時(shí)支持不同的主機(jī)平臺(tái)(UNIX,Linux,Windows)4. "支持XDSM數(shù)據(jù)管理規(guī)范5. "可以存儲(chǔ)和管理海量大型多媒體文件6. "支持大量SAN主機(jī)以本地I/O方式，同時(shí)訪問(wèn)同一個(gè)文件7. 快速訪問(wèn)可移動(dòng)存儲(chǔ)介質(zhì)（磁帶）當(dāng)中的數(shù)據(jù)：充分發(fā)揮高速磁帶機(jī)和SAN存儲(chǔ)網(wǎng)絡(luò)的能力。8. .管理多級(jí)存儲(chǔ)空間的能力（昂貴磁盤陣列、廉價(jià)磁盤組、磁帶庫(kù)和磁帶架）9. .支持多種類型的磁帶機(jī)驅(qū)動(dòng)器技術(shù)（LTO、AIT、3590、9x40等）10. 兼容IEEEMSRMV4標(biāo)準(zhǔn)11. -提供以下服務(wù)：1. o虛擬磁盤空間（擴(kuò)展系統(tǒng)存儲(chǔ)空間）2. o數(shù)據(jù)復(fù)制（保證數(shù)據(jù)安全）3. o數(shù)據(jù)恢復(fù)（多版本保存、反刪除、反破壞）4. o歸檔備份（滿足一次寫，很少讀的應(yīng)用）12. "提供訪問(wèn)共享的磁帶庫(kù)和磁帶機(jī)的機(jī)制13. 支持不同控制類型的磁帶庫(kù)（FC、