數(shù)據(jù)存儲(chǔ)與備份技術(shù)_第1頁(yè)
數(shù)據(jù)存儲(chǔ)與備份技術(shù)_第2頁(yè)
數(shù)據(jù)存儲(chǔ)與備份技術(shù)_第3頁(yè)
數(shù)據(jù)存儲(chǔ)與備份技術(shù)_第4頁(yè)
數(shù)據(jù)存儲(chǔ)與備份技術(shù)_第5頁(yè)
已閱讀5頁(yè),還剩126頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

數(shù)據(jù)存儲(chǔ)與備份技術(shù)閃存直接外掛存儲(chǔ)(DAS)

存儲(chǔ)域網(wǎng)絡(luò)(SAN)網(wǎng)絡(luò)附加存儲(chǔ)設(shè)備(NAS)存儲(chǔ)技術(shù)發(fā)展數(shù)據(jù)備份一、閃存

閃存是內(nèi)存的一種,閃存卡(FlashCard)是利用閃存(FlashMemory)技術(shù)達(dá)到存儲(chǔ)電子信息的存儲(chǔ)器,一般應(yīng)用在數(shù)碼相機(jī),掌上電腦,MP3等小型數(shù)碼產(chǎn)品中作為存儲(chǔ)介質(zhì),所以樣子小巧,有如一張卡片,所以稱(chēng)之為閃存卡。根據(jù)不同的生產(chǎn)廠商和不同的應(yīng)用,閃存卡大概有:SmartMedia(SM卡)、CompactFlash(CF卡)、MultiMediaCard(MMC卡)、SecureDigital(SD卡)、MemoryStick(記憶棒)、XD-PictureCard(XD卡)和微硬盤(pán)(MICRODRIVE)。CF(CompactFlash)卡

CompactFlash的誕生比較早,由最大的FlashMemory卡廠商之一美國(guó)SanDisk于1994年首次推出。意為“標(biāo)準(zhǔn)閃存卡”,簡(jiǎn)稱(chēng)“CF卡”。CF(CompactFlash)卡

CF卡與其它存儲(chǔ)卡相比,有幾個(gè)特點(diǎn)。CF卡使用flash作為存儲(chǔ)媒介,無(wú)需供電也能保存資料,而且工作時(shí)耗電量也很低,它在3.3V或者5V的電壓下工作,其耗電量只相當(dāng)于傳統(tǒng)存儲(chǔ)設(shè)備如磁帶、硬盤(pán)的3%或更低,適合用在移動(dòng)設(shè)備上;如上圖,CF卡由兩個(gè)基本部分組成:控制芯片和閃存模組,閃存用于存儲(chǔ)信息,控制芯片用來(lái)實(shí)現(xiàn)與主機(jī)的連接及控制數(shù)據(jù)在閃存模塊中的傳輸。CF(CompactFlash)卡

CF卡比閃盤(pán)之類(lèi)的存儲(chǔ)器更加接近硬盤(pán),CF卡內(nèi)部控制器設(shè)計(jì)完全模擬硬盤(pán),而且使用標(biāo)準(zhǔn)的ATA/IDE接口界面,可以很容易的通過(guò)IDE接口與電腦連接,而且早已實(shí)現(xiàn)無(wú)驅(qū)動(dòng)設(shè)計(jì),使用非常方便。CF卡最初一般是配備PCMCIA適配器在筆記本電腦的PCMCIA插槽上使用,現(xiàn)在還有了許多USB、IEEE1394讀卡器等各種各樣的CF適配器,使CF卡與電腦之間的信息傳輸變得更加方便。SM(SmartMedia)卡

SmartMedia是由東芝公司ToshibaAmericaElectronicComponents(TAEC)在1995年11月發(fā)布的FlashMemory存貯卡,三星公司SamsungElectronicCo.在1996年購(gòu)買(mǎi)了生產(chǎn)和銷(xiāo)售許可,這兩家公司成為主要的SmartMedia廠商。

SmartMedia采用了東芝大力鼓吹的NAND型FlashMemory,因此體積做得很小:45mmx37mmx0.76mm,非常的薄,僅重1.8克。NAND型FlashMemory的功勞還使得SmartMedia具有比較高的擦寫(xiě)性能,成為除了薄以外的另一個(gè)特點(diǎn)。

SM(SmartMedia)卡

SmartMedia為了節(jié)省自身的成本,存貯卡上只有FlashMemory模塊和接口,而并沒(méi)有包括控制芯片,所以使用SmartMedia的設(shè)備必須自己裝置控制機(jī)構(gòu)。但這卻帶來(lái)了令人頭疼的兼容性問(wèn)題:由于各家的控制不盡相同,所以存在著格式互不兼容的現(xiàn)象,如一張SmartMedia在某個(gè)MP3播放器上用了,往往就不能直接在數(shù)碼相機(jī)上使用。另外舊的設(shè)備是根據(jù)以前的SmartMedia規(guī)范來(lái)設(shè)計(jì)的,所以當(dāng)SmartMedia推出新的升級(jí)產(chǎn)品時(shí),規(guī)范往往會(huì)改變,以前的設(shè)備很多就無(wú)法使用。例如推出新容量SmartMedia時(shí),頁(yè)/塊大小和其它一些東西都改變了,結(jié)果新容量的SmartMedia無(wú)法在很多舊的設(shè)備上使用,造成不少浪費(fèi)。

接口方面,SmartMedia采用了22針的接口,我們?cè)诳ㄉ峡吹降氖潜槠降慕鹗种浮?/p>

SIM卡是(SubscriberIdentityModel客戶識(shí)別模塊)的縮寫(xiě),也稱(chēng)為智能卡、用戶身份識(shí)別卡,GSM數(shù)字移動(dòng)電話機(jī)必須裝上此卡方能使用。SIM卡是帶有微處理器的智能芯片卡,它的構(gòu)成是以下幾個(gè)模塊:---CPU---程序存儲(chǔ)器(ROM)---工作存儲(chǔ)器(RAM)---數(shù)據(jù)存儲(chǔ)器(EPROM或E2PROM)---串行通信單元這五個(gè)模塊必須集成在一塊集成電路中,否則其安全性會(huì)受到威脅。因?yàn)椋酒g的連線可能成為非法存取和盜用SIM卡的重要線索。在實(shí)際使用中有兩種功能相同而形式不同的SIM卡:

(a)卡片式(俗稱(chēng)大卡)SIM卡,這種形式的SIM卡符合有關(guān)IC卡的ISO…7816標(biāo)準(zhǔn),類(lèi)似IC卡。

(b)嵌入式(俗稱(chēng)小卡)SIM卡,其大小只有25mm×15mm,是半永久性地裝入到移動(dòng)臺(tái)設(shè)備中的卡。兩種卡外裝都有防水、耐磨、抗靜電、接觸可靠和精度高的特點(diǎn)。SIM卡中存儲(chǔ)了數(shù)字移動(dòng)電話客戶的信息、加密密鑰等內(nèi)容,它可供GSM網(wǎng)絡(luò)對(duì)客戶身份進(jìn)行鑒別,并對(duì)客戶通話時(shí)的語(yǔ)音信息進(jìn)行加密。SIM卡的使用,完全防止了并機(jī)和通話被竊聽(tīng)行為,并且SIM卡的制作是嚴(yán)格按照GSM國(guó)際標(biāo)準(zhǔn)和規(guī)范來(lái)完成的,它使客戶的正常通信得到了可靠的保障。SIM卡在GSM系統(tǒng)中的應(yīng)用,使得卡和手機(jī)分離,一張SIM卡唯一標(biāo)識(shí)一個(gè)客戶。一張SIM卡可以插入任何一部GSM手機(jī)中使用,而使用手機(jī)所產(chǎn)生的通信費(fèi)用則自動(dòng)記錄在該SIM卡所唯一標(biāo)識(shí)的客戶的帳戶上。MMC(MultiMediaCard)卡

MMC即MultiMediaCard,由西門(mén)子公司Siemens(現(xiàn)在稱(chēng)為Infineon)和首推CF的SanDisk于1997年推出。1998年1月十四家公司聯(lián)合成立了MMC協(xié)會(huì)(MultiMediaCardAssociation簡(jiǎn)稱(chēng)MMCA),現(xiàn)在已經(jīng)有超過(guò)84個(gè)成員,其中更包括了Nokia、Ericsson、Motorola等手機(jī)巨頭。

MMC(MultiMediaCard)卡

MMC的發(fā)展目標(biāo)主要是針對(duì)數(shù)碼影像、音樂(lè)、手機(jī)、PDA、電子書(shū)、玩具等產(chǎn)品,號(hào)稱(chēng)是目前世界上最小的FlashMemory存貯卡,尺寸只有32mmx24mmx1.4mm。雖然比SmartMedia厚,但整體體積卻比SmartMedia小,而且也比SmartMedia輕,只有1.5克。MMC存貯卡可以分為MMC和SPI兩種工作模式,MMC模式是標(biāo)準(zhǔn)的默認(rèn)模式,具有MMC的全部特性。而SPI模式則是MMC存貯卡可選的第二種模式,這個(gè)模式是MMC協(xié)議的一個(gè)子集,主要用于只需要小數(shù)量的卡(通常是1個(gè))和低數(shù)據(jù)傳輸率(和MMC協(xié)議相比)的系統(tǒng),這個(gè)模式可以把設(shè)計(jì)花費(fèi)減到最小,但性能就不如MMC。

MMC被設(shè)計(jì)作為一種低成本的數(shù)據(jù)平臺(tái)和通訊介質(zhì),它的接口設(shè)計(jì)非常簡(jiǎn)單:只有7針!接口成本低于0.5美元,相比之下SmartMedia和MemoryStick的接口成本都要高于1美元。在接口中,電源供應(yīng)是3針,而數(shù)據(jù)操作只用3針的串行總線就搞定了(SPI模式再加上1針用于選擇芯片),真是簡(jiǎn)單得不能再簡(jiǎn)單了。

SD(SecureDigitalCard)卡

SD卡可以說(shuō)是相當(dāng)新的產(chǎn)品,SD的意思是SecureDigital。這個(gè)產(chǎn)品由松下電器MatsusaElectricIndustrialCo.,Ltd、東芝ToshibaCorp.和SanDisk聯(lián)合推出,1999年8月才首次發(fā)布。SD卡數(shù)據(jù)傳送和物理規(guī)范由MMC發(fā)展而來(lái),大小和MMC差不多,尺寸為32mmx24mmx2.1mm。長(zhǎng)寬和MMC一樣,只是厚了0.7mm,以容納更大容量的存貯單元。SD(SecureDigitalCard)卡

SD卡與MMC卡保持著向上兼容,也就是說(shuō),MMC可以被新的SD設(shè)備存取,兼容性則取決于應(yīng)用軟件,但SD卡卻不可以被MMC設(shè)備存取。(SD卡外型采用了與MMC厚度一樣的導(dǎo)軌式設(shè)計(jì),以使SD設(shè)備可以適合MMC)

SD接口除了保留MMC的7針外,還在兩邊加多了2針,作為數(shù)據(jù)線。至于在存貯單元方面,當(dāng)然也是采用了東芝大力倡導(dǎo)的NAND型FlashMemory,基本上和SmartMedia的一樣,所以性能也不俗,平均數(shù)據(jù)傳輸率能達(dá)到2MB/s,不久更將提高到10MB/s。也許是被SmartMedia不兼容性弄怕了,這次SD把控制器集成到了卡里,希望在推出新規(guī)格的SD卡時(shí),不會(huì)再有不兼容的情況發(fā)生了。另外SD和MemoryStick一樣,也帶了物理寫(xiě)保護(hù)開(kāi)關(guān)。MemoryStick記憶棒

MemoryStick被很多人稱(chēng)為香口膠存貯卡,因?yàn)槠涑叽绱_實(shí)像一條香口膠:50mmx21.5mmx0.28mm,重4克。采用精致醒目的藍(lán)色外殼(新的MG為白色),并具有寫(xiě)保護(hù)開(kāi)關(guān)。MemoryStick由Sony在日本的工廠生產(chǎn),但存貯單元模塊卻并不是由Sony自己生產(chǎn)的,而是由第三方廠商提供。MemoryStick記憶棒

和很多FlashMemory存貯卡不同,MemoryStick規(guī)范是非公開(kāi)的,沒(méi)有什么標(biāo)準(zhǔn)化組織(Sony認(rèn)為沒(méi)有必要進(jìn)行行業(yè)標(biāo)準(zhǔn)化)。這個(gè)香口膠采用了Sony自己的外型、協(xié)議、物理格式和版權(quán)保護(hù)技術(shù),要使用它的規(guī)范就必須和Sony談判簽定許可。目前所知道的是MemoryStick也包括了控制器在內(nèi),采用10針接口,數(shù)據(jù)總線為串行,最高頻率可達(dá)20MHz,電壓為2.7伏到3.6伏,電流平均為45mA。可以看出這個(gè)規(guī)格和差不多同一時(shí)間出現(xiàn)的MMC頗為相似。XD卡

XD卡全稱(chēng)為XD-PICTURECARD,是由富士和奧林巴斯聯(lián)合推出的專(zhuān)為數(shù)碼相機(jī)使用的小型存儲(chǔ)卡,采用單面18針接口,是目前體積最小的存儲(chǔ)卡。XD取自于“ExtremeDigital”,是“極限數(shù)字”的意思。XD卡

XD卡是較為新型的閃存卡,相比于其它閃存卡,它擁有眾多的優(yōu)勢(shì)特點(diǎn)。袖珍的外形尺寸,外形尺寸為20mm×25mm×1.7mm,總體積只有0.85立方厘米,約為2克重,是目前世界上最為輕便、體積最小的數(shù)字閃存卡。優(yōu)秀的兼容性,配合各式的讀卡器,可以方便的與個(gè)人電腦連接。超大的存儲(chǔ)容量,XD卡的理論最大容量可達(dá)8GB,具有很大的擴(kuò)展空間。目前市場(chǎng)上見(jiàn)到的XD卡有16MB、32MB、64MB、128MB、256MB等不同的容量規(guī)格。微硬盤(pán)(Microdrive)微硬盤(pán)(Microdrive)最早是由IBM公司開(kāi)發(fā)的一款超級(jí)迷你硬盤(pán)機(jī)產(chǎn)品。其最初的容量為340MB和512MB,而現(xiàn)在的產(chǎn)品容量有1GB、2GB以及4GB等。與以前相比,目前的微硬盤(pán)降低了轉(zhuǎn)速(4200rpm降為3600rpm),從而降低了功耗,但增強(qiáng)了穩(wěn)定性。微硬盤(pán)(Microdrive)可以使用CF卡的大多數(shù)設(shè)備大都可以直接使用Microdrive,如數(shù)碼相機(jī)、手持電腦、MP3播放器等。筆記本電腦則通過(guò)PCMCIA適配器轉(zhuǎn)接,由于Microdrive比起CF卡略厚,所以需要設(shè)備符合CFII標(biāo)準(zhǔn),大容量的Microdrive(4GB)要求設(shè)備支持FAT32文件系統(tǒng)。與CF相比,Microdrive的最大優(yōu)勢(shì)是單位存儲(chǔ)容量的價(jià)格更低。Microdrive采用的是硬盤(pán)技術(shù),具有低成本高容量的特點(diǎn),可以成為采用固態(tài)存儲(chǔ)技術(shù)存貯器的替代品。

目前柯達(dá)、三洋、富士通、愛(ài)普生等公司,已經(jīng)開(kāi)始設(shè)計(jì)支持Microdrive使用的數(shù)碼相機(jī)產(chǎn)品。未來(lái)可以預(yù)見(jiàn)的是,包括數(shù)碼相機(jī)或其它計(jì)算機(jī)外設(shè)產(chǎn)品,會(huì)陸續(xù)加入支持Microdrive的行列。InformationInfrastructure,TopologySummaryTCP/IPNetworkAttachedStorageServerServerDataStorageDataStorageFileServerStorageAreaNetworkServerServerServerDataStorageDataStorageFibreSwitchDirectlyAttachedStorageDeviceServerServerDataStorageDataStorage二、數(shù)據(jù)存儲(chǔ)直接外掛存儲(chǔ)(DAS)

DAS(DirectAttachedStorage—直接連接存儲(chǔ))是指將存儲(chǔ)設(shè)備通過(guò)SCSI接口或光纖通道直接連接到一臺(tái)計(jì)算機(jī)上。DAS的適用環(huán)境為:1)服務(wù)器在地理分布上很分散,通過(guò)SAN或NAS在它們之間進(jìn)行互連非常困難時(shí)(商店或銀行的分支便是一個(gè)典型的例子);2)存儲(chǔ)系統(tǒng)必須被直接連接到應(yīng)用服務(wù)器(如MicrosoftClusterServer或某些數(shù)據(jù)庫(kù)使用的“原始分區(qū)”)上時(shí);3)包括許多數(shù)據(jù)庫(kù)應(yīng)用和應(yīng)用服務(wù)器在內(nèi)的應(yīng)用,它們需要直接連接到存儲(chǔ)器上,群件應(yīng)用和一些郵件服務(wù)也包括在內(nèi)。

當(dāng)服務(wù)器在地理上比較分散,很難通過(guò)遠(yuǎn)程連接進(jìn)行互連時(shí),直接連接存儲(chǔ)是比較好的解決方案,甚至可能是唯一的解決方案。利用直接連接存儲(chǔ)的另一個(gè)原因也可能是企業(yè)決定繼續(xù)保留已有的傳輸速率并不很高的網(wǎng)絡(luò)系統(tǒng)。

存儲(chǔ)域網(wǎng)絡(luò)(SAN)

存儲(chǔ)域網(wǎng)絡(luò)(StorageAreaNetwork)的支撐技術(shù)是FibreChannel(FC)技術(shù),這是ANSI為網(wǎng)絡(luò)和通道I/O接口建立的一個(gè)標(biāo)準(zhǔn)集成。支持HIPPI,IPI,SCSI,IP,ATM等多種高級(jí)協(xié)議,它的最大特性是將網(wǎng)絡(luò)和設(shè)備的通訊協(xié)議與傳輸物理介質(zhì)隔離開(kāi).這樣多種協(xié)議可在同一個(gè)物理連接上同時(shí)傳送,高性能存儲(chǔ)體和寬帶網(wǎng)絡(luò)使用單I/O接口使得系統(tǒng)的成本和復(fù)雜程度大大降低。如通過(guò)Switch擴(kuò)充至交換仲裁復(fù)用結(jié)構(gòu)則可將用戶擴(kuò)至很多。FC使用全雙工串行通訊原理傳輸數(shù)據(jù),傳輸速率高達(dá)1062.5Mbps,F(xiàn)ibreChannel的數(shù)據(jù)傳輸速度為100MB/S,雙環(huán)可達(dá)200MB/S,使用同軸線傳輸距離為30米,使用單模光纖傳輸距離可達(dá)10公里以上。

光纖通道支持多種拓?fù)浣Y(jié)構(gòu),主要有:點(diǎn)到點(diǎn)(Links)、仲裁環(huán)(FC-AL)、交換式網(wǎng)絡(luò)結(jié)構(gòu)(FC-XS)。點(diǎn)對(duì)點(diǎn)方式的例子是一臺(tái)主機(jī)與一臺(tái)磁盤(pán)陣列透過(guò)光纖通道連接;其次為光纖通道仲裁環(huán)(FC-AL),在FC-AL的裝置可為主機(jī)或存儲(chǔ)裝置。第三種FC-XS交換式架構(gòu)在主機(jī)和存儲(chǔ)裝置之間透過(guò)智能型的光纖通道交換器連接,使用交換架構(gòu)需使用存儲(chǔ)網(wǎng)絡(luò)的管理軟件。

FinanceSalesNetworkClientsOracle

Exchange

SAP

EMCNetworkedStorage–SANMidrangeNetworkedStorageArchitectureFinanceSalesNetworkClientsOracle

Exchange

SAP

SANCLARiiONFC4700FileServersCLARiiONIP4700NASSANSymmetrixFileServersCelerraNASHighEndNetworkedStorageArchitectureEMCConnectrixFamily(SAN)CONSOLIDATIONFUNCTIONALITYHubsSwitchesHighavailabilityDepartmentalanddatacenterlocationsRackmountableDirectorsRedundanteverythingNon-blockingI/ODatacenterlocationsMaximumscalabilityED-64MED-1032DS-8BDS-16BDS-32MDS-16M

(1)既具有單通道的特點(diǎn),又具有網(wǎng)絡(luò)的特點(diǎn),它是把設(shè)備連接到網(wǎng)絡(luò)結(jié)構(gòu)上的一種高速通道。而這種網(wǎng)絡(luò)結(jié)構(gòu)描述了連接兩套設(shè)備的單條電纜以及連接許多設(shè)備的交換機(jī)產(chǎn)生網(wǎng)狀結(jié)構(gòu)。

(2)光纖通道最大優(yōu)點(diǎn)是速度快,它可以給計(jì)算機(jī)設(shè)備提供接近于設(shè)備處理速度的吞吐量。

(3)協(xié)議無(wú)關(guān)性,它有很好的通用性,是一種通用傳輸機(jī)制。適用范圍廣,可提供多性價(jià)比的系統(tǒng),從小系統(tǒng)到超大型系統(tǒng),支持存在的多種指令集,如IP、SCSI、IPI。

光纖通道規(guī)范定義的速率最高可到4Gbps,目前T11工程組對(duì)10Gbps傳輸速度的FC規(guī)范也在緊鑼密鼓的制定之中。

FC技術(shù)具有以下優(yōu)越性

FC是一種分層結(jié)構(gòu),每個(gè)層次定義為一個(gè)功能級(jí),但是所分的層不能直接映射到OSI模型的層上。FC通道的五層定義為:物理媒介和傳輸速率、編碼方式、幀協(xié)議和流控制、公共服務(wù)以及上級(jí)協(xié)議(ULP)接口。

1)FC-0:

FC-0是物理層底層標(biāo)準(zhǔn)。FC-0層定義了連接的物理端口特性,包括介質(zhì)和連接器(驅(qū)動(dòng)器、接收機(jī)、發(fā)送機(jī)等)的物理特性、電氣特性和光特性、傳輸速率以及其它的一些連接端口特性。物理介質(zhì)有光纖、雙絞線和同軸電纜。帶有ECL的銅芯同軸電纜,用于高速、短距離傳輸。雙絞線用于25MB/s數(shù)據(jù)傳輸,距離可達(dá)50米。帶有激光和LED傳導(dǎo)的光纖,用于長(zhǎng)距離的傳輸,光纖通道的數(shù)據(jù)誤碼率低于10E-12,它具有嚴(yán)格的抖動(dòng)容許規(guī)定和串行I/O電路能夠進(jìn)行正常管理的其他一些電氣條件。

FC分層結(jié)構(gòu)

2)FC-1(傳輸協(xié)議)

FC-1根據(jù)ANSIX3T11標(biāo)準(zhǔn),規(guī)定了8B/10B的編碼方式和傳輸協(xié)議,包括串行編碼、解碼規(guī)則、特殊字符和錯(cuò)誤控制。傳輸編碼必須是直流平衡以滿足接收單元的電氣要求。特殊字符確保在串行比特流中出現(xiàn)的是短字符長(zhǎng)度和一定的跳變信號(hào),以便時(shí)鐘恢復(fù)。8B/10B碼在現(xiàn)實(shí)中的應(yīng)用是穩(wěn)定和簡(jiǎn)單的。

3)FC-2(幀協(xié)議):

FC-2層定義了傳輸機(jī)制、包括幀定位、幀頭內(nèi)容、使用規(guī)則以及流量控制等。光纖通道數(shù)據(jù)幀長(zhǎng)度可變,可擴(kuò)展地址。用于傳輸數(shù)據(jù)的光纖通道數(shù)據(jù)幀長(zhǎng)度最多達(dá)到2K,因此非常適合于大容量數(shù)據(jù)的傳輸。幀頭內(nèi)容包括控制信息、源地址、目的地址、傳輸序列標(biāo)識(shí)和交換設(shè)備等。64字節(jié)可選幀頭用于其它類(lèi)型網(wǎng)絡(luò)在光纖通道上傳輸時(shí)的協(xié)議映射。光纖通道依賴(lài)數(shù)據(jù)幀頭的內(nèi)容來(lái)引發(fā)操作,如把到達(dá)的數(shù)據(jù)發(fā)送到一個(gè)正確的緩沖區(qū)里。

FC分層結(jié)構(gòu)

4)FC-3(公共服務(wù)):

提供高級(jí)特性的公共服務(wù),即端口間的結(jié)構(gòu)協(xié)議和流動(dòng)控制,它定義了三種服務(wù):條帶化(Striping)、搜索組(Hunt

Group)和多播(Multicast)。條帶化的目的是為了利用多個(gè)端口在多個(gè)連接上并行傳輸,這樣I/O傳輸帶寬能擴(kuò)展到相應(yīng)的倍數(shù)。搜索組用于多個(gè)端口去響應(yīng)一個(gè)相同名字地址的情況,它通過(guò)降低到達(dá)"占線"的端口的概率來(lái)提高效率。多播用于將一個(gè)信息傳遞到多個(gè)目的地址。

5)FC-4(ULP映射):

它是光纖通道標(biāo)準(zhǔn)中定義的最高等級(jí),固定了光纖通道的底層跟高層協(xié)議(ULP)之間的映射關(guān)系以及與現(xiàn)行標(biāo)準(zhǔn)的應(yīng)用接口,這里的現(xiàn)行標(biāo)準(zhǔn)包括現(xiàn)有的所有通道標(biāo)準(zhǔn)和網(wǎng)絡(luò)協(xié)議,如SCSI接口和IP、ATM、HIPPI等。

FC分層結(jié)構(gòu)FC分層結(jié)構(gòu)SAN是架構(gòu)在FibreChannelStandard的儲(chǔ)域網(wǎng)絡(luò),F(xiàn)ibreChannel改善了許多SCSI的限制。FC與SCSI比較FibreChannel

SCSI

100MB/secperloop20MB/s200MB/secperarray40MB/sperarray4wirecablestructure68wirecable500metercabling25metercabling30kmwithOpticalLinkextender25metermaximum127devicesperloop15devicesperbusEasyHAcablingComplexHAcablingNon-disruptive(N.D.)expansionN.D.notsupportedNoterminationTerminatorsrequiredSignalisolationNosignalisolationStorageandnetworkingprotocoltransfersStorageonlyprotocolsHubs,switches,connectivityNointerconnection

SAN以數(shù)據(jù)存儲(chǔ)為中心,采用可伸縮的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),通過(guò)具有較高傳輸速率的光通道連接方式,提供SAN內(nèi)部任意節(jié)點(diǎn)之間的多路可選擇的數(shù)據(jù)交換,并且將數(shù)據(jù)存儲(chǔ)管理集中在相對(duì)獨(dú)立的存儲(chǔ)區(qū)域網(wǎng)內(nèi)。SAN的特點(diǎn)是將數(shù)據(jù)的存儲(chǔ)移到了后端,采用了一個(gè)專(zhuān)門(mén)的系統(tǒng)來(lái)完成,并進(jìn)行了RAID數(shù)據(jù)保護(hù)。

SAN解決方案

a.分享資源存取與設(shè)備-DiskandTape。

b.高速度、距離長(zhǎng),可提高資料的可使用率。

c.可作RemoteMirror增加災(zāi)難防御力及重建速度。

d.透過(guò)SAN備份,降低經(jīng)過(guò)LAN備份的Traffic負(fù)載。

e.集中管理與整合儲(chǔ)存設(shè)備資源。

f.FC-Loop可連接127個(gè)Device,不需要ShutdownServer,即可擴(kuò)充儲(chǔ)存容量,SAN解決方案具備良好擴(kuò)充性。

SAN的優(yōu)點(diǎn)

如果儲(chǔ)存資料的成長(zhǎng)率持續(xù)增高,近兩年內(nèi)可能成長(zhǎng)至1TB以上,建議規(guī)劃SANReady的儲(chǔ)存設(shè)備,包括RAID及TapeLibrary,因?yàn)橘Y料量擴(kuò)增,必定增加硬盤(pán)數(shù)量,但SCSI的RAID有ID及Cable長(zhǎng)度的種種限制,在擴(kuò)充性來(lái)說(shuō),無(wú)法達(dá)到需求及穩(wěn)定度的要求,而且當(dāng)資料量愈來(lái)愈大,可能分享給更多Client,絕不容許機(jī)器有Shutdown的時(shí)間,而SANReady的RAID可以讓機(jī)器在不Shutdown的狀況下擴(kuò)充硬盤(pán)容量,維持系統(tǒng)不停的正常運(yùn)作。

什么樣的環(huán)境需要SAN?

a.HostBusAdapter-依連接的作業(yè)平臺(tái)選擇FibreChannelCard的種類(lèi),裝置在主機(jī)中,連接Storage、FibreChannelHub或Switch。

b.FibreChannelHub-可將儲(chǔ)存設(shè)備分享給多臺(tái)服務(wù)器。

c.FibreChannelSwitch-如果要將儲(chǔ)存設(shè)備分享給不同平臺(tái)的操作系統(tǒng),或要作SAN的Security進(jìn)階控管及連接多個(gè)FibreChannelHub,須購(gòu)買(mǎi)此設(shè)備及控管軟件。

d.FibreChannelCable及GBIC-依主機(jī)及儲(chǔ)存設(shè)備的連接長(zhǎng)度選購(gòu)Cable,Cable有分Optical及Copper兩種線材,決定使用哪一種Cable后再選擇GBIC的種類(lèi),以符合CableConnector的連接型態(tài)。

e.FibreChannel/SCSIConventer-若有些儲(chǔ)存設(shè)備是SCSI界面,要連接上SAN的,則需購(gòu)買(mǎi)FC/SCSI的訊號(hào)轉(zhuǎn)接器。

SAN的產(chǎn)品組成SAN的產(chǎn)品組成網(wǎng)絡(luò)附加存儲(chǔ)設(shè)備(NAS)

網(wǎng)絡(luò)附加存儲(chǔ)設(shè)備(NetworkAttachedStorage,NAS)是一種專(zhuān)業(yè)的網(wǎng)絡(luò)文件存儲(chǔ)及文件備份設(shè)備,或稱(chēng)為網(wǎng)絡(luò)直聯(lián)存儲(chǔ)設(shè)備、網(wǎng)絡(luò)磁盤(pán)陣列。NAS是基于LAN的,按照TCP/IP協(xié)議進(jìn)行通信,面向消息傳遞,以文件的I/O方式進(jìn)行數(shù)據(jù)傳輸。在LAN環(huán)境下,NAS已經(jīng)完全可以實(shí)現(xiàn)異構(gòu)平臺(tái)之間的數(shù)據(jù)級(jí)共享,比如NT、UNIX等平臺(tái)的共享。但是,在10/100M的帶寬條件下,只有其中的30%左右可以用做存儲(chǔ),所以NAS無(wú)法發(fā)揮其應(yīng)有的性能,這就需要等待G/T比特級(jí)以太網(wǎng)絡(luò)的大規(guī)模普及應(yīng)用。

一個(gè)NAS包括處理器,文件服務(wù)管理模塊和多個(gè)的硬盤(pán)驅(qū)動(dòng)器用于數(shù)據(jù)的存儲(chǔ)。NAS可以應(yīng)用在任何的網(wǎng)絡(luò)環(huán)境當(dāng)中。主服務(wù)器和客戶端可以非常方便地在NAS上存取任意格式的文件,包括SMB格式(Windows)NFS格式(Unix,Linux)和CIFS格式等等。NAS系統(tǒng)可以根據(jù)服務(wù)器或者客戶端計(jì)算機(jī)發(fā)出的指令完成對(duì)內(nèi)在文件的管理。另外的特性包括:獨(dú)立于操作系統(tǒng),不同類(lèi)的文件共享,交叉協(xié)議用戶認(rèn)證,瀏覽器界面的操作/管理,和增加和移除服務(wù)器不會(huì)中斷網(wǎng)絡(luò)服務(wù),NAS是在RAID的基礎(chǔ)上增加了存儲(chǔ)操作系統(tǒng),因此,NAS的數(shù)據(jù)能由異類(lèi)平臺(tái)共享。

EMC-NASPlatformGeneralPurpose

File

ServersCLARiiONHighavailabilityModeratefunctionModeratescaleCelerraandSymmetrix

ContinuousavailabilityMaximumfunctionMaximumscaleCLARiiONIP4700CelerraSECONSOLIDATIONFUNCTIONALITYEMCNetworkAttachedStorage(NAS)CelerraSESymmerixCelerraSymmetrixCelerra(CFS14)EMCHigh-EndNASEMCMidrangeNASCLARiiONIP4700NAS的結(jié)構(gòu)

NAS

結(jié)構(gòu)和SAN最大的區(qū)別就在于NAS有文件操作和管理系統(tǒng),而SAN卻沒(méi)有這樣的系統(tǒng)功能,其功能僅僅停留在文件管理的下一層,即數(shù)據(jù)管理。從這些意義上看,SAN和NAS的功能互為補(bǔ)充,同時(shí)SAN的服務(wù)器訪問(wèn)數(shù)據(jù)的時(shí)候不會(huì)占LAN的資源,但是NAS結(jié)構(gòu)的服務(wù)器都需要和文件服務(wù)器進(jìn)行交互,以取得自己請(qǐng)求的數(shù)據(jù),因此,NAS結(jié)構(gòu)在速度慢的LAN(如10/100M網(wǎng)絡(luò))上幾乎不具有任何優(yōu)勢(shì)和意義。

NAS的特點(diǎn)無(wú)人值守。隨著信息系統(tǒng)規(guī)模的膨脹,基本設(shè)備的數(shù)量將變得非常龐大。如果還是像現(xiàn)在這樣每臺(tái)服務(wù)器派專(zhuān)人管理,那么管理成本會(huì)不可控制,成為一個(gè)天文數(shù)字。所以這些基本設(shè)備必須實(shí)現(xiàn)無(wú)人值守,在長(zhǎng)時(shí)間沒(méi)有專(zhuān)職人員對(duì)其管理維護(hù)的情況下仍然可以穩(wěn)定高效的工作。

具有高度智能化。要實(shí)現(xiàn)無(wú)人值守這一特性,就需要設(shè)備本身具有高效的自我維護(hù)功能,自動(dòng)完成目前由管理員負(fù)責(zé)的日常維護(hù)工作。這就需要一套智能化很高的專(zhuān)家系統(tǒng)運(yùn)行在設(shè)備中。

性能穩(wěn)定。無(wú)人值守的服務(wù)器對(duì)性能穩(wěn)定性的要求可想而知,目前大多數(shù)服務(wù)器的穩(wěn)定性對(duì)這一特性來(lái)說(shuō),顯得力不從心。

功能單一化。目前所使用服務(wù)器的功能強(qiáng)大實(shí)際上是以軟硬件系統(tǒng)復(fù)雜的結(jié)構(gòu)、龐大的規(guī)模為代價(jià)的。結(jié)構(gòu)和規(guī)模都是和性能的穩(wěn)定性成反比。為了實(shí)現(xiàn)性能的穩(wěn)定和管理的簡(jiǎn)易,最容易想到的方法是把通用服務(wù)器的各種功能分離出來(lái),利用嵌入式技術(shù),設(shè)計(jì)出功能單一,結(jié)構(gòu)簡(jiǎn)單,性能穩(wěn)定的專(zhuān)用瘦服務(wù)器。

NAS與SAN比較

SAN和NAS并不是相互沖突的,是可以共存于一個(gè)系統(tǒng)網(wǎng)絡(luò)中的,但NAS通過(guò)一個(gè)公共的接口實(shí)現(xiàn)空間的管理和資源共享,SAN僅僅是為服務(wù)器存儲(chǔ)數(shù)據(jù)提供一個(gè)專(zhuān)門(mén)的快速后方通道,在空間的利用上,SAN和NAS也有截然不同之處,SAN是只能獨(dú)享的數(shù)據(jù)存儲(chǔ)池,NAS是共享與獨(dú)享兼顧的數(shù)據(jù)存儲(chǔ)池。因此,NAS與SAN的關(guān)系也可以表述為:NAS是Network-attached(網(wǎng)絡(luò)外掛式),而SAN是Channel-attached(通道外掛式)。

SAN和NAS體系的主流廠商及技術(shù)體系列表

SAN和NAS體系列表

SAN和NAS并不是相互沖突的,是可以共存于一個(gè)系統(tǒng)網(wǎng)絡(luò)中的,但NAS通過(guò)一個(gè)公共的接口實(shí)現(xiàn)空間的管理和資源共享,SAN(網(wǎng)絡(luò)外掛式),而SAN是Channel-attached(通道外掛式)。

SAN和NAS的綜合

SAN和NAS并不是相互沖突的,是可以共存于一個(gè)系統(tǒng)網(wǎng)絡(luò)中的,但NAS通過(guò)一個(gè)公共的接口實(shí)現(xiàn)空間的管理和資源共享,SAN(網(wǎng)絡(luò)外掛式),而SAN是Channel-attached(通道外掛式)。

TCP/IPFileServerdatadatadatadatadatadatadatadatadatadatadataNetworkbecomesthebottleneckifNASonlyAfocusonMultiPathFileSystemNAS

SANMPFSMPFSMPFS=Multi-pathfilesystem“Highroad”

ChannelsIPFileBlockMulti-pathFileSystem(HighRoad)-SAN/NASIntegrationWebContentAdServerContentBLOBs,FlatFilesSANswitchServersIPNetworkSymmetrixNetworkInfrastructureNetworkrequest,channelornetworkdeliveryDeliveryoptimizationPerformanceandsharingBestofbothworlds

DataFibreChannelControlandDataCelerraNASIntelligentDataDeliveryComplimentarybenefits-whyyouneedchoiceChannelsIPFileBlockNASDistanceSharing

SANPerformanceControlMPFSPerformanceSharingChoicecanbeconfusing:howdoIchoose?ConsolidationCollaborationDistributionSANorNAS?SAN=StorageAreaNetwork,NAS=NetworkAttachedStorageSANorNAS?SANorNAS?YoucandoitwithSAN&NAS

SAN+NAS=NetworkedStorageUserenvironmentdeterminestechnologychoice:ApplicationmixPerformancerequirementsLocationofcomputingresourcesTheEMCNetworkedStorageDASSANSANSymmetrixNASCelerraDAS=DirectAttachedStorageSAN=StorageAreaNetworkNAS=NetworkAttachedStorageMPFS=SANandNASsharingUsernetworkFC4700DASFC4700SANSANIP4700NASEMCCLARiiONEMC’sMIDRANGESOLUTIONORORMPFSBenefitsofNetworkedStorageLowercostsofadministrationCentralizedmanagementofstorageResourcesharingFastergrowthImprovedscalability,flexibilityBetterITservicesIncreasedreliabilityandavailabilityTraditionalbattle:SANvs.NASButbothtypesofservicesareneeded!Storageutilitymodel數(shù)據(jù)存儲(chǔ)技術(shù)現(xiàn)狀

從1999年開(kāi)始,EMC、IBM、Compaq、Sun、HP等公司相繼推出自己的SAN產(chǎn)品,使SAN成為存儲(chǔ)領(lǐng)域的一個(gè)新星,整個(gè)業(yè)界都在圍繞SAN大做文章。

(1)SAN的互操作性問(wèn)題

存儲(chǔ)的互操作性分為兩個(gè)方面:一是存儲(chǔ)設(shè)備支持不同的服務(wù)器系統(tǒng)。這個(gè)問(wèn)題已經(jīng)得到了很好的解決,存儲(chǔ)供應(yīng)商的存儲(chǔ)設(shè)備都能夠做到支持主流操作系統(tǒng),或者是其中的某些版本。目前,多服務(wù)器平臺(tái)的SAN解決方案是一個(gè)發(fā)展趨勢(shì)。

互操作性的另一個(gè)方面是如何支持多廠商的存儲(chǔ)系統(tǒng),這就是OpenSAN解決方案的核心問(wèn)題。OpenSAN的目標(biāo)是支持任何應(yīng)用程序、操作系統(tǒng)、文件系統(tǒng)、服務(wù)器平臺(tái)、存儲(chǔ)系統(tǒng)、磁帶庫(kù)以及客戶所要求的互連設(shè)備,解決棘手的設(shè)備兼容問(wèn)題,使網(wǎng)絡(luò)設(shè)備發(fā)揮最大的效率。在這個(gè)方面,采用開(kāi)放式的標(biāo)準(zhǔn)是大勢(shì)所趨。據(jù)權(quán)威調(diào)查機(jī)構(gòu)ITCentrix的存儲(chǔ)網(wǎng)絡(luò)調(diào)查表明:只有不到30%的用戶會(huì)選擇專(zhuān)有存儲(chǔ)解決方案來(lái)滿足企業(yè)需求。因此,企業(yè)迫切需要OpenSAN。2000年7月,Compaq與IBM共同在OpenSAN方面投資10億美元,開(kāi)發(fā)各自存儲(chǔ)軟硬件產(chǎn)品的相互支持功能并銷(xiāo)售對(duì)方的主要存儲(chǔ)產(chǎn)品,以共同促進(jìn)客戶采用開(kāi)放式存儲(chǔ)區(qū)域網(wǎng)絡(luò)解決方案。

(2)數(shù)據(jù)存儲(chǔ)標(biāo)準(zhǔn)之爭(zhēng)的問(wèn)題

SAN采用的是專(zhuān)門(mén)的協(xié)議,而NAS使用的是IP協(xié)議,而目前,為了維持對(duì)現(xiàn)有的SAN的兼容性,出現(xiàn)了幾大存儲(chǔ)技術(shù)流派,整個(gè)存儲(chǔ)技術(shù)市場(chǎng)形成了百花齊放的局面:Internet工程任務(wù)組(IETF)提出的基于TCP的SCSI(iSCSI)方案、IETF與ANSI(美國(guó)國(guó)家標(biāo)準(zhǔn)機(jī)構(gòu))共同提出的基于IP的光纖方案、ANSI提出的光纖骨干網(wǎng)方案。各種方案互不相讓。無(wú)論如何,一個(gè)存儲(chǔ)網(wǎng)方案的出臺(tái),其標(biāo)準(zhǔn)的主體定義必須完整細(xì)致,不然將難以推廣運(yùn)用。以下是這幾種方案的簡(jiǎn)單介紹:

iSCSI(SCSIoverTCP):

iSCSI方案由Adaptec、Cisco、HP、IBM、Quantum等公司共同倡導(dǎo)。它提供基于TCP傳輸、將數(shù)據(jù)駐留于SCSI設(shè)備的方法。在千兆以太網(wǎng)出現(xiàn)以前,要傳輸這種類(lèi)型的塊數(shù)據(jù),LAN的速度是無(wú)法勝任的;現(xiàn)在,10G以太網(wǎng)即將登臺(tái),這種基于IP傳輸塊數(shù)據(jù)的方案無(wú)疑更具吸引力。

iSCSI并不改變傳統(tǒng)標(biāo)準(zhǔn)通信方案和網(wǎng)絡(luò)基礎(chǔ)架構(gòu)的設(shè)置,但需要額外的千兆光纖以太網(wǎng)路由器及復(fù)雜的相關(guān)路由器軟件來(lái)支撐,透過(guò)網(wǎng)絡(luò),以IP數(shù)據(jù)形式實(shí)現(xiàn)存儲(chǔ)設(shè)備中SCSI數(shù)據(jù)的傳輸。

iSCSI是基于IP協(xié)議的技術(shù)標(biāo)準(zhǔn),實(shí)現(xiàn)了SCSI和TCP/IP協(xié)議的連接,對(duì)于以局域網(wǎng)為網(wǎng)絡(luò)環(huán)境的用戶,只需要不多的投資,就可以方便、快捷的對(duì)信息和數(shù)據(jù)進(jìn)行交互式傳輸和管理。iSCSI的產(chǎn)生解決了開(kāi)放性、容量、傳輸速度、兼容性、安全性等問(wèn)題,其優(yōu)越的性能使其自發(fā)布之始便受到市場(chǎng)的關(guān)注與青睞。

FCoverIP:

基于IP的光纖通道方案,由Brocade通信系統(tǒng)公司、Gadzoox網(wǎng)絡(luò)、Lucent科技、McData及Qlogic公司共同提出。采用這種模式,意味著在千兆以太網(wǎng)、SONET或ATMLAN、WAN或城域網(wǎng)(MAN)中,光數(shù)據(jù)幀被壓縮為IP幀傳輸。

雖然基于IP的光纖規(guī)范尚在完善中,但現(xiàn)在一些廠商已開(kāi)始銷(xiāo)售這類(lèi)產(chǎn)品,用來(lái)連接在地域上分離的存儲(chǔ)局域網(wǎng)(SAN),他們聲稱(chēng)這些產(chǎn)品可在規(guī)范形成時(shí),運(yùn)用軟件進(jìn)行升級(jí)。

同時(shí),Brocade與Gadzoox也是向ANSI提交“光纖骨干網(wǎng)方案”的廠商。光纖骨干網(wǎng)方案較基于IP的光纖方案而言,支持更廣地域,性能也更高。

(3)基于純IP的存儲(chǔ)方案登臺(tái)亮相

基于IP的存儲(chǔ)方案,事實(shí)上是iSCSI和基于IP的光纖方案的擴(kuò)展。最初由Nishan系統(tǒng)公司提出,后由Dell、Quantum、Siemens及Sun投資開(kāi)發(fā)。Nishan說(shuō),這種方案最終將成為標(biāo)準(zhǔn)之一,并聲稱(chēng)可填補(bǔ)這一領(lǐng)域很多的技術(shù)空白。目前,大多商家對(duì)這一方案還持觀望態(tài)度。因?yàn)樵摲桨冈诤艽蟪潭壬嫌幸粠樵傅囊蛩兀竿揽縿?chuàng)建另一個(gè)單一標(biāo)準(zhǔn),達(dá)到綜合運(yùn)用前三種方案所有優(yōu)勢(shì)的目的,基本上是不可能的。

DirectAccessFileSystem(DAFS)體系:

這是由NAS體系一度的最大生產(chǎn)者NetworkAppliance公司開(kāi)發(fā)的一種協(xié)議,稱(chēng)為虛擬接口(VI),該協(xié)議旁路了TCP協(xié)議棧,降低了時(shí)延。當(dāng)交互建立后,數(shù)據(jù)直接從緩沖區(qū)搬移到網(wǎng)卡,這將比UNIX的NFS和NT的CIFS提供更好的性能。這兩者都通過(guò)TCP/IP和NAS服務(wù)器通信。

采用IP方式的好處就是可以利用公用的數(shù)據(jù)網(wǎng)絡(luò),減少租用線的費(fèi)用。TCP/IP的許多開(kāi)銷(xiāo)和不穩(wěn)定性都采用了一些新的方式來(lái)克服,如采用“巨型”幀,QOS,VPN和加密方式。IP方式的解決方案到底能不能在企業(yè)一級(jí)的解決方案中得到應(yīng)用,還得看今后市場(chǎng)的反映情況,目前的形勢(shì)是一片大好。光纖通道目前是建立SAN架構(gòu)的唯一選擇,但是隨著新技術(shù)和市場(chǎng)的雙重作用,將來(lái)可能會(huì)用G/10G以太網(wǎng)和/或InfiniBand架構(gòu)(簡(jiǎn)稱(chēng)IBA)來(lái)實(shí)現(xiàn)SAN。

盡管光纖通道是一種占主導(dǎo)地位的SAN互聯(lián)技術(shù),但仍然存在一些問(wèn)題。設(shè)備層的互操作性已經(jīng)不再是主要的問(wèn)題了,但交換機(jī)之間的互操作性卻是一個(gè)潛在的問(wèn)題。另一個(gè)主要的問(wèn)題在于SAN的管理。當(dāng)前,大多數(shù)SAN管理解決方案都需要一個(gè)獨(dú)立的以太網(wǎng)連接,這樣才能傳遞管理指令。這種管理被稱(chēng)為“帶外管理”。數(shù)據(jù)存儲(chǔ)技術(shù)展望

Infiniband規(guī)范體系結(jié)構(gòu)(簡(jiǎn)稱(chēng)IBA)包含一下重要核心內(nèi)容:協(xié)議分層結(jié)構(gòu)、面向多層的連接、基于包交換的通信、多播(組播)能力、包及單節(jié)點(diǎn)容錯(cuò)、子網(wǎng)管理能力、支持多種連接速度(單速,4速,12速)、提供2.5Gbps(單速)/10Gbps(4速)/30Gbps(12速)單向數(shù)據(jù)鏈路、PCB,電纜和光纖傳輸媒介、遠(yuǎn)程DMA訪問(wèn)的支持、QOS問(wèn)題的考慮?;贗nfiniband的計(jì)算機(jī)體系結(jié)構(gòu)

Infiniband沿襲了SAN和NAS的一些概念,Infiniband將處理計(jì)算、存儲(chǔ)I/O、網(wǎng)絡(luò)I/O等功能完全分開(kāi),這種設(shè)計(jì)真正體現(xiàn)了計(jì)算機(jī)體系結(jié)構(gòu)的最終思想,即以網(wǎng)絡(luò)為中心的架構(gòu)。采用這種架構(gòu),可以非常靈活的根據(jù)用戶的需要來(lái)定制系統(tǒng),對(duì)于高性能計(jì)算,如果對(duì)計(jì)算能力要求非常高,那么就需要將處理節(jié)點(diǎn)的數(shù)目配置的非常高,對(duì)于網(wǎng)絡(luò)服務(wù)器,如視頻服務(wù)應(yīng)用,對(duì)存儲(chǔ),網(wǎng)絡(luò)帶寬,內(nèi)部數(shù)據(jù)交換能力要求很高,這時(shí)候,系統(tǒng)就需要根據(jù)這種要求來(lái)定制?;贗nfiniband的計(jì)算機(jī)體系結(jié)構(gòu)

數(shù)據(jù)存儲(chǔ)技術(shù)發(fā)展走向

數(shù)據(jù)存儲(chǔ)的服務(wù)器體系結(jié)構(gòu)的演變

按照目前發(fā)展的進(jìn)程,由于10G以太網(wǎng)交換機(jī)將與Infiniband交換機(jī)將同時(shí)問(wèn)世,未來(lái)的幾年也許是這兩種體系下數(shù)據(jù)存儲(chǔ)解決方案的又一場(chǎng)惡戰(zhàn),結(jié)局到底如何,我們還得看3年以后的市場(chǎng)情況,除非有比10G以太網(wǎng)更誘人的價(jià)格,那么從感覺(jué)上說(shuō)Infiniband的風(fēng)頭將會(huì)被10G以太網(wǎng)完全蓋過(guò)。

從最初的服務(wù)器,到目前的圍繞數(shù)據(jù)存儲(chǔ)解決方案的一些變化,我們可以大體上看出計(jì)算機(jī)服務(wù)器體系結(jié)構(gòu)網(wǎng)絡(luò)化的趨勢(shì),即目前的內(nèi)部總線架構(gòu)將逐漸走向消亡,形成交換式(fabrics)網(wǎng)絡(luò)化發(fā)展方向的趨勢(shì),在最初,數(shù)據(jù)存儲(chǔ)、計(jì)算處理和I/O是合為一體的,而目前數(shù)據(jù)存儲(chǔ)部分已經(jīng)獨(dú)立出來(lái),未來(lái)將是I/O和計(jì)算處理的進(jìn)一步分離,形成數(shù)據(jù)存儲(chǔ)、計(jì)算處理、I/O吞吐三足鼎立的局面,這就是真正的服務(wù)器網(wǎng)絡(luò)化體系結(jié)構(gòu)

數(shù)據(jù)存儲(chǔ)的服務(wù)器體系結(jié)構(gòu)的演變數(shù)據(jù)備份一、數(shù)據(jù)完整性 數(shù)據(jù)完整性這一術(shù)語(yǔ)用來(lái)泛指與損壞和丟失相對(duì)的數(shù)據(jù)的狀態(tài),它通常表明數(shù)據(jù)的可靠性與準(zhǔn)確性是可以信賴(lài)的,同時(shí)也意味著數(shù)據(jù)有可能是無(wú)效的或不完整的。數(shù)據(jù)完整性包括數(shù)據(jù)地正確性、有效性和一致性。 (1)正確性。數(shù)據(jù)在輸入時(shí)要保證其輸入值與定義這個(gè)表相應(yīng)的域的類(lèi)型一致。 (2)有效性。在保證數(shù)據(jù)有效的前提下,系統(tǒng)還要約束數(shù)據(jù)的有效性。 (3)一致性。當(dāng)不同的用戶使用數(shù)據(jù)庫(kù)時(shí),應(yīng)該保證他們?nèi)〕龅臄?shù)據(jù)必須一致。數(shù)據(jù)完整性

影響數(shù)據(jù)完整性的因素主要有五種:硬件故障、網(wǎng)絡(luò)故障、邏輯問(wèn)題、意外的災(zāi)難性事件和人為的因素 1.硬件故障 常見(jiàn)的影響數(shù)據(jù)完整性的硬件故障有: (1)磁盤(pán)故障; (2)I/O控制器故障; (3)電源故障; (4)存儲(chǔ)器故障; (5)介質(zhì)、設(shè)備和其它備份的故障; (6)芯片和主板故障。 2.網(wǎng)絡(luò)故障(1)網(wǎng)絡(luò)接口卡和驅(qū)動(dòng)程序的問(wèn)題。(2)網(wǎng)絡(luò)連接上的問(wèn)題。(3)輻射問(wèn)題。 3.邏輯問(wèn)題(1)軟件錯(cuò)誤;(2)文件損壞;(3)數(shù)據(jù)交換錯(cuò)誤;(4)容量錯(cuò)誤;(5)不恰當(dāng)?shù)男枨?;?)操作系統(tǒng)錯(cuò)誤。 4.災(zāi)難性事件 (1)火災(zāi); (2)水災(zāi); (3)風(fēng)暴——龍卷風(fēng)、臺(tái)風(fēng)、暴風(fēng)雪等; (4)工業(yè)事故; (5)蓄意破壞/恐怖活動(dòng)。 5.人為因素 (1)意外事故; (2)缺乏經(jīng)驗(yàn); (3)壓力/恐慌; (4)通信不暢; (5)蓄意的報(bào)復(fù)破壞和竊取。提高數(shù)據(jù)完整性的辦法

解決辦法有兩個(gè)方面的內(nèi)容。首先,采用預(yù)防性的技術(shù),防范危及數(shù)據(jù)完整性的事件的發(fā)生;其次,一旦數(shù)據(jù)的完整性受到損壞時(shí)采取有效的恢復(fù)手段,恢復(fù)被損壞的數(shù)據(jù)。下面所列出的是一些恢復(fù)數(shù)據(jù)完整性和防止數(shù)據(jù)丟失的方法: 備份、鏡像技術(shù)、歸檔、轉(zhuǎn)儲(chǔ)、分級(jí)存儲(chǔ)管理、奇偶檢驗(yàn)、災(zāi)難恢復(fù)計(jì)劃、故障發(fā)生前的預(yù)前分析和電源調(diào)節(jié)系統(tǒng)。

備份是用來(lái)恢復(fù)出錯(cuò)系統(tǒng)或防止數(shù)據(jù)丟失的一種最常用的辦法。

鏡像技術(shù)是物理上的鏡像原理在計(jì)算機(jī)技術(shù)上的具體應(yīng)用,它所指的是將數(shù)據(jù)原樣從一臺(tái)計(jì)算機(jī)(或服務(wù)器)上拷貝到另一臺(tái)計(jì)算機(jī)(或服務(wù)器)上。鏡像技術(shù)在計(jì)算機(jī)系統(tǒng)中具體執(zhí)行時(shí)一般有兩種方法: (1)邏輯地將計(jì)算機(jī)系統(tǒng)或網(wǎng)絡(luò)系統(tǒng)中的文件系統(tǒng)按段拷貝到網(wǎng)絡(luò)中的另一臺(tái)計(jì)算機(jī)或服務(wù)器上; (2)嚴(yán)格地在物理層上進(jìn)行,例如建立磁盤(pán)驅(qū)動(dòng)器、I/O驅(qū)動(dòng)子系統(tǒng)和整個(gè)機(jī)器的鏡像。 歸檔有兩層意思,其一,把文件從網(wǎng)絡(luò)系統(tǒng)的在線存儲(chǔ)器上復(fù)制到磁帶或光學(xué)介質(zhì)上以便長(zhǎng)期保存;其二,在文件復(fù)制的同時(shí)刪除舊文件,使網(wǎng)絡(luò)上的剩余存儲(chǔ)空間變大一些。

轉(zhuǎn)儲(chǔ)是指將那些用來(lái)恢復(fù)的磁帶中地?cái)?shù)據(jù)轉(zhuǎn)存到其它地方的。

分級(jí)存儲(chǔ)管理與歸檔很相似,它是一種能將軟件從在線存儲(chǔ)器上歸檔到靠近在線存儲(chǔ)上的自動(dòng)系統(tǒng),也可以進(jìn)行相反的過(guò)程。

奇偶校驗(yàn)提供一種監(jiān)視的機(jī)制來(lái)保證不可預(yù)測(cè)的內(nèi)存錯(cuò)誤,防止服務(wù)器出錯(cuò)以至造成數(shù)據(jù)完整性的喪失。 災(zāi)難給計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)帶來(lái)的破壞是巨大的,而災(zāi)難恢復(fù)計(jì)劃是在廢墟上如何重建系統(tǒng)的指導(dǎo)性文件。

二、容錯(cuò)與網(wǎng)絡(luò)冗余 隨著計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)的進(jìn)一步發(fā)展,網(wǎng)絡(luò)可靠性變得越來(lái)越重要。其主要原因如下: (1)網(wǎng)絡(luò)系統(tǒng)性能的提高,使系統(tǒng)的復(fù)雜性增加,服務(wù)器主頻的加快,將導(dǎo)致系統(tǒng)更容易出錯(cuò),為此,必須進(jìn)行精心的可靠性設(shè)計(jì)。 (2)網(wǎng)絡(luò)應(yīng)用的環(huán)境已不再局限于機(jī)房,這使系統(tǒng)更容易出錯(cuò),因此,系統(tǒng)必須具有抗惡劣環(huán)境的能力。 (3)網(wǎng)絡(luò)已走向社會(huì),使用的人也不再是專(zhuān)業(yè)人員,這要求系統(tǒng)能夠容許各種操作錯(cuò)誤。 (4)網(wǎng)絡(luò)系統(tǒng)的硬件成本日益降低,維護(hù)成本相對(duì)增高,則需要提高系統(tǒng)的可靠性以降低維護(hù)成本。 容錯(cuò)系統(tǒng)的實(shí)現(xiàn)方法 1.空閑備件 “空閑備件”,其字面上的意思是系統(tǒng)中配置一個(gè)處于空閑狀態(tài)的備用部件。 2.負(fù)載平衡 負(fù)載平衡是另一種提供容錯(cuò)的途徑,在具體的實(shí)現(xiàn)時(shí)使用兩個(gè)部件共同承擔(dān)一項(xiàng)任務(wù),一旦其中的一個(gè)部件出現(xiàn)故障,另一個(gè)部件立即將原來(lái)有兩個(gè)部件負(fù)擔(dān)的任務(wù)全部承擔(dān)下來(lái)。 3磁盤(pán)雙聯(lián) 在鏡像磁盤(pán)對(duì)中增加一個(gè)I/O控制器便稱(chēng)為磁盤(pán)雙聯(lián)。它由于對(duì)I/O總線爭(zhēng)用次數(shù)的減少而提供了系統(tǒng)的性能。 4RAID RAID(冗余磁盤(pán)陣列)是一種能夠在不經(jīng)歷任何故障時(shí)間的情況下更換正在出錯(cuò)的磁盤(pán)或已發(fā)生故障的磁盤(pán)的存儲(chǔ)系統(tǒng),它是保證磁盤(pán)子系統(tǒng)非故障時(shí)間的一條途徑。 RAID的另一個(gè)優(yōu)點(diǎn)是在其上面?zhèn)鬏敂?shù)據(jù)的速度遠(yuǎn)遠(yuǎn)高于單獨(dú)一個(gè)磁盤(pán)上傳輸數(shù)據(jù)時(shí)的速度。即數(shù)據(jù)能夠從RAID上較快地讀出來(lái)。 應(yīng)根據(jù)實(shí)際情況選擇適當(dāng)?shù)腞AID級(jí)別可以滿足用戶對(duì)存儲(chǔ)系統(tǒng)可用性、性能和容量的要求。常用的RAID級(jí)別有以下幾種:NRAID,JBOD,RAID0,RAID1,RAID0+1,RAID3,RAID5等。為提高可靠性和性能,常使用RAID5和RAID(0+1)。

三、數(shù)據(jù)備份Backup-Definition“Backupisacopytypeofoperation,designedtoprotectdatafromaccidentalormaliciouslossordamage”File12(ormore)BackupCopy備份過(guò)程拷貝為什么要備份Systemstolen UserDataandSystemLossSystemdamaged UserDataandSystemLoss/DowntimeAccidentalFileDeletion FileLossAccidentalFileOverwrite FileLossAccidentalDirectoryDeletion Directoryand/orFileLoss HackerIntrusion CorruptorLostDataMagneticDiskFailure CorruptorLostDataCPU/MotherboardFailure CorruptorLostDataandDowntimeNetwork/InterfaceFailure CorruptorLostData/LossofConnectivityApplicationHaltorCrash CorruptorLostDataOperatingSystemHaltorCrash CorruptorLostData事件結(jié)果為什么要備份Flood SiteLoss-CompleteorPartialExtremeWeatherEvent SiteLoss-CompleteorPartialSeismicEvent SiteLoss-CompleteorPartialAviationAccident SiteLoss-CompleteorPartialTerrorism SiteLoss-CompleteorPartialEmergencyEvacuation LossofAccesstoSite災(zāi)難后果網(wǎng)絡(luò)備份系統(tǒng) 網(wǎng)絡(luò)備份實(shí)際上不僅僅是指網(wǎng)絡(luò)上各計(jì)算機(jī)的文件備份,它實(shí)際上包含了整個(gè)網(wǎng)絡(luò)系統(tǒng)的一套備份體系。 主要包括如下幾個(gè)方面: (1)文件備份和恢復(fù); (2)數(shù)據(jù)庫(kù)備份和恢復(fù); (3)系統(tǒng)災(zāi)難恢復(fù); (4)備份任務(wù)管理。 備份系統(tǒng)中用于備份與恢復(fù)的介質(zhì)主要的有:磁帶介質(zhì)和光學(xué)介質(zhì)。 1.磁帶介質(zhì) (1)具有較好的磁化特性,容易在它上面讀寫(xiě)數(shù)據(jù); (2)磁帶上的數(shù)據(jù)不會(huì)被與之相鄰的同一磁帶上別的數(shù)據(jù)處于低強(qiáng)度磁場(chǎng)的影響; (3)磁帶的各層不能相互分開(kāi)或出現(xiàn)剝落現(xiàn)象; (4)磁帶具有很好的抗拉強(qiáng)度,不容易被拉斷; (5)磁帶具有很好的柔軟度,這樣確保了通過(guò)磁帶機(jī)時(shí)可以卷得很緊并可以很容易地被彎曲。備份介質(zhì)

2.光學(xué)介質(zhì) 光學(xué)介質(zhì)技術(shù)是將從介質(zhì)表面反射回來(lái)的激光識(shí)別成信息。光學(xué)介質(zhì)上的0和1以不同的方式反射激光,這樣光驅(qū)就可以向光軌上發(fā)射一束激光并檢測(cè)反射光的不同。常見(jiàn)的光學(xué)介質(zhì)有:磁光盤(pán)和可讀CD。 磁光盤(pán),或稱(chēng)MO(Magnetic-Optical),是最好的持久性和耐磨性的一種介質(zhì)。它允許進(jìn)行非??焖俚臄?shù)據(jù)隨機(jī)訪問(wèn),MO特別適合于分級(jí)存儲(chǔ)管理應(yīng)用。但由于MO的容量至今仍不能與磁帶相比,因此,它未被廣泛用于備份系統(tǒng)。 可讀CD,即CD-ROM,目前因?yàn)樗俣忍瓦M(jìn)行多進(jìn)程介質(zhì)寫(xiě)入困難,目前還不能適應(yīng)于網(wǎng)絡(luò)備份的要求。硬盤(pán):速度快且方便可移動(dòng)磁盤(pán):容量小,價(jià)格昂貴光盤(pán):價(jià)格不昂貴且耐用,速度比較迅速磁帶:容量大,價(jià)格便宜,速度慢,順序存取 備份與恢復(fù)操作的種類(lèi) 對(duì)于大多數(shù)網(wǎng)絡(luò)管理員來(lái)說(shuō),備份和恢復(fù)是一項(xiàng)繁重的任務(wù)。而備份的最基本的一個(gè)問(wèn)題是:為保證能恢復(fù)全部系統(tǒng),需要備份多少以及何時(shí)進(jìn)行備份?

1.冷、熱備份冷備份:在備份期間,數(shù)據(jù)是不能改動(dòng),服務(wù)器將拒絕數(shù)據(jù)的更改。對(duì)于數(shù)據(jù)量大的備份系統(tǒng)并不是適用熱備份:在備份期間,數(shù)據(jù)是可以更改的,這需要相應(yīng)的支持。2.全盤(pán)備份、增量備份、差別備份、按需備份和排除。

全盤(pán)備份是將所有的文件寫(xiě)入備份介質(zhì)。增量備份指的是只備份那些上次備份之后已經(jīng)作過(guò)更改的文件,即備份已更新的文件。全備份備份數(shù)據(jù)量大,但恢復(fù)較容易增量備份數(shù)據(jù)量較小,但恢復(fù)較麻煩合理的安排備份,可以減少系統(tǒng)開(kāi)銷(xiāo)又保持一定的數(shù)據(jù)冗余。差別備份是對(duì)上次全盤(pán)備份之后更新過(guò)的所有文件的進(jìn)行備份的一種方法。差別備份的主要優(yōu)點(diǎn)是全部系統(tǒng)只需兩組磁帶就可以恢復(fù)——最后一次全盤(pán)備份的磁帶和最后一次差別備份的磁帶。按需備份是指在正常的備份安排之外額外進(jìn)行的備份操作。按需備份也可以彌補(bǔ)冗余管理或長(zhǎng)期轉(zhuǎn)儲(chǔ)的日常備份的不足。排除不是一種備份的方法,它只是把不想備份的文件排除在需備份文件之外的一類(lèi)方法。Fullbackup(全備份)全備份...........全備份全備份是在某一個(gè)時(shí)間點(diǎn)上所有數(shù)據(jù)的一個(gè)完全拷貝Differential(差分)BackupsFullBackupDifferentialFullBackupAdifferentialbackupisacopyofallthedatasincethelastfullBackup............Incremental(增量)BackupsFullBackup...........IncrementalsFullBackupIncrementalbackupisacopyofonlythedatathathavechangedsincethelastbackup.恢復(fù)恢復(fù)過(guò)程將數(shù)據(jù)從磁帶拷貝回磁盤(pán)備份是比恢復(fù)早的一個(gè)時(shí)間點(diǎn)的完全映象備份記錄了文件的目錄結(jié)構(gòu),權(quán)限等,備份在具體的某盤(pán)磁帶,磁帶在磁帶庫(kù)中具體的槽位等這些信息存儲(chǔ)在備份軟件的數(shù)據(jù)庫(kù)中通常被稱(chēng)為元數(shù)據(jù)DiskTape備份數(shù)據(jù)的生命周期DatabackedupBrowsePolicyExpiresBROWSABLERetentionPolicyExpiresRECOVERABLEVolumeRecycledRECYCLABLE/RECOVERABLEArchive(歸檔)Archive-Definition “Archiveisamovetypeofoperation,designedtopreserveafileforfuturereference”源文件1.1.備份歸檔的文件歸檔過(guò)程移動(dòng),校驗(yàn),(刪除)傳統(tǒng)lan環(huán)境下數(shù)據(jù)流走向ApplicationServerLANRAIDorJBODTapeLibraryBackupServerLan-free備份數(shù)據(jù)流的走向LocalAreaNetworkMetadataReadWriteBackupServerBackupClientServer-free數(shù)據(jù)流走向DiskFibreChannelLocalAreaNetworkTapeStorageAreaNetworkSan環(huán)境下磁帶驅(qū)動(dòng)器的共享TapeLocalAreaNetworkSANFibreChannel集群環(huán)境下的備份BackupServerVirtualClientBackupNas的備份NASServerTapeBackupServerNDMPCommunicationNDMP-NetworkDataManagementProtocol-isastoragespecificcommunicationsprotocolthatallowsNASsystemstobackuptolocaltapelibrariesunderthecontrolofaremotebackupserver

備份系統(tǒng)的設(shè)計(jì)

網(wǎng)絡(luò)備份實(shí)際上不僅僅是指網(wǎng)絡(luò)上各計(jì)算機(jī)的文件備份,它實(shí)際上包含了整個(gè)網(wǎng)絡(luò)系統(tǒng)的一套備份體系。 1.系統(tǒng)現(xiàn)狀分析及備份要求 系統(tǒng)的現(xiàn)狀分析的內(nèi)容包括: (1)網(wǎng)絡(luò)系統(tǒng)的操作平臺(tái); (2)網(wǎng)絡(luò)所采用的數(shù)據(jù)庫(kù)管理系統(tǒng); (3)網(wǎng)絡(luò)上運(yùn)行的應(yīng)用系統(tǒng); (4)網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)以及所選用的服務(wù)器等。 對(duì)網(wǎng)絡(luò)備份系統(tǒng)的要求主要有: (1)備份的數(shù)據(jù)需要保留的時(shí)間; (2)對(duì)數(shù)據(jù)庫(kù)的備份是否要求在線備份; (3)對(duì)不同操作平臺(tái)服務(wù)器要求以低成本實(shí)現(xiàn)備份; (4)是否需要一套自動(dòng)恢復(fù)的機(jī)制; (5)對(duì)恢復(fù)時(shí)間的要求; (6)對(duì)系統(tǒng)監(jiān)控程序運(yùn)行的要求; (7)對(duì)備份系統(tǒng)自動(dòng)化程度的要求; (8)對(duì)網(wǎng)絡(luò)前臺(tái)工作站信息備件要求; (9)說(shuō)明現(xiàn)已采用的備份措施等。

2.備份方案的設(shè)計(jì) (l)備份軟件 備份軟件的選擇對(duì)一個(gè)網(wǎng)絡(luò)備份系統(tǒng)來(lái)說(shuō)是至關(guān)重要的,它的選擇必須滿足用戶的全部需求。 (2)備份介質(zhì) 常見(jiàn)的備份介質(zhì)首選是磁帶,當(dāng)然,根據(jù)實(shí)際情況也可以考慮其它的介質(zhì),如磁光盤(pán)、可讀CD等。 (3)日常備份制度 如果決定采用磁帶作為備份的介質(zhì),那么,可以根據(jù)“磁帶輪換”中所介紹的幾種模式,選擇其中的一種或幾種模式作為日常備份制度。 3.備份方案的實(shí)現(xiàn) 備份方案的實(shí)現(xiàn)包括下列幾個(gè)方面: (1)安裝。包括應(yīng)用系統(tǒng),備份軟件以及磁帶機(jī)的安裝; (2)制定日常備份策略; (3)文件備份; (4)數(shù)據(jù)庫(kù)備份; (5)網(wǎng)絡(luò)操作系統(tǒng)備份; (6)工作站內(nèi)容的備份。4、備份中易出現(xiàn)的錯(cuò)誤 備份常常出現(xiàn)概念錯(cuò)誤,主要有下面幾方面:拷貝、磁盤(pán)陣列和利用系統(tǒng)提供的備份命令。

(1)拷貝 拷貝是實(shí)現(xiàn)數(shù)據(jù)備份的一個(gè)手段,但它不是備份的全部。 ①拷貝不能保存檔案的歷史記錄; ②備份可保存目錄服務(wù)記錄及重要的系統(tǒng)信息。

(2)磁盤(pán)陣列(RAID) RAID主要是針對(duì)數(shù)據(jù)安全的,不能作為備份。 ①RAID的主要用途是保證在線,(即時(shí)資料); ②RAID并沒(méi)有保留第二份或更多份的歷史資料; ③兩個(gè)磁盤(pán)同時(shí)毀壞

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論