計(jì)算機(jī)軟件及應(yīng)用存儲(chǔ)基礎(chǔ)知識(shí)

2024/7/231存儲(chǔ)分類(lèi)封閉系統(tǒng)的存儲(chǔ)開(kāi)放系統(tǒng)的存儲(chǔ)內(nèi)置存儲(chǔ)外掛存儲(chǔ)Direct-AttachedStorage直接式存儲(chǔ)（DAS）Fabric-AttachedStorage網(wǎng)絡(luò)存儲(chǔ)（FAS）Network-AttachedStorage網(wǎng)絡(luò)接入存儲(chǔ)（NAS）StorageAreaNetwork存儲(chǔ)區(qū)域網(wǎng)絡(luò)（SAN）2024/7/232DAS/SAN/NAS組網(wǎng)示意圖3DAS（DirectAttachmentStorage）直接連接存儲(chǔ)：存儲(chǔ)設(shè)備是通過(guò)電纜（通常是SCSI接口電纜）直接連到服務(wù)器的。I/O請(qǐng)求直接發(fā)送到存儲(chǔ)設(shè)備應(yīng)用服務(wù)器BlockI/OSCSI協(xié)議StorageDAS2024/7/234典型DAS結(jié)構(gòu)5DAS分析連接簡(jiǎn)單集成在服務(wù)器內(nèi)部；點(diǎn)到點(diǎn)的連接；距離短；安裝技術(shù)要求不高低成本需求SCSI總線成本低較好的性能通用的解決方案DAS的投資低，絕大多數(shù)應(yīng)用可以接受DAS優(yōu)勢(shì)有限的擴(kuò)展性SCSI總線的距離最大25米；最多15個(gè)設(shè)備專屬的連接空間資源無(wú)法與其他服務(wù)器共享備份和數(shù)據(jù)保護(hù)備份到與服務(wù)器直連的磁帶設(shè)備上硬件失敗將導(dǎo)致更高的恢復(fù)成本TCO（總擁有成本高）存儲(chǔ)容量的加大導(dǎo)致管理成本上升存儲(chǔ)使用效率低DAS劣勢(shì)6NAS（NetworkAttachmentStorage）應(yīng)用服務(wù)器FileI/OIP協(xié)議NAS網(wǎng)絡(luò)連接存儲(chǔ)：存儲(chǔ)設(shè)備連接到現(xiàn)有的網(wǎng)絡(luò)上，提供數(shù)據(jù)和文件服務(wù)2024/7/237典型NAS結(jié)構(gòu)8NAS的優(yōu)勢(shì)資源共享構(gòu)架于IP網(wǎng)絡(luò)之上部署簡(jiǎn)單較好的擴(kuò)展性異構(gòu)環(huán)境下的文件共享易于管理備份方案簡(jiǎn)單低的TCONAS優(yōu)勢(shì)擴(kuò)展性有限一些應(yīng)用會(huì)占用帶寬資源不適應(yīng)某些數(shù)據(jù)庫(kù)的應(yīng)用NAS劣勢(shì)9SAN（StorageAreaNetwork）應(yīng)用服務(wù)器BlockI/OFCP協(xié)議SAN存儲(chǔ)區(qū)域網(wǎng)絡(luò)：它是一個(gè)用在服務(wù)器和存儲(chǔ)資源之間的、專用的、高性能的網(wǎng)絡(luò)體系。它為實(shí)現(xiàn)大量原始數(shù)據(jù)的傳輸而進(jìn)行了專門(mén)的優(yōu)化。2024/7/2310典型SAN結(jié)構(gòu)11SAN的優(yōu)勢(shì)實(shí)現(xiàn)存儲(chǔ)介質(zhì)的共享非常好的擴(kuò)展性易于數(shù)據(jù)備份和恢復(fù)實(shí)現(xiàn)備份磁帶共享LANFree和ServerFree高性能支持服務(wù)器群集技術(shù)容災(zāi)手段低的TCOSAN優(yōu)勢(shì)成本較高需要專用的連接設(shè)備如FC交換機(jī)以及HBASAN孤島技術(shù)較為復(fù)雜需要專業(yè)的技術(shù)人員維護(hù)SAN劣勢(shì)2024/7/2312DAS/NAS/SAN三種形態(tài)比較DASNASFC-SANIP-SAN傳輸類(lèi)型SCSI、FCIPFCIP數(shù)據(jù)類(lèi)型塊級(jí)文件級(jí)塊級(jí)塊級(jí)典型應(yīng)用任何文件服務(wù)器數(shù)據(jù)庫(kù)應(yīng)用視頻監(jiān)控優(yōu)點(diǎn)易于理解兼容性好易于安裝成本低高擴(kuò)展性高性能高可用性高擴(kuò)展性成本低缺點(diǎn)難以管理，擴(kuò)展性有限存儲(chǔ)空間利用率不高性能較低對(duì)某些應(yīng)用不適合比較昂貴，配置復(fù)雜互操作性問(wèn)題性能較低2024/7/23目錄存儲(chǔ)組網(wǎng)形態(tài)主要協(xié)議RAID磁盤(pán)熱備與重構(gòu)快照與復(fù)制數(shù)據(jù)分級(jí)存儲(chǔ)概念14存儲(chǔ)傳輸?shù)挠布ǖ烙腥N：

傳輸通道通過(guò)以太網(wǎng)線連接通過(guò)SCSI線纜連接通過(guò)光纖線纜連接

iSCSIHBACardiSCSI磁盤(pán)陣列SCSIHBACardSCSI磁盤(pán)陣列FCHBACardFC磁盤(pán)陣列以太網(wǎng)線SCSI線纜光纖線纜主機(jī)GECard2024/7/2315SCSI協(xié)議SCSI是小型計(jì)算機(jī)系統(tǒng)接口（SmallComputerSystemInterface）的簡(jiǎn)稱，主要用于高端系統(tǒng)的連接，現(xiàn)在已完全普及到了小型機(jī)及高端服務(wù)器。SCSI存儲(chǔ)是以主機(jī)為中心的；一條SCSI總線上可以串接多臺(tái)不同類(lèi)型的設(shè)備。SCSI協(xié)議可以劃分為SCSI-1、SCSI-2、SCSI-3，最新的為SCSI-3，也是目前應(yīng)用最廣泛的SCSI版本。

屬于SCSI-3的Ultra320SCSI的最高數(shù)據(jù)傳輸率已經(jīng)達(dá)到了320MB/s。iSCSI協(xié)議的分層結(jié)構(gòu)FC協(xié)議的分層結(jié)構(gòu)iSCSI和FC協(xié)議層次比較2024/7/2317目錄存儲(chǔ)組網(wǎng)形態(tài)主要協(xié)議RAID磁盤(pán)熱備與重構(gòu)快照與復(fù)制數(shù)據(jù)分級(jí)存儲(chǔ)概念18RAID簡(jiǎn)介RAID是廉價(jià)冗余磁盤(pán)陣列(RedundantArrayofInexpensiveDisks)的簡(jiǎn)稱名詞說(shuō)明分區(qū)又稱為Extent；是一個(gè)磁盤(pán)上的地址連續(xù)的存儲(chǔ)塊。一個(gè)磁盤(pán)可以劃分為多個(gè)分區(qū)，每個(gè)分區(qū)可以大小不等，有時(shí)也稱為邏輯磁盤(pán)。分塊又稱為Strip；將一個(gè)分區(qū)分成多個(gè)大小相等的、地址相鄰的塊，這些塊稱為分塊。分塊通常被認(rèn)為是條帶的元素。虛擬磁盤(pán)以它為單位將虛擬磁盤(pán)的地址映射到成員磁盤(pán)的地址。條帶又稱為Stripe；是陣列的不同分區(qū)上的位置相關(guān)的strip的集合，是組織不同分區(qū)上條塊的單位。軟RAIDRAID的所有功能都依賴于操作系統(tǒng)（OS）與服務(wù)器CPU來(lái)完成，沒(méi)有第三方的控制/處理（業(yè)界稱其為RAID協(xié)處理器――RAIDCo-Processor）與I/O芯片硬RAID有專門(mén)的RAID控制/處理與I/O處理芯片，用來(lái)處理RAID任務(wù)，不需耗用主機(jī)CPU資源，效率高，性能好。19RAID0：StripedDiskArraywithoutFaultTolerance(沒(méi)有容錯(cuò)設(shè)計(jì)的條帶磁盤(pán)陣列，以條帶形式將RAID陣列的數(shù)據(jù)均勻分布在各個(gè)陣列中。

總?cè)萘?(磁盤(pán)數(shù)量)*(磁盤(pán)容量)

RAID0（一）20優(yōu)點(diǎn)缺點(diǎn)可多I/O操作并行處理，極高的讀寫(xiě)效率速度快，由于不存在校驗(yàn)，所以不占用cpu資源設(shè)計(jì)，使用與配置簡(jiǎn)單無(wú)冗余，一個(gè)RAID0的磁盤(pán)失敗，那么數(shù)據(jù)將徹底丟失不能用于關(guān)鍵數(shù)據(jù)環(huán)境適用領(lǐng)域：視頻生成和編輯圖像編輯較為“擁擠”的操作其他需要大的傳輸帶寬的操作

至少需要磁盤(pán)數(shù)：2個(gè)

RAID0（二）21RAID1：以鏡像作為冗余手段，虛擬磁盤(pán)中的數(shù)據(jù)有多個(gè)拷貝，放在成員磁盤(pán)上。

總?cè)萘?(磁盤(pán)數(shù)量/2)*(磁盤(pán)容量)

RAID1（一）22RAID1（二）優(yōu)點(diǎn)缺點(diǎn)理論上讀效率是單個(gè)磁盤(pán)的兩倍；100％的數(shù)據(jù)冗余；設(shè)計(jì)、使用簡(jiǎn)單ECC效率低下，磁盤(pán)ECC的CPU占用率是所有RAID等級(jí)中最高的，在所有成本高；軟RAID方式下，很少能支持硬盤(pán)的熱插拔；空間利用率只有1/2適用領(lǐng)域：財(cái)務(wù)統(tǒng)計(jì)與數(shù)據(jù)庫(kù)金融系統(tǒng)其他需要高可用的數(shù)據(jù)存儲(chǔ)環(huán)境至少需要磁盤(pán)數(shù)2個(gè)23

RAID3(條帶分布+專用盤(pán)校驗(yàn))：以xor校驗(yàn)為冗余方式，使用專門(mén)的磁盤(pán)存放校驗(yàn)數(shù)據(jù)，虛擬磁盤(pán)上的數(shù)據(jù)塊被分為更小的數(shù)據(jù)塊并行傳輸?shù)礁鱾€(gè)成員物理磁盤(pán)上，同時(shí)計(jì)算出xor校驗(yàn)數(shù)據(jù)存放到校驗(yàn)磁盤(pán)上。

總?cè)萘?(磁盤(pán)數(shù)量-1)*(磁盤(pán)容量)

RAID3（一）24RAID3（二）優(yōu)點(diǎn)缺點(diǎn)相對(duì)較高的讀取傳輸率高可用性，如果有一個(gè)磁盤(pán)損壞，對(duì)吞吐量影響較小高效率的ECC操作校驗(yàn)盤(pán)成為性能瓶頸每次讀寫(xiě)牽動(dòng)整個(gè)組，每次只能完成一次I/O適用領(lǐng)域：視頻生成和在線編輯圖像和視頻編輯其他需要高吞吐量的的場(chǎng)合至少需要磁盤(pán)數(shù)3個(gè)25RAID5(條帶技術(shù)+分布式校驗(yàn))：以XOR檢驗(yàn)為冗余方式，校驗(yàn)數(shù)據(jù)均勻分布在各個(gè)數(shù)據(jù)磁盤(pán)上，對(duì)各個(gè)數(shù)據(jù)磁盤(pán)的訪問(wèn)為異步操作?？?cè)萘?(磁盤(pán)數(shù)-1)*(磁盤(pán)容量)RAID5（一）A0A1A2A34PRITYC0C12PRITYC2C3B0B1B23PRITYB3D01PRITYD1D2D30PRITYE1E2E3E4ABCDE26RAID5（二）優(yōu)點(diǎn)缺點(diǎn)高讀取速率中等寫(xiě)速率異或校驗(yàn)影響存儲(chǔ)性能磁盤(pán)損壞后，重建很復(fù)雜適用領(lǐng)域：文件服務(wù)器和應(yīng)用服務(wù)器OLTP環(huán)境的數(shù)據(jù)庫(kù)WEB，E－MAIL服務(wù)器至少需要磁盤(pán)數(shù)3個(gè)27RAID6（二）優(yōu)點(diǎn)缺點(diǎn)快速的讀取性能更高的容錯(cuò)能力很慢的寫(xiě)入速度成本更高適用領(lǐng)域：高可靠性環(huán)境至少需要磁盤(pán)數(shù)：4個(gè)28RAID10（二）優(yōu)點(diǎn)缺點(diǎn)高讀取速率高寫(xiě)速率，較校驗(yàn)RAID而言，寫(xiě)開(kāi)銷(xiāo)最小至多可以容許N個(gè)磁盤(pán)同時(shí)損壞（2N個(gè)磁盤(pán)組成的RAID10陣列）貴只有1/2的磁盤(pán)利用率適用領(lǐng)域：要求高可靠性和高性能的數(shù)據(jù)庫(kù)服務(wù)器至少需要磁盤(pán)數(shù)：4個(gè)29RAID50（二）優(yōu)點(diǎn)缺點(diǎn)比單個(gè)RAI5容納更多的磁盤(pán)比單個(gè)RAID5有更好的讀性能至多可以容許n個(gè)磁盤(pán)同時(shí)損壞（N個(gè)RAID5組成的RAID50陣列）比相同容量的單個(gè)RAID5重建時(shí)間更短比較難實(shí)現(xiàn)同一個(gè)RAID5組內(nèi)的兩個(gè)磁盤(pán)損壞會(huì)導(dǎo)致整個(gè)RAID50陣列的失效適用領(lǐng)域：大型數(shù)據(jù)庫(kù)服務(wù)器應(yīng)用服務(wù)器文件服務(wù)器至少需要磁盤(pán)數(shù)：6個(gè)2024/7/23目錄存儲(chǔ)組網(wǎng)形態(tài)主要協(xié)議RAID磁盤(pán)熱備與重構(gòu)快照與復(fù)制數(shù)據(jù)分級(jí)存儲(chǔ)概念2024/7/2331所謂熱備份是在建立RAID磁盤(pán)陣列系統(tǒng)的時(shí)候，將其中一磁盤(pán)指定為熱備磁盤(pán)，此熱備磁盤(pán)在平常并不操作，當(dāng)陣列中某一磁盤(pán)發(fā)生故障時(shí)，熱備磁盤(pán)便取代故障磁盤(pán)，并自動(dòng)將故障磁盤(pán)的數(shù)據(jù)重構(gòu)在熱備磁盤(pán)上。熱備盤(pán)分為：全局熱備盤(pán)和局部熱備盤(pán)全局熱備盤(pán)：針對(duì)整個(gè)磁盤(pán)陣列，對(duì)陣列中所有RAID組起作用。局部熱備盤(pán)：只針對(duì)某一RAID組起作用。因?yàn)榉磻?yīng)快速，加上快取內(nèi)存減少了磁盤(pán)的存取，所以數(shù)據(jù)重構(gòu)很快即可完成，對(duì)系統(tǒng)的性能影響不大。對(duì)于要求不停機(jī)的大型數(shù)據(jù)處理中心或控制中心而言，熱備份更是一項(xiàng)重要的功能，因?yàn)榭杀苊馔黹g或無(wú)人守護(hù)時(shí)發(fā)生磁盤(pán)故障所引起的種種不便。熱備（HotSpare）2024/7/23目錄存儲(chǔ)組網(wǎng)形態(tài)主要協(xié)議RAID磁盤(pán)熱備與重構(gòu)快照與復(fù)制數(shù)據(jù)分級(jí)存儲(chǔ)概念2024/7/2333邏輯卷快照(snapshot)DEAC基本概念：BaseVolume：快照源卷RepositoryVolume：快照倉(cāng)儲(chǔ)卷，保存快照源卷在快照過(guò)程中被修改以前的數(shù)據(jù)SnapshotVolume：快照卷某一個(gè)時(shí)間點(diǎn)的邏輯卷映像：邏輯上相當(dāng)于整個(gè)BaseVolume的拷貝可將SanpshotVolume分配給任何一臺(tái)主機(jī)SnapshotVolume可讀取、寫(xiě)入或拷貝存儲(chǔ)空間需求需要相當(dāng)于BaseVolume20%的額外空間用途文件、邏輯卷恢復(fù)備份、測(cè)試、數(shù)據(jù)分析等2024/7/2334W

R

E

P

O

S

I

T

S

N

A

P

S

H

O

T

V

O

L

UM

B

A

S

E

V

O

L

UM

E

X

Y

Z

R

I

T

E

S首先，在快照完成之前控制器是禁止對(duì)源卷進(jìn)行寫(xiě)操作的。倉(cāng)儲(chǔ)卷默認(rèn)是源卷大小的20%滿足上面條件后，快照過(guò)程開(kāi)始進(jìn)行快照(snapshot)開(kāi)始2024/7/2335最后一步我們?cè)淳淼脑瓟?shù)據(jù)已經(jīng)寫(xiě)到了倉(cāng)儲(chǔ)卷上

B

A

S

V

O

E

T

S

N

A

P

S

H

O

T

V

O

L

UMW

R

I

E

T

E

L

UM

S

X

Y

Z快照卷的指針指到了新的數(shù)據(jù)位置源卷數(shù)據(jù)更新完畢2024/7/23目錄存儲(chǔ)組網(wǎng)形態(tài)主要協(xié)議RAID磁盤(pán)熱備與重構(gòu)快照與復(fù)制數(shù)據(jù)分級(jí)存儲(chǔ)概念37數(shù)據(jù)分級(jí)存儲(chǔ)概念數(shù)據(jù)分級(jí)存儲(chǔ)：

把數(shù)據(jù)存放在不同類(lèi)別的存儲(chǔ)設(shè)備（磁盤(pán)、磁盤(pán)陣列、光盤(pán)庫(kù)、磁帶）中，通過(guò)分級(jí)存儲(chǔ)管理軟件實(shí)現(xiàn)數(shù)據(jù)實(shí)體在存儲(chǔ)設(shè)備之間的自動(dòng)遷移。根據(jù)數(shù)據(jù)的訪問(wèn)頻率、保留時(shí)間、容量、性能要求等因素確定最佳存儲(chǔ)