計算機軟件及應用存儲基礎知識

2023/12/61存儲分類封閉系統(tǒng)的存儲開放系統(tǒng)的存儲內置存儲外掛存儲Direct-AttachedStorage直接式存儲（DAS）Fabric-AttachedStorage網絡存儲（FAS）Network-AttachedStorage網絡接入存儲（NAS）StorageAreaNetwork存儲區(qū)域網絡（SAN）2023/12/62DAS/SAN/NAS組網示意圖3DAS（DirectAttachmentStorage）直接連接存儲：存儲設備是通過電纜（通常是SCSI接口電纜）直接連到服務器的。I/O請求直接發(fā)送到存儲設備應用服務器BlockI/OSCSI協(xié)議StorageDAS2023/12/64典型DAS結構5DAS分析連接簡單集成在服務器內部；點到點的連接；距離短；安裝技術要求不高低成本需求SCSI總線成本低較好的性能通用的解決方案DAS的投資低，絕大多數(shù)應用可以接受DAS優(yōu)勢有限的擴展性SCSI總線的距離最大25米；最多15個設備專屬的連接空間資源無法與其他服務器共享備份和數(shù)據(jù)保護備份到與服務器直連的磁帶設備上硬件失敗將導致更高的恢復成本TCO（總擁有成本高）存儲容量的加大導致管理成本上升存儲使用效率低DAS劣勢6NAS（NetworkAttachmentStorage）應用服務器FileI/OIP協(xié)議NAS網絡連接存儲：存儲設備連接到現(xiàn)有的網絡上，提供數(shù)據(jù)和文件服務2023/12/67典型NAS結構8NAS的優(yōu)勢資源共享構架于IP網絡之上部署簡單較好的擴展性異構環(huán)境下的文件共享易于管理備份方案簡單低的TCONAS優(yōu)勢擴展性有限一些應用會占用帶寬資源不適應某些數(shù)據(jù)庫的應用NAS劣勢9SAN（StorageAreaNetwork）應用服務器BlockI/OFCP協(xié)議SAN存儲區(qū)域網絡：它是一個用在服務器和存儲資源之間的、專用的、高性能的網絡體系。它為實現(xiàn)大量原始數(shù)據(jù)的傳輸而進行了專門的優(yōu)化。2023/12/610典型SAN結構11SAN的優(yōu)勢實現(xiàn)存儲介質的共享非常好的擴展性易于數(shù)據(jù)備份和恢復實現(xiàn)備份磁帶共享LANFree和ServerFree高性能支持服務器群集技術容災手段低的TCOSAN優(yōu)勢成本較高需要專用的連接設備如FC交換機以及HBASAN孤島技術較為復雜需要專業(yè)的技術人員維護SAN劣勢2023/12/612DAS/NAS/SAN三種形態(tài)比較DASNASFC-SANIP-SAN傳輸類型SCSI、FCIPFCIP數(shù)據(jù)類型塊級文件級塊級塊級典型應用任何文件服務器數(shù)據(jù)庫應用視頻監(jiān)控優(yōu)點易于理解兼容性好易于安裝成本低高擴展性高性能高可用性高擴展性成本低缺點難以管理，擴展性有限存儲空間利用率不高性能較低對某些應用不適合比較昂貴，配置復雜互操作性問題性能較低2023/12/6目錄存儲組網形態(tài)主要協(xié)議RAID磁盤熱備與重構快照與復制數(shù)據(jù)分級存儲概念14存儲傳輸?shù)挠布ǖ烙腥N：

傳輸通道通過以太網線連接通過SCSI線纜連接通過光纖線纜連接

iSCSIHBACardiSCSI磁盤陣列SCSIHBACardSCSI磁盤陣列FCHBACardFC磁盤陣列以太網線SCSI線纜光纖線纜主機GECard2023/12/615SCSI協(xié)議SCSI是小型計算機系統(tǒng)接口（SmallComputerSystemInterface）的簡稱，主要用于高端系統(tǒng)的連接，現(xiàn)在已完全普及到了小型機及高端服務器。SCSI存儲是以主機為中心的；一條SCSI總線上可以串接多臺不同類型的設備。SCSI協(xié)議可以劃分為SCSI-1、SCSI-2、SCSI-3，最新的為SCSI-3，也是目前應用最廣泛的SCSI版本。

屬于SCSI-3的Ultra320SCSI的最高數(shù)據(jù)傳輸率已經達到了320MB/s。iSCSI協(xié)議的分層結構FC協(xié)議的分層結構iSCSI和FC協(xié)議層次比較2023/12/617目錄存儲組網形態(tài)主要協(xié)議RAID磁盤熱備與重構快照與復制數(shù)據(jù)分級存儲概念18RAID簡介RAID是廉價冗余磁盤陣列(RedundantArrayofInexpensiveDisks)的簡稱名詞說明分區(qū)又稱為Extent；是一個磁盤上的地址連續(xù)的存儲塊。一個磁盤可以劃分為多個分區(qū)，每個分區(qū)可以大小不等，有時也稱為邏輯磁盤。分塊又稱為Strip；將一個分區(qū)分成多個大小相等的、地址相鄰的塊，這些塊稱為分塊。分塊通常被認為是條帶的元素。虛擬磁盤以它為單位將虛擬磁盤的地址映射到成員磁盤的地址。條帶又稱為Stripe；是陣列的不同分區(qū)上的位置相關的strip的集合，是組織不同分區(qū)上條塊的單位。軟RAIDRAID的所有功能都依賴于操作系統(tǒng)（OS）與服務器CPU來完成，沒有第三方的控制/處理（業(yè)界稱其為RAID協(xié)處理器――RAIDCo-Processor）與I/O芯片硬RAID有專門的RAID控制/處理與I/O處理芯片，用來處理RAID任務，不需耗用主機CPU資源，效率高，性能好。19RAID0：StripedDiskArraywithoutFaultTolerance(沒有容錯設計的條帶磁盤陣列，以條帶形式將RAID陣列的數(shù)據(jù)均勻分布在各個陣列中。

總容量=(磁盤數(shù)量)*(磁盤容量)

RAID0（一）20優(yōu)點缺點可多I/O操作并行處理，極高的讀寫效率速度快，由于不存在校驗，所以不占用cpu資源設計，使用與配置簡單無冗余，一個RAID0的磁盤失敗，那么數(shù)據(jù)將徹底丟失不能用于關鍵數(shù)據(jù)環(huán)境適用領域：視頻生成和編輯圖像編輯較為“擁擠”的操作其他需要大的傳輸帶寬的操作

至少需要磁盤數(shù)：2個

RAID0（二）21RAID1：以鏡像作為冗余手段，虛擬磁盤中的數(shù)據(jù)有多個拷貝，放在成員磁盤上。

總容量=(磁盤數(shù)量/2)*(磁盤容量)

RAID1（一）22RAID1（二）優(yōu)點缺點理論上讀效率是單個磁盤的兩倍；100％的數(shù)據(jù)冗余；設計、使用簡單ECC效率低下，磁盤ECC的CPU占用率是所有RAID等級中最高的，在所有成本高；軟RAID方式下，很少能支持硬盤的熱插拔；空間利用率只有1/2適用領域：財務統(tǒng)計與數(shù)據(jù)庫金融系統(tǒng)其他需要高可用的數(shù)據(jù)存儲環(huán)境至少需要磁盤數(shù)2個23

RAID3(條帶分布+專用盤校驗)：以xor校驗為冗余方式，使用專門的磁盤存放校驗數(shù)據(jù)，虛擬磁盤上的數(shù)據(jù)塊被分為更小的數(shù)據(jù)塊并行傳輸?shù)礁鱾€成員物理磁盤上，同時計算出xor校驗數(shù)據(jù)存放到校驗磁盤上。

總容量=(磁盤數(shù)量-1)*(磁盤容量)

RAID3（一）24RAID3（二）優(yōu)點缺點相對較高的讀取傳輸率高可用性，如果有一個磁盤損壞，對吞吐量影響較小高效率的ECC操作校驗盤成為性能瓶頸每次讀寫牽動整個組，每次只能完成一次I/O適用領域：視頻生成和在線編輯圖像和視頻編輯其他需要高吞吐量的的場合至少需要磁盤數(shù)3個25RAID5(條帶技術+分布式校驗)：以XOR檢驗為冗余方式，校驗數(shù)據(jù)均勻分布在各個數(shù)據(jù)磁盤上，對各個數(shù)據(jù)磁盤的訪問為異步操作?？側萘?(磁盤數(shù)-1)*(磁盤容量)RAID5（一）A0A1A2A34PRITYC0C12PRITYC2C3B0B1B23PRITYB3D01PRITYD1D2D30PRITYE1E2E3E4ABCDE26RAID5（二）優(yōu)點缺點高讀取速率中等寫速率異或校驗影響存儲性能磁盤損壞后，重建很復雜適用領域：文件服務器和應用服務器OLTP環(huán)境的數(shù)據(jù)庫WEB，E－MAIL服務器至少需要磁盤數(shù)3個27RAID6（二）優(yōu)點缺點快速的讀取性能更高的容錯能力很慢的寫入速度成本更高適用領域：高可靠性環(huán)境至少需要磁盤數(shù)：4個28RAID10（二）優(yōu)點缺點高讀取速率高寫速率，較校驗RAID而言，寫開銷最小至多可以容許N個磁盤同時損壞（2N個磁盤組成的RAID10陣列）貴只有1/2的磁盤利用率適用領域：要求高可靠性和高性能的數(shù)據(jù)庫服務器至少需要磁盤數(shù)：4個29RAID50（二）優(yōu)點缺點比單個RAI5容納更多的磁盤比單個RAID5有更好的讀性能至多可以容許n個磁盤同時損壞（N個RAID5組成的RAID50陣列）比相同容量的單個RAID5重建時間更短比較難實現(xiàn)同一個RAID5組內的兩個磁盤損壞會導致整個RAID50陣列的失效適用領域：大型數(shù)據(jù)庫服務器應用服務器文件服務器至少需要磁盤數(shù)：6個2023/12/6目錄存儲組網形態(tài)主要協(xié)議RAID磁盤熱備與重構快照與復制數(shù)據(jù)分級存儲概念2023/12/631所謂熱備份是在建立RAID磁盤陣列系統(tǒng)的時候，將其中一磁盤指定為熱備磁盤，此熱備磁盤在平常并不操作，當陣列中某一磁盤發(fā)生故障時，熱備磁盤便取代故障磁盤，并自動將故障磁盤的數(shù)據(jù)重構在熱備磁盤上。熱備盤分為：全局熱備盤和局部熱備盤全局熱備盤：針對整個磁盤陣列，對陣列中所有RAID組起作用。局部熱備盤：只針對某一RAID組起作用。因為反應快速，加上快取內存減少了磁盤的存取，所以數(shù)據(jù)重構很快即可完成，對系統(tǒng)的性能影響不大。對于要求不停機的大型數(shù)據(jù)處理中心或控制中心而言，熱備份更是一項重要的功能，因為可避免晚間或無人守護時發(fā)生磁盤故障所引起的種種不便。熱備（HotSpare）2023/12/6目錄存儲組網形態(tài)主要協(xié)議RAID磁盤熱備與重構快照與復制數(shù)據(jù)分級存儲概念2023/12/633邏輯卷快照(snapshot)DEAC基本概念：BaseVolume：快照源卷RepositoryVolume：快照倉儲卷，保存快照源卷在快照過程中被修改以前的數(shù)據(jù)SnapshotVolume：快照卷某一個時間點的邏輯卷映像：邏輯上相當于整個BaseVolume的拷貝可將SanpshotVolume分配給任何一臺主機SnapshotVolume可讀取、寫入或拷貝存儲空間需求需要相當于BaseVolume20%的額外空間用途文件、邏輯卷恢復備份、測試、數(shù)據(jù)分析等2023/12/634W

R

E

P

O

S

I

T

S

N

A

P

S

H

O

T

V

O

L

UM

B

A

S

E

V

O

L

UM

E

X

Y

Z

R

I

T

E

S首先，在快照完成之前控制器是禁止對源卷進行寫操作的。倉儲卷默認是源卷大小的20%滿足上面條件后，快照過程開始進行快照(snapshot)開始2023/12/635最后一步我們源卷的原數(shù)據(jù)已經寫到了倉儲卷上

B

A

S

V

O

E

T

S

N

A

P

S

H

O

T

V

O

L

UMW

R

I

E

T

E

L

UM

S

X

Y

Z快照卷的指針指到了新的數(shù)據(jù)位置源卷數(shù)據(jù)更新完畢2023/12/6目錄存儲組網形態(tài)主要協(xié)議RAID磁盤熱備與重構快照與復制數(shù)據(jù)分級存儲概念37數(shù)據(jù)分級存儲概念數(shù)據(jù)分級存儲：

把數(shù)據(jù)存放在不同類別的存儲設備（磁盤、磁盤陣列、光盤庫、磁帶）中，通過分級存儲管理軟件實現(xiàn)數(shù)據(jù)實體在存儲設備之間的自動遷移。根據(jù)數(shù)據(jù)的訪問頻率、保留時間、容量、性能要求等因素確定最佳存儲