存儲技術(shù)發(fā)展培訓教程

1、企業(yè)級存儲技術(shù)存儲技術(shù)的產(chǎn)生存儲技術(shù)的地位存儲技術(shù)的現(xiàn)狀存儲技術(shù)的發(fā)展企業(yè)級存儲技術(shù)存儲技術(shù)的產(chǎn)生存儲技術(shù)的地位存儲技術(shù)的現(xiàn)狀存儲技術(shù)的發(fā)展磁盤陣列（磁盤陣列（Disk ArrayDisk Array）: :是由一個硬盤控制器來控制多個硬盤的相互連接，使多個硬盤的讀寫同步，減少錯誤，增加效率和可靠度的技術(shù)。簡單的說，磁盤陣列是把多個磁盤組成一個陣列，當作單一磁盤使用，它將數(shù)據(jù)以分段(striping)的方式儲存在不同的磁盤中，存取數(shù)據(jù)時，陣列中的相關(guān)磁盤一起動作，大幅減低數(shù)據(jù)的存取時間，同時有更佳的空間利用率。磁磁 盤盤為什么需要磁盤陣列為什么需要磁盤陣列? 磁盤陣列技術(shù)的產(chǎn)生一舉解決了以下問

2、題：增加存取(acces)速度。 增加容錯性(fault tolerance)，即安全性。防止數(shù)據(jù)因磁盤的故障而丟失。有效的利用磁盤空間。 盡量的平衡CPU，內(nèi)存及磁盤的性能并異，提高系統(tǒng)的整體工作性能。磁盤陣列的誕生：磁盤陣列的誕生：冗余磁盤陣列技術(shù)誕生于1987年，由美國加州大學伯克利分校提出。企業(yè)級存儲技術(shù)存儲技術(shù)的產(chǎn)生存儲技術(shù)的地位存儲技術(shù)的現(xiàn)狀存儲技術(shù)的發(fā)展網(wǎng)網(wǎng) 絡絡計計 算算存存 儲儲什么是企業(yè)級存儲設備企業(yè)級存儲技術(shù)存儲技術(shù)的產(chǎn)生存儲技術(shù)的地位存儲技術(shù)的現(xiàn)狀存儲技術(shù)的發(fā)展DAS （Direct -Attached storage ）直連附加存儲設備直連附加存儲設備SCSI320M

3、BSAS3GbInfiniband40GbDASDAS存儲架構(gòu)特點存儲架構(gòu)特點通過SCSI、Infiniband、SAS、FC、USB等接口與服務器連接結(jié)構(gòu)簡單、小規(guī)模分散式存儲應用部署簡便無存儲管理系統(tǒng)不具備集中管理能力(依賴于服務器)設備及數(shù)據(jù)管理復雜(依賴于服務器)備份、數(shù)據(jù)遷移復雜(依賴于服務器)可擴展性 服務器接口限制通道速率已經(jīng)不再是通道速率已經(jīng)不再是性能瓶頸性能瓶頸接口不夠接口不夠設備多了怎么管設備多了怎么管? ?FC-SANIP-SANSAN架構(gòu)架構(gòu)SAN（Storage Area Network）存儲區(qū)域網(wǎng)絡存儲區(qū)域網(wǎng)絡SANSAN存儲架構(gòu)存儲架構(gòu)動態(tài)擴展橫向擴展，性能線性上

4、升高度可靠全面的冗余機制集中管理 網(wǎng)絡化集中管理維護簡便 即插即用動態(tài)擴展動態(tài)擴展即插即用即插即用無距離限制無距離限制互操作性強互操作性強安裝、操作簡單安裝、操作簡單更低的更低的TCOTCOFC-SANIP-SAN有距離限制有距離限制互操作性差互操作性差復雜程度高復雜程度高較高的較高的TCOTCO比較比較IP SAN IP SAN FC SAN FC SAN 使用環(huán)境使用環(huán)境高端應用，數(shù)據(jù)庫， Cluster、容災，及海量存儲 延遲要求非常低的高端應用 、Cluster、容災。傳輸距離傳輸距離使用標準TCP/IP協(xié)議，數(shù)據(jù)可以在以太網(wǎng)上傳輸，理論上沒有距離限制受到光纖傳輸距離限制，容易在異地形

5、成存儲孤島數(shù)據(jù)幀大小數(shù)據(jù)幀大小1500-9000BYTE2K BYTE傳輸效率傳輸效率/ /延遲延遲 高效率/低延遲 較高效率/較低延遲 安全性安全性 ISCSI提供非常豐富的安全功能：Initiator與Target之間的身份驗證可以阻止未授權(quán)訪問?？蓡⒂靡蕴W(wǎng)豐富的加密功能保證鏈路安全例如使用IPSEC保證鏈路安全，防止竊聽、修改，保證了安全性使用專用FC網(wǎng)絡，但FC本身沒有安全功能價格合理的存儲合并功能與更為簡化的集中數(shù)據(jù)管理功能實施過程簡單價格合理的存儲合并功能與更為簡化的集中數(shù)據(jù)管理功能實施過程簡單IPIP網(wǎng)絡技術(shù)相當成熟，網(wǎng)絡技術(shù)相當成熟，IP SANIP SAN減少了配置、維護、

6、管理的復雜度減少了配置、維護、管理的復雜度數(shù)據(jù)遷移和遠程鏡像非常容易，更好的支持異地容災數(shù)據(jù)遷移和遠程鏡像非常容易，更好的支持異地容災和現(xiàn)有網(wǎng)絡基礎結(jié)構(gòu)融合和現(xiàn)有網(wǎng)絡基礎結(jié)構(gòu)融合IP SANIP SAN有三個無限：基于以太網(wǎng)沒有速度限制；沒有距離限制，可無縫有三個無限：基于以太網(wǎng)沒有速度限制；沒有距離限制，可無縫連接，實現(xiàn)低價格的遠程容災；沒有容量限制連接，實現(xiàn)低價格的遠程容災；沒有容量限制Plug & PlayPlug & Play 無需客戶端軟硬件升級無需客戶端軟硬件升級 維護簡便維護簡便 使用人員無需技術(shù)培訓使用人員無需技術(shù)培訓 升級擴容簡單升級擴容簡單IP-SANIP-

7、SANFC-SANFC-SAN網(wǎng)網(wǎng) 卡卡普通以太網(wǎng)卡HBA光纖卡網(wǎng)網(wǎng) 線線以太網(wǎng)線光纖線纜交換機交換機以太網(wǎng)交換機光纖存儲交換機HBA卡需額外配置，價格較高；一般服務器標配雙千兆以太網(wǎng)卡光纖存儲交換機價格較高；千兆以太網(wǎng)交換機較為普遍NAS （Network-Attached storage ）網(wǎng)絡附加存儲設備網(wǎng)絡附加存儲設備NASNAS存儲架構(gòu)存儲架構(gòu)網(wǎng)絡化集中管理網(wǎng)絡化集中管理異構(gòu)平臺數(shù)據(jù)共享異構(gòu)平臺數(shù)據(jù)共享高效率的文件系統(tǒng)高效率的文件系統(tǒng)安全性強：嵌入式管理系統(tǒng)，防病毒、授權(quán)訪問安全性強：嵌入式管理系統(tǒng)，防病毒、授權(quán)訪問技技 術(shù)術(shù)傳輸內(nèi)容傳輸內(nèi)容帶帶 寬寬共享內(nèi)容共享內(nèi)容跨平臺跨平臺優(yōu)優(yōu)

8、 點點應應 用用DAS塊320MB/S3GbSAS40Gb InfinibandN/AN/A安裝維護方便 性價比高直連擴展存儲雙機系統(tǒng)NAS文件1Gb/s10Gb/s文件Y異構(gòu)平臺共享文件，安裝維護較簡單，性價比較高文件服務器 OA文件共享應用iSCSI（IP-SAN）塊1Gb/s10Gb/s設備Y使用成熟的以太網(wǎng)技術(shù)，性價比高高端應用，數(shù)據(jù)庫， Cluster、容災，及海量存儲FC-SAN塊2Gb/s4Gb/s設備Y使用FC鏈路，較高的傳輸效率延遲要求非常低的高端應用 、Cluster、容災。 SAN存儲域網(wǎng)的特點存儲域網(wǎng)的特點 NAS網(wǎng)絡存儲系統(tǒng)的特點網(wǎng)絡存儲系統(tǒng)的特點 SAN 是個存儲網(wǎng)

9、絡 NAS 是個存儲設備 傳輸數(shù)據(jù)塊（ block）；設備共享 傳輸文件；文件共享服務器訪問數(shù)據(jù) 客戶機、服務器均可訪問數(shù)據(jù) 在服務器上設置文件系統(tǒng)在網(wǎng)絡存儲系統(tǒng)設備上設置文件系統(tǒng) 與以太網(wǎng)或者FC網(wǎng)絡連接與以太網(wǎng)連接 使用FCP協(xié)議或者iSCSI協(xié)議使用NFS或CIFS協(xié)議結(jié)論：結(jié)論： SAN+NASSAN+NAS統(tǒng)一存儲系統(tǒng)是目前用戶實現(xiàn)數(shù)據(jù)集中存儲的最佳形式統(tǒng)一存儲系統(tǒng)是目前用戶實現(xiàn)數(shù)據(jù)集中存儲的最佳形式消除信息孤島：保證全面的業(yè)務數(shù)據(jù)集中存儲和保護；最佳的性價比：針對不同的應用特點提供不同的存儲架構(gòu)，降低總體成本；良好的可擴充性和兼容性：充分發(fā)揮雙網(wǎng)結(jié)合的優(yōu)勢，具有良好的兼容性和強大的

10、擴充能力。1. 存儲空間獨立2. 數(shù)據(jù)管理復雜3. 數(shù)據(jù)應用復雜訪問端服務器端存儲端統(tǒng)一命名空間頁磁盤RAID集群存儲節(jié)點1RAID 10、5或或6備份備份數(shù)據(jù)庫數(shù)據(jù)庫12N應用應用交換式千兆以太網(wǎng)交換式千兆以太網(wǎng)備份應用數(shù)據(jù)庫集群存儲節(jié)點2RAID 10、5或或6統(tǒng)一命名空間磁盤RAID集群存儲節(jié)點1頁RAID 10、5或或6備份備份數(shù)據(jù)庫數(shù)據(jù)庫12N應用應用交換式千兆以太網(wǎng)交換式千兆以太網(wǎng)備份應用數(shù)據(jù)庫3424自動而透明地實現(xiàn)各陣列的負載均衡自動而透明地實現(xiàn)各陣列的負載均衡集群存儲節(jié)點2RAID 10、5或或6統(tǒng)一命名空間磁盤RAID集群存儲節(jié)點1頁RAID 10、5或或612N交換式千兆

11、以太網(wǎng)交換式千兆以太網(wǎng)備份應用數(shù)據(jù)庫數(shù)據(jù)庫數(shù)據(jù)庫應用應用備份備份3424RAID 10、5或或6集群存儲節(jié)點3什么是云存儲什么是云存儲: :云存儲是這樣一種存儲方式，存儲資源是動態(tài)易擴展而且虛擬化的，往往通過網(wǎng)絡提供。用戶不需要了解“云”中基礎設施（存儲設備）的細節(jié)，不必具有相應的專業(yè)知識，也無需直接進行控制-基礎設施即服務（IaaS）。云存儲帶來的好處云存儲帶來的好處: :快速部署資源或獲得服務按需擴展和使用按使用量付費個人空間服務、運營商空間租賃.視頻監(jiān)控、IP TV系統(tǒng)的集中存儲，網(wǎng)站大容量在線存儲等.企事業(yè)單位或SMB實現(xiàn)數(shù)據(jù)備份、數(shù)據(jù)歸檔、集中存儲、遠程共享訪問層訪問層公用API接口

12、，應用軟件，Web service網(wǎng)絡（廣域網(wǎng)或互聯(lián)網(wǎng)）接入，用戶認證，權(quán)限管理應用接口層應用接口層集群系統(tǒng)分布式文件系統(tǒng)網(wǎng)格計算數(shù)據(jù)加密數(shù)據(jù)備份數(shù)據(jù)容災內(nèi)容分發(fā)P2P重復數(shù)據(jù)刪除數(shù)據(jù)壓縮基礎管理層基礎管理層存儲設備（NAS,FCSAN,ISCSI)存儲虛擬化、存儲集中管理、狀態(tài)監(jiān)控、維護升級存儲層存儲層企業(yè)級存儲技術(shù)存儲技術(shù)的產(chǎn)生存儲技術(shù)的地位存儲技術(shù)的現(xiàn)狀存儲技術(shù)的發(fā)展動態(tài)思維動態(tài)思維自動優(yōu)化自動優(yōu)化80s90s21st世紀網(wǎng)絡技術(shù)計算技術(shù)存儲技術(shù)并行技并行技術(shù)術(shù)( (橫向擴橫向擴展展) )有限網(wǎng)絡地址擴展集群技集群技術(shù)術(shù)( (自動優(yōu)自動優(yōu)化性能化性能) )固態(tài)性能虛擬技術(shù)虛擬技術(shù)( (動

13、態(tài)配置動態(tài)配置) )單一系統(tǒng)網(wǎng)絡存網(wǎng)絡存儲儲(SAN)(SAN)直聯(lián)存儲(DAS)未來的存儲技術(shù)?IT技術(shù)的發(fā)展趨勢總結(jié)：總結(jié)：1. 經(jīng)歷了直連存儲到網(wǎng)絡存儲的10年發(fā)展；2. IP-SAN逐漸成為中低端的主流SAN，F(xiàn)C逐步退居高端；3. 企業(yè)級存儲下一步的發(fā)展方向是虛擬化存儲直到云存儲，用戶對設備的概念淡化，主要考慮業(yè)務連續(xù)性和成本。RAID：（Redundant Array of Independent Disks的縮寫），翻譯成中文意思是“獨立磁盤冗余陣列” 簡單的說，RAID是一種把多塊獨立的硬盤（物理硬盤）按不同的方式組合起來形成一個硬盤組（邏輯硬盤），從而提供比單個硬盤更高的存儲

14、性能和提供數(shù)據(jù)備份技術(shù)。 組成磁盤陣列的不同方式成為RAID級別（RAID Levels）。目前主要應用的RAID級別是：RAID0，1，5，6，10。RAID0：是Data Striping(數(shù)據(jù)分割)技術(shù)的實現(xiàn)，它將所有硬盤構(gòu)成一個磁盤陣列，可以同時對多個硬盤做讀寫動作。優(yōu)點：優(yōu)點：價格便宜讀寫性能極高存儲空間利用率高缺點：缺點：不具備備份及容錯能力可靠性差適用于：適用于：對性能要求較高，對數(shù)據(jù)安全要求較低的應用RAID1：是Disk Mirror(磁盤鏡像)技術(shù)，就是把一個硬盤的內(nèi)容同步備份復制到另一個硬盤里。優(yōu)點：優(yōu)點：具有備份功能，系統(tǒng)容錯性能好讀寫性能極高缺點：缺點：磁盤利用率低價

15、格高適用于：適用于：對數(shù)據(jù)安全要求很高的應用RAID5：使用的是Disk Striping(硬盤分割)技術(shù)，把奇偶校驗數(shù)據(jù)存放到各個硬盤里，各個硬盤在SCSI控制卡的控制下平行動作。當RAID5的一個磁盤數(shù)據(jù)發(fā)生損壞后，利用剩下的數(shù)據(jù)和相應的奇偶校驗信息去恢復被損壞的數(shù)據(jù)。相應的陣列磁盤數(shù)量最少需要3個。優(yōu)點：優(yōu)點：具有備份功能，系統(tǒng)容錯性能較好磁盤利用率高成本低缺點：缺點：磁盤寫入數(shù)據(jù)的較慢適用于：適用于：對隨機數(shù)據(jù)傳輸要求安全性高的應用RAID6：在RAID 5的基礎上發(fā)展而成，將校驗碼寫入到兩個驅(qū)動器里面，增強磁盤的容錯能力，當RAID6的陣列中允許出現(xiàn)故障的磁盤達到了兩個，相應的陣列磁

16、盤數(shù)量最少需要4個。優(yōu)點：優(yōu)點：具有備份功能，系統(tǒng)容錯性能很好磁盤利用率較高缺點：缺點：磁盤寫入數(shù)據(jù)的較慢相對于RAID5成本較高適用于：適用于：對隨機數(shù)據(jù)傳輸要求安全性更高的應用RAID10：RAID1和RAID0的結(jié)合，先做鏡像然后做條帶化。優(yōu)點：優(yōu)點：具有備份功能，系統(tǒng)容錯性能很好讀寫性能好缺點：缺點：磁盤利用率差（50%磁盤利用率）成本較高適用于：適用于：既有大量的數(shù)據(jù)需要存儲，有對數(shù)據(jù)安全性有嚴格要求的的應用熱備盤：（熱備盤：（Hot-SpareHot-Spare盤）盤） 就是一個不參與盤陣的獨立的磁盤，一旦RAID 中的某塊磁盤出現(xiàn)問題，它都可以自動的替換進入盤陣，你可以把它想象成

17、一個“自動換盤”的概念。 例如：盤陣中有16塊磁盤，選擇作RAID5+熱備盤技術(shù)，則可用磁盤數(shù)量為14塊。RAID5RAID5熱備盤熱備盤Snapshot ：快照：快照 是某個數(shù)據(jù)集在某一特定時刻的鏡像，也稱為即時拷貝，它是這個數(shù)據(jù)集的一個完整可用的副本。存儲網(wǎng)絡行業(yè)協(xié)會SNIA對快照的定義是：關(guān)于指定數(shù)據(jù)集合的一個完全可用拷貝，該拷貝包括相應數(shù)據(jù)在某個時間點（拷貝開始的時間點）的映像。快照可以是其所表示的數(shù)據(jù)的一個副本，也可以是數(shù)據(jù)的一個復制品。磁盤漫游：磁盤漫游：存儲系統(tǒng)內(nèi)部磁盤可以任意的更換位置，而磁盤內(nèi)部的陣列配置信息和數(shù)據(jù)完全不會改變或丟失，可避免由于磁盤被錯誤插拔而導致的數(shù)據(jù)丟失。

18、Lun（logical unit number）邏輯單元號：）邏輯單元號：Lun是一個地址編號，系統(tǒng)通過這個地址編號，找到相對應的物理設備。LVM（Logical Volume Manager）邏輯盤卷管理：）邏輯盤卷管理：是Linux環(huán)境下對磁盤分區(qū)進行管理的一種機制，LVM是建立在硬盤和分區(qū)之上的一個邏輯層，來提高磁盤分區(qū)管理的靈活性。卷拷貝（卷拷貝（Volume copyVolume copy）：）：是指在一個磁盤子系統(tǒng)上，數(shù)據(jù)從源卷到目標卷的完全復制，是數(shù)據(jù)的物理拷貝。卷拷貝技術(shù)的應用特點：卷拷貝技術(shù)的應用特點：卷拷貝技術(shù)將數(shù)據(jù)移到速度更快，容量更大 的磁盤陣列上，提高性能。使用應用數(shù)

19、據(jù)做數(shù)據(jù)挖掘，分析，測試時不 影響應用性能。數(shù)據(jù)備份速度快且不降低應用性能；當數(shù)據(jù)訪問量大，通過讓一部分請求訪問拷貝卷從而提高性能。Hot swapHot swap：熱交換技術(shù)，使用可替換單元來替換系統(tǒng)中失效的原單元的置換過程，并且此置換過程能夠在不影響系統(tǒng)正常運轉(zhuǎn)、執(zhí)行功能的前提下進行。多鏈路聚集技術(shù)：多鏈路聚集技術(shù)：是將多個網(wǎng)卡綁定成一個IP地址，形成一個擁有更高速度的網(wǎng)絡連接，并且多個網(wǎng)卡自動進行鏈路負載均衡, 避免鏈路出現(xiàn)擁塞現(xiàn)象，極大地提高了存儲系統(tǒng)的數(shù)據(jù)讀寫性能。當用戶數(shù)據(jù)急劇增加而導致網(wǎng)絡寬帶堵塞時，只需增加網(wǎng)絡端口就可以將速度大幅提升。網(wǎng)絡存儲的本質(zhì)是嵌入式操作系統(tǒng)網(wǎng)絡存儲的本質(zhì)是嵌入式操作系統(tǒng)嵌入式系統(tǒng)定義為：以應用為中心，以計算機技術(shù)為基礎，軟硬件可裁剪，適應應用系統(tǒng)對功能、可靠性、成本、體積、功耗等嚴格要求的專用計算機系統(tǒng)。嵌入式操作系統(tǒng)的特點：嵌入式操作系統(tǒng)的特點：可裁剪性。支持開放性和可伸縮性的體系結(jié)構(gòu)。強實時性。EOS實時性一般較強，可用于各種設備控制中。統(tǒng)一的接口。提供設備統(tǒng)一的驅(qū)動接口。操作方便、簡單、提供友好的圖形GUI和圖形界面，追求易學易用。提供強大的網(wǎng)絡功能，支持TCP/IP協(xié)議及其他協(xié)議，提供TCP/UDP/IP/PPP協(xié)議支持及統(tǒng)一的MAC訪問層接口，為各種移動計算設備預留接口。強穩(wěn)定性，弱交互性。嵌入式系統(tǒng)一旦開始運行就不需