《存儲技術(shù)及原理》課件

存儲技術(shù)及原理數(shù)據(jù)存儲技術(shù)基礎(chǔ)課程課程概述課程目標掌握存儲技術(shù)核心概念主要內(nèi)容存儲介質(zhì)、系統(tǒng)架構(gòu)、RAID技術(shù)學習方法第一部分：存儲基礎(chǔ)知識基本概念數(shù)據(jù)存儲定義與重要性發(fā)展歷程從早期設(shè)備到現(xiàn)代技術(shù)系統(tǒng)組成什么是數(shù)據(jù)存儲？定義保存數(shù)據(jù)的技術(shù)與過程重要性現(xiàn)代信息系統(tǒng)的基礎(chǔ)支撐應(yīng)用領(lǐng)域存儲系統(tǒng)的發(fā)展歷程1早期存儲打孔卡、磁帶、磁鼓2中期發(fā)展軟盤、硬盤、光盤3現(xiàn)代技術(shù)閃存、SSD、云存儲4未來趨勢DNA存儲、量子存儲存儲系統(tǒng)的基本組成存儲介質(zhì)實際存儲數(shù)據(jù)的物理媒介存儲控制器管理數(shù)據(jù)讀寫操作接口和協(xié)議連接主機和存儲設(shè)備存儲容量單位1比特(bit)數(shù)據(jù)最小單位，0或12字節(jié)(Byte)8比特組成一個字節(jié)3千字節(jié)(KB)1KB=1024字節(jié)4兆字節(jié)(MB)及以上GB、TB、PB等單位存儲性能指標吞吐量單位時間內(nèi)數(shù)據(jù)傳輸量通常以MB/s計量IOPS每秒輸入輸出操作次數(shù)反映隨機訪問性能延遲數(shù)據(jù)請求與響應(yīng)之間的時間通常以毫秒計量第二部分：存儲介質(zhì)技術(shù)磁性存儲傳統(tǒng)硬盤技術(shù)固態(tài)存儲閃存與SSD技術(shù)光學存儲CD/DVD/藍光技術(shù)新興存儲先進存儲技術(shù)研究磁性存儲介質(zhì)工作原理利用磁性材料記錄數(shù)據(jù)通過磁化方向表示0和1優(yōu)點容量大價格低技術(shù)成熟缺點機械部件易損壞讀寫速度較慢能耗較高硬盤驅(qū)動器（HDD）結(jié)構(gòu)盤片存儲數(shù)據(jù)的磁性介質(zhì)磁頭讀寫數(shù)據(jù)的核心組件主軸電機驅(qū)動盤片高速旋轉(zhuǎn)控制電路協(xié)調(diào)各部件工作4HDD工作原理磁道和扇區(qū)盤片上的同心圓為磁道每個磁道劃分多個扇區(qū)數(shù)據(jù)以扇區(qū)為單位存儲讀寫過程磁頭定位到指定位置讀?。焊袘?yīng)磁性變化寫入：改變介質(zhì)磁化方向HDD性能特征5-15ms尋道時間磁頭移動到指定磁道所需時間4.16ms旋轉(zhuǎn)延遲7200RPM硬盤平均旋轉(zhuǎn)延遲150MB/s數(shù)據(jù)傳輸率連續(xù)讀寫速度固態(tài)存儲介質(zhì)閃存技術(shù)基礎(chǔ)基于浮柵晶體管存儲電荷優(yōu)點讀寫速度快，無機械部件缺點價格高，寫入次數(shù)有限固態(tài)硬盤（SSD）結(jié)構(gòu)1控制器核心處理單元閃存芯片存儲數(shù)據(jù)的主要介質(zhì)緩存提高性能的臨時存儲SSD工作原理讀操作直接電子訪問，速度快寫操作需先擦除再寫入垃圾回收整理碎片化數(shù)據(jù)塊磨損均衡分散寫入次數(shù)延長壽命SSD性能特征SSDHDD光學存儲介質(zhì)CD容量：650-900MB凹坑記錄數(shù)據(jù)DVD容量：4.7-17GB多層記錄技術(shù)藍光光盤容量：25-128GB藍紫色激光讀寫新興存儲技術(shù)3DXPoint英特爾與美光聯(lián)合開發(fā)非易失性存儲器MRAM磁性隨機存取存儲器利用磁隧道結(jié)構(gòu)ReRAM阻變隨機存取存儲器基于電阻變化記錄數(shù)據(jù)3第三部分：存儲系統(tǒng)架構(gòu)直連存儲(DAS)直接連接到主機的存儲設(shè)備網(wǎng)絡(luò)存儲(NAS/SAN)通過網(wǎng)絡(luò)訪問的集中式存儲分布式存儲數(shù)據(jù)分散在多個節(jié)點上對象存儲以對象為單位管理數(shù)據(jù)直連存儲（DAS）概念存儲設(shè)備直接連接到服務(wù)器無需通過網(wǎng)絡(luò)優(yōu)點成本低配置簡單性能好應(yīng)用場景小型辦公室個人電腦單臺服務(wù)器網(wǎng)絡(luò)附加存儲（NAS）原理通過文件共享協(xié)議訪問特點基于文件級訪問和共享優(yōu)勢易于部署，集中管理局限性性能受網(wǎng)絡(luò)影響，擴展性有限存儲區(qū)域網(wǎng)絡(luò)（SAN）架構(gòu)專用高速網(wǎng)絡(luò)連接存儲設(shè)備工作機制塊級訪問，類似本地磁盤應(yīng)用優(yōu)勢高性能，易擴展，資源池化統(tǒng)一存儲統(tǒng)一管理單一平臺管理多種存儲2多協(xié)議支持同時支持文件和塊訪問硬件整合減少物理設(shè)備數(shù)量分布式存儲系統(tǒng)基本原理數(shù)據(jù)分散存儲在多個節(jié)點優(yōu)勢高擴展性，強可靠性典型實現(xiàn)Ceph、HDFS、GlusterFS對象存儲概念以對象為基本單位包含數(shù)據(jù)、元數(shù)據(jù)和唯一標識符特點扁平命名空間海量數(shù)據(jù)管理能力豐富的元數(shù)據(jù)應(yīng)用場景云存儲服務(wù)大數(shù)據(jù)分析內(nèi)容分發(fā)第四部分：存儲虛擬化技術(shù)資源抽象化物理資源池化靈活配置按需分配存儲高效管理簡化運維流程數(shù)據(jù)保護提升數(shù)據(jù)安全性存儲虛擬化概述定義隱藏存儲物理特性，提供統(tǒng)一視圖目的提高利用率，簡化管理實現(xiàn)層次塊級、文件級、對象級虛擬化塊級虛擬化原理在塊存儲層面抽象化物理設(shè)備提供統(tǒng)一的塊設(shè)備接口優(yōu)勢高性能透明遷移異構(gòu)設(shè)備整合實現(xiàn)方式主機層網(wǎng)絡(luò)層存儲設(shè)備層文件級虛擬化概念統(tǒng)一管理多個文件系統(tǒng)特點提供全局命名空間，透明數(shù)據(jù)訪問應(yīng)用文件服務(wù)器整合，數(shù)據(jù)遷移存儲池技術(shù)資源整合集中管理物理存儲1邏輯分配創(chuàng)建虛擬存儲卷智能調(diào)度優(yōu)化數(shù)據(jù)布局動態(tài)擴展按需增減容量精簡配置概念按需分配物理空間虛擬容量大于實際容量工作機制只在寫入時分配實際空間動態(tài)擴展存儲池優(yōu)缺點提高利用率，降低成本風險：空間耗盡數(shù)據(jù)重復刪除識別重復數(shù)據(jù)計算數(shù)據(jù)塊哈希值刪除冗余保留一份數(shù)據(jù)，建立引用3優(yōu)化存儲節(jié)省空間，提高效率第五部分：RAID技術(shù)數(shù)據(jù)保護提高容錯能力性能提升并行讀寫操作多種級別適應(yīng)不同需求RAID概述定義獨立磁盤冗余陣列目的提高性能和可靠性實現(xiàn)方式軟件RAID和硬件RAID基本方法條帶化、鏡像和校驗4RAID0條帶化原理數(shù)據(jù)分條存儲在多個磁盤無冗余或校驗信息性能特點讀寫性能最佳容量利用率100%無容錯能力應(yīng)用場景臨時數(shù)據(jù)處理高性能計算有備份的非關(guān)鍵數(shù)據(jù)RAID1鏡像原理數(shù)據(jù)完全復制到多個磁盤至少需要兩個磁盤優(yōu)點容錯能力強讀取性能好恢復簡單缺點容量利用率低(50%)寫入性能不提升成本高RAID5工作機制數(shù)據(jù)條帶化加分布式奇偶校驗性能特點讀性能好，寫性能受校驗影響可靠性可容忍一個磁盤失效適用場景文件服務(wù)器，小型數(shù)據(jù)庫RAID6雙重校驗原理使用兩個獨立校驗塊至少需要四個磁盤與RAID5比較可靠性更高寫性能略低可用容量略少應(yīng)用場景關(guān)鍵業(yè)務(wù)系統(tǒng)大容量存儲陣列長時間重建環(huán)境其他RAID級別容錯能力性能評分容量效率%第六部分：存儲網(wǎng)絡(luò)技術(shù)連接技術(shù)光纖通道、以太網(wǎng)、InfiniBand協(xié)議棧FC、iSCSI、FCoE、NVMe-oF網(wǎng)絡(luò)拓撲直連、交換結(jié)構(gòu)、混合模式存儲網(wǎng)絡(luò)概述1網(wǎng)絡(luò)定義連接存儲設(shè)備與主機的專用網(wǎng)絡(luò)核心作用提供高效可靠的數(shù)據(jù)傳輸路徑發(fā)展歷程從SCSI總線到高速網(wǎng)絡(luò)架構(gòu)光纖通道（FC）原理高速串行網(wǎng)絡(luò)技術(shù)支持多種上層協(xié)議特點低延遲高帶寬長距離傳輸高可靠性應(yīng)用場景企業(yè)級SAN存儲網(wǎng)絡(luò)關(guān)鍵業(yè)務(wù)數(shù)據(jù)中心iSCSI技術(shù)1基于IP網(wǎng)絡(luò)利用現(xiàn)有以太網(wǎng)基礎(chǔ)設(shè)施SCSI命令封裝在TCP/IP協(xié)議上傳輸SCSI命令存儲設(shè)備虛擬化遠程存儲呈現(xiàn)為本地設(shè)備FCoE（基于以太網(wǎng)的光纖通道）概念將FC幀封裝在以太網(wǎng)幀中無損以太網(wǎng)技術(shù)特點統(tǒng)一網(wǎng)絡(luò)基礎(chǔ)設(shè)施簡化布線和管理保留FC協(xié)議特性對比分析比FC：簡化硬件比iSCSI：性能更好NVMeoverFabrics基于NVMe協(xié)議專為閃存優(yōu)化的高效協(xié)議支持多種網(wǎng)絡(luò)InfiniBand、RDMA、光纖通道超低延遲接近本地NVMe設(shè)備性能發(fā)展趨勢未來企業(yè)存儲網(wǎng)絡(luò)主流技術(shù)第七部分：數(shù)據(jù)保護技術(shù)備份技術(shù)數(shù)據(jù)復制與歸檔快照技術(shù)時間點數(shù)據(jù)視圖復制技術(shù)數(shù)據(jù)遠程同步災(zāi)難恢復業(yè)務(wù)連續(xù)性保障數(shù)據(jù)備份基礎(chǔ)備份類型完全備份、增量備份、差異備份備份策略備份周期、介質(zhì)輪換、保留期限恢復目標RTO(恢復時間)、RPO(恢復點)快照技術(shù)原理捕獲特定時間點的數(shù)據(jù)狀態(tài)保存元數(shù)據(jù)和變化塊類型寫時復制(COW)重定向?qū)懭?ROW)克隆快照應(yīng)用場景快速恢復測試和開發(fā)備份源數(shù)據(jù)復制技術(shù)同步復制實時數(shù)據(jù)鏡像，零數(shù)據(jù)丟失異步復制延遲復制，性能影響小半同步復制兼顧性能和數(shù)據(jù)保護持續(xù)數(shù)據(jù)保護（CDP）概念實時捕獲所有數(shù)據(jù)變化工作機制記錄每次寫操作，支持任意時間點恢復優(yōu)勢最小數(shù)據(jù)丟失，快速恢復能力挑戰(zhàn)資源消耗大，管理復雜災(zāi)難恢復15分鐘恢復時間目標關(guān)鍵業(yè)務(wù)RTO指標<1小時恢復點目標數(shù)據(jù)庫RPO要求99.999%可用性目標五個九系統(tǒng)穩(wěn)定性第八部分：存儲管理和優(yōu)化資源管理分配、監(jiān)控、規(guī)劃性能優(yōu)化瓶頸分析與調(diào)優(yōu)3可靠性保障安全策略與故障恢復存儲資源管理（SRM）核心功能容量監(jiān)控性能分析配置管理管理工具廠商專用軟件第三方集成平臺開源解決方案最佳實踐自動化巡檢預(yù)警閾值設(shè)置報表和趨勢分析存儲性能優(yōu)化瓶頸分析識別性能熱點和限制因素分層存儲根據(jù)訪問頻率分配存儲介質(zhì)緩存優(yōu)化調(diào)整緩存策略和大小I/O路徑優(yōu)化多路徑、隊列深度調(diào)整存儲容量規(guī)劃已用容量(TB)預(yù)測需求(TB)存儲安全威脅和風險數(shù)據(jù)泄露、勒索軟件、內(nèi)部威脅安全策略訪問控制、加密、審計技術(shù)措施數(shù)據(jù)加密、安全擦除、漏洞修復存儲自動化和編排自動化