《存儲(chǔ)技術(shù)概覽》課件

存儲(chǔ)技術(shù)概覽數(shù)據(jù)存儲(chǔ)是信息技術(shù)的基礎(chǔ)支柱，影響著從個(gè)人設(shè)備到企業(yè)系統(tǒng)的各種應(yīng)用。課程目標(biāo)理解基本概念掌握存儲(chǔ)技術(shù)的核心原理掌握技術(shù)特點(diǎn)區(qū)分各類(lèi)存儲(chǔ)方案的適用場(chǎng)景了解發(fā)展趨勢(shì)存儲(chǔ)技術(shù)簡(jiǎn)介定義記錄、保存數(shù)據(jù)的技術(shù)手段重要性信息系統(tǒng)的基礎(chǔ)設(shè)施應(yīng)用領(lǐng)域覆蓋個(gè)人電子設(shè)備到企業(yè)數(shù)據(jù)中心存儲(chǔ)技術(shù)的發(fā)展歷史1早期存儲(chǔ)設(shè)備打孔卡片、紙帶2磁帶存儲(chǔ)卷盤(pán)式磁帶、盒式磁帶3硬盤(pán)存儲(chǔ)從MB到TB級(jí)容量4固態(tài)存儲(chǔ)閃存、SSD技術(shù)革命存儲(chǔ)層次結(jié)構(gòu)寄存器速度最快、容量最小高速緩存平衡速度與容量主存運(yùn)行時(shí)數(shù)據(jù)暫存輔助存儲(chǔ)長(zhǎng)期數(shù)據(jù)保存存儲(chǔ)介質(zhì)類(lèi)型磁性存儲(chǔ)硬盤(pán)、磁帶光學(xué)存儲(chǔ)CD、DVD、藍(lán)光固態(tài)存儲(chǔ)SSD、閃存量子存儲(chǔ)前沿研究領(lǐng)域磁性存儲(chǔ)技術(shù)工作原理利用磁性材料記錄數(shù)據(jù)讀寫(xiě)頭改變磁性顆粒極性優(yōu)缺點(diǎn)優(yōu)點(diǎn)：成本低、容量大缺點(diǎn)：機(jī)械部件、讀寫(xiě)速度慢應(yīng)用場(chǎng)景大容量數(shù)據(jù)存儲(chǔ)成本敏感型應(yīng)用硬盤(pán)驅(qū)動(dòng)器（HDD）結(jié)構(gòu)盤(pán)片、讀寫(xiě)頭、主軸馬達(dá)讀寫(xiě)原理磁頭在旋轉(zhuǎn)盤(pán)片上讀寫(xiě)數(shù)據(jù)性能指標(biāo)轉(zhuǎn)速、尋道時(shí)間、傳輸率固態(tài)驅(qū)動(dòng)器（SSD）工作原理基于閃存存儲(chǔ)單元無(wú)機(jī)械部件，電子存取與HDD的比較讀寫(xiě)速度更快能耗低，抗震性強(qiáng)優(yōu)勢(shì)和局限性優(yōu)勢(shì)：高性能、低延遲局限：成本高、寫(xiě)入次數(shù)有限NAND閃存技術(shù)1SLC單層單元，性能最高M(jìn)LC/TLC/QLC多層單元，容量更大3DNAND垂直堆疊，容量突破寫(xiě)入放大影響壽命的關(guān)鍵問(wèn)題NVMe技術(shù)定義和特點(diǎn)非易失性內(nèi)存主機(jī)控制器接口專(zhuān)為SSD優(yōu)化的協(xié)議與SATA的比較更高帶寬，更低延遲并行處理能力強(qiáng)應(yīng)用場(chǎng)景高性能計(jì)算數(shù)據(jù)密集型應(yīng)用光學(xué)存儲(chǔ)技術(shù)CD容量700MB，最早商用DVD容量4.7GB，視頻存儲(chǔ)藍(lán)光容量25-100GB，高清媒體磁帶存儲(chǔ)技術(shù)特點(diǎn)和應(yīng)用順序訪問(wèn)，適合歸檔現(xiàn)代磁帶系統(tǒng)自動(dòng)化庫(kù)，容量可達(dá)PB級(jí)大數(shù)據(jù)時(shí)代作用長(zhǎng)期歸檔，成本效益高存儲(chǔ)接口技術(shù)SATA常見(jiàn)接口，6Gb/s帶寬SAS企業(yè)級(jí)接口，12Gb/s帶寬PCIe高性能直連，帶寬最高RAID技術(shù)RAID級(jí)別RAID0：條帶化，性能優(yōu)先RAID1：鏡像，可靠性高RAID5/6：校驗(yàn)，平衡性能與可靠性優(yōu)勢(shì)和應(yīng)用提高性能和可靠性容錯(cuò)能力增強(qiáng)適用于服務(wù)器和存儲(chǔ)陣列軟硬RAID對(duì)比軟件RAID：靈活，成本低硬件RAID：性能高，穩(wěn)定性好存儲(chǔ)虛擬化概念和原理將物理存儲(chǔ)抽象為邏輯資源池優(yōu)勢(shì)資源利用率提高，管理簡(jiǎn)化挑戰(zhàn)復(fù)雜性增加，性能開(kāi)銷(xiāo)實(shí)現(xiàn)方式主機(jī)層、網(wǎng)絡(luò)層、存儲(chǔ)層虛擬化網(wǎng)絡(luò)附加存儲(chǔ)（NAS）定義和特點(diǎn)通過(guò)網(wǎng)絡(luò)提供文件級(jí)存儲(chǔ)訪問(wèn)優(yōu)勢(shì)易于部署，文件共享便捷局限性性能受網(wǎng)絡(luò)影響，擴(kuò)展性有限應(yīng)用場(chǎng)景家庭媒體中心，小型辦公環(huán)境存儲(chǔ)區(qū)域網(wǎng)絡(luò)（SAN）架構(gòu)和組件專(zhuān)用高速網(wǎng)絡(luò)連接存儲(chǔ)設(shè)備FC交換機(jī)，HBA適配器與NAS的比較塊級(jí)訪問(wèn)，性能更高適合數(shù)據(jù)庫(kù)等關(guān)鍵應(yīng)用應(yīng)用場(chǎng)景企業(yè)級(jí)數(shù)據(jù)中心需要高性能、高可用性環(huán)境云存儲(chǔ)技術(shù)概念和特點(diǎn)基于網(wǎng)絡(luò)的按需存儲(chǔ)服務(wù)公有云vs私有云vs混合云不同部署模式滿足多樣需求主要提供商AWSS3，AzureBlob，GoogleCloudStorage對(duì)象存儲(chǔ)概念和特點(diǎn)扁平命名空間元數(shù)據(jù)豐富可無(wú)限擴(kuò)展與其他存儲(chǔ)的比較文件存儲(chǔ)：目錄結(jié)構(gòu)，POSIX兼容塊存儲(chǔ)：原始數(shù)據(jù)塊，高性能對(duì)象存儲(chǔ)：可擴(kuò)展性強(qiáng)，成本低應(yīng)用場(chǎng)景非結(jié)構(gòu)化數(shù)據(jù)內(nèi)容分發(fā)備份歸檔分布式存儲(chǔ)系統(tǒng)概念和原理數(shù)據(jù)分布在多節(jié)點(diǎn)上優(yōu)勢(shì)高可用性，線性擴(kuò)展挑戰(zhàn)一致性保證，復(fù)雜性管理典型實(shí)現(xiàn)Ceph，GlusterFS軟件定義存儲(chǔ)（SDS）定義和特點(diǎn)軟件層抽象硬件資源自動(dòng)化管理和編排優(yōu)勢(shì)和挑戰(zhàn)優(yōu)勢(shì)：靈活性高，硬件無(wú)關(guān)挑戰(zhàn)：標(biāo)準(zhǔn)化不足，復(fù)雜度高實(shí)現(xiàn)和案例VMwarevSANMicrosoftStorageSpaces存儲(chǔ)管理軟件功能和特點(diǎn)監(jiān)控、配置、自動(dòng)化主要廠商和產(chǎn)品IBMSpectrum，DellEMCControlCenter選擇考慮因素兼容性，可擴(kuò)展性，易用性數(shù)據(jù)重復(fù)刪除技術(shù)原理和方法識(shí)別并僅存儲(chǔ)唯一數(shù)據(jù)塊優(yōu)勢(shì)節(jié)省存儲(chǔ)空間，降低成本局限性計(jì)算開(kāi)銷(xiāo)，可能影響性能應(yīng)用場(chǎng)景備份系統(tǒng)，虛擬化環(huán)境數(shù)據(jù)壓縮技術(shù)常見(jiàn)壓縮算法LZ77/LZ78Huffman編碼DEFLATE在存儲(chǔ)中的應(yīng)用文件系統(tǒng)層壓縮塊設(shè)備層壓縮應(yīng)用層壓縮優(yōu)勢(shì)和權(quán)衡優(yōu)勢(shì)：節(jié)省空間權(quán)衡：CPU使用率增加考量：壓縮率與性能平衡存儲(chǔ)加密技術(shù)數(shù)據(jù)加密方法全盤(pán)加密文件級(jí)加密密鑰管理密鑰生成密鑰存儲(chǔ)和恢復(fù)自加密驅(qū)動(dòng)器硬件級(jí)安全保障性能影響最小存儲(chǔ)備份和恢復(fù)備份策略全量、增量、差異備份RPO和RTO定義數(shù)據(jù)丟失容忍度和恢復(fù)時(shí)間目標(biāo)備份軟件和解決方案Veeam,Veritas,Commvault存儲(chǔ)快照技術(shù)1原理和實(shí)現(xiàn)創(chuàng)建特定時(shí)間點(diǎn)的數(shù)據(jù)狀態(tài)副本2優(yōu)勢(shì)和應(yīng)用快速備份，開(kāi)發(fā)測(cè)試環(huán)境3與傳統(tǒng)備份的比較恢復(fù)速度快，存儲(chǔ)效率高連續(xù)數(shù)據(jù)保護(hù)（CDP）概念和特點(diǎn)實(shí)時(shí)捕獲所有數(shù)據(jù)變化可恢復(fù)到任意時(shí)間點(diǎn)實(shí)現(xiàn)方式基于日志攔截I/O優(yōu)勢(shì)和挑戰(zhàn)優(yōu)勢(shì)：RPO接近零挑戰(zhàn)：資源消耗大存儲(chǔ)性能優(yōu)化IOPS和吞吐量關(guān)鍵性能指標(biāo)緩存技術(shù)減少訪問(wèn)延遲分層存儲(chǔ)按訪問(wèn)頻率優(yōu)化數(shù)據(jù)放置存儲(chǔ)容量規(guī)劃需求分析當(dāng)前數(shù)據(jù)量評(píng)估應(yīng)用特性分析容量預(yù)測(cè)方法線性預(yù)測(cè)基于趨勢(shì)的預(yù)測(cè)擴(kuò)展性考慮水平擴(kuò)展能力垂直擴(kuò)展限制存儲(chǔ)可靠性和可用性MTTF和MTBF衡量設(shè)備可靠性的關(guān)鍵指標(biāo)冗余設(shè)計(jì)多副本、糾刪碼技術(shù)故障檢測(cè)和恢復(fù)自動(dòng)化監(jiān)控和修復(fù)機(jī)制存儲(chǔ)安全性訪問(wèn)控制基于角色的權(quán)限管理數(shù)據(jù)隔離租戶間數(shù)據(jù)嚴(yán)格分離審計(jì)和合規(guī)全面記錄訪問(wèn)和操作日志存儲(chǔ)網(wǎng)絡(luò)技術(shù)FCSAN高性能存儲(chǔ)專(zhuān)用網(wǎng)絡(luò)iSCSI基于IP網(wǎng)絡(luò)的塊存儲(chǔ)協(xié)議FCoE以太網(wǎng)上的光纖通道存儲(chǔ)協(xié)議NFSUnix/Linux環(huán)境主流文件共享協(xié)議SMB/CIFSWindows環(huán)境主流文件共享協(xié)議iSCSI通過(guò)IP網(wǎng)絡(luò)傳輸SCSI命令存儲(chǔ)自動(dòng)化和編排API和SDK存儲(chǔ)系統(tǒng)編程接口存儲(chǔ)資源管理自動(dòng)化配置和監(jiān)控與DevOps集成存儲(chǔ)即代碼實(shí)踐存儲(chǔ)即服務(wù)（STaaS）概念和模型按需提供存儲(chǔ)資源按使用量付費(fèi)優(yōu)勢(shì)和挑戰(zhàn)優(yōu)勢(shì)：彈性擴(kuò)展，減少前期投資挑戰(zhàn)：安全性，數(shù)據(jù)主權(quán)主要提供商AWSEBS/S3GoogleCloudStorage大數(shù)據(jù)存儲(chǔ)技術(shù)分布式文件系統(tǒng)HDFS,Ceph大規(guī)模并行訪問(wèn)列式存儲(chǔ)HBase,Cassandra適合分析型工作負(fù)載時(shí)序數(shù)據(jù)庫(kù)InfluxDB,Prometheus針對(duì)時(shí)間序列數(shù)據(jù)優(yōu)化人工智能和機(jī)器學(xué)習(xí)對(duì)存儲(chǔ)的影響數(shù)據(jù)需求特點(diǎn)大容量，高吞吐，低延遲存儲(chǔ)系統(tǒng)設(shè)計(jì)考慮并行訪問(wèn)，流式處理案例分析GPU直接存儲(chǔ)訪問(wèn)，數(shù)據(jù)處理加速邊緣計(jì)算存儲(chǔ)技術(shù)需求和挑戰(zhàn)低延遲，有限空間1存儲(chǔ)解決方案輕量級(jí)分布式存儲(chǔ)2與云存儲(chǔ)協(xié)同數(shù)據(jù)分級(jí)，智能緩存5G時(shí)代的存儲(chǔ)技術(shù)數(shù)據(jù)特征和需求低延遲，高帶寬，實(shí)時(shí)處理存儲(chǔ)架構(gòu)演進(jìn)邊緣存儲(chǔ)分布，層次化架構(gòu)應(yīng)用場(chǎng)景車(chē)聯(lián)網(wǎng)，智慧城市，AR/VR綠色存儲(chǔ)技術(shù)能效提升方法自動(dòng)分層，智能休眠可持續(xù)發(fā)展考慮材料回收，碳足跡減少行業(yè)標(biāo)準(zhǔn)和實(shí)踐EnergyStar，PUE指標(biāo)存儲(chǔ)即內(nèi)存（Storage-ClassMemory）概念和特點(diǎn)介于DRAM和閃存之間非易失，低延遲代表性技術(shù)3DXPointIntelOptane應(yīng)用前景內(nèi)存擴(kuò)展高性能持久存儲(chǔ)DNA存儲(chǔ)技術(shù)原理和潛力利用DNA分子存儲(chǔ)數(shù)據(jù)理論密度極高研究進(jìn)展實(shí)驗(yàn)室級(jí)別驗(yàn)證初步商業(yè)應(yīng)用探索挑戰(zhàn)和未來(lái)展望讀寫(xiě)速度慢成本高量子存儲(chǔ)技術(shù)1基本原理利用量子態(tài)存儲(chǔ)信息2研究現(xiàn)狀實(shí)驗(yàn)室原型驗(yàn)證3潛在應(yīng)用量子通信4理論突破量子糾錯(cuò)編碼存儲(chǔ)技術(shù)標(biāo)準(zhǔn)化主要標(biāo)準(zhǔn)組織SNIA,T10,IEEE關(guān)鍵標(biāo)準(zhǔn)介紹NVMe,SMR,CXL標(biāo)準(zhǔn)化趨勢(shì)開(kāi)放接口，互操作性提升存儲(chǔ)技術(shù)專(zhuān)利分析存儲(chǔ)市場(chǎng)分析企業(yè)SSD企業(yè)HDD云存儲(chǔ)對(duì)象存儲(chǔ)其他存儲(chǔ)技術(shù)投資趨勢(shì)$24B年度風(fēng)投總額存儲(chǔ)技術(shù)領(lǐng)域風(fēng)險(xiǎn)投資47%增長(zhǎng)率固態(tài)存儲(chǔ)創(chuàng)業(yè)投資年增長(zhǎng)$8.6B并購(gòu)總額近期存儲(chǔ)行業(yè)并購(gòu)交易存儲(chǔ)技術(shù)人才需求新興技術(shù)創(chuàng)新者量子存儲(chǔ)，DNA存儲(chǔ)研究架構(gòu)與設(shè)計(jì)專(zhuān)家分布式系統(tǒng)，云原生存儲(chǔ)基礎(chǔ)設(shè)施工程師SAN/NAS管理，性能優(yōu)化運(yùn)維支持人員日常管理，問(wèn)題排查存儲(chǔ)技術(shù)倫理問(wèn)題數(shù)據(jù)隱私保護(hù)個(gè)人信息保護(hù)知情同意原則環(huán)境影響能源消耗電子廢棄物處理社會(huì)責(zé)任數(shù)據(jù)訪問(wèn)公平性長(zhǎng)期數(shù)據(jù)保存責(zé)任存儲(chǔ)技術(shù)法律法規(guī)數(shù)據(jù)保護(hù)法規(guī)《個(gè)人信息保護(hù)法》《數(shù)據(jù)安全法》歐盟GDPR行業(yè)合規(guī)要求金融行業(yè)監(jiān)管規(guī)定醫(yī)療數(shù)據(jù)保護(hù)要求等級(jí)保護(hù)2.0跨境數(shù)據(jù)傳輸規(guī)定數(shù)據(jù)本地化要求安全評(píng)估機(jī)制國(guó)際數(shù)據(jù)流動(dòng)規(guī)則存儲(chǔ)技術(shù)案例研究：數(shù)據(jù)中心設(shè)計(jì)考慮多層存儲(chǔ)架構(gòu)，性能與成本平衡技術(shù)選型高性能SSD與大容量HDD結(jié)合性能優(yōu)化熱點(diǎn)數(shù)據(jù)緩存，智能數(shù)據(jù)分層存儲(chǔ)技術(shù)案例研究：移動(dòng)設(shè)備1早期有限內(nèi)部存儲(chǔ)，依賴(lài)SD卡擴(kuò)展2現(xiàn)在大容量UFS存儲(chǔ)，云存儲(chǔ)集成3未來(lái)新型存儲(chǔ)材料，AI優(yōu)化存儲(chǔ)管理存儲(chǔ)技術(shù)案例研究：汽車(chē)行業(yè)自動(dòng)駕駛數(shù)據(jù)存儲(chǔ)大容量，高可靠性，低延遲車(chē)載信息娛樂(lè)系統(tǒng)快速啟動(dòng)，多媒體支持未來(lái)挑戰(zhàn)邊緣處理與云存儲(chǔ)協(xié)同存儲(chǔ)技術(shù)發(fā)展趨勢(shì)容量增長(zhǎng)ZB級(jí)數(shù)據(jù)中心存儲(chǔ)性能提升近內(nèi)存計(jì)算，光互連新興技術(shù)融合AI優(yōu)化，量子存儲(chǔ)存儲(chǔ)