下一代數據存儲技術研究報告-D

1、下一代數據存儲技術研究報告目錄 HYPERLINK l _bookmark0 一、存儲產業(yè)與技術概述 HYPERLINK l _bookmark0 1 HYPERLINK l _bookmark1 (一) 存儲技術發(fā)展史 HYPERLINK l _bookmark1 1 HYPERLINK l _bookmark3 (二) 存儲技術分類 HYPERLINK l _bookmark3 3 HYPERLINK l _bookmark5 (三) 存儲產業(yè)市場簡析 HYPERLINK l _bookmark5 7 HYPERLINK l _bookmark11 (四) 存儲產業(yè)痛點分析 HYPERLI

2、NK l _bookmark11 11 HYPERLINK l _bookmark12 二、下一代數據存儲技術詳解 HYPERLINK l _bookmark12 13 HYPERLINK l _bookmark14 (一) 存儲介質演進 HYPERLINK l _bookmark14 13 HYPERLINK l _bookmark18 (二) 存儲架構演進 HYPERLINK l _bookmark18 17 HYPERLINK l _bookmark23 (三) 存儲協(xié)議演進 HYPERLINK l _bookmark23 21 HYPERLINK l _bookmark26 (四) 應

3、用模式演進 HYPERLINK l _bookmark26 24 HYPERLINK l _bookmark27 (五) 運維模式演進 HYPERLINK l _bookmark27 25 HYPERLINK l _bookmark28 三、下一代數據存儲技術賦能數字化轉型 HYPERLINK l _bookmark28 27 HYPERLINK l _bookmark29 (一) 異構數據統(tǒng)一管理能力推動數據湖產品演進 HYPERLINK l _bookmark29 28 HYPERLINK l _bookmark30 (二) 多級存儲介質助力實時分析能力構建 HYPERLINK l _bo

4、okmark30 29 HYPERLINK l _bookmark31 (三) 云存儲備份簡化數據安全實踐路徑 HYPERLINK l _bookmark31 30 HYPERLINK l _bookmark32 四、下一代數據存儲技術實施建議 HYPERLINK l _bookmark32 31 HYPERLINK l _bookmark33 (一) 指導原則 HYPERLINK l _bookmark33 31 HYPERLINK l _bookmark34 (二) 實施策略 HYPERLINK l _bookmark34 34 HYPERLINK l _bookmark35 五、總結與展

5、望 HYPERLINK l _bookmark35 36 HYPERLINK l _bookmark36 參考文獻 HYPERLINK l _bookmark36 39圖 目 錄 HYPERLINK l _bookmark2 圖 1 存儲介質發(fā)展簡史 HYPERLINK l _bookmark2 1 HYPERLINK l _bookmark4 圖 2 存儲技術架構 HYPERLINK l _bookmark4 4 HYPERLINK l _bookmark6 圖 3 存儲市場全景圖 HYPERLINK l _bookmark6 8 HYPERLINK l _bookmark7 圖 4 中國企

6、業(yè)級存儲市場空間 HYPERLINK l _bookmark7 8 HYPERLINK l _bookmark8 圖 5 中國存儲市場總覽 HYPERLINK l _bookmark8 9 HYPERLINK l _bookmark9 圖 6 中國存儲市場介質使用情況 HYPERLINK l _bookmark9 10 HYPERLINK l _bookmark10 圖 7 閃存及機械介質成本預測圖 HYPERLINK l _bookmark10 10 HYPERLINK l _bookmark16 圖 8 非易失性存儲介質 HYPERLINK l _bookmark16 15 HYPERLI

7、NK l _bookmark19 圖 9 軟件定義存儲邏輯架構示意圖 HYPERLINK l _bookmark19 18 HYPERLINK l _bookmark21 圖 10 超融合基礎架構圖 HYPERLINK l _bookmark21 20 HYPERLINK l _bookmark22 圖 11 超融合基礎架構特征 HYPERLINK l _bookmark22 20 HYPERLINK l _bookmark24 圖 12 基于 FC 和 SAS 協(xié)議的經典存儲網絡 HYPERLINK l _bookmark24 22 HYPERLINK l _bookmark25 圖 13

8、基于 NVMe 協(xié)議的 IP 存儲網絡 HYPERLINK l _bookmark25 24表 目 錄 HYPERLINK l _bookmark13 表 1 下一代數據存儲技術革新方向 HYPERLINK l _bookmark13 13 HYPERLINK l _bookmark15 表 2 機械硬盤與固態(tài)硬盤性能對比 HYPERLINK l _bookmark15 14 HYPERLINK l _bookmark17 表 3 新型非易失性存儲簡介 HYPERLINK l _bookmark17 15 HYPERLINK l _bookmark20 表 4 不同類型軟件定義存儲簡介 HYP

9、ERLINK l _bookmark20 18下一代數據存儲技術研究報告（2021 年） PAGE 8一、存儲產業(yè)與技術 （一）存儲技術發(fā)展史數據的存儲從古至今都是人類活動的重要環(huán)節(jié)。早在語言文字還沒有形成時，人類就已經開始探索使用樹枝和石頭來記錄信息。從結繩記事到刻畫在巖石上的象形文字，再到甲骨文的出現，從竹簡、紙張的發(fā)明，到活字印刷、打孔卡等科技進步，人類探索世界得到的信息和數據不斷積累，代代傳承，提升了人類認識、改造世界的能力。對信息溝通量與質的不懈追求，促使人類探尋更大容量、更高性能的存儲模式，推動開發(fā)和應用更多更先進的數據存儲技術， 使數據更好地儲存和交互，提高數據使用的便捷性與持久

10、性。20世紀20年代以來，伴隨著電子技術的發(fā)展，存儲技術進入了嶄新的時代。圖 1 存儲介質發(fā)展簡史來源：中國信息通信研究院1928年，可存儲模擬信號的錄音磁帶問世，每段磁帶隨著音頻信號電流的強弱不同而被不同程度的磁化，從而使得聲音被記錄到磁帶上。1951年，磁帶開始應用于計算機中，最早的磁帶機可以每秒鐘傳輸7200個字符。20世紀70年代后期出現的小型磁帶盒，可記錄約660KB的數據。1956 年， 世界上第一個硬盤驅動器出現， 應用在IBM 的RAMAC305計算機中，該驅動器能存儲5M的數據，傳輸速度為10K/S， 標志著磁盤存儲時代的開始。1962年，IBM發(fā)布了第一個可移動硬 盤驅動器

11、，它有六個14英寸的盤片，可存儲2.6MB數據。1973年，IBM 發(fā)明了溫氏硬盤，其特點是工作時磁頭懸浮在高速轉動的盤片上方， 而不與盤片直接接觸，這便是現代硬盤的原型。1967年，IBM公司推出世界上第一張軟盤。隨后三十年，軟盤盛極一時，成為個人計算機中最早使用的可移介質。這個最初有8英寸的大家伙，可以保存80K的只讀數據。四年后，可讀寫軟盤誕生。至上世紀九十年代，軟盤尺寸逐漸精簡至3.5英寸，存儲容量也逐步增長到250M。截止1996年，全球有多達50億只軟盤被使用。直到CD-ROM（只讀光盤，Compact Disc Read-Only Memory）、USB存儲設備出現后，軟盤銷量才

12、開始下滑。進入21世紀，信息爆炸導致數據量成倍增長，硬盤容量也在飆升，單盤容量已可達到TB級別。即便如此，單塊磁盤所能提供的存儲容量和速度已經遠遠無法滿足實際業(yè)務需求，磁盤陣列應運而生。磁盤陣列使用獨立磁盤冗余陣列技術（RAID）把相同的數據存儲在多個硬盤，輸入輸出操作能以平衡的方式交疊進行，改善了磁盤性能，增加了平均故障間隔時間和容錯能力。RAID作為高性能、高可靠的存儲技術，已經得到非常廣泛的應用。21世紀以來，計算機存儲技術飛速發(fā)展，如何快速高效的為計算機提供數據以輔助其完成運算成為存儲技術新的突破口。在RAID 技術實現高速大容量存儲的基礎上，網絡存儲技術的出現弱化了空間限制，使得數據

13、的使用更加自由。網絡存儲將存儲系統(tǒng)擴展到網絡上，存儲設備作為整個網絡的一個節(jié)點存在，為其他節(jié)點提供數據訪問服務。即使計算主機本身沒有硬盤，仍可通過網絡來存取其他存儲設備上的數據?；诰W絡存儲技術，分布式云存儲、容災備份、虛擬化和云計算等技術得以廣泛應用。數據存儲，是現代信息產業(yè)架構中不可或缺的底層基座。經過百余年的發(fā)展，存儲技術已經呈現出非常多的形態(tài)，且仍在不斷完善和創(chuàng)新，以適應日益增長和不斷變化的數據存儲需求。（二）存儲技術架構現有存儲系統(tǒng)從底層到上層由存儲介質、組網方式、存儲協(xié)議和類型、存儲架構、連接方式五個部分組成，整體架構如下圖。圖 2 存儲技術架構來源：中國信息通信研究院存儲介質 企

14、業(yè)級存儲中的存儲介質包括機械磁盤（ HDD）、固態(tài)硬盤（SSD）、磁帶（TAPE）、光盤（Optical Disk）等，其中最常見的是以HDD和SSD為介質的存儲系統(tǒng)。依據存儲介質不同，存儲系統(tǒng)可分為磁盤存儲、全閃存儲、混閃存儲、磁帶庫、光盤庫等。磁盤存儲：指全部以磁盤為永久存儲介質的存儲；磁盤性能一般，但價格便宜。全閃存儲：指全部以固態(tài)硬盤為永久存儲介質的存儲；全閃存儲性能優(yōu)異，但價格也較高?；扉W存儲：指永久存儲介質同時含有磁盤和閃存盤的存儲； 與全閃存儲相比，混閃存儲在性能和價格上進行了一定折中。磁帶庫和光盤庫：指以磁帶或光盤為存儲介質，由驅動器及其控制器組成的存儲設備；單位存儲空間價格較

15、低，支持冷數據的長期保存，但讀寫性能不高。組網類型 按組網方式，存儲系統(tǒng)可分為IP（互聯(lián)網協(xié)議，Internet Protocol）組網存儲、FC（光纖通道，Fiber Channel）組網存儲、IB（無線帶寬，InfiniBand）組網存儲等。IP 組網存儲：指采用以太網技術進行組網的存儲設備，常見速率包括 1Gb、10Gb、25Gb、100bG 等；IP 組網的兼容性較好，建設成本較低。FC 組網存儲：指采用 FC 光纖技術進行組網的存儲設備，常見速率包括 8Gb、16Gb、32Gb 等；FC 組網的效率較高，但采購成本和維護難度也相對較高。IB 組網存儲：指采用 InfiniBand 技

16、術進行組網的存儲設備， 常見速率包括 40Gb、56Gb、100Gb、200Gb 等；IB 組網的延遲較低、速率較高，但采購成本相對較高，組網的擴展性也較弱。存儲類型 按存儲類型，存儲系統(tǒng)可分為文件存儲、塊存儲、對象存儲、其它存儲等。文件存儲：指自身構建文件系統(tǒng)后，通過互通的網絡提供給服務器或應用軟件使用，支持數據文件讀寫和文件共享服務的存儲設備。文件存儲的常用協(xié)議包括NFS、CIFS、FTP等。塊存儲：指將物理存儲介質上的物理空間按照固定大小的塊組成邏輯盤，并直接映射空間給服務器使用的存儲設備。塊存儲的常用協(xié)議包括SCSI、iSCSI、NVMe等。對象存儲：指采用扁平化結構，將文件和元數據包

17、裝成對象， 并抽象成網絡URL（ 統(tǒng)一資源定位器， Uniform Resource Locator），通過HTTP（超文本傳輸協(xié)議，Hypertext Transfer Protocol）協(xié)議直接訪問的存儲設備。對象存儲的常用協(xié)議包括S3、SWIFT等。其它存儲協(xié)議：包括在大數據存儲中廣泛使用的HDFS協(xié)議， 以及表存儲協(xié)議等。存儲架構 按存儲系統(tǒng)架構，存儲系統(tǒng)可分為集中式存儲和分布式存儲。集中式存儲：指基于雙控制器或多控制器架構的企業(yè)級存儲系統(tǒng)，具有較強的縱向擴展（Scale-up）能力和一定的橫向擴展（Scale-out）能力。集中式存儲的特點有高可靠、高可用、高性能等。分布式存儲：指將

18、商用服務器上的存儲介質虛擬化成統(tǒng)一的存儲資源池來提供存儲服務。分布式存儲的特點有高擴展性、低成本、易運維、和云緊密結合等。 連接方式 按連接方式，存儲系統(tǒng)可分為SAN存儲、NAS存儲、DAS存儲。SAN：Storage Area Network（存儲區(qū)域網絡），指通過光纖通道交換機、以太網交換機等連接設備將磁盤陣列與相關服務器連接起來的高速專用存儲網絡。NAS：Network Attached Storage（網絡附加存儲），是一種專業(yè)的網絡文件存儲及文件備份設備，對不同主機和應用服務器提供文件訪問服務。DAS：Direct Attached Storage（直接附加存儲），將存儲設備通過 S

19、CSI（小型計算機系統(tǒng)接口，Small Computer System Interface）接口或光纖通道直接連接到一臺主機上，主機管理它本身的文件系統(tǒng)，不能實現與其他主機的資源共享。各類型數據存儲技術仍在不斷的完善和創(chuàng)新，以適應日益增長和不斷變化的數據存儲需求，形成了多層級、廣泛覆蓋的產品體系結構，為用戶提供了各應用場景下的存儲解決方案。（三）存儲產業(yè)市場縱覽根據統(tǒng)計機構國際數據公司（IDC）的定義，一般意義上的企業(yè)存儲市場特指的是企業(yè)級存儲系統(tǒng)（ESS，Enterprise Storage System） 市場，它在存儲整體市場中的位置如下：圖 3 存儲市場全景圖來源：IDC據IDC的預測

20、，2021年中國企業(yè)級存儲市場空間55億美元， 2020-2024年中國企業(yè)級存儲市場將保持7.16%的年復合增長率，到2024年中國企業(yè)級存儲市場空間將達到65.9億美元。數據來源1：IDC，2020圖 4 中國企業(yè)級存儲市場空間1 數據來源： 2020Q3 IDC Enterprise Storage System Market Overview。下一代數據存儲技術研究報告（2021 年）9存儲市場按照存儲架構可以分為傳統(tǒng)企業(yè)級存儲（TESS）、軟件定義存儲（SDS）、超融合基礎架構（HCI）。據IDC統(tǒng)計，2020年 Q1-Q3中國存儲市場中傳統(tǒng)企業(yè)級存儲占比59.2%，仍是最主流的存儲

21、架構，SDS軟件定義分布式存儲占比22.2%，HCI超融合占比18.6%。 SDS和HCI的增速遠遠超過TESS，其中SDS未來四年復合增長率12.8%，HCI未來四年復合增長率13.0%。分布式存儲在政府、運營商、金融、企業(yè)、教育、醫(yī)療、能源等眾多行業(yè)被廣泛接受和采用。以中國移動為代表的運營商更是在2021年的集采中大量采購分布式存儲，構建存儲資源池，全面替代以前的中低端存儲。數據來源2：IDC，2020圖 5 中國存儲市場總覽存儲市場按照存儲介質可以分為全閃存儲（AFA）、混閃存儲（HFA）、全機械盤存儲（HDD）。2020年Q1-Q3中國存儲市場中全閃存儲占比18.2%，混閃存儲占比28

22、.6%，兩者之和接近50%，且全閃存存儲的增速較快，較2019年Q1-Q3同比增長20%。2 數據來源：2020Q3 IDC PRC Software-defined Storage and Hyperconverged System Market Overview。 下一代數據存儲技術研究報告（2021 年） PAGE 39數據來源3：IDC，2020圖 6 中國存儲市場介質使用情況在全球存儲市場中，由于閃存成本不斷下降，全閃存儲份額快速增加，市場占比超過20%。根據第三方機構Wikibon的預測，2026 年SSD單TB成本將低于HDD，達到15美元/TB。2025年后，HDD的出貨量將每

23、年下降27%，只應用于擴容和歸檔等少數場景。數據來源：Wikibon，2021圖 7 閃存及機械介質成本預測圖3 數據來源：2020Q3 IDC Enterprise Storage System Market Overview。 隨著國內存儲廠商的技術進步及國家自主創(chuàng)新的政策激勵，國產存儲廠商份額不斷提升，國產化存儲產品也逐漸被用戶接受。在傳統(tǒng)存儲陣列領域，當前市場份額較大的廠商包括華為、新華三、浪潮、曙光等；在分布式存儲領域，華為、曙光、新華三、XSKY 等廠商占有較大市場份額。而在云存儲領域，阿里云國內領先的云存儲廠商。（四）存儲產業(yè)痛點分析“數據”是數據中心乃至企業(yè)最重要的資產。在數字

24、社會，數據具有基礎戰(zhàn)略資源和關鍵生產要素的雙重角色。作為信息化系統(tǒng)中的核心部分和底層基座，存儲系統(tǒng)的構建和使用直接關系到數據這一企業(yè)核心資產的存儲、使用和挖掘。當前，存儲系統(tǒng)面臨的業(yè)務環(huán)境呈現出以下兩個特點。一是數據量爆發(fā)式增長。隨著移動互聯(lián)網不斷發(fā)展，企業(yè)的數據規(guī)模呈現爆發(fā)式增長。IDC：2025 年中國將擁有全球最大的數據圈研究表明，2018 年中國新增數據量為 7.6ZB，成為世界第一數據生產國；2025 年中國新增數據量將達到 48.6ZB，年平均增長率為30%。二是業(yè)務負載呈現動態(tài)變化?，F代業(yè)務平臺的負載是非線性的、動態(tài)變化的，尤其是互聯(lián)網類的業(yè)務，隨時可能出現業(yè)務負載的突發(fā)性變化。

25、以 2020 年雙十一為例， 0 點至 0 點 30 分，天貓實時成交額突破 3723 億。訂單創(chuàng)建峰值為 58.3 萬筆/秒，是 2009 年第一次雙十一的 1457 倍。當前存儲技術存在以下四個問題，導致難以滿足上述業(yè)務需求：一是主要采用集中式架構，橫向可擴展性差。傳統(tǒng)存儲由于緊耦合架構和單一的協(xié)議，導致性能和空間無法獨立擴容，支撐業(yè)務快速部署上線。相較于計算虛擬化環(huán)境下秒級的虛擬機部署和回收， 存儲的擴容和資源分配往往需要幾個小時甚至幾天以上的時間，難以滿足客戶快速擴展的需求。如何提高存儲系統(tǒng)的橫向擴展能力， 實現對資源的即時使用和釋放，是未來存儲技術亟待解決的問題。二是無法統(tǒng)一調度，存

26、儲容量浪費。受限于架構設計，不同存儲之間的資源無法進行統(tǒng)一調度和管理，時常出現個別節(jié)點資源存在剩余，但其他節(jié)點卻出現空間不足的情況。存儲整體利用率低， 造成存儲、計算資源浪費。大數據時代，這一問題被進一步放大， 如何減少資源浪費、降低使用成本將是未來各行業(yè)用戶關注的重點。三是產品兼容交互能力差，業(yè)務復雜性變高。據IDCFutuerScapes 2019分析指出，未來企業(yè) 49%的應用將與其他應用有緊密關聯(lián)，每個企業(yè)級應用都將與其他 4-8 個應用有頻繁的交互。不同供應商或型號存儲產品往往難以互通，當需要替換存儲設備時， 數據遷移問題無論對運維還是業(yè)務平臺本身都是一項極大的挑戰(zhàn)。四是多種存儲產品

27、混合使用，運維難度大。目前我國各行業(yè)用戶采購的存儲產品往往由多家廠商供應，由于接口、協(xié)議、工具的差異，造成了諸如業(yè)務復雜性變高、運維成本上升等問題。如何打破“數據孤島”，避免重復式存儲規(guī)劃和數據丟失帶來的損失成為企業(yè)數字化轉型過程中面臨的一大挑戰(zhàn)。為了解決上述問題，滿足各行業(yè)在使用存儲系統(tǒng)過程中出現的新場景、新需求，下一代數據存儲技術應運而生。二、下一代數據存儲技術 進入移動互聯(lián)網時代，存儲應用場景急劇變化，下一代數據存儲技術應運而生。下一代數據存儲技術主要指在存儲介質、存儲架構、存儲協(xié)議、應用模式及運維模式等方面迭代創(chuàng)新的一系列技術的集合，總體呈現出高性能、易于擴展、服務化和智能化等特點。表

28、 1 下一代數據存儲技術革新方向 技術分類 傳統(tǒng)存儲 下一代存儲 存儲介質機械硬盤存儲、易失型內存全閃存儲、非易失性內存存儲架構集中式存儲軟件定義存儲、超融合基礎架構存儲協(xié)議AHCI、SCSI 協(xié)議NVMe 協(xié)議應用模式本地部署云服務化運維模式人工運維智能化運維來源：中國信息通信研究院本章將從這五個方面對下一代數據存儲技術的演進進行梳理與分析。（一）存儲介質演進全閃存儲 全閃存儲指全部由固態(tài)存儲介質構成的獨立存儲陣列或設備。全閃存儲的高速發(fā)展，既是新應用對性能需求驅動的結果，也是閃存技術不斷創(chuàng)新的成果。在需求側，當前數據爆炸式增長，云計算、物聯(lián)網、 HYPERLINK /rengongzhin

29、eng/605233_a.html 大數據、人工智能、區(qū)塊鏈等新技術快速發(fā)展，驅動人臉識別、自動駕駛等新智能應用不斷涌現，業(yè)界已進入智能驅動的新數據時代。這一時代，數據存儲具有三大需求，分別是 EB 級容量、億級 IOPS（每秒進行讀寫操作的次數，Input/Output Operations Per Second）和智能管理，億級 IOPS 需求使得存儲介質的變革勢在必行。在技術側，全閃存儲普遍被認為是存儲行業(yè)的發(fā)展方向，其具備遠高于傳統(tǒng)磁盤存儲的數據吞吐能力及更低的時延。數據顯示， 固態(tài)硬盤對 HYPERLINK /article/778924.html 比機械硬盤，擁有更快的讀取速度、更

30、低的功耗以及更低的故障幾率，實現了對機械硬盤性能的全面超越，為底層存儲介質的替換提供了客觀條件。表 2 機械硬盤與固態(tài)硬盤性能對比機械硬盤固態(tài)硬盤時延2ms0.02ms5 年返還率13.4%0.8%功耗10w3w數據來源：華為技術有限公司在產品側，各大存儲廠商均推出了全閃存儲產品。如華為的OceanStor Dorado 及浪潮的 HF 系列產品。以 OceanStor Dorado 為例，相較傳統(tǒng)機械存儲，在存儲性能委員會（SPC）的 SPC-1 基準下，業(yè)務性能提升了 5 倍；在數據庫場景下，業(yè)務性能提升了 10 倍； 在虛擬桌面場景下，在 Word/PowerPoint/Excel 應用

31、測試中，啟動響應時間縮短 80%。充分體現了全閃存儲產品優(yōu)異的性能。非易失性內存 非易失性內存（Non-Volatile Memory, NVM）是指斷電后，存儲 HYPERLINK /item/%E6%95%B0%E6%8D%AE/5947370 的數據不會消失的 HYPERLINK /item/%E7%94%B5%E8%84%91%E5%AD%98%E5%82%A8%E5%99%A8 存儲器，是存儲技術領域近十余年來最具革命性的創(chuàng)新。依據技術原理，非易失性內存介質可分以下幾類。 來源：西安奧卡云數據科技有限公司圖 8 非易失性存儲介質為開發(fā)出比傳統(tǒng)非易失性存儲介質更高速、更低功耗、更高密度

32、、更可靠的新型非易失性存儲介質，研究者們把目光聚焦到一些特殊材料上，提出了一些存儲介質模型。下表對這五種存儲介質的存儲原理、優(yōu)缺點及發(fā)展狀況進行了簡要介紹。表 3 新型非易失性存儲簡介存儲介質存儲原理優(yōu)點缺點鐵電隨機存儲器通過鐵電材料的不同極化方向來存儲數據讀寫速度,低功耗和擦寫循環(huán)性能好數據保持能力較差磁性隨機存儲器通化磁化方向的改變來存儲數據, 并通過磁效應來實現數據讀可反復擦寫次數高等優(yōu)點難以小型化阻變存儲器利用材料的電阻在電壓作用下發(fā)生變化的現象來存儲數據擦寫速度快、存儲密度高、具備多值存儲和三維存儲潛力材料耐久性較差相變存儲器以硫屬化合物為基礎的相變材料在電流的焦耳熱作用下，通過晶態(tài)

33、和非晶態(tài)之間的轉變來存儲數據重復擦寫次數高、存儲密度高、多值存儲潛力大功耗較高3D-XPoint通過特定的電壓差，改變存儲單元中特殊材科的電阻，實現寫操作來源：中國信息通信研究院隨著存儲技術的發(fā)展和人們對存儲性能的不懈追求，高性能存儲的探索開始向內存通道遷移。非易失性雙列直插式內存模塊（Non-Volatile Dual In-Line Memory Module，NVDIMM）便在這種趨勢下應運而生。根據電子器件工程聯(lián)合委員會標準化組織的定義， 有三種NVDIMM 的實現方式：NVDIMM-N 指在一個模塊上同時放入動態(tài)隨機存取存儲器（DRAM）和閃存。通過使用一個小的后備電源,為掉電時數據

34、從 DRAM 拷貝到閃存中提供足夠的電能，當電力恢復時, 再重新加載到DRAM 中。NVDIMM-F 指使用了DRAM 的 DDR（雙倍速率，Double Data Rate）總線 Flash 閃存,一定程度上減少協(xié)議帶來的延遲和開銷，但只支持塊尋址。NVDIMM-P 是真正DRAM 和Flash 閃存的混合。它既支持塊尋址, 也支持類似傳統(tǒng) DRAM 的按字節(jié)尋址。容量可以達到類似 NAND 閃存的 TB 級, 又能把延遲保持在102 方納秒級。Intel 發(fā)布的基于 3D XPoint 技術的英特爾傲騰持久化內存，可認為是 NVDIMM-P 的一種實現。非易失性內存的出現填補了從硬盤到DR

35、AM 之間，存儲在性能、延遲、容量成本的鴻溝，為多樣化的解決方案奠定了堅實的基礎。非易失性內存技術能夠存儲不適用于DRAM 的龐大數據集，進行快速計算，同時與其他存儲介質共同組成多級存儲池，讓數據更加靠近處理器，提升存儲系統(tǒng)的整體性能表現。（二）存儲架構演進大數據、云計算和虛擬化等技術的出現，使得傳統(tǒng)的 IT 架構難以滿足企業(yè)日益增長的數據存儲需求。為應對這一挑戰(zhàn)，軟件定義存儲（SDS，Software Defined Storage）和超融合基礎架構（HCI， Hyper-Converged Infrastructure）應運而生，打破了傳統(tǒng) IT 系統(tǒng)復雜和繁冗的現狀，優(yōu)化了網絡的可擴展性

36、和管理方式。軟件定義存儲 企業(yè)對數據服務的需求變得更加復雜、精細和個性化，對數據存儲的高可靠性、高性能、高擴展以及面向云架構的延伸能力等層面提出了更高的要求。虛擬化和云技術的發(fā)展和成熟轉變了數據中心的設計、建造、管理和運維方式，這種變革使軟件定義存儲越來越有吸引力。軟硬解耦、易于擴展、自動化、基于策略或者應用的驅動是軟件定義存儲的特征。就業(yè)務應用來說，即不限制上層應用，不綁定下層硬件；除了提供塊存儲，也可以在同一平臺提供文件、對象、HDFS 等存儲服務，實現非結構化數據的協(xié)議互通；同時應具備完善的監(jiān)控能力，實現應用感知。 來源：星辰天合（北京）數據科技有限公司 圖 9 軟件定義存儲邏輯架構示意

37、圖軟件定義存儲對全行業(yè)業(yè)務都具備適用性，可根據當前業(yè)務場景需要進行規(guī)劃設計。表 4 不同類型軟件定義存儲簡介類型功能應用場景塊存儲提供塊存儲服務，常見多用于提供虛擬化、私有云、數據庫等使用塊存儲資源的結構化數據業(yè)務，業(yè)務應用直接對磁盤塊進行訪問操作。虛擬化環(huán)境： VMware 、KVM、OpenStack、容器等云環(huán)境： CloudStack 、 ZStack 、WinCloud 等數據庫：Oracle、MySQL 等對象存儲提供S3 協(xié)議接口服務，支持通過Restful 的訪問方式進行數據的上傳、下載、刪除。常用于互聯(lián)網、移動終端應用業(yè)務云存儲，以海量非結構化類型數據為特征。流媒體文件、非結

38、構化數據、內容管理、數據備份歸檔、網盤、電子單據文件存儲提供文件存儲功能，支持 NFS/CIFS 等訪問協(xié)議，常用于傳統(tǒng)局域網共享型的業(yè)務應用，以支持多個用戶對同一文件協(xié)同操作為特征。高性能計算、非結構化數據、內容管理、數據歸檔統(tǒng)一數據平臺同時提供塊、文件、對象等多種協(xié)議全業(yè)務場景的適配，支撐企業(yè)的各種各樣的應用負載來源：星辰天合（北京）數據科技有限公司 開放化和水平擴展是軟件定義存儲的兩大特點。開放化意味著接口標準化、服務原子化，保證客戶的應用系統(tǒng)能夠以最順暢的方式對接基礎存儲設施，可微調解決方案細節(jié)，達成高質量的服務。水平擴展則是云計算彈性環(huán)境的必然要求，在移動互聯(lián)網環(huán)境下，業(yè)務應用的負載

39、量是突發(fā)式、潮汐式、難以精確預測的，應用要求存儲的容量和性能都必須能夠線性擴展以滿足上層應用需求。軟件定義存儲產品在提供高可靠和高可用服務能力的同時，集成了數據智能處理和分析能力，簡化了海量數據處理所需的基礎設施，幫助客戶實現數據互通、資源共享、彈性擴展、多云協(xié)作，有效降低用戶的使用成本。Gartner 報告指出，通過使用 XSKY 的 XEDP 數據存儲平臺，企業(yè)用戶實現整體使用成本降低 54%。超融合基礎架構 超融合基礎架構是一種軟件定義的 IT 基礎架構，它可虛擬化常見 “硬件定義” 系統(tǒng)的所有元素。超融合基礎架構包含的最小集合是：虛擬化計算、虛擬存儲和虛擬網絡；超融合系統(tǒng)通常運行在標準

40、商用服務器上。 來源：北京志凌海納科技有限公司 圖 10 超融合基礎架構圖超融合基礎架構除對計算、存儲、網絡等基礎元素進行虛擬化外，通常還會包含諸多 IT 架構管理功能，多個單元設備可以通過網絡聚合起來，實現模塊的無縫橫向擴展，形成統(tǒng)一資源池。超融合基礎架構通過為企業(yè)客戶提供一種基于通用硬件平臺的計算存儲融合解決方案，為用戶實現可擴展的 IT 基礎架構，提供高效、靈活、可靠的存儲服務。對于用戶來講，超融合基礎架構的主要價值如下：以簡潔的架構提供高可用方案。超融合由于其融合部署架構， 可有效協(xié)調虛擬化和存儲高可用聯(lián)動的問題，從而以非常簡潔的架構提供不同級別的高可用方案。 來源：北京志凌海納科技有

41、限公司 圖 11 融合基礎架構特征存儲系統(tǒng)整體性能的大幅提升。分布式架構提升了系統(tǒng)整體的聚合性能，可以在不改變硬件配置下進一步降低訪問延遲。擴展性大幅提升。超融合基礎架構的核心分布式存儲在可擴展性上有了本質的提升，包括如下特點：支持少量節(jié)點起步，支持硬件部件及節(jié)點級擴容，容量自動均衡，異構節(jié)點支持，卷級別存儲策略等。采購成本和總體擁有成本降低。在使用成本方面，服務器+超融合軟件（或超融合一體機）的采購成本有大幅度的降低。除采購成本外，超融合系統(tǒng)在總體擁有成本上有更大的優(yōu)勢。SmartX 在某證券客戶的支撐案例中，超融合解決方案協(xié)助客戶提升 15% 的資源利用率、降低 60% 的運維工作量、同時

42、每年的 IT 采購成本降低50%。（三）存儲協(xié)議演進在存儲系統(tǒng)中，HDD 磁盤和早期 SSD 磁盤的傳輸協(xié)議一般采用 AHCI（高級主機控制器接口，Advanced Host Controller Interface）。 AHCI 為單隊列模式，主機和 HDD/SSD 之間通過單隊列進行數據交互。對于 HDD 這種慢速設備來說，主要瓶頸在存儲設備，而非 AHCI 協(xié)議。不同于 HDD 的順序讀寫特點，SSD 可以同時從多個不同位置讀取數據，具有高并發(fā)性。AHCI 的單隊列模式成為限制 SSD 并發(fā)性的瓶頸。隨著存儲介質的演進，SSD 盤的IO 帶寬越來越大，訪問延時越來越低。AHCI 協(xié)議已經

43、不能滿足高性能和低延時 SSD 的需求，因此，存儲系統(tǒng)迫切需要更快、更高效的協(xié)議和接口，NVMe（NVM Express）協(xié)議應運而生。NVMe 協(xié)議旨在提高吞吐量和 IOPS，同時降低延遲。基于NVMe的驅動器可實現高達 16Gbps 的吞吐量，且當前供應商正在推動 32 Gbps 或更高的吞吐量產品的應用。在 IO 方面，許多基于 NVMe 的驅動器，其 IOPS 可以超過 50 萬，部分可提供 150 萬、200 萬甚至1000 萬 IOPS。與此同時，延遲持續(xù)下降，許多驅動器的延遲低于20 微秒，部分低于 10 微秒。憑借卓越的性能，NVMe SSD 在 2018-2023 年間以 3

44、8%的復合年增長率持續(xù)增長，2020 年占據企業(yè)級 SSD 出貨量的 55%以上，云客戶、OEM 廠商和企業(yè)均將 NVMe SSD 作為存儲設備的首選。在網絡協(xié)議層，30 年來，存儲網絡都是以 SCSI（小型計算機系統(tǒng)接口，Small Computer System Interface）協(xié)議為基礎框架，前端傳輸網絡層一直以 FC（光纖通道，Fiber Channel）網絡為主，后端則以 SAS（串行 SCSI 技術，Serial Attached SCSI）網絡為主，這構成了服務器間以IP 為主要互聯(lián)手段的IP 存儲網絡。來源：華為技術有限公司 圖 12 基于FC和SAS協(xié)議的經典存儲網絡20

45、10 年后，隨著閃存介質的普及，SCSI 協(xié)議框架對性能的限制也越來越突顯出來。NVMe 和 NVMe Over Fabric（NVMe-oF）技術的出現打破了這些限制，面向高性能介質設計的多隊列模型更能發(fā)揮閃存介質的性能。NVMe-oF 推動 IP 化、低時延化，基于 IP 網絡的 NVMe-oF 技術不但使得前端存儲網絡可以基于 IP 直接與本地局域網連接，甚至可以直連廣域網；同時，利用 NVMe-oF 技術小于10us 的超低附加時延，使得替換后端 SAS 網絡也成為了可能，整個數據中心可以基于統(tǒng)一的以太網來構建；一方面降低整個數據中心的建設成本，一方面降低獨立存儲網絡的運維成本，同時有

46、利于云及大數據應用環(huán)境下的數據共享。華為NoF+存儲網絡是 NVMe-oF 技術一個典型應用，在OLTP/OLAP（聯(lián)機事務/分析處理過程）場景，IOPS 最高提升 85%，擁塞時延最大降低 46%，端到端故障切換時間1s，充分體現新協(xié)議對網絡性能的巨大提升。來源：華為技術有限公司 圖 13 基于NVMe協(xié)議的IP存儲網絡（四）應用模式演進云存儲是基于云計算相關技術延伸和發(fā)展而來的全新應用模式。云存儲的內核是應用軟件與存儲設備相結合，通過應用軟件來實現 存儲設備向存儲服務的轉變。本質上，云存儲是一種服務，是由多 個存儲設備和服務器所構成的集合體。通過解耦，計算與存儲可以在云數據中心獨立擴展，提

47、供調度和資源共享的靈活性，提高資源使用效率，降低成本。其次，計算和存儲可以更加靈活的針對不同負載進行優(yōu)化。網絡技術的高速發(fā)展，個位數微秒的延時、百 G 級別的帶寬，使得計算和存儲分離、分布式存儲等架構在穩(wěn)定性和性能等領域變得更加高效。對于行業(yè)用戶而言，云存儲的價值主要體現在以下三個方面：提供諸如塊存儲和文件存儲等標準化的存儲方式。云存儲提供標準化接口，使客戶能夠直接遷移數據，避免應用的大量修改。存儲系統(tǒng)的服務化。在云計算時代，云存儲將存儲系統(tǒng)演化成一種云服務，用戶只需要關心自己的業(yè)務邏輯即可。如百度云BOS 服務，相較于傳統(tǒng)存儲服務，數據處理流程的易用性提升了 95.2%，滿足了一站式存儲和處

48、理的訴求。存儲系統(tǒng)的開放化。云存儲服務提供眾多管理與控制的API（應用程序接口，Application Programming Interface），通過開放接口，使得用戶可以通過編程調用 API 管理與監(jiān)控存儲資源，實現跨平臺的管理。云存儲在發(fā)展的過程中也面臨著諸多挑戰(zhàn)，為滿足云時代發(fā)展的需求，新一代存儲需要不斷演進。未來云存儲技術主要呈現出以下三點趨勢：集成設計能力不斷加強。數據庫、大數據處理和分析、人工智能、容器等領域具有自身的特點，存儲技術針對以上典型場景也需進行相應的集成設計，結合場景的特點進行適配和優(yōu)化，提高與場景結合的端到端優(yōu)化能力和存儲的效率。云上大規(guī)模運維能力的不斷提升。隨著

49、越來越多的企業(yè)不斷上云，云服務商的運維方式也發(fā)生了巨大的變化，需要在大規(guī)模、高復雜度下，保障云服務的高可用。以阿里云對象存儲OSS 為例，在數據遷移、數據湖、數據備份及歸檔方面，可以提供 12 個 9 的數據持久性，99.995%的數據可用性。云存儲產品形態(tài)不斷豐富。由于數據訪問方式以及業(yè)務場景的不同，云存儲不斷豐富自身的產品形態(tài)。阿里云、騰訊云、百度云等頭部廠商均構建了對象存儲、塊存儲、文件存儲、表格存儲等多種形態(tài)的產品。（五）運維模式演進隨著數字化轉型的加速，企業(yè)用戶需要更加敏捷地響應快速變化的市場需求。不僅是業(yè)務模式，IT基礎架構的革新在其數字化轉型中也是非常關鍵的一部分?，F代化的應用、

50、多數據中心、多云及邊緣等趨勢在加速業(yè)務的同時，也對運營管理帶來了巨大的壓力， 靠人力投入完全管控存儲系統(tǒng)變得不可維系。運維團隊急需新技術協(xié)助，智能運維平臺應運而生。智能運維指利用大數據和機器學習等方法提高運維的自動化、效率及故障自愈的技術，同時利用機器智能從運維數據中持續(xù)挖掘深層信息，是一種結合工程能力與算法能力的綜合性科學。智能運維常用于集群自動擴縮容、服務變更、庫存管理等日常管理事務以及異常定位、根因分析、系統(tǒng)自愈等異常處理事務。智能運維架構主要由兩部分組成，集成了眾多傳感器的服務器、存儲設備和基于云端的智能運維平臺。通過數據收集、轉換及訓練對基礎架構中可能出現的問題做出預測并提供建議。智

51、能運維技術的主要特點有：主動式問題處理：智能運維平臺能夠對簡單問題自動進行處理；對于復雜的問題，能夠自動開具工單，通過支持中心分派工程師主動聯(lián)系用戶，幫助用戶發(fā)現和解決問題。智能需求預測：通過人工智能、機器學習等技術，實現對存儲未來容量、性能的提前預測，便于客戶提前規(guī)劃。智能風險預防：除了預測分析外，領先的智能運維平臺還能做到對風險的預防，主動優(yōu)化 IT 基礎架構，通過黑、白名單等功能特性預防已經發(fā)現的問題，并給予可行的建議。云上管理：基于云創(chuàng)建的智能運維平臺，可以讓 IT 運營團隊隨時隨地以任意終端訪問智能運維平臺，查看運行狀態(tài)；云端自動升級，在新特性上線時，不會影響用戶的日常使用。隨著下一

52、代數據存儲技術的發(fā)展和成熟，性能不再是困擾用戶的首要難題，各存儲供應商也逐漸將注意力放到智能運維上，希望能夠提供更豐富的功能、更好的使用體驗。未來智能運維平臺的發(fā)展呈現出以下兩點趨勢。一站式分析。存儲的智能運維平臺將逐步成為整個 IT 基礎架構運維平臺的核心。通過將服務器、網絡、虛擬化應用逐步接入智能運維平臺，能夠提供更豐富的 IT 運行狀態(tài)數據，幫助智能運維平臺判斷故障和瓶頸。離線智能。由于監(jiān)管因素的限制，部分企事業(yè)單位無法使用基于云的智能運維平臺。存儲廠商開始考慮提供離線智能運維平臺， 通過集成智能運維平臺知識庫，提供基于本地的性能瓶頸分析、容量和性能的預測、硬盤故障預警等功能?，F今，智能

53、運維已成為熱門存儲技術，并在實踐中逐步應用， 提供更好的用戶體驗。如新華三的 InfoSight 智能運維系統(tǒng)，企業(yè)用戶通過使用智能運維系統(tǒng)，86%的問題得到自動解決；平均給出解決方案的時間小于 1 分鐘；93%的問題能夠自動提交工單；用戶滿意度高達到 98.2%。三、下一代數據存儲技術賦能數字化轉型 下一代數據存儲技術深刻的改變著存儲產品形態(tài)，伴隨著需求的不斷變化，不斷演進出了新特征、新指標，使得存儲系統(tǒng)能夠更好滿足全行業(yè)客戶的需求。本章將以數據湖、數據備份及實時大數據分析三個解決方案為例闡述下一代數據存儲技術如何對傳統(tǒng)的存儲產品的存儲、使用、備份全流程帶來革新，賦能企業(yè)數字化轉型。（一）異

54、構數據統(tǒng)一管理能力推動數據湖產品演進隨著數據量的爆發(fā)式增長，許多企業(yè)產生數據的量級由原有的TB 級別迅速的提升到 PB 甚至 EB 級別。企業(yè)付出成本來存儲這些數據的同時自然也想通過挖掘數據信息輔助商業(yè)決策，提升管理效率。大數據經過了多年發(fā)展，存儲需求的不斷變化及以云存儲、智能管理為代表的下一代數據存儲技術的成熟，推動了數據湖的不斷演進。不斷變化的業(yè)務需求對數據湖提出了以下需求：統(tǒng)一調度：構建統(tǒng)一數據底座，把數據放在合適的位置上， 同時提供覆蓋存儲網絡的發(fā)放自動化、拓撲自動化和性能分析自動化服務。按需流動：基于數據冷熱和應用負載分析，使得數據按需流動，滿足不同生命周期階段性能及成本訴求。多云對

55、接：通過 API、腳本和插件等多種方式對接云管平臺， 確保融入客戶流程不改變客戶習慣。存儲與計算分離：存算分離能夠有效降低計算資源與存儲資源擴展需求不平衡場景下的運維成本與硬件成本，成為數據湖存儲的必要選項。數據全周期管理：提供基礎的數據訪問能力，同時根據實際的業(yè)務與成本提供數據分層管理與歸檔備份的能力。數據多協(xié)議支持：數據的存入與使用需要適配數據湖領域的各種應用場景，比如支持 HDFS 協(xié)議、SQL 語義、對象存儲S3 協(xié)議等。相較于傳統(tǒng)解決方案，下一代數據存儲技術為數據湖帶來的最大改變就是企業(yè)用戶無需關心存入數據的類型，系統(tǒng)自行選擇一種最優(yōu)形式進行存儲。同時，智能化的統(tǒng)一運維管理平臺使得系

56、統(tǒng)能夠存儲海量異構數據，構筑統(tǒng)一的數據底座，提供統(tǒng)一存儲訪問接口，解決系統(tǒng)間數據孤島、各類應用統(tǒng)一訪問問題，真正做到“一個數據中心一套存儲”。（二）多級存儲介質助力實時分析能力構建IDC 預測，到 2021 年，全球 2000 個機構中的 60-70%將至少有一個關鍵的實時型工作負載任務，如金融、醫(yī)療領域的實時交易分析場景。這些應用場景中，海量數據的分析、推理模型的演進等均需要在內存進行大量數據的實時運算，并為用戶提供實時的響應服務，支撐其高效數據價值的挖掘。以非易失性內存為代表的存儲級內存（SCM）和閃存介質的出現填補了實時大數據分析解決方案缺少大容量、高性能存儲介質的空白。通過由 DRAM

57、、SCM、SSD、內存型網絡構成的多級存儲架構，能夠為上層業(yè)務提供極致性能的服務，在多節(jié)點間實現多級介質的全局共享及大內存容量的無感知擴展；同時，SCM 介質層能夠在近計算側實現元數據/數據的高速本地化訪問；最后，在整個存儲系統(tǒng)中實現多種介質的多級資源池并進行統(tǒng)一管理、調度，提供統(tǒng)一的訪問接口，發(fā)揮企業(yè)級內存和閃存介質成本優(yōu)勢，達成存儲系統(tǒng)總體擁有成本最優(yōu)。以存儲級內存為中心的數據存儲，將為實時的海量數據分析、實時應用等提供大容量、高 TCO 的共享內存介質層，同時具備大規(guī)模擴展、高可靠等關鍵特性，為上層實時分析業(yè)務提供高效、可靠的數據底座。（三）云存儲備份簡化數據安全實踐路徑數據備份是保證企

58、業(yè)數據安全的重要手段，往往指為防止系統(tǒng)出現操作失誤或系統(tǒng)故障導致數據丟失，而將全部或部分數據集合從應用主機的硬盤或陣列復制到其它的存儲介質的過程。隨著數據量的急劇增長，企業(yè)陷入非結構化數據溢出的危險境地。問題不在于企業(yè)購置容量來存儲全部數據，而是如何以低成本高效率的方式妥善管理數據，尤其是長期數據保留，以創(chuàng)造商業(yè)價值、釋放數據潛能。如何在確保數據可訪問性和安全性不受影響的同時，使企業(yè)獲得更優(yōu)的數據管理和可見性，是企業(yè) IT 部門面臨的主要難題。云存儲的出現為數據備份提供了新形式，通過將數據備份在云上，企業(yè)能夠突破地域和設備的限制，實現對同一備份的獲取。相較于傳統(tǒng)備份，云存儲的優(yōu)勢主要有：首先，

59、備份場景多樣，集中管控，實現多臺云主機的集中配置管控。其次，簡單易用，全自動運維。支持將備份數據托管到云上備份倉庫，無需擔心硬件配置、集群擴展等問題。控制臺可自動推送備份代理，無需手動安裝，實現全自動運維。再次，高重刪壓縮比，節(jié)省成本。備份服務多采用重刪、壓縮技術，可有效降低云端存儲空間，減少成本投入。最后，備份數據安全可用。支持全量、增量以及日志備份，備份數據可實現快速恢復，復原時間目標（RPO）大大降低，同時憑借全自動數據加密校驗等優(yōu)勢，讓備份數據更加安全。四、下一代數據存儲技術實施建議 存儲系統(tǒng)作為IT系統(tǒng)的底層基礎架構，存儲技術進一步發(fā)展和推廣對于整個信息產業(yè)具有重大意義。在數字化轉型

60、過程中，存儲系統(tǒng)作為底層基礎架構，其改造和實施過程需被重點關注。本章力圖分析梳理存儲系統(tǒng)改造中應當遵循的原則和策略，從而指導相關人員從業(yè)務設計和實際操作等方面完成意識的認知和過渡。（一）指導原則在下一代數據存儲技術的規(guī)劃實施過程中，應遵循如下指導原則。適度的技術先進性 衡量存儲系統(tǒng)的技術指標包括性能、可靠性、數據效率、可擴展性等，采用下一代數據存儲技術可以很好地利用技術迭代的紅利幫構建性能更快、安全可靠、空間利用率更高、可擴展性更強的存儲系統(tǒng)，是IT技術發(fā)展的趨勢。但同時我們也應注意，新技術的出現往往會經歷萌芽、增長、低谷、復蘇等階段，才會被廣泛應用，過早投入新技術的使用，會產生更高的試錯成本