2024年存算分離之存儲(chǔ)池化報(bào)告

存算分離之存儲(chǔ)池化報(bào)告存算分離之存儲(chǔ)池化報(bào)告

編寫(xiě)組項(xiàng)目經(jīng)理：董少杰 中移動(dòng)信息技術(shù)有限公工作組長(zhǎng)：王峰 中國(guó)電信股份有限公司研究貢獻(xiàn)專(zhuān)家：肖愛(ài)元 中移動(dòng)信息技術(shù)有限公司劉師銳 中移動(dòng)信息技術(shù)有限公司劉玲 中移動(dòng)信息技術(shù)有限公司王小鋒 中移動(dòng)信息技術(shù)有限公司馮軼 中移動(dòng)信息技術(shù)有限公司曹原銘 中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司雷鳴 中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公郭亮 中國(guó)信息通信研究院謝麗娜 中國(guó)信息通信研究院徐育林 華為技術(shù)有限公司吳勇 華為技術(shù)有限公司楊粲 華為技術(shù)有限公司王洪亮 華為技術(shù)有限公司楊澤生 華為技術(shù)有限公司張偉龍 浪潮電子信息產(chǎn)業(yè)股份有限公司路超凡 浪潮電子信息產(chǎn)業(yè)股份有限公方興 烽火通信科技股份有限公司蔡財(cái)義 烽火通信科技股份有限公司郭娜 曙光信息產(chǎn)業(yè)股份有限公司存算分離之存儲(chǔ)池化報(bào)告 王燈殿 曙光信息產(chǎn)業(yè)股份有限公司王新安 中國(guó)移動(dòng)通信集團(tuán)山東有限公鐘儲(chǔ)建 中國(guó)移動(dòng)通信集團(tuán)浙江有限公司杭躍斌 中國(guó)移動(dòng)通信集團(tuán)江蘇有限公司王衎 中國(guó)移動(dòng)通信集團(tuán)北京有限公王棟良 新華三技術(shù)有限公司王瑞祥 新華三技術(shù)有限公司馬敏瑞 中興通訊股份有限公司明勇 四川華鯤振宇智能科技有限責(zé)任公司徐華 四川華鯤振宇智能科技有限責(zé)任公劉歡 星融元數(shù)據(jù)技術(shù)有限公司存算分離之存儲(chǔ)池化報(bào)告 目錄版聲明 2編組 3一存算離技產(chǎn)生背景 8二術(shù)語(yǔ)定義縮略語(yǔ) 9（）術(shù)和定義 9無(wú)化架（DisklessArchitecture） 9無(wú)化服器（DisklessServer） 9智盤(pán)（）（SmartDisk/Enclosure） 9標(biāo)容量(Nominalcapacity) 9可容量(EffectiveCapacity) 10重(datadeduplication) 10壓(Compression) 10直（Passthrough） 10Namespace 10（）縮語(yǔ) 10三技術(shù)展趨勢(shì) 11四存算離架定義 13五存算離盤(pán)規(guī)范求及鍵技術(shù) 16（）規(guī)要求 16（）性關(guān)鍵術(shù) 17支持NVMe-oF協(xié)議 17存算分離之存儲(chǔ)池化報(bào)告 支持Active-Active,全負(fù)載衡 18支持ROW寫(xiě)術(shù) 18支端到端IO優(yōu)級(jí)控技術(shù) 19多分區(qū)術(shù) 20大順序技術(shù) 20DPU卸技術(shù) 21智加速術(shù) 21（）資利用關(guān)鍵術(shù) 23RAID2.0技術(shù) 23數(shù)縮減術(shù) 24大例EC技術(shù) 24硬高密術(shù) 25智精簡(jiǎn)術(shù) 25（）安&可性&可性要求 25服質(zhì)量制 25秒主備換 26硬設(shè)備插即用 26緩雙副本 26掉保護(hù)術(shù) 27端端DIF技術(shù) 27數(shù)銷(xiāo)毀術(shù) 28安預(yù)警 29存算分離之存儲(chǔ)池化報(bào)告 盤(pán)障快隔離 29升過(guò)程機(jī)透明 29存算分離之存儲(chǔ)池化報(bào)告 一、存算分離技術(shù)產(chǎn)生的背景IT重要?jiǎng)恿?，隨著全球范圍內(nèi)企業(yè)數(shù)字化轉(zhuǎn)型的快速發(fā)展，ITIT作為計(jì)算資源載體的計(jì)算服務(wù)器通常配置內(nèi)置硬盤(pán)作為本地存ITIT1、服務(wù)器模型多，通用性差：隨著IT基礎(chǔ)設(shè)施規(guī)模的不斷和供給不夠靈活，同時(shí)也增加了管理維護(hù)的復(fù)雜性。2、資源利用率低，擴(kuò)容成本高：應(yīng)用系統(tǒng)需求的多樣性及算一體架構(gòu)中，ITIT容時(shí)需要同時(shí)擴(kuò)容計(jì)算性能和本地硬盤(pán)（計(jì)算服務(wù)器，擴(kuò)容成本高。3、本地盤(pán)故障影響服務(wù)器穩(wěn)定性：隨著服務(wù)器規(guī)模越來(lái)越存算分離之存儲(chǔ)池化報(bào)告 硬盤(pán)故障影響業(yè)務(wù)持續(xù)性的問(wèn)題不斷出現(xiàn)，嚴(yán)重影響業(yè)務(wù)體驗(yàn)。存算分離系統(tǒng)將服務(wù)器本地存儲(chǔ)資源和計(jì)算資源拆分為獨(dú)立進(jìn)方向。二、術(shù)語(yǔ)、定義和縮略語(yǔ)（一）術(shù)語(yǔ)和定義DisklessArchitectr）DisklessDiskless組整合，真正實(shí)現(xiàn)各類(lèi)硬件的獨(dú)立擴(kuò)展及靈活共享。DisklessServe）不包含本地盤(pán)的服務(wù)器。服務(wù)器上的本地盤(pán)被拉遠(yuǎn)池化?？騍martDisk/Enlosu）Diskless的盤(pán)片或盤(pán)框形態(tài)的數(shù)據(jù)存儲(chǔ)部件。(Nominalcapacity)盤(pán)標(biāo)簽上標(biāo)稱(chēng)的容量值。存算分離之存儲(chǔ)池化報(bào)告 (EffectveCapacity)可以存放超過(guò)標(biāo)稱(chēng)容量的數(shù)據(jù)。重刪(datadeduplicaion)一種數(shù)據(jù)縮減技術(shù),可以很大程度上減少對(duì)物理存儲(chǔ)空間的需求。壓縮(Compresion)高數(shù)據(jù)傳輸、存儲(chǔ)和處理效率。直通（Passthrough）數(shù)據(jù)存儲(chǔ)設(shè)備通過(guò)盤(pán)創(chuàng)建Namespace直接映射到主機(jī)給用戶使用，用戶下發(fā)的IO地址即為盤(pán)上的LBA。Namespae主機(jī)軟件可訪問(wèn)的LBA地址的集合（二）縮略語(yǔ)功能縮寫(xiě)功能描述NVMe-oF或NoFNon-VolatileMemoryExpressoverFabrics(基于網(wǎng)絡(luò)的非易失性存儲(chǔ)標(biāo)準(zhǔn))NVMeNon-VolatileMemoryexpress(非易失性高存算分離之存儲(chǔ)池化報(bào)告 速傳輸總線)ECErasurecode(糾刪碼，提升存儲(chǔ)效率、安全性)QoSQualityofService(服務(wù)質(zhì)量)RoCERemoteDirectMemoryAccessoverConvergedEthernet(基于融合以太的遠(yuǎn)程內(nèi)存直接訪問(wèn)協(xié)議)三、技術(shù)發(fā)展趨勢(shì)SSD基礎(chǔ)設(shè)施的重構(gòu)提供了技術(shù)基礎(chǔ)。usPCIERoCENVMe漸成為訪問(wèn)遠(yuǎn)端SSDNOFCXLUB低至亞us，為未來(lái)內(nèi)存拉遠(yuǎn)訪問(wèn)提供可能性。30TBSSDIBMFCM6.4BNtPPD7BF10B硬128TBSSD；三星去年256TBSSDSSD存算分離之存儲(chǔ)池化報(bào)告 （EthernetBunchofFlash，EBOF）高性能盤(pán)框。這類(lèi)盤(pán)框不再具有復(fù)雜企ExpressoverFabric）等接口，以提供高性能存儲(chǔ)實(shí)現(xiàn)對(duì)本地EMCPowerMaxDME(DynamicMediaEnclosures基于NVIDIABlueFiledNVMe-oFInfiniBand；簡(jiǎn)化IOVastDataHABlueFiled1600NVMe-oF，使用以太網(wǎng)或InfiniBand將SCM和超大SSDNVMefabric。DDN使用SE2420ETHNVMeNOFWesternDigitalOpenFlexASIC免DRAMCPU，實(shí)現(xiàn)NoFNVMeASICPCIeSwitchPCIeSSDKIOXIA推出EthernetJBOFMarvell88SN2400NVMe到NOF最后，業(yè)界涌現(xiàn)出越來(lái)越多的數(shù)據(jù)處理單元（Processing（InfrastructureProcessingCPU，提升算力能效比。IntelIPUE2000，用以降低數(shù)據(jù)中心主CPU負(fù)載，并更有效和安全地處理數(shù)據(jù)密集AMDPensando存算分離之存儲(chǔ)池化報(bào)告 降低延遲、抖動(dòng)。NVIDIABlueFieldDPU，實(shí)現(xiàn)虛擬化、FungibleDPU，可DPUDPU，等等。DPU的落地。四、存算分離架構(gòu)定義1圖1存算分離架構(gòu)存算分離之存儲(chǔ)池化報(bào)告 I/OCPUAIHBMHBM10IPHDDIPNVMeSSDIB/RoCEusSSD存儲(chǔ)模組即新型盤(pán)框存儲(chǔ)，作為新型存算架構(gòu)的重要組件，通過(guò)介質(zhì)、芯片、算法和系統(tǒng)深度協(xié)同，最終實(shí)現(xiàn)極致性能、極存算分離之存儲(chǔ)池化報(bào)告 低成本、極致可靠的共享池化大盤(pán)。如下圖所示：一方面和傳統(tǒng)存儲(chǔ)相比，新型盤(pán)框通過(guò)簡(jiǎn)化IOIODPUDPUCPUGBIOPS1圖2IO路徑對(duì)比1PB/U供更多的數(shù)據(jù)可用空間，實(shí)現(xiàn)極致性價(jià)比。集成存儲(chǔ)系統(tǒng)的可靠性能力，硬件全冗余，提供極致題，單個(gè)硬盤(pán)故障導(dǎo)致業(yè)務(wù)影響等問(wèn)題。存算分離之存儲(chǔ)池化報(bào)告 五、存算分離盤(pán)框規(guī)范要求及關(guān)鍵技術(shù)（一）規(guī)范要求硬件及尺寸大小要求：關(guān)鍵器件和芯片自主可控，滿足國(guó)家安全可信要求。2U。接口協(xié)議要求：支持FC、iSCSI、NVMeoverRoCE提供豐富的業(yè)務(wù)接口模塊。支持對(duì)外提供標(biāo)準(zhǔn)Block擴(kuò)展。10Gb/25Gb/100Gb/200GbRoCEETH性能密度要求：1M100TB8K100隨機(jī)讀TBIOPS容量密度要求：每U100TB好。存算分離之存儲(chǔ)池化報(bào)告 可靠性要求：不中斷，滿足99.999的可用度。支持RAIDEC性能下降小于10。障。安全要求：支持?jǐn)?shù)據(jù)加密，支持國(guó)密和行業(yè)要求。支持?jǐn)?shù)據(jù)銷(xiāo)毀，滿足國(guó)家和行業(yè)要求擴(kuò)展要求：支持集群互聯(lián)，通過(guò)Scale-out支持?jǐn)U展容量，通過(guò)Scale-up智能運(yùn)維要求：1短越好。升級(jí)過(guò)程中業(yè)務(wù)無(wú)影響。復(fù)（二）性能關(guān)鍵技術(shù)支持NVMe-oFNVMe是一種抽象協(xié)議層，提供可靠的NVMe命令和數(shù)據(jù)傳輸。存算分離之存儲(chǔ)池化報(bào)告 NVMeoverFabricNVMeSSD接內(nèi)存訪問(wèn)協(xié)議，NVMeSSDRoCE題。支持Active-AciveActive-Active的邏輯架構(gòu)在ALUA（AsymmetricLogicUnitAccess）架構(gòu)中，LUN/Namespace創(chuàng)建LUN/NamespaceLUN/NamespaceLUN/NamespaceALUAIO均衡。支持ROW寫(xiě)技術(shù)硬盤(pán)盤(pán)片上的Flash顆粒具有擦寫(xiě)次數(shù)的限制。在傳統(tǒng)的RAID覆蓋寫(xiě)（WriteInPlace）的方式下，如果某塊盤(pán)上的數(shù)據(jù)成為了熱點(diǎn)，那么對(duì)這些數(shù)據(jù)的不斷改寫(xiě)，就會(huì)導(dǎo)致對(duì)應(yīng)的存算分離之存儲(chǔ)池化報(bào)告 Flash（包括新寫(xiě)數(shù)據(jù)和對(duì)老數(shù)據(jù)的改寫(xiě)等都采用RRdrctOnWie重定向?qū)懠夹g(shù)）大塊順序?qū)懙姆绞剑瑢?shí)現(xiàn)每個(gè)Flash顆粒擦寫(xiě)RAID修改寫(xiě)而產(chǎn)生RAIDRAIDROWRAID支持端到端IOI/OCPUI/OI/OIOIO的快速響應(yīng)。存儲(chǔ)設(shè)備把I/OI/OI/OI/OI/OI/O為不同類(lèi)I/OI/O優(yōu)先級(jí)控制，從整體上獲得最均衡的內(nèi)外部I/O存算分離之存儲(chǔ)池化報(bào)告 多流分區(qū)技術(shù)SSDNANDFlashSSD個(gè)NANDFlashNANDFlashBlock，每個(gè)BokPg(B8BNNDFah顆粒中的Block前需要把該BlockSSDBlock了擦除BlockSSD盤(pán)的性能和壽命。大塊順序?qū)懠夹g(shù)SSDHDDIOHDDIOIOPS非常有限。盡管NL_SASTBIOPS10KSASROWIORAIDRAID存算分離之存儲(chǔ)池化報(bào)告 CPU統(tǒng)的RAIDROWRAID級(jí)別都能實(shí)現(xiàn)高性能。DPU源于CPUCPUI/ODPU（DataProcessingUnit）是以數(shù)據(jù)為中心構(gòu)造的專(zhuān)用處理器，它比CPUIODPU，可以提升整個(gè)計(jì)算系統(tǒng)（TOIObypassCPUNVMeoverFabrics（NVMe-oF）RDMA智能加速技術(shù)CacheTierCacheTierCacheTier存算分離之存儲(chǔ)池化報(bào)告 CacheTierDD，以全閃時(shí)代的ROWCacheTierIOIO存算分離之存儲(chǔ)池化報(bào)告 （三）資源利用率關(guān)鍵技術(shù)RAID2.040RAID受限于硬盤(pán)數(shù)量，在數(shù)據(jù)容量劇增的年代無(wú)法滿足企業(yè)對(duì)為單位對(duì)數(shù)據(jù)進(jìn)行管理也顯得越來(lái)越力不從心。為了解決傳統(tǒng)RAID的上述問(wèn)題，同時(shí)順應(yīng)虛擬化技術(shù)的發(fā)展趨勢(shì)，眾多存儲(chǔ)RAID技術(shù)的替代方案，即RAID2.0RAIDRAID2.0+具備如下優(yōu)勢(shì)：存算分離之存儲(chǔ)池化報(bào)告 的時(shí)間。的重構(gòu)負(fù)載很低，重構(gòu)過(guò)程對(duì)上層應(yīng)用無(wú)影響。的寫(xiě)操作而提前達(dá)到壽命的上限。數(shù)據(jù)縮減技術(shù)支持?jǐn)?shù)據(jù)壓縮和重刪，提高空間利用率。使用芯卸載壓縮、10CPU大比例EC由各個(gè)硬盤(pán)的細(xì)小顆粒組成存儲(chǔ)資源池并映射給上層服務(wù)器使ECEC（算力卸載到專(zhuān)有芯存算分離之存儲(chǔ)池化報(bào)告 CU2+2EC（業(yè)界通常支持82，空間利用率達(dá)到92。實(shí)現(xiàn)框內(nèi)大比例E。硬件高密技術(shù)SSDVataData1U@221.5PB1PBU保證性能不降低的同時(shí)，實(shí)現(xiàn)密度的最大化。智能精簡(jiǎn)技術(shù)（IO完全透明。（四）安全&可靠性&可用性要求服務(wù)質(zhì)量控制存算分離之存儲(chǔ)池化報(bào)告 服務(wù)質(zhì)量控制可以通過(guò)動(dòng)態(tài)地分配系統(tǒng)的資源來(lái)滿足某些應(yīng)用程序的特定性能目標(biāo)。服務(wù)質(zhì)量控制特性允許用戶根據(jù)應(yīng)用程序數(shù)據(jù)的一系列特征（如：IOPS、占用帶寬、響應(yīng)時(shí)延等）對(duì)特定應(yīng)用程序設(shè)置特定的上限/下限目標(biāo)。系統(tǒng)根據(jù)設(shè)定的目標(biāo)秒級(jí)主備切換為了數(shù)據(jù)傳輸高可靠，傳輸場(chǎng)景往往會(huì)構(gòu)建多個(gè)網(wǎng)絡(luò)平面，現(xiàn)利用RoCE網(wǎng)絡(luò)的智能化特點(diǎn)，結(jié)合交換網(wǎng)絡(luò)智能化特性，實(shí)現(xiàn)業(yè)務(wù)切換時(shí)間需<1s。硬件設(shè)備即插即用RoCE要具備存儲(chǔ)網(wǎng)絡(luò)端口手動(dòng)配置IP無(wú)需額外進(jìn)行RoCE緩存雙副本為了提升寫(xiě)入數(shù)據(jù)的速度，需要提供寫(xiě)緩存機(jī)制。即數(shù)據(jù)寫(xiě)存算分離之存儲(chǔ)池化報(bào)告 AAABAB控任何一個(gè)控制器故障時(shí)數(shù)據(jù)不丟失。掉電保護(hù)技術(shù)BU（備電，當(dāng)存儲(chǔ)陣列在供電故障BBU端到端DIFPI（數(shù)據(jù)塊內(nèi)部跳變（整塊數(shù)據(jù)被老數(shù)據(jù)或其它數(shù)據(jù)覆蓋I/O存算分離之存儲(chǔ)池化報(bào)告 PI前端接收（PI）到下盤(pán)這段時(shí)間出現(xiàn)跳變或改寫(xiě)能被校驗(yàn)據(jù)后會(huì)對(duì)數(shù)據(jù)進(jìn)行校驗(yàn)，一旦出錯(cuò)會(huì)通知上層控制器軟件通過(guò)RAID旦出現(xiàn)問(wèn)題會(huì)降級(jí)讀（RAI