SUSE分布式存儲技術(shù)解決方案

1、SUSE 分布式存儲技術(shù)解決方案Breadcrumbs2產(chǎn)品概述技術(shù)特點產(chǎn)品路線圖使用場景成功案例內(nèi)容3產(chǎn)品概述SUSE Enteprise Storage一個高度“產(chǎn)品化”的開源存儲軟件存儲池2013年組建Ceph開發(fā)團隊, 加入Ceph社區(qū)Ceph理事會，8大理事會員代碼貢獻TOP3很多前Inktank 開發(fā)人員加大研發(fā)投入: 2016年中收購存儲管理廠家:openATTIC存儲管理工具openATTIC貢獻給Ceph社區(qū)，作為默認的Ceph管理工具(Ceph dashboard)SUSE 在Ceph社區(qū)上的地位 6技術(shù)特點SUSE Enterprise Storage 架構(gòu)客戶端(Win

2、dows, Linux, Unix)SUSE Enterprise Storage塊設(shè)備存儲（SAN）Server對象存儲（Objects）文件系統(tǒng)（NAS）Storage ServerStorage ServerStorage ServerStorage ServerServerServerStorage ServerStorage Server應(yīng)用程序共享文件OSDOSDOSDOSDOSDOSD網(wǎng)絡(luò)協(xié)議集群MONRBDiSCSIS3SWIFTNFSCephFS*NFSCIFSMonitorsMONMONSUSE Enterprise Storage核心開發(fā)領(lǐng)域統(tǒng)一塊、文件和物件結(jié)構(gòu)互連緩存

3、分層容器化分層存儲管理備份/歸檔持續(xù)數(shù)據(jù)保護遠程復(fù)制易于安裝基于GUI的監(jiān)控和管理易管理性互操作性性能可用性9產(chǎn)品路線圖2017201820202021SUSE Enterprise Storagev4v5v6基于Ceph Luminous版本SUSE Linux Enterprise Server 12 SP3易管理性openATTIC 第2階段Grafana監(jiān)控儀表板Prometheus事件告警 電子郵件DeepSea (Salt) 第2階段從Filestore在線升級到BlueStore互操作性NFS GaneshaNFS接入S3部分CIFS Samba*支持CephFS Multi M

4、DS可用性帶糾刪碼的塊和文件效率BlueStore后端數(shù)據(jù)壓縮v5基于Ceph Luminus版本SUSE Linux Enterprise Server 12 SP3易管理性國際化適用性增強預(yù)定義的簡檔自主數(shù)據(jù)平衡器*DeepSea (Salt) 第3階段互操作性非SUSE RBD和CephFS客戶端CIFS/Samba AppArmor安全模塊可用性通過N/N-1實現(xiàn)多站點RADOSGW N+1效率BlueStore/RocksDB優(yōu)化基于Ceph Octopus版本SUSE CaaS Platform 易管理性與Rook + Kubernetes集成Phone home 第2階段自主PG

5、擴展自愈PG互操作性容器化部署原生Windows客戶端驅(qū)動程序節(jié)點至節(jié)點加密一個集群中有多個CephFS實例NFS-Ganesha雙活架構(gòu)RDMA后端*可用性通過S3單向同步到外部云異步文件復(fù)制效率SW緩存層對象存儲Daemon優(yōu)化S3對象策略驅(qū)動的分層基于Ceph Nautilus版本SUSE Linux Enterprise Server 15 SP1易管理性Ceph儀表板（取代oA）Phone home（指標和錯誤分析）增強的PG平衡自主PG擴展*CephFS目錄配額平滑系統(tǒng)關(guān)閉存儲機箱磁盤集成互操作性IPv6RGW Elasticsearch同步模塊節(jié)點至節(jié)點加密*一個集群中有多個Ce

6、phFS實例*NFS-Ganesha雙活架構(gòu)*可用性通過S3單向同步到外部云CephFS快照異步文件復(fù)制*效率RBD和后臺操作的QoSS3對象策略驅(qū)動的分層* V5.5V6V7* 前瞻信息，可能隨時更改2019v7* 技術(shù)預(yù)覽項SUSE Enterprise Storage 管理安裝導(dǎo)入未管理的SUSE Enterprise Storage集群配置在線文件恢復(fù)到BlueStore管理部署、配置、分配節(jié)點iSCSI目標管理RGW用戶、區(qū)間、密鑰查看、創(chuàng)建、刪除CephFSNFS Ganesha網(wǎng)關(guān)監(jiān)控Grafana儀表板CephFS狀態(tài)診斷OSD健康狀態(tài)配置將EC轉(zhuǎn)換為復(fù)制（反之亦然）管理RBD

7、快照OpenStack集成集群重構(gòu)流程管理節(jié)點冗余階段1 監(jiān)控事件通知告警*配置向現(xiàn)有節(jié)點部署新OSDCIFS/Samba RGW和CephFS遠程復(fù)制同步到外部云管理CephFS快照集群拓撲圖指導(dǎo)升級流程監(jiān)控OSD和MDS統(tǒng)計Ceph客戶端性能診斷預(yù)測性磁盤故障分析故障排除指導(dǎo)OSD修復(fù)指導(dǎo)配置iSCSI NFS-Ganesha Phone homeRBD QoS參數(shù)后臺操作參數(shù) (QoS) RBD遠程復(fù)制管理基于角色的Ceph儀表板本地化Ceph儀表板Ceph儀表板SSO (SAMLv2)Crush地圖查看器RBD快照監(jiān)控實時性能指標橫向擴展Prometheus 監(jiān)控事件通知告警SNMP捕

8、獲命令審計日志 2017201820202021v4v5v6v5V5.5V6V72019v7* 前瞻信息，可能隨時更改* 技術(shù)預(yù)覽項12場景和案例場景： 虛擬化和OpenStack私有云SUSE Enterprise Storage 軟件痛點： 軟件成本僅支持一種虛擬化平臺部署有限的擴展能力單一存儲訪問方式,內(nèi)部或iscsi方案優(yōu)勢： 支持多種虛擬化平臺：Vmware，HyperV，KVM/XEN，OpenStack, Huawei Fusionphere提供多種連接方式：iSCSI，NFS，CIFS，RBD支持多品牌服務(wù)器，簡化IT基礎(chǔ)架構(gòu)70%的openstack 使用Ceph 作為其存儲

9、高級軟件功能：克隆，Cache Tiering案例： VsphereHyper-VKVM/OpenStackiSCSINFSiSCSICIFSRBDNFS高速IP 網(wǎng)絡(luò) 案例：某省移動混合云平臺的企業(yè)級存儲解決方案VMware vSphereVM1VM2VMFSvmdk1vmdk2SUSE 分布式存儲SUSE Enterprise StorageiSCSI華為虛擬化Fusionsphere塊存儲iSCSI同時滿足VMWare vSphere和各種虛擬化(KVM/XEN/Hyper-v)對存儲的需求云原生存儲SUSE Enterprise Storage物理機虛擬機, GPU容器云 Kubere

10、netesHadoop SparkKafka ElasticsearchKibana Hue數(shù)據(jù)分析Kubeflow PytorchAI LibraryJupyterHub人工智能AI 機器學(xué)習(xí)ML場景：某銀行容器云存儲RBDCephFS場景： 文件服務(wù)器16NFSv3/4CephFSCIFS/SMB痛點： 多臺文件服務(wù)器，服務(wù)器磁盤沒有保護，沒有統(tǒng)一的數(shù)據(jù)保護和備份策略每個文件服務(wù)器上都有空間沒有被利用，存儲利用率不高。方案優(yōu)勢： SES 可以提供TB到PB的擴展。數(shù)據(jù)整合后，提高了存儲的利用率強大的數(shù)據(jù)保護能力SUSE Enterprise Storage 軟件案例：XX汽車公司XX半導(dǎo)體

11、制造公司 XX報業(yè)集團案例：某銀行替換錄音系統(tǒng)NAS場景：視頻監(jiān)控痛點： 成本提高磁盤利用效率，降低磁盤空間消耗容量擴展：高容量以及可伸縮的容量擴展能力性能：大路數(shù)并發(fā)搞清碼流的實時數(shù)據(jù)讀寫方案優(yōu)勢： Scale Out 架構(gòu)，滿足容量和性能彈性伸縮糾刪碼保護方式，提供高可靠性的同時，提供高存儲效率軟件定義：支持通用硬件，降低采購成本案例： 場景：數(shù)據(jù)備份云存儲痛點支持多種備份接口方案特點案例1, 陣列備份成本高2, 磁帶保護環(huán)境要求苛刻磁帶備份隨機恢復(fù)速度慢4 磁帶介質(zhì)可靠性差5, 備份性能無法滿足業(yè)務(wù)擴展需要標準接口：NFS，CIFS，RBD，iSCSI云接口： S3， Swift滿足備份

12、數(shù)據(jù)增長的需要適用于100TB- PB備份環(huán)境Scale-out 架構(gòu)，增加節(jié)點能夠擴展 到數(shù)百PB增加硬件后，自動平衡數(shù)據(jù)的分布滿足備份服務(wù)級別分布式存儲提供超高吞吐量，減少備份窗口備份到磁盤，減少了數(shù)據(jù)恢復(fù)時間降低擁有成本開源軟件+ 通用硬件存儲集群自我管理、自我修復(fù)能力，降低了管理成本XX保險公司 （中國）XX汽車座椅制造（中國）XX醫(yī)院 （德國）Data Protector 應(yīng)用服務(wù)器備份服務(wù)器SUSE 企業(yè)存儲S3 API生產(chǎn)網(wǎng)絡(luò)場景：大數(shù)據(jù)分析數(shù)據(jù)分析MRSparkHDFSS3 APIRGWMDS計算性能S3 比HDFS 性能相當收益：解決了大數(shù)據(jù)環(huán)境下的快速部署解決了數(shù)據(jù)遷移復(fù)制

13、開銷彈性計算和存儲各個應(yīng)用之間統(tǒng)一使用 S3 進行存儲數(shù)據(jù)和管理，方便和其他的系統(tǒng)做數(shù)據(jù)交互場景：數(shù)據(jù)高可靠園區(qū)高速網(wǎng)絡(luò)樓宇1樓宇2樓宇2痛點方案特點案例1, 如何實現(xiàn)數(shù)據(jù)中心維護切換, 數(shù)據(jù)訪問不間斷2, 如何保證樓宇災(zāi)難,數(shù)據(jù)訪問不間斷3, 傳統(tǒng)存儲復(fù)制技術(shù)需要切換時間, 如何實現(xiàn)RTO=0, RPO=0數(shù)據(jù)均衡分布在多三個故障域中， 單故障域發(fā)生故障時， 務(wù)不中斷,無數(shù)據(jù)丟失，無切換時間：RPO=0, RTO=0 某大學(xué)醫(yī)院(德國)場景：對象存儲- 海量小文件存儲解決方案WebMobileDesktop應(yīng)用服務(wù)器集群S3 APISUSE Enterprise Storage 軟件終端設(shè)備

14、對象存儲性能池負載均衡設(shè)備HTTP/REST痛點： 海量小文件，文件規(guī)模達到億級別，NAS查詢性能低存儲容量增長迅速，PB級別的存儲多種類型終端設(shè)備訪問(傳感器，IOT設(shè)備，手機等)方案優(yōu)勢： SES 可以提供TB到PB的擴展,無縫平滑擴展提供S3和URL標準訪問方式，滿足多種終端設(shè)備的訪問EC保護方式，提供高可靠性的同時，提供高存儲效率支持性能和容量存儲池，滿足不同業(yè)務(wù)需求Gartner 排名前10的對象存儲廠商對象存儲容量池案例： XX保險公司XX汽車研究院案例:某省遠程醫(yī)療省級管理平臺用戶需求: 其中影像數(shù)據(jù)、遠程音視頻數(shù)據(jù)采用分布式存儲的方式進行數(shù)據(jù)保存業(yè)務(wù)影像數(shù)據(jù)和視頻數(shù)據(jù)的容量為760T，業(yè)務(wù)影像視頻數(shù)據(jù)是逐年增長，即一年存儲容量240T,第二年存儲容量490T，第三年存儲容量760T.23配置:序號組件范圍組件數(shù)量a1主機箱(包含典配模型的其他組配件 風扇 上架套件 至少含雙端口1GE)典配2-1模型1機箱(包含典配模型的其他組配件 風扇 上架套件 至少含雙端口1GE)1 2CPUSilver 4114 （10c 2.2GHz）2 3單條內(nèi)存單條DDR4-2400 及以上ECC Registered DIMM_32GB12 4單塊硬盤960G【Intel S4500或同等級企業(yè)級ssd】2 單塊硬盤PCI