聊聊軟件定義存儲

1、1980s 個人電腦1960s 大型機1990s 互聯(lián)網2000s 移動互聯(lián)網2010s 大數(shù)據(jù)，云計算分布式存儲最早誕生在互聯(lián)網行業(yè)，隨著技術的產品化成熟，越來越多的企業(yè)級用戶也在嘗試，將傳統(tǒng)的業(yè)務遷移到彈性，靈活的分布式存儲資源池IBM DS8000EMC VMAXHuawei 180001956年世界第一臺磁盤存儲系統(tǒng)IBM 305磁盤介質取代打孔卡，容量5MB讀寫速率10K/s1980年，薄膜磁頭技術，性能飛躍，容量8*2.52GB讀寫速率3MB/s1993年 EMC Symmetrix16MB DRAM, 1 GB Global Memory,容量1 TB, Hypervolume

2、ExtensionIAAS 2.0IAAS 2.0以服務器、SAN/NAS為主TB時代，GB/sIAAS 1.0IAAS 1.0以主機和終端、DAS為主GB時代，MB/sIAAS 3.0IAAS 3.0以云服務、移動寬帶網絡、大數(shù)據(jù)分析、社交網絡技術為依托PB時代，10100GB/s，分布式架構RAID（Redundant Array of Independent Disks）即獨立磁盤冗余陣列，RAID將多個單獨的物理硬盤以不同的方式組合成一個邏輯硬盤，從而提高了硬盤的讀寫性能和數(shù)據(jù)安全性RAID5和RAID10 計算機發(fā)展初期，大容量硬盤價格非常高，而需要存儲的數(shù)據(jù)量越來越大容量性能 CP

3、U運算速度飛速提高，數(shù)據(jù)讀寫速度不應該成為計算機系統(tǒng)處理的瓶頸 信息時代，數(shù)據(jù)對企業(yè)和個人的重要性越來越大，數(shù)據(jù)存儲安全更需要保障RAID可靠性槽點：RAID橫行30年，技術越來越復雜，維護難度加大l 物理卷由幾個硬盤通過RAID方式組成 ，從整體上看相當于一個盤組l 在物理卷的基礎上可以按照指定容量創(chuàng)建一個或多個邏輯卷，通過LUN（Logic Unit Number）來標識l 槽點：卷管理的概念，既在存儲設備中存在，也在主機操作系統(tǒng)中使用，因此傳統(tǒng)塊存儲的IO層級較為復雜，維護工作量較大RAID10RAID5物理卷物理卷邏輯卷邏輯卷單個物理卷上創(chuàng)建1個邏輯卷單個物理卷上創(chuàng)建2個邏輯卷LUN1

4、LUN2LUN3控制器是磁盤陣列的“大腦”，主要部件為處理器和緩存，最先主要實現(xiàn)簡單IO操作、RAID管理功能，隨著技術發(fā)展，能夠提供各種各樣的數(shù)據(jù)管理功能，如快照、鏡像、復制等磁盤柜包含了多塊的磁盤，本身既沒有處理器，也沒有緩存，RAID及數(shù)據(jù)管理功能通過控制器實現(xiàn)槽點：中高端存儲經過crossbar架構、全點對點總線架構等演進，掌握架構基本靠想象，黑盒子形成控制器磁盤柜磁盤線纜 主機DASFC SAN應用文件/操作系統(tǒng)I/O 重定向器TCP/IP 協(xié)議棧NFS/CIFS網絡接口卡 主機文件處理 I/ONAS IP Network網絡接口卡TCP/IP 協(xié)議棧NFS/CIFS文件系統(tǒng)+ 邏輯

5、卷管理器數(shù)據(jù)管理系統(tǒng)RAID塊處理 I/O設備驅動應用邏輯卷管理器 裸卷SCSI 設備驅動塊處理 I/OIP SAN應用邏輯卷管理器 裸卷iSCSI LayerTCP/IP Stack網絡接口卡 主機塊處理 I/O塊處理 I/O IP Network FC Network網絡接口卡TCP/IP協(xié)議棧數(shù)據(jù)管理系統(tǒng)RAID塊處理 I/OFC總線卡FC協(xié)議棧數(shù)據(jù)管理系統(tǒng)RAID塊處理 I/O應用邏輯卷管理器 裸卷SCSI 設備驅動FC協(xié)議棧FC總線卡設備驅動設備驅動SCSI 設備驅動 主機文件/操作系統(tǒng)數(shù)據(jù)庫文件/操作系統(tǒng)數(shù)據(jù)庫文件/操作系統(tǒng)數(shù)據(jù)庫RAIDSCSI/FC 總線卡l 投資：一次性成本較

6、高，中高端集采單價1.5W/TB，光交30-40萬一對，F(xiàn)C適配器可忽略；如無規(guī)模優(yōu)勢，維保成本高；維護人員成本高，令人艷羨的待遇；能耗成本高。l 工程集成：zone、LUN、RAID、owner、多鏈路、卷管理、備份、冗余、容災。工作量較大，技能get投入大l 維護監(jiān)控：一套存儲三種軟件，有額外軟件成本；廠家異構型號異構讓統(tǒng)一存儲運維只是一個夢想；運維數(shù)據(jù)難于導出和解讀，“拿去！你看不懂！”；故障處理往往需要多方會診，問題定位周期長，分析靠創(chuàng)意，排查靠遍歷。l 擴容升級：需要停機、擴容周期長、實施風險高，0點以后3小時起刷大夜。l 性能表現(xiàn)：需根據(jù)實際配置進行計算，從不能相信技術指標；性能數(shù)

7、據(jù)需專業(yè)解讀，性能優(yōu)化基本靠擴l 高可用及穩(wěn)定性：穩(wěn)定性高的背后，是大量的更換備件和升級版本操作；高可用演練環(huán)節(jié)多，藥不能停；設備老舊，穩(wěn)定性驟減，老干部要好好伺候。l 存儲本質上是IT硬件集成，IT軟件定義。無非是集成和定義誰來做的問題。20032005新三年20062008新三年20092011新三年20122014新三年舊三年舊三年舊三年舊三年修三年修三年修三年修三年舊三年舊三年再修三年再修三年l設備投入生產年限很久，故障率高，年均2次的文件系統(tǒng)數(shù)據(jù)丟失問題l非資源池設備原廠已EOS，EOS比率40%以上l存儲變更暴增，TOP1l性能問題難解，高可用問題風險較大l不斷啟動專項治理，201

8、4年IBM，2015年華為，2016年惠普光交201520171）核心一層為底端的Brocade4900，性能差，不如二層的交換機性能好，且容易造成單點故障，會導致大量業(yè)務主機宕機，但替換風險和難度很大，待實施。2）整個SAN環(huán)境中共計有24臺光纖交換機，極連時都是單線，無Truck，即有IO瓶頸，也有可能某個極連節(jié)點單線故障影響到下連所有光纖交換機上的業(yè)務主機；3）由于各類主機共用一個SAN，早期的一些服務器不支持8GB或16GB速率，導致光纖交換機必須設置最高為4GB才能兼容使用，4）由于主機端掛載了多個存儲，跨多個光纖交換機節(jié)點，且有些光纖交換機節(jié)點工程時隨意設置DomainID，導致改

9、造困難；5）節(jié)點多，加上存儲分配等隨意性，排障非常困難，原廠經常找不到原因。傳統(tǒng)存儲網絡不宜大規(guī)模池化IBM DS8800IBM DS8800HP 3Par SS7440IBM SVCIBM SVCIBM SVCIBM SVCIBM SVCIBM SVCCluster 1Cluster 2Cluster 3Cluster 4Exsi集群少量物理機IBM 2499-384IBM 2499-384IBM SVCIBM SVCl 架構的致命缺點是IBM SVC為A/P模式，單個SVC故障時，Cluster需要軟切換，敏感數(shù)據(jù)庫業(yè)務無法接受切換時長，會Crash，已發(fā)生多次，無法避免；l 該架構還有個

10、前提條件是任何存儲不能出現(xiàn)致命故障，否則全網業(yè)務可能宕機，甚至是數(shù)據(jù)丟失；l IBM SVC原廠早已停止進一步研發(fā)投入，且一線人員基本無法排障，升級到二線也多次排查無果；l 只余20TB空間，且IBM DS8800/HP 3par Ss7440存儲已滿配，無法擴容，只能新增存儲；l 分配給了上千臺虛擬機及少量物理機，數(shù)據(jù)庫近30套，偶爾個別業(yè)務主機有延時，懷疑是SVC性能問題，但一直無數(shù)據(jù)支撐，且原廠也分析不出根因；HDS Vspg1000Hp 3Par V800HP 3Par SS7440IBM SVCIBM SVCIBM SVCIBM SVCCluster 1Cluster 2Exsi集群

11、少量物理機Brocade DCXBrocade DCXl架構缺陷與石橋網管資源池相同lHP 3PAR SS7440存儲為2TB的SATA盤，降低了存儲整體性能，廠家檢測： Vlun的read latancy為 368ms，高峰為438ms， Write latancy為 44 ms，高峰為59ms，可承受的合理IOPS不超過9000，目前的實際IOPS為24068，超負核近2.5倍，風險非常高。l產業(yè)園后端FC的3臺存儲硬盤總數(shù)（819塊），遠低于其他兩個資源池，整池IOPS性能較低，需要擴容。軟件定義存儲：存儲資源由軟件自動控制，通過抽象、池化和自動化，將標準服務器內存存儲、直連存儲、外置存

12、儲或云存儲等存儲資源整合起來，實現(xiàn)應用感知，或者基于策略驅動的部署、變更和管理，最終達到存儲即服務的目標超融合（HCI）：是指同一套單元設備（如X86通用服務器）同時具備提供計算、存儲和網絡服務的能力Server SAN（基于服務器的分布式塊存儲）：采用標準服務器作為硬件，通過軟件對外提供存儲服務的產品對象存儲（基于服務器的分布式對象存儲）：采用標準服務器作為硬件，通過軟件對外提供對象服務的產品，對象是一種數(shù)據(jù)集合，如圖片、視頻等，每個對象都在一個被稱作存儲池的扁平地址空間的同一級別里擁有唯一OID，一個對象不會屬于另一個對象的下一級基于服務器的分布式文件存儲：采用標準服務器作為硬件，通過軟件

13、對外提供文件存儲服務的產品，主流還是NAS，使用NFS/CIFS文件共享傳輸協(xié)議，樹形目錄+inode管理方法VMVMVMSANCPUCPU硬盤硬盤硬盤硬盤硬盤硬盤硬盤硬盤硬盤傳統(tǒng)集中存儲Scale-Up架構分布式存儲Scale-Out架構X86服務器1X86服務器2X86服務器N1.通過昂貴硬件保證系統(tǒng)的高可用性2.管理維護要求能力高3.擴展方式通過增加硬件配置實現(xiàn)1.X86硬件，軟件定義實現(xiàn)自動化、智能機制2.管理維護要求能力低3.擴展容易，可以達到PB級擴容空間X86服務器1VMVMVMVMVMVM軟件定義存儲硬盤硬盤硬盤硬盤硬盤硬盤.X86服務器2X86服務器N計算存儲存儲計算計算計算

14、存儲存儲ControllerControllerControllerControllerControllerCacheControllerCacheControllerCacheControllerCache分布式無狀態(tài)機頭 IOPS提升35倍，性能線性擴展分布式Cache 支持400G/800G/1.2T/2.4T的PCIE-SSD做高速緩存 支持多個SSD盤做高速緩存在SATA盤場景下，平均每盤100 IOPS以上，每節(jié)點最高可達到2000 IOPS最小時延1mS平均時延5ms在PCIE-SSD做場景下平均每存儲節(jié)點100K IOPS最小時延0.3MS平均時延存儲SRV2存儲SRV3存儲S

15、RV1存儲SRV2存儲SRV3存儲SRV4主機APP1主機APP2寫入Cache返回后故障，分布式Cache確保數(shù)據(jù)可安全寫入，數(shù)據(jù)保持一致主OSD備OSDApp寫Cache寫CacheCache資源池Cache資源池主機APP1Cache主機APP2Cache存儲層寫入Cache返回后故障，Cache未下盤，數(shù)據(jù)不一致。無法提供可靠寫Cache不支持寫Cache，高寫時延Cache孤島，無法水平擴展AppCache存儲應用端本地CacheBAServer San：分布式Cache資源池Cache 2 Cache 1 支持寫Cache，低寫時延12l 槽點：全局模式，緩存調整只能進行讀寫比例優(yōu)

16、化，不能進行單業(yè)務QOS容忍同時2服務器故障支持雙點故障容忍同時2機柜故障支持機柜級安全2副本場景下，數(shù)據(jù)可靠性=7個9l 槽點：成本成本成本，Erasure Code的商用及成熟期估計還要3年；X86故障率高，維護不敢怠慢重建速度：10MBPS-60MBPS, 6倍提升帶寬受限下，確保業(yè)務IO平穩(wěn)處理ServerServerServerVMVMVMVMVMVM FusionStorage ControllerInfiniBand /10GE Network業(yè)務量比較大，減慢在線數(shù)據(jù)重構，優(yōu)先滿足業(yè)務需求ServerServerServerVMVMVMVMVMVM FusionStorage

17、ControllerInfiniBand /10GE Network業(yè)務量比較小，加速在線數(shù)據(jù)重構，降低數(shù)據(jù)丟失風險APPAPPAPPAPPFusionStorage Controller網絡的帶寬受限，容易造成IO阻塞，甚至降低到0基于時延和吞吐量的情況，對業(yè)務IO進行流量控制Disk1P1P2Disk2Disk3Disk6Disk4Disk5Server 1Server 1Server 2Server 2Server 3Server 3P3P4P5P6P7P8P13P14P15P16P17P18P19P20P1P3P5P7P9P10P11P12P13P15P17P19P21P22P23P2

18、4P4P8P16P20P21P22P23P24P9P10P2P6P14P18P11P12p 數(shù)據(jù)分布可以跨服務器或跨機柜，不會因某個服務器、機柜故障導致數(shù)據(jù)不可訪問p 數(shù)據(jù)分片在資源池內打散，硬盤故障后，可在全資源池范圍內自動并行重建，僅重建實際數(shù)據(jù)，無需單獨熱備盤P9P10P11P12P2P6P14P18P21P22P23P24P4P8P16P20重建1TB數(shù)據(jù)時間30分鐘（傳統(tǒng)SAN需要12小時），提升數(shù)據(jù)可靠性VSAN與其他 VMware 產品集成部署在一起，主要針對虛擬機應用進行了優(yōu)化，聚合了虛擬化管理程序的體系結構，按虛擬機設置的存儲策略進行管理。要合理搭配服務器內存和硬盤占比，以最

19、大化利用存儲資源和計算資源。l 槽點：Vsphere ONLY，計算+存儲一體，成本較高FusionStorage對外提供存儲服務時更為靈活，可以提供給虛擬機、也可以提供給數(shù)據(jù)庫應用。當采用分離部署模式時，要調整服務器配置，增大硬盤容量以提高資源利用率。Fibre Channel/(iSCSI)協(xié)議層存儲層NFS/CIFSFile SystemObjectObject SystemObjectKeyMetadatadataUser defined meta-dataS3/SwiftObjectObjectObjectObjectl主要協(xié)議：FC，iSCSIl應用場景：結構化，數(shù)據(jù)庫應用，低延時

20、，高性能，如Oraclel主要協(xié)議：NFS，CIFSl應用場景：非結構化，文件共享的服務l主要協(xié)議：S3，Swift，RESTful/soapl 應用場景：對象數(shù)據(jù)，互聯(lián)網服務存儲，數(shù)據(jù)歸檔或備份iSCSI/FC SANNASObjectbucketbucketbucket說明：近年出現(xiàn)分布式架構，主要以傳統(tǒng)架構為主說明：逐漸演進到分布式架構，也支持傳統(tǒng)架構說明：從出現(xiàn)開始就是分布式架構，集中式架構極少業(yè)務場景場景詳情醫(yī)療影像云1）醫(yī)療影像文件較大，且多跨醫(yī)院與地域訪問，云存儲可以方便的解決跨醫(yī)院訪問的問題。2）醫(yī)療影像要求保存10年以上，長期保存在本地的成本高企業(yè)網盤1）文件備份2）文件共享

21、云備份icloud、EMUI、公有云l1）桶數(shù)量l2）對象尺寸帶寬要求TPS接口調用時延l3）每日讀寫量、刪除量l4）單桶對象數(shù)l5）最大并發(fā)數(shù)l6）上層業(yè)務平臺引入評估指標項ObjectKey元數(shù)據(jù)數(shù)據(jù)User defined 元數(shù)據(jù)metadata ObjectObjectObject業(yè)務主機APPeSDK調用本地API直接調用Web服務開發(fā)軟件使用工具BucketObjectObjectBucketObjectObject用戶OceanStor 9000存儲系統(tǒng)架構應用層數(shù)據(jù)處理層硬件節(jié)點層P系列節(jié)點C系列節(jié)點HPC視頻監(jiān)控媒體娛樂精準營銷文件存儲備份、歸檔軟件備份、歸檔商業(yè)推廣網盤FT

22、P NFS CIFS數(shù)據(jù)分析與Hadoop生態(tài)系統(tǒng)對接HDFSNDMP分布式存儲資源池 對象存儲服務重刪多租戶Https傳輸加密 NAS存儲服務HDFSInfoTier(動態(tài)分級)InfoAllocator(配額)InfoLocker(WORM)InfoReplicator(遠程復制)InfoStamper(快照）InfoRevive（視頻圖像修復）InfoEqualizer(負載均衡)Swift/S3管理系統(tǒng)InfoTurbo(性能加速)HttpsInfoScanner(防病毒)InfoMigrator(數(shù)據(jù)遷移)對象存儲資源池靈活開放的接口協(xié)議，適配多業(yè)務場景NFSRESTful APIH

23、TTPCIFSSwiftFTPHDFSS3l 傳統(tǒng)接口：NFS、CIFS、FTP、S3/SwiftlHDFS: 無縫對接Hadoop，高效率存儲+高效率分析多種訪問接口開放的架構l 通用硬件l廣泛的接口定義，幾乎適用所有半結構化，非結構化數(shù)據(jù)處理l 槽點：政企云提供客戶服務時，需要考慮客戶的基于SDK或者web的APP開發(fā)能力，有可能需要提供開發(fā)指導或模版等軟硬件及組網介紹l前后端網絡隔離l對象存儲、NAS存儲可以在一套系統(tǒng)配置l同一節(jié)點NAS接口、S3接口和Swift接口三選一l對象存儲和NAS存儲增值特性各自獨立吞吐能力每TB成本大容量歸檔節(jié)點C系列高性能存儲節(jié)點P系列C72C36P36P

24、12多種節(jié)點類型組合，性能、容量與成本完美平衡P2510GE交換機、IB交換機應用服務器OceanStor 9000管理交換機管理終端P25/P36/P12/C36/C72節(jié)點NAS接口對象接口l 槽點：不同接口使用的底層架構仍需隔離，需要提前做好規(guī)劃RSM副本在線EC負載均衡 數(shù)據(jù)布局 數(shù)據(jù)恢復 分布式文件存儲快照配額分級WORM遠程復制租戶管理SLA管理資源管理業(yè)務發(fā)放告警拓樸資源管理報表通用硬件統(tǒng)一部署統(tǒng)一升級統(tǒng)一擴容巡檢信息收集日志分析統(tǒng)一網絡規(guī)劃ToolkitCloudNative應用云基礎設施VM資源池桌面云云視頻媒體云網盤云備份歸檔NFSCIFSSwiftS3HDFS應用超市開發(fā)

25、測試 基礎設施服務大數(shù)據(jù)分析OpenStack多接口協(xié)議SCSIIaaSBKaaSDRaaS云服務平臺統(tǒng)一北向DSS & OMS分布式對象存儲配額重刪遠程復制分布式塊存儲快照精簡配置鏈接克隆雙活QoS傳輸加速防病毒iSCSI資源池層數(shù)據(jù)服務層系統(tǒng)編排層存儲產品全閃存陣列分布式塊存儲分布式文件存儲對象存儲性能業(yè)界最高性能，百萬級IOPS，1ms時延對位業(yè)界中端SAN存儲，性能與中端SAN存儲相仿。IOPS可達10萬級別，時延一般在5ms-40ms之間性能隨節(jié)點數(shù)增加而線性上漲。對于全對稱式結構分布式，單節(jié)點帶寬一般在400MB/s到800MB/s之間，時延在5ms-40ms之間非性能敏感

26、場景下使用，性能一般不重點關注，性能與中端SAN存儲相仿。功能SANSANNAS對象商用情況企業(yè)或者機構核心業(yè)務、關鍵業(yè)務中，其穩(wěn)定性、性能、對技術的成熟度要求高，例如數(shù)據(jù)庫應用場景在非關鍵環(huán)境中，在建設成本相對有限、數(shù)據(jù)量較大的條件下使用較多，例如云資源池、虛擬主機、桌面云等等文件存儲場景，在強調系統(tǒng)擴展性及文件系統(tǒng)性能的場景下使用，例如視頻監(jiān)控、媒體云、大數(shù)據(jù)分析等場景對外提供對象存儲接口（如S3，Openstack Swift），多用于互聯(lián)網行業(yè)，關注數(shù)據(jù)共享功能及容量，在云盤類應用使用廣泛。生態(tài)鏈兼容性測試已非常充分，所有高端、中端、以及低端的服務器均能支持，所有存儲廠家均有相關產品。主要完成的是Windows，Linux等較低端的服務器的兼容性