大數(shù)據(jù)時代存儲之路華為

應(yīng)需而變?nèi)谝灾逻h(yuǎn)——大數(shù)據(jù)時代存儲之路

信息化：從涓流到海洋目錄大數(shù)據(jù)帶來哪些技術(shù)變革云時代大數(shù)據(jù)的特點(diǎn)12華為大數(shù)據(jù)架構(gòu)和詳細(xì)實(shí)際3大量用戶群體海量計(jì)算大量數(shù)據(jù)管理數(shù)據(jù)分析大數(shù)據(jù)定義-不同行業(yè)的不同聲音云時代的大數(shù)據(jù)特點(diǎn)Volume-巨量Variety-多樣性Value-價值密度數(shù)據(jù)量宏大全球在2021年正式進(jìn)入ZB時代IDC估計(jì)到2020年，全球?qū)⒖偣矒碛?0ZB的數(shù)據(jù)量構(gòu)造化數(shù)據(jù)、半構(gòu)造化數(shù)據(jù)和非構(gòu)造化數(shù)據(jù)如今的數(shù)據(jù)類型早已不是單一的文本方式，訂單、日志、音頻，才干提出了更高的要求沙里淘金，價值密度低一部數(shù)小時的視頻，能夠有用的數(shù)據(jù)僅僅只需一兩秒。如何迅速“提純〞是大數(shù)據(jù)亟待處理的難題實(shí)時獲取需求的信息大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)最顯著的特征。如今已是ZB時代，在如此海量的數(shù)據(jù)面前，處置數(shù)據(jù)的效率就是企業(yè)的生命Velocity-速度信息采集系統(tǒng)全景引見政府機(jī)構(gòu)〔醫(yī)保，社?！扯绦磐ㄔ捰涗洈?shù)據(jù)分類數(shù)據(jù)來源運(yùn)營商存儲區(qū)域業(yè)務(wù)平臺會聚、分析、入庫醫(yī)院大型企業(yè)交通訊息視頻監(jiān)控

社保、醫(yī)保、住宿、交通視頻監(jiān)控網(wǎng)絡(luò)信息準(zhǔn)確查詢…………人際關(guān)系、行為分析跟隨分析、人臉識別通話記錄、住宿、交通統(tǒng)計(jì)報(bào)表短信、Email內(nèi)容過濾等其他信息統(tǒng)計(jì)分析內(nèi)容查詢數(shù)據(jù)導(dǎo)入大數(shù)據(jù)在各行業(yè)的運(yùn)用社交網(wǎng)絡(luò)B2C業(yè)務(wù)能源媒資地質(zhì)勘探科研智能電網(wǎng)非線編輯后期制造衛(wèi)星探測基因工程電子支付票據(jù)歸檔金融互聯(lián)網(wǎng)公安視頻監(jiān)控視頻分析目錄大數(shù)據(jù)各行業(yè)需求和運(yùn)用大數(shù)據(jù)帶來哪些技術(shù)變革云時代大數(shù)據(jù)的特點(diǎn)12華為大數(shù)據(jù)架構(gòu)和詳細(xì)實(shí)際3大數(shù)據(jù)帶來技術(shù)變革大數(shù)據(jù)分析處置全球技術(shù)研討和咨詢公司Gartner將“大數(shù)據(jù)〞技術(shù)列入2021年對眾多公司和組織機(jī)構(gòu)具有戰(zhàn)略意義的十大技術(shù)與趨勢之一；Gartner在其新興技術(shù)成熟度曲線中將“大數(shù)據(jù)〞技術(shù)視為轉(zhuǎn)型技術(shù)；傳統(tǒng)技術(shù)晉級已滿足不了大數(shù)據(jù)處置的需求，“大數(shù)據(jù)〞技術(shù)將在未來3—5年內(nèi)進(jìn)入主流。其技術(shù)形狀也會產(chǎn)生較大的變化；存儲瓶頸計(jì)算瓶頸網(wǎng)絡(luò)瓶頸數(shù)據(jù)庫瓶頸大數(shù)據(jù)帶來哪些技術(shù)變革單機(jī)集群虛擬化集群文件存儲單機(jī)設(shè)備間銜接設(shè)備內(nèi)銜接關(guān)系型數(shù)據(jù)庫橫向擴(kuò)展橫向擴(kuò)展GEFC數(shù)據(jù)庫集群10GEFCIB分布式數(shù)據(jù)庫非關(guān)系型數(shù)據(jù)庫塊存儲10GESASIBFC計(jì)算存儲數(shù)據(jù)庫網(wǎng)絡(luò)橫向擴(kuò)展〔硬件擴(kuò)展〕塊虛擬化豐富的增值軟件及對外接口橫向擴(kuò)展〔硬件+文件系統(tǒng)〕文件虛擬化豐富的增值軟件及對外接口大數(shù)據(jù)時代群雄逐鹿Hadoop處理方案架構(gòu)目錄什么十大數(shù)據(jù)大數(shù)據(jù)各行業(yè)需求和運(yùn)用華為大數(shù)據(jù)架構(gòu)和詳細(xì)實(shí)際大數(shù)據(jù)帶來哪些技術(shù)變革云時代大數(shù)據(jù)的特點(diǎn)12華為大數(shù)據(jù)架構(gòu)和詳細(xì)實(shí)際3華為在大數(shù)據(jù)方面不僅僅是平臺提供商大數(shù)據(jù)運(yùn)用開發(fā)提供商大數(shù)據(jù)系統(tǒng)集成商大數(shù)據(jù)平臺提供商大數(shù)據(jù)管理效力提供商華為除了具有強(qiáng)大的自主研發(fā)實(shí)力外，還具備豐富的集成優(yōu)化第三方平臺的閱歷，可根據(jù)用戶的實(shí)踐需求，打造適宜用戶本身特點(diǎn)的大數(shù)據(jù)效力體系；ScaleoutBlockScaleoutFilesystemScaleoutDBScaleoutObjectScaleoutbackup分布式存儲運(yùn)用適配,Programmable接口通用效力器網(wǎng)絡(luò)〔交換機(jī)，路由器〕存儲節(jié)點(diǎn)分布式計(jì)算和分析批處置(GalaxHD))實(shí)時處置和內(nèi)存計(jì)算近實(shí)時分析和MPPDB內(nèi)存數(shù)據(jù)庫流處置MapReduceHive,Pig,MashoutHBASEHcatalogSQLQueryPlannerMPPExecDataBridge管控平面設(shè)備管理資源管理(YARN,多戶,Zookeeper)戰(zhàn)略調(diào)度日志留存OLAP視頻分析數(shù)據(jù)可視化內(nèi)容檢索數(shù)據(jù)發(fā)掘華為大數(shù)據(jù)一體化平臺集成SqoopDataLoader華為集成和優(yōu)化華為自研組件協(xié)作3rdPartyToolHadoopFSAPI,NFS/CIFS,Posix,ISCSI,S3華為大數(shù)據(jù)一致架構(gòu)FlumeLuceneCloudOS30mins/TB的恢復(fù)速度平安可信彈性高效存儲池內(nèi)一切硬盤參與重構(gòu)，僅重構(gòu)業(yè)務(wù)數(shù)據(jù)由傳統(tǒng)RAID多對一的重構(gòu)方式轉(zhuǎn)變?yōu)镠VS的多對多快速重構(gòu)方式數(shù)據(jù)恢復(fù)速度相對傳統(tǒng)RAID提升20倍降低95%的多盤失效概率大幅降低重構(gòu)過程對業(yè)務(wù)的影響加速數(shù)據(jù)恢復(fù)傳統(tǒng)陣列RAID2.01TBNL－SAS磁盤重構(gòu)時間〔小時〕100.50246810數(shù)據(jù)重構(gòu)時間縮短20倍ApplicationsControllerCPUCacheNORMALNORMALPREMIUMSSDSASSATALOW……PrioritynPriority3Priority2Priority1Partition1Partition2Partition4Partition…Partition3PartitionN中心業(yè)務(wù)專屬保證存儲系統(tǒng)自動按照優(yōu)先級不同調(diào)配資源，保證中心系統(tǒng)的資源需求SmartQoS確保中心業(yè)務(wù)效力質(zhì)量物理緩存分區(qū)，為特定LUN設(shè)定公用的緩存分區(qū)，防止中心業(yè)務(wù)與邊緣業(yè)務(wù)惡性緩存競爭SmartPartition關(guān)鍵業(yè)務(wù)性能保證平安可信彈性高效Smart軟件提升客戶系統(tǒng)效率數(shù)據(jù)智能流動SmartTier數(shù)據(jù)動態(tài)分級SmartVirtualization異構(gòu)數(shù)據(jù)整合SmartMotion數(shù)據(jù)動態(tài)平衡EMCHDSIBMHW平安可信彈性高效SmartTier：精細(xì)化熱點(diǎn)統(tǒng)計(jì)與遷移，最大化性能資源利用率，性能提升3倍SmartMotion：基于場景的動態(tài)部署變卦，最大化自動負(fù)載平衡，硬盤利用率提升2倍，運(yùn)維本錢下降60%SmartVirtualization：支持對異構(gòu)存儲系統(tǒng)進(jìn)展一致虛擬化管理，最大化既有投資維護(hù)，投資報(bào)答率提升50%Smart智能軟件SSDSASNL-SAS一致管控，運(yùn)維一手掌握各類型存儲一致管理，化繁為簡分層可視化，直觀監(jiān)控，高效排障智能分析提升效力質(zhì)量，節(jié)約本錢與挪動運(yùn)維結(jié)合，管理更智能存儲管理軟件一致監(jiān)控與管理報(bào)警管理拓?fù)淦桨苍诰€存儲近線存儲平安可信彈性高效亞洲最大兼容性實(shí)驗(yàn)室亞洲最大的IT產(chǎn)品兼容性實(shí)驗(yàn)室，擁有國內(nèi)最全面的測試環(huán)境，產(chǎn)品兼容性得到充分的認(rèn)證，客戶的兼容性疑慮得到最好的解答華為與全球400家IT廠家協(xié)作，影響全球IT生態(tài)圈，為客戶提供更加全面的IT產(chǎn)品。超越400家兼容性測試同伴兼容性實(shí)驗(yàn)室——處理您的兼容性顧慮HVS&T系列一致存儲存儲虛擬化VIS6600TN9000大數(shù)據(jù)存儲面向企業(yè)級數(shù)據(jù)中心實(shí)現(xiàn)數(shù)據(jù)智能規(guī)劃雙活數(shù)據(jù)中心一致存儲資源池面向海量數(shù)據(jù)存儲交融架構(gòu)簡化生命周期管理P15P22P1P8P15P22P1P8P15P22P1P8P15P22P1P8P15P22P1P8SelfOrganizedDisksDHTS3/NFS/CIFS存以智用，融以致遠(yuǎn)云化存儲設(shè)計(jì)：智能交融可信任，滿足企業(yè)需求外企當(dāng)?shù)?、自主乏力本地產(chǎn)/OEM不等于自主可控本地產(chǎn)為的是降低消費(fèi)本錢，OEM僅僅是包裝存儲中心競爭力是研發(fā)、設(shè)計(jì)技術(shù)、質(zhì)量、價錢均不可控本地產(chǎn)/OEM≠自主可控IDC2021年數(shù)據(jù)外企當(dāng)?shù)馈制桨惨獟锻馄蟀哉紘鴥?nèi)市場：國外存儲廠商占據(jù)國內(nèi)80%以上的市場份額，其中金融業(yè)占據(jù)90%，交通行業(yè)超越80%，電信行業(yè)超越90%；要挾國家平安：CNNVD〔國家信息平安破綻庫〕統(tǒng)計(jì)外企在國內(nèi)艱苦信息平安破綻多達(dá)6萬個華為存儲的中國芯公用/通用途置器CPU自研ARM64，交融存儲特性(Raid5/6/DIF/Multicast/DMA)SHA1、Dedup加速卡最少磁盤，最少電力，滿足海量數(shù)據(jù)備份需求加速卡實(shí)現(xiàn)5GB/s=18TB/Hr更低本錢，更高性價比智能交融IO芯片Hi181210GE,RDMA(10GE),TOE,IOE,FCoE,FC8G/16Gallinone更低本錢，更高性價比PCI-ESSD控制芯片Hi1821支持PCI-E3.0接口支持SAS3.0協(xié)議SASSSD控制芯片Hi1811業(yè)界第一顆支持SAS2.0的ASIC控制器發(fā)布首款全固態(tài)存儲系統(tǒng)Dorado2100Red-BPrime可編程引擎〔TOE、IOE、FCoE，RDMA，vSwitch、VTEP和Openflow等協(xié)議卸載〕PCI-EoverFabric，IO擴(kuò)展和共享，數(shù)據(jù)加密緊縮Red-BPrime提供最全系列全國產(chǎn)存儲產(chǎn)品大數(shù)據(jù)和云存儲數(shù)據(jù)維護(hù)磁盤存儲存儲軟件HDP3500E*VTL6900*固態(tài)存儲HyperSnapHyperClone

數(shù)據(jù)復(fù)制軟件存儲管理軟件HyperCopyHyperReplicationDorado2100G2Dorado510060萬IOPS訪問延遲低至500s100萬IOPS訪問延遲低至500sHVS85T/HVS88TS2600T/S5500T/S5600T/S5800T2~16控制器可擴(kuò)展至3TBCache可擴(kuò)展至3216塊硬盤0~5sRPOS6800T可擴(kuò)展至384GBCache可擴(kuò)展至1440塊硬盤25萬SPC-1性能一致存儲，同時支持塊和文件運(yùn)用可擴(kuò)展至192GBCache可擴(kuò)展至1440塊硬盤S2200T雙控制器支持4GBCache支持204塊硬盤SmartQoSSmartMotionSmartTierUltrPathUltraVRUltraAPMSmartCacheSmartThinSmartXInsightManagementConsoleInfraControlCSS分布式存儲系統(tǒng)N9000大數(shù)據(jù)存儲系統(tǒng)支持Posix/NFS/CIFS/JDBC/ODBC接口多GE互聯(lián)UDS海量存儲系統(tǒng)3~288節(jié)點(diǎn)，40PB容量擴(kuò)展，500萬OPS10GE/IB高性能互聯(lián)規(guī)范AmazonS3接口EB級容量擴(kuò)展高密設(shè)計(jì)，單柜2PB容量N8500集群NAS系統(tǒng)*全Active架構(gòu)支持文件和塊接口2~24節(jié)點(diǎn)，15PB容量擴(kuò)展，300萬OPS動態(tài)分級存儲一體化備份設(shè)備PB級海量備份集群架構(gòu)同時支持Inline與后端重刪VIS6600T*2~8節(jié)點(diǎn)，Scale-out虛擬化存儲專業(yè)的本地效力和咨詢團(tuán)隊(duì)您身邊的效力專業(yè)效力團(tuán)隊(duì)?wèi)?zhàn)略效力協(xié)作1成都總部4區(qū)域存儲才干中心5效力階段32區(qū)域技術(shù)支持中心140+效力范圍覆蓋城市8+效力領(lǐng)域10+專家組合1效力合同0+PMP專家26000+專業(yè)的效力團(tuán)隊(duì)300+專業(yè)效力監(jiān)管300+備件中心200+增值效力同伴2000+協(xié)作同伴4培訓(xùn)中心1700+專業(yè)講師設(shè)計(jì)咨詢實(shí)施改良運(yùn)營一站式效力江蘇公安工程部署HVS高端存儲，助力江蘇公安信息化新疆省公安廳存儲集中化:警務(wù)信息平臺上層業(yè)務(wù)系統(tǒng)復(fù)雜，包括案情分析系統(tǒng)，網(wǎng)絡(luò)執(zhí)法系統(tǒng)，信息對比系統(tǒng)等數(shù)據(jù)高可靠：需求高可靠，高性能，高效率，高擴(kuò)展性的存儲承載上層中心業(yè)務(wù)效率最大化:SMART系列軟件提示系統(tǒng)整體運(yùn)轉(zhuǎn)效率農(nóng)行票據(jù)影像歸檔存儲系統(tǒng)全面部署農(nóng)行全國36個分行網(wǎng)點(diǎn)，滿足每個分行3~5年的票據(jù)影像歸檔數(shù)據(jù)存儲，并可存儲定時復(fù)制的在線數(shù)據(jù)多控集群架構(gòu)，系統(tǒng)性能隨集群節(jié)點(diǎn)的添加呈線性增長實(shí)現(xiàn)票據(jù)影像數(shù)據(jù)的獲取、存儲、索引、搜索、歸檔等全生命周期管理按照要求采用小部分SAS盤、大部分SATA磁盤，以及配合其它節(jié)能特性，有效降低運(yùn)營本錢為38個分行票據(jù)影像等非構(gòu)造化數(shù)據(jù)提供歸檔存儲才干提供各分行會計(jì)檔案15年近線歸檔數(shù)據(jù)存儲海量的存儲空間，具備最大288節(jié)點(diǎn)的橫向擴(kuò)展才干，容量性能線性擴(kuò)展業(yè)界領(lǐng)先的性能，高效小