大數(shù)據(jù)時代存儲解決方案

應(yīng)需而變?nèi)谝灾逻h

——大數(shù)據(jù)時代存儲之路目錄大數(shù)據(jù)帶來哪些技術(shù)變革云時代大數(shù)據(jù)的特點12大數(shù)據(jù)架構(gòu)和具體實踐3大量用戶群體海量計算大量數(shù)據(jù)管理數(shù)據(jù)分析大數(shù)據(jù)定義-不同行業(yè)的不同聲音云時代的大數(shù)據(jù)特點Volume-巨量Variety-多樣性

Value-價值密度數(shù)據(jù)量巨大全球在2010年正式進入ZB時代IDC預(yù)計到2020年，全球?qū)⒖偣矒碛?0ZB的數(shù)據(jù)量結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)如今的數(shù)據(jù)類型早已不是單一的文本形式，訂單、日志、音頻，能力提出了更高的要求沙里淘金，價值密度低一部數(shù)小時的視頻，可能有用的數(shù)據(jù)僅僅只有一兩秒。如何迅速“提純”是大數(shù)據(jù)亟待解決的難題實時獲取需要的信息大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)最顯著的特征。如今已是ZB時代，在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命Velocity-速度信息采集系統(tǒng)全景介紹政府機構(gòu)（醫(yī)保，社保）短信通話記錄數(shù)據(jù)分類數(shù)據(jù)來源運營商存儲區(qū)域業(yè)務(wù)平臺匯聚、分析、入庫醫(yī)院大型企業(yè)交通信息視頻監(jiān)控Email社保、醫(yī)保、住宿、交通視頻監(jiān)控網(wǎng)絡(luò)信息

精確查詢…………人際關(guān)系、行為分析跟隨分析、人臉識別通話記錄、住宿、交通統(tǒng)計報表短信、Email內(nèi)容過濾等其他信息統(tǒng)計分析內(nèi)容查詢數(shù)據(jù)導(dǎo)入大數(shù)據(jù)在各行業(yè)的應(yīng)用社交網(wǎng)絡(luò)B2C業(yè)務(wù)能源媒資地質(zhì)勘探科研智能電網(wǎng)非線編輯后期制作衛(wèi)星探測基因工程電子支付票據(jù)歸檔金融互聯(lián)網(wǎng)公安視頻監(jiān)控視頻分析目錄大數(shù)據(jù)各行業(yè)需求和應(yīng)用大數(shù)據(jù)帶來哪些技術(shù)變革云時代大數(shù)據(jù)的特點12大數(shù)據(jù)架構(gòu)和具體實踐3大數(shù)據(jù)帶來技術(shù)變革大數(shù)據(jù)分析處理全球技術(shù)研究和咨詢公司Gartner將“大數(shù)據(jù)”技術(shù)列入2012年對眾多公司和組織機構(gòu)具有戰(zhàn)略意義的十大技術(shù)與趨勢之一；Gartner在其新興技術(shù)成熟度曲線中將“大數(shù)據(jù)”技術(shù)視為轉(zhuǎn)型技術(shù)；傳統(tǒng)技術(shù)升級已滿足不了大數(shù)據(jù)處理的需求，“大數(shù)據(jù)”技術(shù)將在未來3—5年內(nèi)進入主流。其技術(shù)形態(tài)也會產(chǎn)生較大的變化；存儲瓶頸計算瓶頸網(wǎng)絡(luò)瓶頸數(shù)據(jù)庫瓶頸大數(shù)據(jù)帶來哪些技術(shù)變革單機集群虛擬化集群文件存儲單機設(shè)備間連接設(shè)備內(nèi)連接關(guān)系型數(shù)據(jù)庫橫向擴展橫向擴展GEFC數(shù)據(jù)庫集群10GEFCIB分布式數(shù)據(jù)庫非關(guān)系型數(shù)據(jù)庫塊存儲10GESASIBFC計算存儲數(shù)據(jù)庫網(wǎng)絡(luò)橫向擴展（硬件擴展）塊虛擬化豐富的增值軟件及對外接口橫向擴展（硬件+文件系統(tǒng)）文件虛擬化豐富的增值軟件及對外接口

大數(shù)據(jù)時代群雄逐鹿Hadoop解決決方方案案架架構(gòu)構(gòu)目錄錄什么么十十大大數(shù)數(shù)據(jù)據(jù)大數(shù)數(shù)據(jù)據(jù)各各行業(yè)業(yè)需求求和和應(yīng)應(yīng)用用大數(shù)據(jù)據(jù)架架構(gòu)構(gòu)和和具具體體實實踐踐大數(shù)數(shù)據(jù)據(jù)帶帶來來哪哪些些技技術(shù)術(shù)變變革革云時時代代大大數(shù)數(shù)據(jù)據(jù)的的特特點點12大數(shù)據(jù)據(jù)架架構(gòu)構(gòu)和和具具體體實實踐踐3在大數(shù)數(shù)據(jù)據(jù)方方面面不不僅僅僅僅是是平平臺臺提提供供商商大數(shù)據(jù)應(yīng)用開發(fā)提供商大數(shù)據(jù)系統(tǒng)集成商大數(shù)據(jù)平臺提供商大數(shù)據(jù)管理服務(wù)提供商除了了具有有強強大大的的自自主主研研發(fā)發(fā)實實力力外外，，還還具具備備豐豐富富的的集集成成優(yōu)優(yōu)化化第第三三方方平平臺臺的的經(jīng)經(jīng)驗驗，，可可根根據(jù)據(jù)用用戶戶的的實實際際需需求求，，打打造造適適合合用用戶戶自自身身特特點點的的大大數(shù)數(shù)據(jù)據(jù)服服務(wù)務(wù)體體系系；；ScaleoutBlockScaleoutFilesystemScaleoutDBScaleoutObjectScaleoutbackup分布布式式存存儲儲應(yīng)用用適適配配,Programmable接口口通用用服服務(wù)務(wù)器器網(wǎng)絡(luò)絡(luò)（（交交換換機機，，路路由由器器））存儲儲節(jié)節(jié)點點分布布式式計計算算和和分分析析批處處理理(GalaxHD))實時時處處理理和和內(nèi)內(nèi)存存計計算算近實實時時分分析析和和MPPDB內(nèi)存數(shù)據(jù)庫流處理MapReduceHive,Pig,MashoutHBASEHcatalogSQLQueryPlannerMPPExecDataBridge管控控平平面面設(shè)備備管管理理資源源管管理理(YARN,多戶戶,Zookeeper)策略略調(diào)調(diào)度度日志志留留存存OLAP視頻頻分分析析數(shù)據(jù)據(jù)可可視視化化內(nèi)容容檢檢索索數(shù)據(jù)據(jù)挖挖掘掘大數(shù)據(jù)據(jù)一一體體化化平平臺臺集成成SqoopDataLoader集成成和優(yōu)優(yōu)化化自研組組件件合作作3rdPartyToolHadoopFSAPI,NFS/CIFS,Posix,ISCSI,S3大數(shù)據(jù)據(jù)統(tǒng)統(tǒng)一一架架構(gòu)構(gòu)FlumeLuceneCloudOS30mins/TB的恢恢復(fù)復(fù)速速度度安全可信彈性高效存儲儲池池內(nèi)內(nèi)所所有有硬硬盤盤參參與與重重構(gòu)構(gòu)，，僅僅重重構(gòu)構(gòu)業(yè)業(yè)務(wù)務(wù)數(shù)數(shù)據(jù)據(jù)由傳統(tǒng)統(tǒng)RAID多對一一的重構(gòu)構(gòu)模式式轉(zhuǎn)變變?yōu)镠VS的多對多多快速重重構(gòu)模模式數(shù)據(jù)恢恢復(fù)速速度相相對傳傳統(tǒng)RAID提升20倍降低95%的多盤盤失效效概率率大幅降降低重重構(gòu)過過程對對業(yè)務(wù)務(wù)的影影響加速數(shù)數(shù)據(jù)恢恢復(fù)傳統(tǒng)陣陣列RAID2.01TBNL－SAS磁盤重重構(gòu)時時間（（小時時）100.50246810數(shù)據(jù)重重構(gòu)時時間縮縮短20倍ApplicationsControllerCPUCacheNORMALNORMALPREMIUMSSDSASSATALOW……PrioritynPriority3Priority2Priority1Partition1Partition2Partition4Partition…Partition3PartitionN核心業(yè)業(yè)務(wù)專專屬保保障存儲系系統(tǒng)自自動按按照優(yōu)優(yōu)先級級不同同調(diào)配配資源源，保保證核核心系系統(tǒng)的的資源源需求求SmartQoS確保核核心業(yè)業(yè)務(wù)服服務(wù)質(zhì)質(zhì)量物理緩緩存分分區(qū)，，為特特定LUN設(shè)定專專用的的緩存存分區(qū)區(qū)，避避免核核心業(yè)業(yè)務(wù)與與邊緣緣業(yè)務(wù)務(wù)惡性性緩存存競爭爭SmartPartition關(guān)鍵業(yè)業(yè)務(wù)性性能保保障安全可信彈性高效Smart軟件提提升客客戶系系統(tǒng)效效率數(shù)據(jù)智能流動SmartTier數(shù)據(jù)動態(tài)分級SmartVirtualization異構(gòu)數(shù)據(jù)整合SmartMotion數(shù)據(jù)動態(tài)平衡EMCHDSIBMHW安全可信彈性高效SmartTier：精細化熱點統(tǒng)計與遷移，最大化性能資源利用率，性能提升3倍SmartMotion：基于場景的動態(tài)部署變更，最大化自動負載均衡，硬盤利用率提升2倍，運維成本下降60%SmartVirtualization：支持對異構(gòu)存儲系統(tǒng)進行統(tǒng)一虛擬化管理，最大化既有投資保護，投資回報率提升50%Smart智能軟軟件SSDSASNL-SAS統(tǒng)一管管控，，運維維一手手掌握握各類型存儲統(tǒng)一管理，化繁為簡分層可視化，直觀監(jiān)控，高效排障智能分析提升服務(wù)質(zhì)量，節(jié)約成本與移動運維結(jié)合，管理更智能存儲管理軟件統(tǒng)一監(jiān)控與管理

報警管理

拓撲安全在線存存儲近線存儲安全可信彈性高效亞洲最最大兼兼容性性實驗驗室亞洲最大的IT產(chǎn)品兼容性實驗室，擁有國內(nèi)最全面的測試環(huán)境，產(chǎn)品兼容性得到充分的認證，客戶的兼容性疑慮得到最好的解答與全球400家IT廠家合作，影響全球IT生態(tài)圈，為客戶提供更加全面的IT產(chǎn)品。超過400家兼容性測試伙伴兼容性性實驗驗室——解決您您的兼兼容性性顧慮慮HVS&T系列統(tǒng)一存儲存儲虛擬化VIS6600TN9000大數(shù)據(jù)存儲面向企企業(yè)級級數(shù)據(jù)據(jù)中心心實現(xiàn)數(shù)數(shù)據(jù)智智能布布局雙活數(shù)數(shù)據(jù)中中心統(tǒng)一存存儲資資源池池面向海海量數(shù)數(shù)據(jù)存存儲融合架架構(gòu)簡簡化生生命周周期管管理P15P22P1P8P15P22P1P8P15P22P1P8P15P22P1P8P15P22P1P8SelfOrganizedDisksDHTS3/NFS/CIFS存以智用，融以致遠云化存存儲設(shè)設(shè)計：：智能能融合合可信信賴，，滿足足企業(yè)業(yè)需要要外企當(dāng)當(dāng)?shù)?、、自主主乏力力本地產(chǎn)產(chǎn)/OEM不等于于自主主可控控本地產(chǎn)產(chǎn)為的的是降降低生生產(chǎn)成成本，，OEM僅僅是是包裝裝存儲核核心競競爭力力是研研發(fā)、、設(shè)計計技術(shù)、、質(zhì)量量、價價格均均不可可控本地產(chǎn)產(chǎn)/OEM≠自主可可控IDC2011年數(shù)據(jù)據(jù)外企當(dāng)當(dāng)?shù)馈职踩{外企霸占國國內(nèi)市市場：國外存存儲廠廠商占占據(jù)國國內(nèi)80%以上的市場場份額額，其其中金金融業(yè)業(yè)占據(jù)據(jù)90%，交通通行業(yè)業(yè)超過過80%，電信信行業(yè)業(yè)超過過90%；威脅國國家安安全：：CNNVD（國家信信息安安全漏漏洞庫庫）統(tǒng)統(tǒng)計外外企在在國內(nèi)內(nèi)重大大信息息安全全漏洞洞多達達6萬個存儲的的中國國芯專用/通用處理器CPU自研ARM64，融合存儲特性(Raid5/6/DIF/Multicast/DMA)SHA1、Dedup加速卡最少磁盤，最少電力，滿足海量數(shù)據(jù)備份需求加速卡實現(xiàn)5GB/s=18TB/Hr更低成本，更高性價比智能融合IO芯片Hi1812

10GE,RDMA(10GE),TOE,IOE,FCoE,FC8G/16Gallinone更低成本，更高性價比PCI-ESSD控制芯片Hi1821支持PCI-E3.0接口

支持SAS3.0協(xié)議SASSSD控制芯片Hi1811

業(yè)界第一顆支持SAS2.0的ASIC控制器發(fā)布首款全固態(tài)存儲系統(tǒng)Dorado2100Red-BPrime可編程引擎（TOE、IOE、FCoE，RDMA，vSwitch、VTEP和Openflow等協(xié)議卸載）PCI-EoverFabric，IO擴展和共享，數(shù)據(jù)加密壓縮Red-BPrime提供最全系系列全全國產(chǎn)產(chǎn)存儲儲產(chǎn)品品大數(shù)據(jù)和云存儲數(shù)據(jù)保護磁盤存儲存儲軟件HDP3500E*VTL6900*固態(tài)存儲

HyperSnapHyperClone

數(shù)據(jù)復(fù)制軟件存儲管理軟件HyperCopyHyperReplicationDorado2100G2Dorado510060萬IOPS訪問延遲低至500s100萬IOPS訪問延遲低至500sHVS85T/HVS88TS2600T/S5500T/S5600T/S5800T2~16控制器可擴展至3TBCache可擴展至3216塊硬盤0~5sRPOS6800T可擴展至384GBCache可擴展至1440塊硬盤25萬SPC-1性能統(tǒng)一存儲，同時支持塊和文件應(yīng)用可擴展至192GBCache可擴展至1440塊硬盤S2200T雙控制器支持4GBCache支持204塊硬盤SmartQoSSmartMotionSmartTierUltrPathUltraVRUltraAPMSmartCacheSmartThinSmartXInsightManagementConsoleInfraControlCSS分布式存儲系統(tǒng)N9000大數(shù)據(jù)存儲系統(tǒng)支持