UCPfor大數(shù)據(jù)解決方案30

HDS統(tǒng)一計算平臺的大數(shù)據(jù)解決方案HDSchannelenablementTeamCiceanWang第一頁，共三十一頁。議程什么是大數(shù)據(jù)？HDS和大數(shù)據(jù)大數(shù)據(jù)應(yīng)用案例大數(shù)據(jù)成功案例第二頁，共三十一頁。什么是大數(shù)據(jù)？它真正的含義是什么？第三頁，共三十一頁。大數(shù)據(jù)及大數(shù)據(jù)時代“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預(yù)示著新一波生產(chǎn)力增長和消費者盈余浪潮的到來”

———麥肯錫您將會面對的是……16.4ExabytesIn201035ZxabytesIn2020IDC?

做出估算30倍

這不是簡單的數(shù)據(jù)增多的問題而是全新的問題第四頁，共三十一頁。大數(shù)據(jù)的定義（4V）海量（Volume）多樣（Variety）快速（Velocity）價值（Value）3億用戶，每天上億條微博中型城市每月數(shù)十億智能電表數(shù)據(jù)2015年全球移動終端產(chǎn)生的數(shù)據(jù)量6300PB衛(wèi)星圖像個人信息M2M日志文件傳感圖像視頻音頻非結(jié)構(gòu)化數(shù)據(jù)將占到75%-85%增長速度快用戶基數(shù)龐大設(shè)備數(shù)量眾多實時海量數(shù)據(jù)數(shù)據(jù)指數(shù)級別增長單條數(shù)據(jù)并無太多價值，但龐大的數(shù)據(jù)量蘊含巨大財富第五頁，共三十一頁。存儲理解控制大數(shù)據(jù)最終的目的大數(shù)據(jù)可以從根本上提高洞察力獲得洞察力！跨越鴻溝輸入數(shù)據(jù)$提高收益$提高投資回報率擴大客戶數(shù)量大數(shù)據(jù)分析處理的最終目標(biāo)！從復(fù)雜的數(shù)據(jù)集合中發(fā)現(xiàn)新的關(guān)聯(lián)規(guī)則，繼而進行深度挖掘，得到有效用的新信息第六頁，共三十一頁。大數(shù)據(jù)-第三次浪潮的華彩樂章2012年3月份美國奧巴馬政府發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》(BigDataResearchandDevelopmentInitiative)，投資2億以上美元，正式啟動“大數(shù)據(jù)發(fā)展計劃”。計劃在科學(xué)研究、環(huán)境、生物醫(yī)學(xué)等領(lǐng)域利用大數(shù)據(jù)技術(shù)進行突破。奧巴馬政府的這一計劃被視為美國政府繼信息高速公路(InformationHighway)計劃之后在信息科學(xué)領(lǐng)域的又一重大舉措。與2013年12月貫徹落實《廣東省信息化發(fā)展規(guī)劃綱要（2013-2020年）》，加快物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)等新一代信息技術(shù)創(chuàng)新應(yīng)用，推進我省智慧城市建設(shè)，打造珠三角世界級智慧城市群，全面提升全省信息化發(fā)展水平。廣東省委副書記朱小丹廣東省經(jīng)濟和信息化委員會副主任，黨組副書記鄒生第七頁，共三十一頁。我們?yōu)槭裁葱枰髷?shù)據(jù)在沒有大數(shù)據(jù)技術(shù)之前，無論是機器，還是人工方式，無法獲得全量樣本。以人口普查為例，如果挨家挨戶調(diào)研，甚至隨機抽取做調(diào)研，都非常耗時，費力，很多國家甚至做不到每年發(fā)布一次在沒有大數(shù)據(jù)技術(shù)之前，大量海量數(shù)據(jù)中非結(jié)構(gòu)化數(shù)據(jù)，分析與計算，幾乎是一個不可能逾越的鴻溝，更別說挖掘價值了。在沒有大數(shù)據(jù)技術(shù)之前，分析數(shù)據(jù)僅作為參考目前現(xiàn)狀的理論依據(jù)，也就是經(jīng)驗說話，數(shù)據(jù)無法實時展現(xiàn)價值。在沒有大數(shù)據(jù)技術(shù)之前，有原因所以有結(jié)果，維度由于分析能力有限，無法表現(xiàn)其真正意義，相關(guān)而非因果。價值變革經(jīng)濟變革第八頁，共三十一頁。大數(shù)據(jù)應(yīng)用案例將大數(shù)據(jù)承諾轉(zhuǎn)化為巨大的價值第九頁，共三十一頁。10從“谷歌流感趨勢”工具看大數(shù)據(jù)應(yīng)用跟蹤搜索詞相關(guān)數(shù)據(jù)來判斷全美地區(qū)的流感情況這個工具工作的原理大致是這樣的：設(shè)計人員置入了一些關(guān)鍵詞（比如溫度計、流感癥狀、肌肉疼痛、胸悶等），只要用戶輸入這些關(guān)鍵詞，系統(tǒng)就會展開跟蹤分析，創(chuàng)建地區(qū)流感圖表和流感地圖。谷歌多次把測試結(jié)果（藍線）與美國疾病控制和預(yù)防中心的報告（黃線）做比對，從圖可知，兩者結(jié)論存在很大相關(guān)性。第十頁，共三十一頁。以銀行信貸審批決策為例第十一頁，共三十一頁。用戶移動軌跡和精準(zhǔn)用戶群集分析應(yīng)用第十二頁，共三十一頁。實時精準(zhǔn)營銷->只給最近的你第十三頁，共三十一頁。HDS統(tǒng)一計算平臺支撐大數(shù)據(jù)應(yīng)用的IT架構(gòu)實例第十四頁，共三十一頁。

新的大數(shù)據(jù)技術(shù)傳統(tǒng)數(shù)據(jù)庫處理方式

—池塘捕魚新的大數(shù)據(jù)處理方式

—大海捕魚待處理的數(shù)據(jù)數(shù)據(jù)規(guī)模數(shù)據(jù)類型模式和數(shù)據(jù)關(guān)系處理對象處理工具第十五頁，共三十一頁。數(shù)據(jù)的自由度和性能矛盾。固定字段、維度的表結(jié)構(gòu)，限制了數(shù)據(jù)的入庫和拓展。數(shù)據(jù)處理數(shù)據(jù)庫中間件索引及應(yīng)用開發(fā)J2EEStorageDatabaseJ2EEJ2EEWebWebWebWebWeb數(shù)據(jù)索引方式的瓶頸，依賴文件目錄結(jié)構(gòu)（NAS）或私有的位圖塊表結(jié)構(gòu)（Block）。非結(jié)構(gòu)數(shù)據(jù)還需要上層數(shù)據(jù)庫或文件系統(tǒng)提供索引；面對大數(shù)據(jù)傳統(tǒng)IT的架構(gòu)的瓶頸存儲成本（TB）20,000rmb數(shù)據(jù)庫和中間件（TB）15,000rmb計算（TB）30,000rmb技術(shù)服務(wù)（TB）10,000rmb應(yīng)用服務(wù)依賴合作伙伴總體擁有成本（TB）>75,000rmb第十六頁，共三十一頁。數(shù)據(jù)的膨脹帶來更高的成本，但是已有的存儲方式不支持線性擴展，還帶來了數(shù)據(jù)管理性能的低下問題后期維護成本低下的數(shù)據(jù)管理性能存儲擴容成本面對大數(shù)據(jù)傳統(tǒng)IT的架構(gòu)帶來的問題第十七頁，共三十一頁。新的大數(shù)據(jù)處理技術(shù)-Hadoop核心思想：分布式+經(jīng)濟Hadoop:分布式，大數(shù)據(jù)集，延時，離線計算NoSQL:分布式，小數(shù)據(jù)集，靈活，實時，快速讀寫第十八頁，共三十一頁。天云&HDS大數(shù)據(jù)混合計算一體機J2EEWeb離散的計算整合的計算HDS

CR220SHadoopDistributionsStreamingSearchingIndexMemDBBDP

(BeagleDataPlatform)Integration/Autumation/Monitoring/Scheduling/MaintainanceDataMgnt:DataView

EasyFail

sense／data

zip/datalifescycle／DR（Optional）BDA(BeagleDataAccelerator)

機器學(xué)習(xí)組件包

（Optional）BDF(BeagleDataFlow)大數(shù)據(jù)中間件SaaS/DaaS第十九頁，共三十一頁。天云&HDS提供混合計算的能力HDS

CR220SHadoopDistributionsStreamingSearchingIndexMemDBBDP

(BeagleDataPlatform)Integration/Autumation/Monitoring/Scheduling/MaintainanceDataMgnt:DataView

EasyFail

sense／data

zip/datalifescycle／DR大數(shù)據(jù)儲存大數(shù)據(jù)處理數(shù)據(jù)分享數(shù)據(jù)檢索數(shù)據(jù)分析數(shù)據(jù)展現(xiàn)第二十頁，共三十一頁?；谑录目梢暬芾砜焖倬途w的大數(shù)據(jù)平臺天云大數(shù)據(jù)平臺:BDPHadoop集群部署與管理第二十一頁，共三十一頁。管理控制臺HA管理集群性能監(jiān)控節(jié)點性能監(jiān)控集群磁盤監(jiān)控告警類型可視化的運維管理天云大數(shù)據(jù)平臺:BDP第二十二頁，共三十一頁。天云&HDS解決方案產(chǎn)品配置規(guī)格型號大數(shù)據(jù)一體機滿配大數(shù)據(jù)一體機半配管理服務(wù)器2臺CR220S服務(wù)器，每服務(wù)器配置：●2*Intel?Xeon?E5-2470●64G內(nèi)存●2*300GB硬盤，12*3.5寸3T硬盤●1個4端口高性能千兆以太網(wǎng)卡2臺CR220S服務(wù)器，每服務(wù)器配置：●2*Intel?Xeon?E5-2470●64G內(nèi)存●2*300GB硬盤，12*3.5寸3T硬盤●1個4端口高性能千兆以太網(wǎng)卡數(shù)據(jù)服務(wù)器14臺CR220S服務(wù)器，每節(jié)點配置：●2*Intel?Xeon?E5-2470●64G內(nèi)存●2*300GB硬盤，12*3.5寸3T硬盤●2個高性能千兆以太網(wǎng)卡6臺CR220S服務(wù)器，每節(jié)點配置：●2*Intel?Xeon?E5-2470●64G內(nèi)存●2*300GB硬盤，12*3.5寸3T硬盤●2個高性能千兆以太網(wǎng)卡網(wǎng)絡(luò)與交換2臺可管理全千兆以太網(wǎng)交換機2臺可管理全千兆以太網(wǎng)交換機其他選配硬件附加硬件組件：●1U機架式KVM●標(biāo)準(zhǔn)42U機柜●外置UPS供電設(shè)施（選配）附加硬件組件：●1U機架式KVM●標(biāo)準(zhǔn)42U機柜●外置UPS供電設(shè)施（選配）大數(shù)據(jù)軟件BeagleDataPlatformV1.516節(jié)點License授權(quán)BeagleDataPlatformV1.58節(jié)點License授權(quán)升級與擴展使用交換機堆疊方式連接多個一體機可升級至大數(shù)據(jù)一體機滿配支持服務(wù)●提供軟硬一體化整體支持●硬件：三年保修服務(wù)●軟件：一年維保服務(wù)（可續(xù)訂）●提供軟硬一體化整體支持●硬件：三年保修服務(wù)●軟件：一年維保服務(wù)（可續(xù)訂）第二十三頁，共三十一頁。天云&HDS大數(shù)據(jù)一體機方案優(yōu)勢總結(jié)備注更低的成本更高的性能由全新分布式架構(gòu)帶來混合的架構(gòu)存儲和計算的能力同時具備軟硬件結(jié)合的方案強大的計算能力分布式計算NoSQL數(shù)據(jù)管理應(yīng)用更加靈活高可擴展和高可用線性擴展，性能線性提升多節(jié)點多副本帶來高可用性第二十四頁，共三十一頁。天云&HDS大數(shù)據(jù)一體機賣點總結(jié)強大數(shù)據(jù)存儲能力先進的硬件架構(gòu)一流的大數(shù)據(jù)平臺軟件業(yè)界領(lǐng)先的性能就緒的軟件最佳實踐單機柜提供1PB的存儲能力第二十五頁，共三十一頁。成功案例大數(shù)據(jù)落地的經(jīng)驗（天云科技）第二十六頁，共三十一頁。大量用戶無法精準(zhǔn)識別

重復(fù)電話銷售產(chǎn)生的抱怨

對品牌形象產(chǎn)生傷害通過統(tǒng)一用戶視圖進行理財產(chǎn)品推薦實現(xiàn)精準(zhǔn)客戶營銷避免傳統(tǒng)轟炸式電話營銷對品牌的負(fù)面影響人數(shù)占比年齡年收入（元）累計標(biāo)保和繳付保費合計件均標(biāo)保壽險繳付金額兩全繳付金額年金繳付金額萬能繳付金額意外繳付金額醫(yī)療繳付金額重疾繳付金額投連繳付金額0.60%474820026900804001900050050007670025001002004004001.37%512940015000966001070050090400580011600100800220030000.84%40180600108002130078001100380012400160010030070002.07%472940074007110011000600510015006370010050013005000.68%33820065003070054002008002930020001001001000.84%53360058008050010400053002500530000200772001.77%42974005300980039004003300300017001003004000某保險公司——大數(shù)據(jù)于精準(zhǔn)營銷第二十七頁，共三十一頁。光大銀行更側(cè)重理財產(chǎn)品的推廣。招商銀行更關(guān)注大眾生活。兩大銀行的面向品牌認(rèn)知對比要精確，還是要混雜／效率

第二十八頁，共三十一頁。Questions

andDiscussion第二十九頁，共三十一頁。ThankYou第三十頁，共三十一頁。內(nèi)容總結(jié)HDS統(tǒng)一計算平臺的大數(shù)據(jù)解決方案。“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個行業(yè)和