企業(yè)大數(shù)據(jù)之道

1實戰(zhàn)大數(shù)據(jù)（一）解密大數(shù)據(jù)徐培成北方人計算機工程專業(yè)軟件開發(fā)系統(tǒng)分析PM技術(shù)總監(jiān)培訓(xùn)機構(gòu)講師創(chuàng)辦十八掌教育（一）什么是大數(shù)據(jù)（二）中國大數(shù)據(jù)市場及現(xiàn)狀（四）大數(shù)據(jù)在企業(yè)中的應(yīng)用方向（六）大數(shù)據(jù)就業(yè)方向（五）大數(shù)據(jù)調(diào)查報告（七）忠告和提醒（三）大數(shù)據(jù)行業(yè)分析與經(jīng)典案例目錄大數(shù)據(jù)的故事故事（一）1998故事（二）2009<<自然>>雜志文章谷歌分析以前流行病的病理特征，出來的結(jié)果和國家疾控中心的數(shù)據(jù)非常吻合，通過這一數(shù)據(jù)有效預(yù)測了流行病毒的暴發(fā)。故事（三）2012<<時代>>周刊分析不同地區(qū)、年齡段選民有效選民募集資金廣告投放精準預(yù)測競選結(jié)果有的放矢中國話--有錢花在刀刃上故事（四）2015阿里11.11交易額912.17億同比增長59.7%11.11故事（四）—中國大媽的實力各地大媽消費了78%的品類，涉及糧油、廚電、食品、美妝小家電品類廣場舞音響第一，超出第二名美顏相機50%。服裝消費占據(jù)85% 浙江大媽>山東大媽>福建大媽廣場舞音響購買力浙江大媽>山東大媽>江蘇大媽瑜伽產(chǎn)品福建大媽>廣東大媽>重慶大媽北方大媽:鐘愛玉器和琥珀，流行飾品的消費是南方大媽的4.5倍。南方大媽:青睞翡翠和珍珠，內(nèi)衣購買量是北方大媽的2倍。中西部大媽:愛海鮮，四川大媽大閘蟹、海帶、蝦類。東西南北大媽:黃金首飾農(nóng)村大媽的最愛

美妝品牌:卡姿蘭>美寶蓮>珀萊雅

廚房電器:美的>蘇泊爾>九陽

服裝品牌:坦博爾>億利達>福瑪瑪這意味著……不知道BIGDATA？你OUT了！吃飯前一定要發(fā)個朋友圈?。ㄒ唬┦裁疵词谴髷?shù)據(jù)據(jù)（二）中國國大數(shù)據(jù)市市場及現(xiàn)狀狀（四）大數(shù)數(shù)據(jù)在企業(yè)業(yè)中的應(yīng)用用方向（六）大數(shù)數(shù)據(jù)就業(yè)方方向（五）大數(shù)數(shù)據(jù)調(diào)查報報告（七）忠告告和提醒（三）大數(shù)數(shù)據(jù)行業(yè)分分析與經(jīng)典典案例目錄數(shù)據(jù)有多大？50(州)x1000(氣象站)x100年(1901-2000)=5000000(文件)數(shù)據(jù)有多大？數(shù)據(jù)有多大？淘寶目前每每天的活躍躍數(shù)據(jù)量已已經(jīng)超過50TB，共有4億條產(chǎn)品訊訊息和2億多名注冊冊用戶在上上面活動，，每天超過過4000萬人次訪問問。500G/臺x100臺x3(副本)=150000臺1bit=1位(0/1)Byte=字節(jié)(每個字節(jié)含含有8位)1KB=1024Bytes=2^10Bytes1MB=1024KB=2^20Bytes1GB=1024MB=2^30Bytes1TB=1024GB=2^40Bytes1PB=1024TB=2^50Bytes1EB=1024PB=2^60Bytes1ZB=1024EB=2^70Bytes1YB=1024ZB=2^80Bytes1NB=1024YB=2^90Bytes1DB=1204NB=2^100Bytes數(shù)據(jù)有多大？大數(shù)據(jù)的多種角度大眾角度數(shù)據(jù)量大、、海量技術(shù)人員的的角度如何存儲如何計算公司決策層層需要哪些方方面的數(shù)據(jù)據(jù)什么時間能能出結(jié)果什么是大數(shù)據(jù)大數(shù)據(jù)的構(gòu)成123大數(shù)據(jù)的“4V”特征大數(shù)據(jù)時代代的背景什么是大數(shù)據(jù)？facebook社交網(wǎng)絡(luò)…淘寶、ebay電子商務(wù)…微博、Apps移動互聯(lián)…21世紀是數(shù)據(jù)據(jù)信息大發(fā)發(fā)展的時代代，移動互互聯(lián)、社交交網(wǎng)絡(luò)、電電子商務(wù)等等極大拓展展了互聯(lián)網(wǎng)網(wǎng)的邊界和和應(yīng)用范圍圍，各種數(shù)數(shù)據(jù)正在迅迅速膨脹并并變大。“大數(shù)據(jù)””的誕生：：大約從2009年開開始，“大大數(shù)據(jù)”才才成為互聯(lián)聯(lián)網(wǎng)信息技技術(shù)行業(yè)的的流行詞匯匯。美國互互聯(lián)網(wǎng)數(shù)據(jù)據(jù)中心指出出，互聯(lián)網(wǎng)網(wǎng)上的數(shù)據(jù)據(jù)每年將增增長50%，每兩年年便將翻一一番，而目目前世界上上90%以以上的數(shù)據(jù)據(jù)是最近幾幾年才產(chǎn)生生的。此外外，數(shù)據(jù)又又并非單純純指人們在在互聯(lián)網(wǎng)上上發(fā)布的信信息，全世世界的工業(yè)業(yè)設(shè)備、汽汽車、電表表上有著無無數(shù)的數(shù)碼碼傳感器，，隨時測量量和傳遞著著有關(guān)位置置、運動、、震動、溫溫度、濕度度乃至空氣氣中化學(xué)物物質(zhì)的變化化，也產(chǎn)生生了海量的的數(shù)據(jù)信息息。2001全球數(shù)據(jù)總總量x2GBTBPBEBZB想駕馭這龐龐大的數(shù)據(jù)據(jù)，我們必必須了解大大數(shù)據(jù)的特特征。地球上至今今總共的數(shù)數(shù)據(jù)量：2006年，個人用用戶才剛剛剛邁進TB時代，全球球一共新產(chǎn)產(chǎn)生了約180EB的數(shù)據(jù)；2012年，這個數(shù)數(shù)字達到了了3.7ZB；2020年，整個世世界的數(shù)據(jù)據(jù)總量將會會增長10倍，達到到35.2ZB（1ZB=10億TB）！1PB（拍字節(jié)））=2^50字節(jié)1EB（艾字節(jié)））=2^60字節(jié)1ZB（澤字節(jié)））=2^70字節(jié)大數(shù)據(jù)爆炸是增長“體量大(Volume)、多樣化(Variety)、快速化(Velocity)、價值密度度低（Value）VolumeVelocityValueVariety大數(shù)據(jù)的4“V”物理設(shè)備大數(shù)據(jù)的來源人為因素大數(shù)據(jù)的來源大數(shù)據(jù)的來源（一）什么么是大數(shù)據(jù)據(jù)（二）中國國大數(shù)據(jù)市市場及現(xiàn)狀狀（四）大數(shù)數(shù)據(jù)在企業(yè)業(yè)中的應(yīng)用用方向（六）大數(shù)數(shù)據(jù)就業(yè)方方向（五）大數(shù)數(shù)據(jù)調(diào)查報報告（七）忠告告和提醒（三）大數(shù)數(shù)據(jù)行業(yè)分分析與經(jīng)典典案例目錄12011年-2016年中國大數(shù)數(shù)據(jù)市場規(guī)規(guī)模2011年是中國大數(shù)數(shù)據(jù)市場元元年，一些些大數(shù)據(jù)產(chǎn)產(chǎn)品已經(jīng)推推出，部分分行業(yè)也有有大數(shù)據(jù)應(yīng)應(yīng)用案例的的產(chǎn)生。2012年-2016年，將迎來來大數(shù)據(jù)市市場的飛速速發(fā)展;2012年中國大數(shù)數(shù)據(jù)市場規(guī)規(guī)模達到4.7億元，2013年大數(shù)據(jù)市市場將迎來來增速為138.3%的飛躍，到到2016年，整個市市場規(guī)模逼逼近百億。中國大數(shù)據(jù)的市場分析22012年各行業(yè)大大數(shù)據(jù)市場場規(guī)模2012年政府、互互聯(lián)網(wǎng)、電電信、金融融的大數(shù)據(jù)據(jù)市場規(guī)模模較大，四四個行業(yè)將將占據(jù)一半半市場份額額；由于各個行行業(yè)都存在在大數(shù)據(jù)應(yīng)應(yīng)用需求，，潛在市場場空間非常?？捎^。中國大數(shù)據(jù)的市場分析大數(shù)據(jù)需求與待遇-前程無憂大數(shù)據(jù)需求與待遇-中華英才大數(shù)據(jù)需求與待遇-智聯(lián)招聘（一）什么么是大數(shù)據(jù)據(jù)（二）中國國大數(shù)據(jù)市市場及現(xiàn)狀狀（四）大數(shù)數(shù)據(jù)在企業(yè)業(yè)中的應(yīng)用用方向（六）大數(shù)數(shù)據(jù)就業(yè)方方向（五）大數(shù)數(shù)據(jù)調(diào)查報報告（七）忠告告和提醒（三）大數(shù)數(shù)據(jù)行業(yè)分分析與經(jīng)典典案例目錄應(yīng)用可能性性電信政府（公共共事業(yè)）交通金融醫(yī)療教育能源（電力力/石油）縱軸契合度：：表示該用戶的的IT應(yīng)用特點與大大數(shù)據(jù)特性的的契合程度；；橫軸應(yīng)用可能能性：表示該用戶出出于主客觀因因素在短期內(nèi)內(nèi)投資大數(shù)據(jù)據(jù)的可能性；；注：該位置為分析析師訪談的綜綜合印象，為為定性分析，，圖中位置不不代表具體數(shù)數(shù)值HighMidLowLowMidHigh優(yōu)先關(guān)注行業(yè)業(yè)用戶應(yīng)用特點與大大數(shù)據(jù)技術(shù)有值得關(guān)注行業(yè)業(yè)用戶應(yīng)有特點與大大數(shù)據(jù)的契合合度及應(yīng)用可可能性綜合較較高適當關(guān)注行業(yè)業(yè)用戶兩個維度暫時時都不具備優(yōu)優(yōu)勢，可適當當給予關(guān)注互聯(lián)網(wǎng)（電子子商務(wù)）契合度流通零售制造大數(shù)據(jù)熱門行業(yè)21互聯(lián)網(wǎng)行業(yè)大大數(shù)據(jù)主要應(yīng)應(yīng)用在社交和和網(wǎng)購方面結(jié)合位置數(shù)據(jù)據(jù)、消費數(shù)據(jù)據(jù)進行實時營營銷信息推送送是電信行業(yè)業(yè)大數(shù)據(jù)應(yīng)用用主要場景大數(shù)據(jù)潛力行業(yè)（一）3金融行業(yè)大數(shù)數(shù)據(jù)應(yīng)用場景景主要集中在在投資方面4制造行業(yè)具有有多環(huán)節(jié)、多多地域特色，，各個環(huán)節(jié)的的優(yōu)化是制造造行業(yè)最關(guān)注注的大數(shù)據(jù)應(yīng)應(yīng)用場景大數(shù)據(jù)熱門行業(yè)（二）Facebook廣告精準投放放2005-2011廣告規(guī)模增長長3倍廣告是互聯(lián)網(wǎng)網(wǎng)公司主營收收入針對喜好發(fā)布布廣告，千人人千面追蹤用戶行為為，整理分組組，實時發(fā)現(xiàn)現(xiàn)客戶群根據(jù)群體，推推送潛在的興興趣廣告2009-2010，廣告市場份份額翻一番2011相較于2010增長95%廣告增速是Google的3倍以上2006-2010期間，，facebook是唯一廣告市市場穩(wěn)穩(wěn)步增增長的的公司司大數(shù)據(jù)應(yīng)用案例（一）英國電電信公公司數(shù)據(jù)量量增加加，同同質(zhì)化化競爭爭需要預(yù)預(yù)測客客戶購購買方方向和和之后后的可可能價價值對客戶戶群進進行數(shù)數(shù)據(jù)挖挖掘，，和商商業(yè)活活動進進行關(guān)關(guān)聯(lián)定向營營銷，，特質(zhì)質(zhì)化營營銷，，銷售售最大大化與其他他160個電信信公司司競爭爭中位位于首首位2011年直郵郵活動動回應(yīng)應(yīng)率提提高100%。大數(shù)據(jù)應(yīng)用案例（二）某銀行行信用用卡部部門秒秒級營營銷競爭激激烈，，同質(zhì)質(zhì)化嚴嚴重構(gòu)建數(shù)數(shù)據(jù)倉倉庫，，多層層面數(shù)數(shù)據(jù)分分析對客戶戶群進進行低低中高高價值值分類類，提提供個個性化化服務(wù)務(wù)營銷近近秒級級，效效率極極大提提升2011年，每每次營營銷活活動配配置從從2-3周減少少到2-3天2011前三季季度，，交易易量增增加65%。比股股份制制銀行行搞出出14%，比中中國所所有銀銀行的的均值值搞出出4%不良貸貸款率率下降降0.76%百分點點成本支支出節(jié)節(jié)省上千萬萬大數(shù)據(jù)應(yīng)用案例（三）德國ECC緊急救救援呼呼叫中中心交通事事故，，救援援效率率，生生命保保障將事故故現(xiàn)場場可視視化，，結(jié)合合道路路、交交通、、天氣氣決策策最佳佳救援援方案案數(shù)據(jù)實實時傳傳送緊緊急救救助中中心或或警局局極大地地提升升了事事處理理效率率，由由最初初人工工管理理轉(zhuǎn)為為自動管管理大數(shù)據(jù)應(yīng)用案例（四）（一一））什什么么是是大大數(shù)數(shù)據(jù)據(jù)（二二））中中國國大大數(shù)數(shù)據(jù)據(jù)市市場場及及現(xiàn)現(xiàn)狀狀（四四））大大數(shù)數(shù)據(jù)據(jù)在在企企業(yè)業(yè)中中的的應(yīng)應(yīng)用用方方向向（六六））大大數(shù)數(shù)據(jù)據(jù)就就業(yè)業(yè)方方向向（五五））大大數(shù)數(shù)據(jù)據(jù)調(diào)調(diào)查查報報告告（七七））忠忠告告和和提提醒醒（三三））大大數(shù)數(shù)據(jù)據(jù)行行業(yè)業(yè)分分析析與與經(jīng)經(jīng)典典案案例例目錄大數(shù)數(shù)據(jù)據(jù)對對于于企企業(yè)業(yè)作作用用建立立客客戶戶關(guān)關(guān)系系，，便便于于精精準準營營銷銷了解競爭對手手，知己知彼彼創(chuàng)新商業(yè)模式式、產(chǎn)品與服服務(wù)實時調(diào)整經(jīng)營營決策挖掘企業(yè)內(nèi)部部數(shù)據(jù)，提高高企業(yè)決策力力定位客戶基本屬性(性別、年齡、購買力)1挖掘客戶行為與偏好，定制產(chǎn)品和服務(wù)2建立數(shù)據(jù)體系、市場測試、調(diào)整、優(yōu)化3建立數(shù)據(jù)倉庫，隨時擴充和更新，鎖定人群4數(shù)據(jù)庫是企業(yè)的無價之寶，財富之源5大數(shù)據(jù)應(yīng)用方向-精準營銷收集競爭對手數(shù)據(jù)1找出弱點，攻其軟肋，出奇制勝2找出自我弱勢，調(diào)整戰(zhàn)略，攻守有道。3差異化競爭，凸顯自我的企業(yè)價值。4大數(shù)據(jù)應(yīng)用方向-知己知彼美國印地安那大學(xué)和英國曼徹斯特大學(xué)的學(xué)者通過提取Twitter上的非結(jié)構(gòu)化數(shù)據(jù)分析公眾情緒，再將情緒曲線與道瓊斯工業(yè)指數(shù)進行對照分析，發(fā)現(xiàn)可以提前3~4天預(yù)測股市大盤走勢；1英國的科學(xué)家根據(jù)Twitter的數(shù)據(jù)來跟蹤流感的爆發(fā)。他們主要基于用戶發(fā)布信息中的關(guān)鍵詞，例如“我頭痛”等，并結(jié)合用戶的發(fā)布地點，按區(qū)域與英國衛(wèi)生部的官方數(shù)據(jù)進行了比較，最終建立起一個預(yù)測模型。創(chuàng)業(yè)團隊“SickWeather”甚至以預(yù)測疾病為主題開展了自己的創(chuàng)業(yè)項目。2大數(shù)據(jù)應(yīng)用方向-模式創(chuàng)新對企業(yè)內(nèi)部數(shù)據(jù)的采集、整理、挖掘和分析，為各部門人員提供數(shù)據(jù)支持，加快決策速度、確保準確性，實現(xiàn)企業(yè)高效管理1為企業(yè)質(zhì)量把控提供有效數(shù)據(jù)支撐，共同分享銷售、庫存等商業(yè)數(shù)據(jù)，共同進行品類分析和管理，提升產(chǎn)品品質(zhì)。2利用多個數(shù)據(jù)源的信息進行數(shù)據(jù)融合，促進對企業(yè)動態(tài)特性的準確理解，以便提高企業(yè)的決策能力。它通過數(shù)據(jù)的獲取、管理和分析，為企業(yè)組織的各種人員提供信息，以提高企業(yè)的戰(zhàn)略和戰(zhàn)術(shù)決策能力3大數(shù)據(jù)應(yīng)用方向-內(nèi)部數(shù)據(jù)挖掘創(chuàng)新隨著更多交易數(shù)據(jù)的增長，結(jié)合當下市場的搜索熱詞和消費者消費趨勢，適時推出與之相近的產(chǎn)品衍生品和相關(guān)服務(wù)。1

例如在線零售商，通過將流量和銷售結(jié)合進行對比分析，決定如何調(diào)整價格以及促銷活動的優(yōu)惠方案。2大數(shù)據(jù)應(yīng)用方向-尋找增長點大數(shù)據(jù)應(yīng)用具體化--BI大數(shù)據(jù)應(yīng)用具體化--數(shù)據(jù)挖掘大數(shù)據(jù)應(yīng)用具體化--相關(guān)性分析大數(shù)據(jù)應(yīng)用具體化-波士頓矩陣分析（一）什么是是大數(shù)據(jù)（二）中國大大數(shù)據(jù)市場及及現(xiàn)狀（四）大數(shù)據(jù)據(jù)在企業(yè)中的的應(yīng)用方向（六）大數(shù)據(jù)據(jù)就業(yè)方向（五）大數(shù)據(jù)據(jù)調(diào)查報告（七）忠告和和提醒（三）大數(shù)據(jù)據(jù)行業(yè)分析與與經(jīng)典案例目錄

政府推動

美國在2012年啟動了大數(shù)據(jù)研究與發(fā)展計劃，日本、英國以及相當一部分國家的政府都相繼啟動了這方面的行動計劃。黨的十八屆五中全會公報提出要實施“國家大數(shù)據(jù)戰(zhàn)略”，這是大數(shù)據(jù)第一次寫入黨的全會決議，這也是有史以來第一次將科技手段納入到國家戰(zhàn)略的高度。1大數(shù)據(jù)大勢所趨資本市場垂青

2012年4月，大數(shù)據(jù)分析公司Splunk高調(diào)宣傳大數(shù)據(jù)，引發(fā)投資者關(guān)注。12月初，為企業(yè)市場提供Hadoop解決方案的創(chuàng)業(yè)公司Cloudera獲得6500萬美元融資，估值約為7億美元。2大數(shù)據(jù)大勢所趨人才需求巨大蓋特納咨詢公司預(yù)測大數(shù)據(jù)將為全球帶來440萬個IT新崗位和上千萬個非IT崗位。麥肯錫公司預(yù)測美國到2018年需要深度數(shù)據(jù)分析人才44萬—49萬，缺口14萬—19萬人；需要既熟悉本單位需求又了解大數(shù)據(jù)技術(shù)與應(yīng)用的管理者150萬，這方面的人才缺口更大。中國是人才大國，但能理解與應(yīng)用大數(shù)據(jù)的創(chuàng)新人才更是稀缺資源。3機會在敲門

2015中國大數(shù)據(jù)市場規(guī)模將達到115.9億元，增速達38%；預(yù)計2016年至2018年中國大數(shù)據(jù)市場規(guī)模還將維持40%左右的高速增長。4大數(shù)據(jù)大勢所趨大數(shù)據(jù)時代已來臨-DT在前不久結(jié)束的云棲大會上，阿里巴巴集團董事局主席馬云說，在未來，計算能力將會成為一種生產(chǎn)能力，而數(shù)據(jù)將會成為最大的生產(chǎn)資料，會成為像水、電、石油一樣的公共資源。馬云認為，人類已進入DT（大數(shù)據(jù)）時代，數(shù)據(jù)取代了石油成為最核心的資源。5（一）什么是是大數(shù)據(jù)（二）中國大大數(shù)據(jù)市場及及現(xiàn)狀（四）大數(shù)據(jù)據(jù)在企業(yè)中的的應(yīng)用方向（六）大數(shù)據(jù)據(jù)就業(yè)方向（五）大數(shù)據(jù)據(jù)調(diào)查報告（七）忠告和和提醒（三）大數(shù)據(jù)據(jù)行業(yè)分析與與經(jīng)典案例目錄大數(shù)據(jù)應(yīng)用開發(fā)工程師1ETL開發(fā)、、hadoop開發(fā)、、機器器學(xué)習(xí)習(xí)開發(fā)發(fā)、實實時計計算開開發(fā)、、數(shù)據(jù)據(jù)倉庫庫等。。(10k-15K)/月大數(shù)據(jù)系統(tǒng)研發(fā)工程師2基于大數(shù)據(jù)據(jù)現(xiàn)有生態(tài)就業(yè)方向大數(shù)據(jù)分析師3主要職責是是對企業(yè)的的業(yè)務(wù)模型型進行抽象象，運用數(shù)數(shù)學(xué)思想進進行數(shù)據(jù)建建模，推導(dǎo)導(dǎo)出數(shù)學(xué)公公式或者是是相應(yīng)的數(shù)數(shù)學(xué)算法，，交由開發(fā)發(fā)人員進行行實現(xiàn)。該該職位對數(shù)數(shù)學(xué)領(lǐng)域的的知識要求求較高，但但更重要的的是對企業(yè)業(yè)的業(yè)務(wù)模模型和市場場洞察力以以及獨立分分析、思考考能力都有有嚴格的要要求，而且且需要有非非常豐富的的行業(yè)經(jīng)驗驗、非短時時間內(nèi)可以以達到的程程度。(50w-100w)/年就業(yè)方向大數(shù)據(jù)架構(gòu)師4大數(shù)據(jù)架架構(gòu)師涉涉及的工工作范疇疇更多的的是企業(yè)業(yè)大數(shù)據(jù)據(jù)的整體體規(guī)劃和和布局，，比如集集群架構(gòu)構(gòu)的設(shè)計計、可伸伸縮性處處理、高高可用性性對應(yīng)策策略、計計算機硬硬件選型型、大數(shù)數(shù)據(jù)集群群的構(gòu)建建指導(dǎo)方方案、資資源調(diào)度度處理、、硬件調(diào)調(diào)優(yōu)處理理、操作作系統(tǒng)與與大數(shù)據(jù)據(jù)軟件棧棧的構(gòu)建建與調(diào)優(yōu)優(yōu)等等。。設(shè)計的的技術(shù)知知識