大數(shù)據(jù)的發(fā)展現(xiàn)狀

1、大數(shù)據(jù)的發(fā)展現(xiàn)狀2015年7月一、大數(shù)據(jù)的提出及概念123大數(shù)據(jù)的提出大數(shù)據(jù)的概念大數(shù)據(jù)的特點(diǎn) 大數(shù)據(jù)最早在上世紀(jì)90年代被提出，麥肯錫在2012年的評(píng)估報(bào)告中指出“大數(shù)據(jù)時(shí)代”已經(jīng)到來，使得人們對(duì)于大數(shù)據(jù)重要性的認(rèn)知和關(guān)注度進(jìn)一步增加。 研究機(jī)構(gòu)Gartner給出的定義：“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。 大數(shù)據(jù)的4V特點(diǎn)：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價(jià)值）二、國內(nèi)外大數(shù)據(jù)的發(fā)展現(xiàn)狀2012-2017年全球大數(shù)據(jù)市場規(guī)模 2014 年全球大數(shù)據(jù)市場規(guī)模達(dá)到285

2、億美元，同比增長53.2%。大數(shù)據(jù)成為全球IT 支出新的增長點(diǎn)。2014年大數(shù)據(jù)對(duì)全球IT 開支的直接或間接推動(dòng)達(dá)2320 億美元，預(yù)計(jì)到2018 年這一數(shù)據(jù)將增長三倍。 2014 年，我國大數(shù)據(jù)仍處于起步發(fā)展階段，行業(yè)應(yīng)用得到快速推廣，市場規(guī)模增速明顯。2014 年，我國大數(shù)據(jù)市場規(guī)模達(dá)到75.7 億元，同比增長28.4%。2012-2016年中國大數(shù)據(jù)市場規(guī)模 視頻監(jiān)控?cái)z像頭廣泛應(yīng)用于主要道路、熱點(diǎn)地區(qū)、地鐵和居民小區(qū)的安全監(jiān)視。北京超市食品架前均要求裝能清晰拍到走在架前的人的臉部。 一個(gè)8Mbps攝像頭每小時(shí)產(chǎn)生3.6GB,很多城市的攝像頭多達(dá)幾十萬個(gè)，一個(gè)月的數(shù)據(jù)量達(dá)到數(shù)百PB，若需保

3、存3個(gè)月則存儲(chǔ)量達(dá)EB量級(jí)。 國家稅務(wù)總局每月收集全國數(shù)據(jù)4TB，己集中的結(jié)構(gòu)化數(shù)據(jù)260TB 北京市政府部門數(shù)據(jù)庫總量2011年63PB，2012年95PB三、各大行業(yè)的數(shù)據(jù)積累與價(jià)值 政府?dāng)?shù)據(jù)被標(biāo)簽和分析的數(shù)據(jù)類型比例監(jiān)控嵌入與醫(yī)療數(shù)據(jù)處理娛樂與社交媒體消費(fèi)者圖像與視頻20102015202050%100% GE的每一引擎裝20個(gè)傳感器，在飛行過程中每隔一段時(shí)間通過衛(wèi)星將傳感器收集的引擎狀態(tài)傳給GE公司。每個(gè)引擎每飛行小時(shí)產(chǎn)生20TB,從倫敦到紐約每一飛行產(chǎn)生640TB級(jí)數(shù)據(jù)，GE每天收集PB級(jí)引擎數(shù)據(jù)。美國每月收集360萬次飛行記錄，監(jiān)視機(jī)隊(duì)25000個(gè)引擎。 GE通過對(duì)所生產(chǎn)的2萬臺(tái)噴

4、氣引擎的數(shù)據(jù)分析，開發(fā)的算法能夠提前一個(gè)月預(yù)測其維護(hù)需求，預(yù)測準(zhǔn)確率達(dá)到70%。依此對(duì)噴氣引擎預(yù)防性維護(hù)，在美國就防止了不止6萬次的航班延誤或取消。如果將傳感數(shù)據(jù)收集和分析用于燃油效率上，1%的提高就能使航空業(yè)每年省20億美元。三、各大行業(yè)的數(shù)據(jù)積累與價(jià)值 制造業(yè)數(shù)據(jù) 公交一卡通每天4千萬次，地鐵一千萬人次。北京市交通調(diào)度中心每天數(shù)據(jù)增量30GB，存儲(chǔ)量20TB 發(fā)卡量40億張，每天近600億次交易，每秒50萬次記錄，存儲(chǔ)量350TB三、各大行業(yè)的數(shù)據(jù)積累與價(jià)值服務(wù)業(yè)數(shù)據(jù) 年均產(chǎn)生數(shù)據(jù)510TB(不含視頻)累計(jì)產(chǎn)生數(shù)5PB 用戶上網(wǎng)記錄每秒83萬條，對(duì)應(yīng)年數(shù)據(jù)量3.6PB 農(nóng)夫山泉每天從銷售其

5、礦泉水的超市回傳10張照片，每月3TB 企業(yè)級(jí)數(shù)據(jù)倉庫存儲(chǔ)量已超過350TB，積累的數(shù)據(jù)4. 5PB工商銀行 每年產(chǎn)生結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)分別突破100TB和1PB，已歸檔PB級(jí)數(shù)據(jù)農(nóng)業(yè)銀行 每日約處理600G數(shù)據(jù)，存量數(shù)據(jù)超過70TB交通銀行現(xiàn)在一個(gè)病人的CT影像往往多達(dá)兩千幅，數(shù)據(jù)量己經(jīng)到了幾十個(gè)GB.如今中國大城市的醫(yī)院每天門診上萬人，全國每年門診人數(shù)更是以數(shù)十億計(jì)，住院人次己經(jīng)達(dá)到兩億人次。按照醫(yī)療行業(yè)的相關(guān)規(guī)定，一個(gè)患者的數(shù)據(jù)通常需要保留50年以上。三、各大行業(yè)的數(shù)據(jù)積累與價(jià)值醫(yī)療數(shù)據(jù)中山大學(xué)第一附屬醫(yī)院數(shù)據(jù)存儲(chǔ)量（TB） 淘寶每天交易超過數(shù)千萬筆，其單日數(shù)據(jù)產(chǎn)生量超過50TB, 峰

6、值時(shí)處理交易達(dá)到9萬筆/分鐘，1GB/s。在阿里數(shù)據(jù)平臺(tái)事業(yè)部的服務(wù)器上有超過100PB己處理過的數(shù)據(jù)。 百度每天要處理60億次搜索請(qǐng)求(谷歌為30億次)，新增10TB，處理100PB數(shù)據(jù)，每天產(chǎn)生一個(gè)TB的日志。目前存儲(chǔ)網(wǎng)頁數(shù)近1萬億，數(shù)據(jù)總量1000PB 騰訊騰訊QQ月活躍用戶超8億，微信用戶5億，在線人際關(guān)系鏈超1000億，每天1千億次服務(wù)調(diào)用，日新增200-300TB數(shù)據(jù)量，每月增加10%。經(jīng)壓縮后的數(shù)據(jù)總存儲(chǔ)量100PB 新浪微博每天有數(shù)十億外部網(wǎng)頁和API接口訪問需求。在晚上高峰期，微博每秒要接受100萬以上的響應(yīng)請(qǐng)求。三、各大行業(yè)的數(shù)據(jù)積累與價(jià)值互聯(lián)網(wǎng)數(shù)據(jù)圖靈獎(jiǎng)獲得者Jim Gr

7、ay提出新摩爾定律:全球新產(chǎn)生的數(shù)據(jù)年增40%,全球信息總量每兩年就可以翻番!紅樓夢(mèng)含標(biāo)點(diǎn)共87萬字，每漢字占2B，全書1.74MB,1EB =6626億部，即全球人均100部紅樓夢(mèng)，1EB可刻滿1.68億張DVD三、各大行業(yè)的數(shù)據(jù)積累與價(jià)值互聯(lián)網(wǎng)流量變化 英國醫(yī)療服務(wù)業(yè)每年價(jià)值3000億美元大約0.7%的年生產(chǎn)率增長 美國零售業(yè)可能的凈利潤增長水平為60%或以上0.51.0%的年生產(chǎn)率增長 歐洲公共部門管理每年價(jià)值2500億歐元 (約35OO億美元)大約0.5%的年生產(chǎn)率增長 制造業(yè)產(chǎn)品開發(fā)、組裝成本降低達(dá)50%運(yùn)營資本降低達(dá)7% 全球個(gè)人位置數(shù)據(jù)服務(wù)提供商收入1000億美元或以上最終用戶價(jià)

8、值達(dá)7000億美元40%GDP 麥肯錫評(píng)估報(bào)告中指出大數(shù)據(jù)在政府公共服務(wù)、醫(yī)療服務(wù)、零售業(yè)、制造業(yè)、以及涉及個(gè)人位置服務(wù)等領(lǐng)域都將帶來可觀的價(jià)值海量數(shù)據(jù)可以在各個(gè)部門創(chuàng)造重大財(cái)務(wù)價(jià)值三、各大行業(yè)的數(shù)據(jù)積累與價(jià)值大數(shù)據(jù)的價(jià)值四、大數(shù)據(jù)的熱門應(yīng)用領(lǐng)域1制造業(yè) 豐田利用數(shù)據(jù)分析在試制樣車前避免了80%的缺陷；GE通過對(duì)2萬臺(tái)噴氣引擎的數(shù)據(jù)分析，能夠提前一個(gè)月預(yù)測其維護(hù)需求，預(yù)測準(zhǔn)確率達(dá)到70%；百度將網(wǎng)民對(duì)汽車的各類搜索 請(qǐng)求進(jìn)行大數(shù)據(jù)挖掘，幫助一汽等車企深入了解消費(fèi)者需求，設(shè)計(jì)新品及資源調(diào)配2農(nóng)業(yè) 硅谷Climate公司從美國政府獲得30年的氣候、60年的農(nóng)作物收成、14TB的土壤數(shù)據(jù)，還收集25

9、0萬個(gè)地點(diǎn)的氣候數(shù)據(jù)，向農(nóng)戶提供天氣變化、作物、病蟲害和災(zāi)害、肥料、收獲、產(chǎn)量、市場 價(jià)格等咨詢和保險(xiǎn)服務(wù)，承諾侮英畝的玉米利潤增加100美元，如預(yù)測有誤將將及時(shí)賠付。3商業(yè) 沃爾瑪基于每月4500萬網(wǎng)購數(shù)據(jù)，結(jié)合網(wǎng)上挖掘的對(duì)產(chǎn)品的大眾評(píng)分，開發(fā)語義搜索引擎，方便瀏覽，在線購物者增加1015%,增加銷售十多億美元。還通過對(duì)消費(fèi)者購物行為分析，了解顧客購物習(xí)慣，優(yōu)化商品陳列。四、大數(shù)據(jù)的熱門應(yīng)用領(lǐng)域4金融 華爾街的銀行應(yīng)用大數(shù)據(jù)分析風(fēng)險(xiǎn)時(shí)間從3月縮短到3小時(shí)，價(jià)格計(jì)算從48小時(shí)到20分鐘，行為分析從72小時(shí)到20分鐘；交通銀行太平洋信用卡中心采用大數(shù)據(jù)信貸審批決策引擎，審批效率提高30%；阿里公

10、司基于大數(shù)據(jù)建設(shè)投融資平臺(tái)。5交通 美國UPS每天平均運(yùn)輸163萬件包裹，用傳感器跟蹤46000輛車，2011年少跑了8500萬英里路程，節(jié)約了840萬加侖燃料；中遠(yuǎn)物流公司有100多個(gè)配送中心，3000個(gè)網(wǎng)點(diǎn)，裝GPS的上萬輛車每月產(chǎn)生2億條信息，減排10%。6醫(yī)療 蘋果公司總裁喬布斯花費(fèi)幾十萬美元獲得自身全部DNA，希望通過這種方式戰(zhàn)勝癌癥雖然愿望沒有實(shí)現(xiàn)，但也將他的生命延長了幾年；人體對(duì)藥品 代謝方式的差異 取決于個(gè)體特定的基因、酶和蛋白質(zhì)組合，因此基因信息對(duì)選擇最優(yōu)治療非常關(guān)鍵。 2014 年，大數(shù)據(jù)在公共服務(wù)中的交通、醫(yī)療、教育、預(yù)測服務(wù)等領(lǐng)域得到廣泛應(yīng)用。隨著第三方服務(wù)機(jī)構(gòu)的參與，公眾需求被不斷挖掘，應(yīng)用場景逐步豐富。 企業(yè)級(jí)大數(shù)據(jù)應(yīng)用逐漸普及，消費(fèi)者行為分析、精準(zhǔn)營銷、新業(yè)務(wù)新產(chǎn)品推廣、廣告推送、社交媒體、庫存管理