大數(shù)據(jù)那些事

大數(shù)據(jù)那些事目錄

大數(shù)據(jù)時代1.背景歷史、時代2.認(rèn)知定義特點(diǎn)思維3.應(yīng)用全方位大變革4.未來機(jī)遇挑戰(zhàn)

5.思考正在發(fā)生的未來6.學(xué)習(xí)菜鳥進(jìn)階2001年Gartner研究指出，現(xiàn)代信息社會的信息爆炸已經(jīng)演變成了數(shù)據(jù)爆炸。2008年《Nature》雜志出版專刊“BigData”，分析了大量快速涌現(xiàn)數(shù)據(jù)給數(shù)據(jù)分析處理帶來的巨大挑戰(zhàn)。2011年《Science》推出關(guān)于數(shù)據(jù)處理的?？癉ealingwithdata”，討論了數(shù)據(jù)洪流（DataDeluge）所帶來的挑戰(zhàn)。5月麥肯錫全球研究院發(fā)布了《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個領(lǐng)域》研究報告。2012年3月奧巴馬總統(tǒng)宣布美國政府投資逾2億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃（BDRDI）”。12月，維克托?邁爾-舍恩伯格著作的《大數(shù)據(jù)時代：生活、工作與思維的大變革》。NO.1

背景—?dú)v史、時代4

硬件成本的降低網(wǎng)絡(luò)帶寬的提升云計算的興起網(wǎng)絡(luò)技術(shù)的發(fā)展智能終端的普及電子商務(wù)、社交網(wǎng)絡(luò)、電子地圖等的全面應(yīng)用物聯(lián)網(wǎng)NO.1

背景—?dú)v史、時代大數(shù)據(jù)時代到來的必然性：NO.1

背景—?dú)v史、時代大數(shù)據(jù)時代真的來臨了么？隨著一系列標(biāo)志性事件的發(fā)生和建立，人們越發(fā)感覺到大數(shù)據(jù)時代的力量。因此2013年被許多國外媒體和專家稱為“大數(shù)據(jù)元年”。當(dāng)今“大社會”，三分技術(shù)，七分?jǐn)?shù)據(jù)，得數(shù)據(jù)者得天下。麥肯錫全球研究院（2011）對大數(shù)據(jù)的定義是從數(shù)據(jù)集的大體量入手的：大數(shù)據(jù)是指那些規(guī)模大到傳統(tǒng)的數(shù)據(jù)庫軟件工具已經(jīng)無法采集、存儲、管理和分析的數(shù)據(jù)集。百度百科對大數(shù)據(jù)的定義是:大數(shù)據(jù)(BigData)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)達(dá)到擷取、管理、處理并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。維克托?邁爾-舍恩伯格（2012）在《大數(shù)據(jù)時代》一書中主要從價值大的角度來定義大數(shù)據(jù)，他認(rèn)為大數(shù)據(jù)是當(dāng)今社會所獨(dú)有的一種新型的能力：以一種前所未有的方式，通過對海量數(shù)據(jù)進(jìn)行分析，獲得有巨大價值的產(chǎn)品和服務(wù)，或深刻的洞見。NO.2

認(rèn)知—定義、特點(diǎn)、思維大數(shù)據(jù)(BigData)的定義數(shù)據(jù)體量巨大。從TB級別躍升到PB級別。Volume大量存儲量麥肯錫估計，全球企業(yè)2010年硬盤上存儲了超過7EB的新數(shù)據(jù)，消費(fèi)者在個人電腦等設(shè)備上存儲了超過6EB的新數(shù)據(jù)。（相當(dāng)于美國國會圖書館中存儲數(shù)據(jù)的4000多倍）太字節(jié)，記作TB，1TB=1024GB；拍字節(jié)，記作PB，1PB=1024TB；艾字節(jié)，記作EB，1EB=1024PB；澤字節(jié)，記作ZB，1ZB=1024EB。。。。NO.2

認(rèn)知—定義、特點(diǎn)、思維大數(shù)據(jù)的4V特點(diǎn)：Volume、Velocity、Variety、Value數(shù)據(jù)體量巨大。從TB級別躍升到PB級別。Volume大量存儲量+計算量廣州超算中心16000個運(yùn)算節(jié)點(diǎn)312萬個計算核心整體總計內(nèi)存1.408PB12.4PB的硬盤陣列NO.2

認(rèn)知—定義、特點(diǎn)、思維大數(shù)據(jù)的4V特點(diǎn)：Volume、Velocity、Variety、Value數(shù)據(jù)體量巨大。從TB級別躍升到PB級別。Volume大量Velocity高速處理速度快。1秒定律。這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。數(shù)據(jù)更新、增長速度快Facebook上每秒有4.1萬張照片上傳，2011年以發(fā)圖1400億張成為世界最大照片庫。NO.2

認(rèn)知—定義、特點(diǎn)、思維大數(shù)據(jù)的4V特點(diǎn)：Volume、Velocity、Variety、Value數(shù)據(jù)體量巨大。從TB級別躍升到PB級別。Volume大量Velocity高速處理速度快。1秒定律。這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。Variety多樣數(shù)據(jù)類型繁多。不僅包括傳統(tǒng)的關(guān)系數(shù)據(jù)類型，也包括以網(wǎng)頁、音視頻、文檔等形式存在的未加工的、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。NO.2

認(rèn)知—定義、特點(diǎn)、思維大數(shù)據(jù)的4V特點(diǎn)：Volume、Velocity、Variety、Value數(shù)據(jù)體量巨大。從TB級別躍升到PB級別。Volume大量Velocity高速處理速度快。1秒定律。這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。Variety多樣數(shù)據(jù)類型繁多。不僅包括傳統(tǒng)的關(guān)系數(shù)據(jù)類型，也包括以網(wǎng)頁、音視頻、文檔等形式存在的未加工的、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。Value價值

價值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。NO.2認(rèn)知知——定定義義、、特特點(diǎn)點(diǎn)、、思思維維大數(shù)數(shù)據(jù)據(jù)的的4V特特點(diǎn)點(diǎn)：：Volume、、Velocity、、Variety、、ValueNO.2認(rèn)知知——定定義義、、特特點(diǎn)點(diǎn)、、思思維維大數(shù)數(shù)據(jù)據(jù)的的3個個思思維維變變革革“更多多”————不不是是隨隨機(jī)機(jī)樣樣本本，，而而是是全全體體數(shù)數(shù)據(jù)據(jù)當(dāng)數(shù)數(shù)據(jù)據(jù)處處理理技技術(shù)術(shù)已已經(jīng)經(jīng)發(fā)發(fā)生生翻翻天天覆覆地地的的變變化化時時，，在在大大數(shù)數(shù)據(jù)據(jù)時時代代進(jìn)進(jìn)行行抽抽樣樣分分析析就就像像在在汽汽車車時時代代騎騎馬馬一一樣樣。。一一切切都都改改變變了了，，我我們們需需要要的的是是所所有有的的數(shù)數(shù)據(jù)據(jù)，，““樣樣本本＝＝總總體體””。?！案煤谩薄薄徊皇鞘且蛞蚬P(guān)關(guān)系系，，而而是是相相關(guān)關(guān)關(guān)關(guān)系系知道道““是是什什么么””就就夠夠了了，，沒沒必必要要知知道道““為為什什么么””。。在在大大數(shù)數(shù)據(jù)據(jù)時時代代，，我我們們不不必必非非得得知知道道現(xiàn)現(xiàn)象象背背后后的的原原因因，，而而是是要要讓讓數(shù)數(shù)據(jù)據(jù)自自己己““發(fā)發(fā)聲聲””。?！案s雜”————不不是是精精確確性性，，而而是是混混雜雜性性執(zhí)迷迷于于精精確確性性是是信信息息缺缺乏乏時時代代和和模模擬擬時時代代的的產(chǎn)產(chǎn)物物。。只只有有5%的的數(shù)數(shù)據(jù)據(jù)是是有有框框架架且且能能適適用用于于傳傳統(tǒng)統(tǒng)數(shù)數(shù)據(jù)據(jù)庫庫的的。。如如果果不不能能接接受受混混亂亂，，剩剩下下95%的的非非框框架架數(shù)數(shù)據(jù)據(jù)都都無無法法被被利利用用，，只只有有接接受受不不精精確確性性，，我我們們才才能能打打開開一一扇扇從從未未涉涉足足的的世世界界的的窗窗戶戶。。商業(yè)業(yè)領(lǐng)域域社會會管管理理領(lǐng)領(lǐng)域域醫(yī)療療保保健健領(lǐng)領(lǐng)域域教育育領(lǐng)域域大數(shù)數(shù)據(jù)據(jù)公共共服務(wù)務(wù)電子子政務(wù)務(wù)企業(yè)業(yè)管理理商業(yè)業(yè)智能能生活活娛樂樂NO.3應(yīng)用用——全全方方位位大大變變革革情報報收集集氣候候天氣氣總統(tǒng)統(tǒng)選舉舉天文文宇宙宙生物物醫(yī)學(xué)學(xué)&零售售商商電子子商商務(wù)務(wù)NO.3應(yīng)用用——全全方方位位大大變變革革NO.3應(yīng)用用——全全方方位位大大變變革革預(yù)計計2016年年““百百度度大大數(shù)數(shù)據(jù)據(jù)””上上線線對對外外付付費(fèi)費(fèi)試試用用里昂昂市市用用大大數(shù)數(shù)據(jù)據(jù)治治堵堵里昂昂市市開開發(fā)發(fā)了了一一套套決決策策支支持持優(yōu)優(yōu)化化器器，，實(shí)實(shí)時時地地報報告告交交通通的的情情況況，，并并且且來來偵偵測測擁擁堵堵的的時時間間。。NO.3應(yīng)用用——全全方方位位大大變變革革利用用短短信信、、微微博博、、微微信信和和搜搜索索引引擎擎，，可可以以收收集集熱熱點(diǎn)點(diǎn)事事件件，，挖挖掘掘輿輿情情，，還還可可以以追追蹤蹤造造謠謠信信息息的的源源頭頭。。Farecast通通過過對對于于機(jī)機(jī)票票數(shù)數(shù)據(jù)據(jù)的的趨趨勢勢變變化化情情況況，，提提供供票票價價預(yù)預(yù)測測的的服服務(wù)務(wù)，，準(zhǔn)準(zhǔn)確確度度高高達(dá)達(dá)75%，，到到2012年年為為止止，，F(xiàn)arecast系系統(tǒng)統(tǒng)用用了了將將近近十十萬萬億億條條價價格格記記錄錄來來幫幫助助預(yù)預(yù)測測美美國國國國內(nèi)內(nèi)航航班班的的票票價價。。NO.3應(yīng)用用——全全方方位位大大變變革革NO.3應(yīng)用用——全全方方位位大大變變革革通過對全全市的歷歷史罪案案以及出出警紀(jì)錄錄得出城城市各種種罪案高發(fā)發(fā)區(qū)域，例如剁剁手區(qū)/掏包區(qū)區(qū)/性侵侵區(qū)………等等，，每天發(fā)發(fā)布提醒醒，推送送到市民民的手機(jī)機(jī)/平板板等所有有終端。。我相信信性侵區(qū)區(qū)的流氓氓早晚會會不堪重重負(fù)而投投案自首首的。大數(shù)據(jù)在在罪案預(yù)預(yù)警的應(yīng)應(yīng)用40天，36億人次。。這是2014年春運(yùn)的的總時間間和總出出行人數(shù)數(shù)。在這這場堪稱稱人類歷歷史上最最大規(guī)模模的短期期遷徙中中，人群從哪哪兒去了了哪兒？？哪些線線路最熱熱門？在以往，，這些問問題可能能難以精精確回答答。但隨隨著技術(shù)術(shù)進(jìn)步，，通過應(yīng)應(yīng)用“大大數(shù)據(jù)””這一技技術(shù)利器器，人們們已經(jīng)接接近“在在迷宮中中感受全全局”地地看見春春運(yùn)的全全景。NO.3應(yīng)用—全全方位大大變革革大數(shù)據(jù)首首次播報報春運(yùn)遷遷徙實(shí)況況谷歌發(fā)現(xiàn)現(xiàn)，某些些搜索字字詞可以以很好地地標(biāo)示流流感疫情情的現(xiàn)狀狀。Google流流感趨勢勢使用了了經(jīng)過匯匯總的Google搜索索數(shù)據(jù)庫庫來測流流感疫情情。谷歌流感感趨勢項(xiàng)項(xiàng)目NO.3應(yīng)用—全全方位大大變革革奧巴馬的的數(shù)據(jù)團(tuán)團(tuán)隊(duì)對數(shù)數(shù)以千萬萬計的選選民郵件件進(jìn)行了了大數(shù)據(jù)挖挖掘，精確預(yù)測測出了更更可能擁擁護(hù)奧巴巴馬的選選民類型型，并進(jìn)進(jìn)行了有有針對性性的宣傳傳，從而而幫助奧奧巴馬成成為了美美國歷史史上唯一一一位在在競選經(jīng)經(jīng)費(fèi)處于于劣勢下下實(shí)現(xiàn)連連任的總總統(tǒng)。大數(shù)據(jù)幫幫助奧巴巴馬成功實(shí)現(xiàn)現(xiàn)連任NO.3應(yīng)用—全全方位大大變革革通過大數(shù)數(shù)據(jù)你可可以知道道：一個學(xué)生生成績不不好是由由于他因因?yàn)橹車鷩h(huán)境而而分心了了嗎？期末考試試不及格格是否說說明學(xué)生生未掌握握學(xué)習(xí)內(nèi)內(nèi)容，還還是因?yàn)闉樗埩肆撕芏嗖〔〖俚木壘壒?？在加拿大大，教育育科技公公司“渴望學(xué)學(xué)習(xí)”（（Desire2Learn）已經(jīng)面面向高等等教育領(lǐng)領(lǐng)域的學(xué)學(xué)生，推推出了基基于過去去的學(xué)習(xí)習(xí)成績數(shù)數(shù)據(jù)預(yù)測測并改善善未來學(xué)學(xué)習(xí)成績績的大數(shù)數(shù)據(jù)服務(wù)務(wù)項(xiàng)目。。通過監(jiān)監(jiān)控學(xué)生生閱讀電子子化的課課程材料料、提交交電子版版的作業(yè)業(yè)、通過過在線與與同學(xué)交交流、完完成考試試與測驗(yàn)驗(yàn)，就能讓計計算程序序持續(xù)、、系統(tǒng)地地分析每每個學(xué)生生的教育育數(shù)據(jù)。。老師得得到的不不再是過過去那種種只展示示學(xué)生分分?jǐn)?shù)與作作業(yè)的結(jié)結(jié)果，而而是像閱閱讀材料料的時間間長短等等這樣更更為詳細(xì)細(xì)的重要要信息。。這樣老師師就能及及時診斷斷問題的的所在，，提出改改進(jìn)的建建議，并并預(yù)測學(xué)學(xué)生的期期末考試試成績。。NO.3應(yīng)用—全全方位大大變革革新華社新新媒體中中心聯(lián)合合數(shù)托邦邦創(chuàng)意分分析工作作室抓取取了新浪浪微博博上提及及“爸爸爸去哪兒兒”45.5萬條原創(chuàng)創(chuàng)微博，，并對36.7萬獨(dú)立原原發(fā)作者者用戶（（去除疑疑似水軍軍賬戶））、1300余萬條用用戶微博博及近1億的關(guān)系系進(jìn)行數(shù)數(shù)據(jù)分析析。結(jié)果發(fā)現(xiàn)現(xiàn)：《爸爸去哪哪兒》不僅成為為名副其其實(shí)的““口碑王王”，還還使娛樂樂節(jié)目發(fā)發(fā)生了很很多微妙妙變化。。大愛在那那兒！———《爸爸爸去哪哪兒》大大數(shù)據(jù)解解讀NO.3應(yīng)用—全全方位大大變革革粉絲性別比例：“爸爸粉”女性占到八成。難道是因?yàn)樾前痔珟?？?dāng)然，這與微博中女性用戶占比較高和她們更愛分享轉(zhuǎn)評的習(xí)慣也有關(guān)。用戶年齡分布：覆蓋適齡婚育群體，觀眾氣質(zhì)更顯成熟。不少適齡青年發(fā)微博稱，“看到某某，我也好想結(jié)婚，想有個這樣的兒子／女兒?！钡貐^(qū)偏好排行：《爸爸去哪兒》的觀眾明顯向GDP高地聚集。對湘派娛樂節(jié)目免疫力極強(qiáng)的京、滬、蘇、蜀等地罕見上榜?！栋职秩ツ膬骸菲枚惹笆》葜?，有５個GDP十強(qiáng)省份，涵蓋3個直轄市。這是否能說明，一部分“先富起來”的人，對親子關(guān)系有更深的焦慮和更多的期待？NO.3應(yīng)用—全全方位大大變革革贊助商潛在贊助商明星同類節(jié)目競爭者節(jié)目組觀眾大數(shù)據(jù)解讀可能的受益者滿足了自己“八卦”的需求。對這個節(jié)目有了深入的了解。從《爸爸去哪兒》的成功中可以學(xué)到什么？本次贊助是否成功？成功在哪里？為以后廣告的投放提供了經(jīng)驗(yàn)。了解了自己及孩子在觀眾心中的“熱度”，為下一步轉(zhuǎn)型及孩子未來的規(guī)劃提供參考。根據(jù)之前的數(shù)據(jù)分析，大膽推出了低成本同名電影并大獲成功！第二季的拍攝緊鑼密鼓地進(jìn)行著……為決策提供支持。若自己的目標(biāo)客戶與該節(jié)目的觀眾一致，可以考慮下一季的贊助。NO.3應(yīng)用—全全方位大大變革革贊助商熱度：主冠名贊助商強(qiáng)勢冒出，在幾乎沒有社交媒體營銷配合下，微博熱度強(qiáng)勁增長。英菲尼迪從第三期開始廣告植入，話題增量立竿見影。思念水餃配合“爸爸吃神馬”等互動促銷，參與度有所增加。只是不知，三大贊助商的投入是否與這一結(jié)果完全契合？明星關(guān)注度：數(shù)據(jù)來自于每期節(jié)目播出后一周內(nèi)5對父子的原發(fā)微博提及量（含昵稱）。張亮父子低調(diào)亮相，關(guān)注度逐期上升，成功實(shí)現(xiàn)實(shí)現(xiàn)“逆襲”。NO.3應(yīng)用—全全方位大大變革革機(jī)遇大數(shù)據(jù)技術(shù)促進(jìn)國家和社會發(fā)展大數(shù)據(jù)藍(lán)海成為企業(yè)競爭的新焦點(diǎn)大數(shù)據(jù)時代呼喚創(chuàng)新型人才挑戰(zhàn)大數(shù)據(jù)技術(shù)的運(yùn)用仍有困難大數(shù)據(jù)給信息安全帶來新挑戰(zhàn)NO.4未來—機(jī)機(jī)遇與挑挑戰(zhàn)大數(shù)據(jù)技技術(shù)的運(yùn)運(yùn)用前景景是十分分光明的的。當(dāng)前前，我國國正處在在全面建建成小康康社會征征程中，，工業(yè)化化、信息息化、城城鎮(zhèn)化、、農(nóng)業(yè)現(xiàn)現(xiàn)代化任任務(wù)很重重，建設(shè)設(shè)下一代代信息基基礎(chǔ)設(shè)施施，發(fā)展展現(xiàn)代信信息技術(shù)術(shù)產(chǎn)業(yè)體體系，健健全信息息安全保保障體系系，推進(jìn)進(jìn)信息網(wǎng)網(wǎng)絡(luò)技術(shù)術(shù)廣泛運(yùn)運(yùn)用，是是實(shí)現(xiàn)四四化同步步發(fā)展的的保證。。大數(shù)據(jù)據(jù)分析對對我們深深刻領(lǐng)會會世情和和國情，，把握規(guī)規(guī)律，實(shí)實(shí)現(xiàn)科學(xué)學(xué)發(fā)展，，做出科科學(xué)決策策具有重重要意義義，我們們必須重重新認(rèn)識識數(shù)據(jù)的的重要價價值。NO.4未來—機(jī)機(jī)遇與挑挑戰(zhàn)機(jī)遇———大數(shù)據(jù)據(jù)技術(shù)促促進(jìn)國家家和社會會發(fā)展大數(shù)據(jù)所所能帶來來的巨大大商業(yè)價價值，被被認(rèn)為將將引領(lǐng)一一場足以以與20世紀(jì)計算算機(jī)革命命匹敵的的巨大變變革。大大數(shù)據(jù)正正在對每每個領(lǐng)域域都造成成影響，，包括商商業(yè)、經(jīng)經(jīng)濟(jì)等領(lǐng)領(lǐng)域。大大數(shù)據(jù)正正在促生生新的藍(lán)藍(lán)海，催催生新的的經(jīng)濟(jì)增增長點(diǎn)，，正在成成為企業(yè)業(yè)競爭的的新焦點(diǎn)點(diǎn)。在今天的的大數(shù)據(jù)據(jù)時代，，商業(yè)的的生態(tài)環(huán)環(huán)境在不不經(jīng)意間間發(fā)生了了巨大的的變化：：網(wǎng)民和和消費(fèi)者者的界限限正在變變得模糊糊，無處處不在的的智能終終端，隨隨時在線線的網(wǎng)絡(luò)絡(luò)傳輸，，互動頻頻繁的社社交網(wǎng)絡(luò)絡(luò)讓以往往只是網(wǎng)網(wǎng)頁瀏覽覽者的網(wǎng)網(wǎng)民的面面孔從模模糊變得得清晰，，對于企企業(yè)來說說，他們們第一次次有機(jī)會會進(jìn)行大大規(guī)模的的精準(zhǔn)化化的消費(fèi)費(fèi)者行為為研究：：作為保保持著持持續(xù)變革革欲望的的企業(yè)，，主動地?fù)頁肀н@種種變化，，從戰(zhàn)略略到戰(zhàn)術(shù)術(shù)層而開開始自我我的蛻變變和進(jìn)化化將會讓讓他們更更加適應(yīng)應(yīng)這個新新的時代代，大數(shù)數(shù)據(jù)藍(lán)海海成為未未來競爭爭的制高高點(diǎn)。NO.4未來—機(jī)機(jī)遇與挑挑戰(zhàn)機(jī)遇———大數(shù)據(jù)據(jù)藍(lán)海成成為企業(yè)業(yè)競爭的的新焦點(diǎn)點(diǎn)蓋特納咨咨詢公司司預(yù)測大大數(shù)據(jù)將將為全球球帶440萬個IT新崗位和和上千萬萬個非IT崗位。麥麥肯錫公公司預(yù)測測美國到到2018年需要深深度數(shù)據(jù)據(jù)分析人人才44萬——49萬，缺口口14萬——19萬人；需需要既熟熟悉本單單位需求求又了解解大數(shù)據(jù)據(jù)技術(shù)與與應(yīng)用的的管理者者150萬，這方方面的人人才缺口口更大。。中國是是人才才大國，，但能理理解與應(yīng)應(yīng)用大數(shù)數(shù)據(jù)的創(chuàng)新人才才更是稀稀缺資源源。NO.4未來—機(jī)機(jī)遇與挑挑戰(zhàn)機(jī)遇———大數(shù)據(jù)據(jù)時代呼呼喚創(chuàng)新新型人才才數(shù)據(jù)收集要對來自網(wǎng)絡(luò)包括物聯(lián)網(wǎng)和機(jī)構(gòu)信息系統(tǒng)的數(shù)據(jù)附上時空標(biāo)志，去偽存真，盡可能收集異源甚至是異構(gòu)的數(shù)據(jù)，還可與歷史數(shù)據(jù)對照，多角度驗(yàn)證數(shù)據(jù)的全面性和可信性。數(shù)據(jù)存儲要達(dá)到低成本、低能耗、高可靠性目標(biāo)，要用到冗余配置、分布化和云計算技術(shù)，存儲時對數(shù)據(jù)進(jìn)行分類，通過過濾和去重，減少存儲量，并加入便于檢索的標(biāo)簽。數(shù)據(jù)處理大數(shù)據(jù)的復(fù)雜性使得難以用傳統(tǒng)的方法描述與度量，需要將高維圖像等多媒體數(shù)據(jù)降維后度量與處理，利用上下文關(guān)聯(lián)進(jìn)行語義分析，從大量動態(tài)及可能模棱兩可的數(shù)據(jù)中綜合信息，并導(dǎo)出可理解的內(nèi)容。結(jié)果的可視化呈現(xiàn)

使結(jié)果更直觀以便于洞察。目前，盡管計算機(jī)智能化有了很大進(jìn)步，但還只能針對小規(guī)模、有結(jié)構(gòu)或類結(jié)構(gòu)的數(shù)據(jù)進(jìn)行分析，談不上深層次的數(shù)據(jù)挖掘，現(xiàn)有的數(shù)據(jù)挖掘算法在不同行業(yè)中難以通用。目前，大大數(shù)據(jù)技技術(shù)的運(yùn)運(yùn)用仍存存在一些些困難與與挑戰(zhàn)，，體現(xiàn)在在大數(shù)據(jù)挖挖掘的四個環(huán)環(huán)節(jié)中。。NO.4未來—機(jī)機(jī)遇與挑挑戰(zhàn)挑戰(zhàn)———大數(shù)據(jù)據(jù)技術(shù)的的運(yùn)用仍仍有困難難大量數(shù)據(jù)的集中存儲增加了其泄露的風(fēng)險；一些敏感數(shù)據(jù)的所有權(quán)和使用權(quán)并沒有清晰界定。復(fù)雜的數(shù)據(jù)存儲在一起，可能造成企業(yè)安全管理不合規(guī)；安全防護(hù)手段更新升級慢，存在漏洞黑客可收集更多有用信息，大數(shù)據(jù)分析讓攻擊更精準(zhǔn)；大數(shù)據(jù)為黑客發(fā)起攻擊提供了更多的機(jī)會加大隱私泄露風(fēng)險對現(xiàn)有存儲和安防措施提出挑戰(zhàn)被運(yùn)用到攻擊手段中NO.4未來—機(jī)機(jī)遇與挑挑戰(zhàn)挑戰(zhàn)———大數(shù)據(jù)據(jù)給信息息安全帶帶來新挑挑戰(zhàn)“棱鏡門門”引爆爆大數(shù)據(jù)據(jù)時代爭爭議斯諾登的的爆料引引起一片片嘩然，，根據(jù)他他提供的的資料，，被卷入入“棱鏡鏡門”事事件的公公司包括括微軟、、雅虎、、谷歌、、蘋果、、Facebook等9大IT業(yè)巨頭。。在“棱棱鏡門””事件開開始發(fā)酵酵之后，，這些公公司先是是趕緊出出面否認(rèn)認(rèn)與美國國政府的的監(jiān)視項(xiàng)項(xiàng)目進(jìn)行行過合作作，并相相繼發(fā)表表聲明，，呼吁政政府采取取更透明明態(tài)度，，以證明明他們的的“清白白”。事情的起起因是美美國中情情局前職職員斯諾諾登向媒媒體爆料料，過去去6年間，美美國的情情報部門門通過一一個代號號為“棱棱鏡”的的項(xiàng)目，，從多家家知名互互聯(lián)網(wǎng)公公司獲取取電子郵件件、在線線聊天內(nèi)內(nèi)容、照照片、文文檔、視視頻等網(wǎng)網(wǎng)絡(luò)私人人數(shù)據(jù)，，跟蹤用用戶一舉舉一動。他說，，自己只只需要坐坐在辦公公桌前，，動動指指頭，敲敲敲鍵盤盤，就能能了解很很多人的的私密信信息。NO.4未來—機(jī)機(jī)遇與挑挑戰(zhàn)一方面我我們通過過對大量量用戶數(shù)數(shù)據(jù)的分分析，公公司、企企業(yè)、政政府都可可以更好好的了解解用戶行行為、消消費(fèi)習(xí)慣慣的等等等，從而而可以提提供更好好的服務(wù)務(wù)。但是是另外一一方面，，這又不不可避免