大數(shù)據(jù)時(shí)代簡(jiǎn)介

樂(lè)山師范學(xué)院文學(xué)與新聞學(xué)院2012級(jí)新聞班徐瑜梅李培謙黃冰冰張亞慶

胡雪梅周凱頔蔣敏焦倩茹2015年5月8日前瞻性地指出，大數(shù)據(jù)帶來(lái)的信息風(fēng)暴正在變革我們的生活、工作和思維，大數(shù)據(jù)開(kāi)啟了一次重大的時(shí)代轉(zhuǎn)型，并用三個(gè)部分講述了大數(shù)據(jù)時(shí)代的思維變革、商業(yè)變革和管理變革。維克托.邁爾.舍恩伯格引言1、大數(shù)據(jù)變革公共衛(wèi)生2、大數(shù)據(jù)變革商業(yè)3、大數(shù)據(jù)變革思維4、大數(shù)據(jù)開(kāi)啟時(shí)代轉(zhuǎn)型5、預(yù)測(cè)是大數(shù)據(jù)的核心6、大數(shù)據(jù)是大挑戰(zhàn)1、大數(shù)據(jù)變革公共衛(wèi)生2009年的甲型h1n1流感，在短短幾周之內(nèi)迅速傳播?；ヂ?lián)網(wǎng)巨頭谷歌公司的工程師們?cè)O(shè)立一個(gè)系統(tǒng)關(guān)注特定檢索詞條的頻繁使用與流感在時(shí)間和空間上的傳播之間的聯(lián)系。軟件發(fā)現(xiàn)了45條檢索詞條的組合，一旦將它們用于一個(gè)數(shù)學(xué)模型，他們的預(yù)測(cè)與官方數(shù)據(jù)的相關(guān)性高達(dá)97%。和疾控中心一樣，他們由此判斷出流感是從哪里傳播出來(lái)的，而且他們的判斷非常及時(shí)。這是當(dāng)今社會(huì)所獨(dú)有的一種新型能力：以一種前所未有的方式，通過(guò)對(duì)海量數(shù)據(jù)進(jìn)行分析，獲得有巨大價(jià)值的產(chǎn)品和服務(wù)，或深刻的洞見(jiàn)?；谶@樣的技術(shù)理念和數(shù)據(jù)儲(chǔ)備，下一次流感來(lái)襲的時(shí)候，世界將會(huì)擁有一種更好的預(yù)測(cè)工具，以預(yù)防流感的傳播。

2、大數(shù)據(jù)變革商業(yè)

購(gòu)買(mǎi)飛機(jī)票就是一個(gè)很好的例子。哈佛大學(xué)首屆計(jì)算機(jī)科學(xué)專(zhuān)業(yè)的畢業(yè)生奧倫·埃齊奧尼在一次飛機(jī)票價(jià)不等的打擊下開(kāi)發(fā)一個(gè)系統(tǒng)，這個(gè)系統(tǒng)用來(lái)推測(cè)當(dāng)前網(wǎng)頁(yè)上的機(jī)票價(jià)格是否合理。這個(gè)系統(tǒng)需要分析所有特定航線機(jī)票的銷(xiāo)售價(jià)格并確定票價(jià)與提前購(gòu)買(mǎi)天數(shù)的關(guān)系。這個(gè)預(yù)測(cè)系統(tǒng)，它幫助虛擬的乘客節(jié)省了很多錢(qián)。之后這個(gè)項(xiàng)目變?yōu)轱L(fēng)險(xiǎn)投資基金支持的科技創(chuàng)業(yè)公司，名為farecast。如今，farecast已經(jīng)擁有驚人的約2000億條飛行數(shù)據(jù)記錄。3、大數(shù)據(jù)變革思維

半個(gè)世紀(jì)以來(lái)，隨著計(jì)算機(jī)技術(shù)全面融入社會(huì)生活，信息爆炸已經(jīng)積累到了一個(gè)開(kāi)始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長(zhǎng)速度也在加快。

人們不再認(rèn)為數(shù)據(jù)是靜止和陳舊的。信息總量的變化還導(dǎo)致了信息形態(tài)的變化——量變引發(fā)了質(zhì)變。最先經(jīng)歷信息爆炸的學(xué)科，如天文學(xué)和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個(gè)概念。如今，這個(gè)概念幾乎應(yīng)用到了所有人類(lèi)致力于發(fā)展的領(lǐng)域中。4、大數(shù)據(jù)開(kāi)啟時(shí)代轉(zhuǎn)型2003年，人類(lèi)第一次破譯人體基因密碼的時(shí)候，辛苦工作了十年才完成了三十億對(duì)堿基對(duì)的排序。大約十年之后，世界范圍內(nèi)的基因儀每15分鐘就可以完成同樣的工作。在金融領(lǐng)域，美國(guó)股市每天的成交量高達(dá)70億股。而其中三分之二的交易都是由建立在算法公式上的計(jì)算機(jī)程序完成的。這些程序運(yùn)用海量數(shù)據(jù)來(lái)預(yù)測(cè)利益和降低風(fēng)險(xiǎn)。5、預(yù)測(cè)是大數(shù)據(jù)的核心

大數(shù)據(jù)的核心就是預(yù)測(cè)。它通常被視為人工智能的一部分，或者更確切地說(shuō)，被視為一種機(jī)器學(xué)習(xí)。大數(shù)據(jù)不是要教機(jī)器像人一樣思考。相反，它是把數(shù)學(xué)算法運(yùn)用到海量的數(shù)據(jù)上來(lái)預(yù)測(cè)事情發(fā)生的可能性。

就像互聯(lián)網(wǎng)通過(guò)給計(jì)算機(jī)添加通信功能而改變了世界，大數(shù)據(jù)也將改變我們生活中最重要的方面，因?yàn)樗鼮槲覀兊纳顒?chuàng)造了前所未有的可量化的維度。大數(shù)據(jù)已經(jīng)成為了新發(fā)明和新服務(wù)的源泉，而更多的改變正蓄勢(shì)待發(fā)。6、大數(shù)據(jù)是大挑戰(zhàn)

數(shù)據(jù)化意味著我們把一切都透明化，甚至包括很多我們以前認(rèn)為和“信息”根本搭不上邊的事情。大數(shù)據(jù)時(shí)代開(kāi)啟了一場(chǎng)尋寶游戲，而人們對(duì)于數(shù)據(jù)的看法以及對(duì)于由因果關(guān)系向相關(guān)關(guān)系轉(zhuǎn)化時(shí)釋放出的潛在價(jià)值的態(tài)度，正是主宰這場(chǎng)游戲的關(guān)鍵。內(nèi)容簡(jiǎn)介大數(shù)據(jù)時(shí)代的思維變革

第一部分第二部分大數(shù)據(jù)時(shí)代的商業(yè)變革

大數(shù)據(jù)時(shí)代的管理變革

第三部分反思201主要觀點(diǎn)更多——不是隨機(jī)樣本本，而是全體體數(shù)據(jù)更雜——不是精確性，，而是混雜性性更好——不是因果果關(guān)系，而是是相關(guān)關(guān)系數(shù)百年來(lái)我們們都是以抽樣樣調(diào)查的方式式作為統(tǒng)計(jì)的的基礎(chǔ)，而在在大數(shù)據(jù)時(shí)代代，這種狀況況會(huì)發(fā)生重大大改變。由于于這些年存儲(chǔ)儲(chǔ)技術(shù)的發(fā)展展以及互聯(lián)網(wǎng)網(wǎng)在全世界的的普及，既有有了存儲(chǔ)巨大大數(shù)據(jù)量的技技術(shù)基礎(chǔ)，也也有了數(shù)據(jù)來(lái)來(lái)源，再加上上云計(jì)算的快快速分析技術(shù)術(shù)，大數(shù)據(jù)時(shí)時(shí)代是以全體體數(shù)據(jù)作為樣樣本進(jìn)行分析析，而非從前前那樣在隨機(jī)機(jī)抽取一定樣樣本數(shù)量的基基礎(chǔ)之上進(jìn)行行分析。當(dāng)數(shù)數(shù)據(jù)處理技術(shù)術(shù)得到了較大大的發(fā)展之后后，數(shù)據(jù)分析析就采取了全全數(shù)據(jù)模式，，樣本=總體，比如淘寶進(jìn)行用戶(hù)行為為分析時(shí)會(huì)就就一個(gè)用戶(hù)在在淘寶里的所所有行為進(jìn)行行技術(shù)分析，，而谷歌對(duì)流感的預(yù)測(cè)測(cè)則是對(duì)所有有相關(guān)詞匯搜搜索行為進(jìn)行行技術(shù)分析。。更多數(shù)據(jù)的來(lái)源很很廣闊，數(shù)據(jù)據(jù)的數(shù)量很龐龐大，在此基基礎(chǔ)之上帶來(lái)來(lái)的必然是各各種數(shù)據(jù)的混混雜，但混雜雜性并不會(huì)影影響到大數(shù)據(jù)據(jù)的分析結(jié)果果的可用性，，因?yàn)閿?shù)據(jù)量量的龐大遠(yuǎn)遠(yuǎn)遠(yuǎn)抵消了混雜雜的錯(cuò)誤數(shù)據(jù)據(jù)對(duì)于分析結(jié)結(jié)果的影響。。數(shù)據(jù)量的顯顯著增大必然然會(huì)讓我們付付出一些代價(jià)價(jià)——一些不不準(zhǔn)確的數(shù)據(jù)據(jù)會(huì)混入數(shù)據(jù)據(jù)庫(kù)，結(jié)果也也可能不準(zhǔn)確確。對(duì)“小數(shù)數(shù)據(jù)”而言，，最重要的要要求就是減少少錯(cuò)誤；在大大數(shù)據(jù)的采集集里，在技術(shù)術(shù)尚未達(dá)到完完美無(wú)缺之前前，混亂是無(wú)無(wú)可避的。雖雖然我們得到到的信息不再再那么準(zhǔn)確，，但是收集到到的數(shù)量龐大大的信息讓我我們放棄嚴(yán)格格精確的選擇擇變的更為劃劃算。更雜不是因果關(guān)系系，而是相關(guān)關(guān)系。知道“是什么”就夠了，沒(méi)必必要知道“為什么”。更好尤其對(duì)于社會(huì)會(huì)經(jīng)濟(jì)的參與與者來(lái)說(shuō)，及及時(shí)的知道相相關(guān)關(guān)系并且且拿出合適的的策略比搞明明白“為什么”更重要。無(wú)疑疑大數(shù)據(jù)將使使許多企業(yè)的的效率得到質(zhì)質(zhì)的提升。淘寶數(shù)據(jù)有一一個(gè)視頻內(nèi)容容是各個(gè)省份（推薦視頻《《淘寶數(shù)據(jù)盛盛典——你所不知道的的城市秘密》》大數(shù)據(jù)時(shí)代的的商業(yè)變革02內(nèi)容數(shù)據(jù)化、、數(shù)據(jù)價(jià)值實(shí)實(shí)現(xiàn)、數(shù)據(jù)公公司類(lèi)型三部部分大數(shù)據(jù)蘊(yùn)藏著著巨大的商業(yè)業(yè)價(jià)值。根據(jù)據(jù)提供價(jià)值的的不同來(lái)源，，大數(shù)據(jù)價(jià)值值鏈包括三大大構(gòu)成部分。。包括第一種種是基于數(shù)據(jù)據(jù)本身的公司司。這些公司司擁有大量數(shù)數(shù)據(jù)或者至少少可以收集到到大量數(shù)據(jù)，，卻不一定有有從數(shù)據(jù)中提提取價(jià)值或者者用數(shù)據(jù)催生生創(chuàng)新思想的的技能。第二二種是基于技技能的公司。。它們通常是是咨詢(xún)公司、、技術(shù)供應(yīng)商商或者分析公公司。它們掌掌握了專(zhuān)業(yè)技技能但并不一一定擁有數(shù)據(jù)據(jù)或者提出數(shù)數(shù)據(jù)創(chuàng)性用途途的才能。沃爾瑪和Pop-Tarts這兩個(gè)零售商商就是借助天天睿公司的分分析來(lái)獲得營(yíng)營(yíng)銷(xiāo)點(diǎn)子，天天睿就是一家家大數(shù)據(jù)分析析公司。皮特.華登，Jetpac的聯(lián)合創(chuàng)始始人，就03大數(shù)據(jù)引起起了一場(chǎng)管管理規(guī)范的的變革互聯(lián)網(wǎng)時(shí)代代，我們的的隱私受到到了威脅，，大數(shù)據(jù)時(shí)時(shí)代一定是是有過(guò)之而而無(wú)不及。。大數(shù)據(jù)還還會(huì)帶來(lái)更更多的威脅脅，因?yàn)榇蟠髷?shù)據(jù)的核核心就是用用規(guī)模劇增增來(lái)改變現(xiàn)現(xiàn)狀。很多多數(shù)據(jù)在收收集的時(shí)候候并無(wú)意用用作其他用用途，而最最終卻產(chǎn)生生了很多創(chuàng)創(chuàng)新性的用用途，也是是一個(gè)未知知的挑戰(zhàn)。。在大數(shù)據(jù)據(jù)時(shí)代，不不管是告知知與許可、、模糊化還還是匿名化化，這三大大隱私保護(hù)護(hù)策略都失失效了。同同時(shí)，我們們將面對(duì)另另一個(gè)挑戰(zhàn)戰(zhàn)，即運(yùn)用用大數(shù)據(jù)預(yù)預(yù)測(cè)來(lái)判斷斷和懲罰人人類(lèi)的潛在在行為，這這是對(duì)公平平公正以及及自由意志志的一種褻褻瀆同時(shí)還輕視視了決策過(guò)過(guò)程中深思思熟慮的重重要性。人人們不是因因?yàn)樗龆艿綉土P罰，而是因因?yàn)閷⒆觯?，即使他們們事?shí)上并并沒(méi)有犯罪罪。大數(shù)據(jù)據(jù)時(shí)代很容容易讓我們們陷入數(shù)據(jù)據(jù)獨(dú)裁的困困境中。大數(shù)據(jù)時(shí)代代，對(duì)原有有的規(guī)范的的修修補(bǔ)補(bǔ)補(bǔ)已經(jīng)滿(mǎn)足足不了需要要，也不足足以抑制大大數(shù)據(jù)帶來(lái)來(lái)的風(fēng)險(xiǎn)。。我們需要要全新的制制度規(guī)范，，而不是修修改原有規(guī)規(guī)范的適用用范圍。大數(shù)數(shù)據(jù)據(jù)時(shí)時(shí)代代的的管管理理變變革革背背景景140203012個(gè)人人動(dòng)動(dòng)因因VS預(yù)測(cè)測(cè)分分析析，，大大數(shù)數(shù)據(jù)據(jù)時(shí)時(shí)代代，，關(guān)關(guān)于于公公正正3擊碎碎黑黑盒盒子子，，大大數(shù)數(shù)據(jù)據(jù)算算法法師師的的崛崛起起，，外外部部算算法法師師扮扮演演公公正4反數(shù)數(shù)據(jù)據(jù)壟壟斷斷大大亨亨，，為為了了促促進(jìn)進(jìn)大大數(shù)數(shù)據(jù)據(jù)平平臺(tái)臺(tái)上上的的良良性性競(jìng)競(jìng)爭(zhēng)爭(zhēng)，，政政府府必必須須運(yùn)運(yùn)用用反反壟壟斷斷條條例例1保護(hù)護(hù)個(gè)個(gè)人人隱隱私私，，從從個(gè)個(gè)人人許許可可到到讓讓數(shù)數(shù)據(jù)據(jù)使管理理變變革革內(nèi)容容8風(fēng)險(xiǎn)險(xiǎn)：：讓數(shù)數(shù)據(jù)據(jù)主主宰宰一一切切的的隱隱憂(yōu)憂(yōu)事物物都都有有兩兩面面性性，，大大數(shù)數(shù)據(jù)據(jù)也也不不例例外外。。大大數(shù)數(shù)據(jù)據(jù)時(shí)時(shí)代代我我們們幾幾乎乎沒(méi)沒(méi)有有真真正正的的隱隱私私可可言言，，因因此此這這也也就就給給監(jiān)監(jiān)管管層層提提出出了了更更嚴(yán)嚴(yán)格格的的要要求求。。就就像像槍槍一一樣樣，，可可以以用用來(lái)來(lái)保保衛(wèi)衛(wèi)家家園園，，也也可可以以用用來(lái)來(lái)濫濫殺殺無(wú)無(wú)辜辜，，如如果果將將大大數(shù)數(shù)據(jù)據(jù)用用于于歪歪道道，，那那威威力力也也會(huì)會(huì)比比從從前前提提升升不不少少8掌握握:責(zé)任任與與自自由由并并舉舉的的信信息息管管理理大數(shù)數(shù)據(jù)據(jù)是是必必然然趨趨勢(shì)案例例：大大數(shù)數(shù)據(jù)據(jù)也也是是一一把把雙雙刃刃劍劍，，在在帶帶來(lái)來(lái)巨巨大大反思思404上海海銳銳大數(shù)數(shù)據(jù)據(jù)時(shí)時(shí)代代顯顯然然給給我我們們帶帶來(lái)來(lái)不不少少便便利利之之處處，，但但是是在在盲盲目目的的歡歡呼呼和和一一時(shí)時(shí)的的激激動(dòng)動(dòng)之之后后，，我我們們更更需需