大數(shù)據(jù)時(shí)代的管理

1、大數(shù)據(jù)時(shí)代的管理大數(shù)據(jù)時(shí)代的管理主講教師：喻登科主講教師：喻登科南昌大學(xué)南昌大學(xué)啤酒與尿布的故事 在一家超市中，人們發(fā)現(xiàn)了一個(gè)特別有趣的現(xiàn)象：尿布在一家超市中，人們發(fā)現(xiàn)了一個(gè)特別有趣的現(xiàn)象：尿布與啤酒這兩種風(fēng)馬牛不相及的商品居然擺在一起。但這一奇與啤酒這兩種風(fēng)馬牛不相及的商品居然擺在一起。但這一奇怪的舉措居然使尿布和啤酒的稍量大幅增加了。怪的舉措居然使尿布和啤酒的稍量大幅增加了。 這可不是一個(gè)笑話，而是一直被商家所津津樂道的發(fā)生這可不是一個(gè)笑話，而是一直被商家所津津樂道的發(fā)生在美國沃爾瑪連鎖超市的真實(shí)案例。原來，美國的婦女通常在美國沃爾瑪連鎖超市的真實(shí)案例。原來，美國的婦女通常在家照顧孩子，所

2、以她們經(jīng)常會(huì)囑咐丈夫在下班回家的路上在家照顧孩子，所以她們經(jīng)常會(huì)囑咐丈夫在下班回家的路上為孩子買尿布，而丈夫在買尿布的同時(shí)又會(huì)順手購買自己愛為孩子買尿布，而丈夫在買尿布的同時(shí)又會(huì)順手購買自己愛喝的啤酒。喝的啤酒。 這個(gè)發(fā)現(xiàn)為商家?guī)砹舜罅康睦麧?，這個(gè)發(fā)現(xiàn)為商家?guī)砹舜罅康睦麧櫍侨绾螐暮迫鐭煹侨绾螐暮迫鐭熀s又雜亂無章的數(shù)據(jù)中，發(fā)現(xiàn)啤酒和尿布銷售之間的聯(lián)系海卻又雜亂無章的數(shù)據(jù)中，發(fā)現(xiàn)啤酒和尿布銷售之間的聯(lián)系呢？這又給了我們什么樣的啟示呢？呢？這又給了我們什么樣的啟示呢？ 請思考：請思考：l為什么你從百度輸入檢索詞，大多數(shù)時(shí)候就能在比較靠前的位置找到你需要的信息？百度是如何知道你的需要？又如

3、何對(duì)它內(nèi)部存儲(chǔ)的文檔進(jìn)行排序顯示呢？l為何你的郵箱經(jīng)常會(huì)收到各種類似廣告的垃圾郵件？奇怪的是，很多時(shí)候這些廣告還真是你最近較為關(guān)注的領(lǐng)域。l為何各種商品的包裝上都有條形碼？條形碼的應(yīng)用僅僅是為了方便銷售和清點(diǎn)庫存嗎？l想一想，你從人人網(wǎng)、QQ空間、QQ群、微信朋友圈、微博等每天獲得多少信息？這些信息有多少是自創(chuàng)、有多少是重復(fù)的？有多少是你關(guān)注的，有多少是你忽略的？有多少是為你帶來改變、對(duì)你有價(jià)值的？大數(shù)據(jù)時(shí)代大數(shù)據(jù)時(shí)代l2008年年9月，月，自然自然雜志推出了雜志推出了“大數(shù)據(jù)大數(shù)據(jù)”的封面專欄的封面專欄，講述了數(shù)據(jù)在數(shù)學(xué)、物理、生物、工程及社會(huì)經(jīng)濟(jì)等多學(xué)科講述了數(shù)據(jù)在數(shù)學(xué)、物理、生物、工程及

4、社會(huì)經(jīng)濟(jì)等多學(xué)科扮演的愈加重要的角色。扮演的愈加重要的角色。l2012年，年，聯(lián)合國發(fā)布了大數(shù)據(jù)政務(wù)白皮書聯(lián)合國發(fā)布了大數(shù)據(jù)政務(wù)白皮書，指出大數(shù)據(jù)對(duì)于，指出大數(shù)據(jù)對(duì)于聯(lián)合國和各國政府來說是一個(gè)歷史性的機(jī)遇。人們可以使用聯(lián)合國和各國政府來說是一個(gè)歷史性的機(jī)遇。人們可以使用極為豐富的數(shù)據(jù)資源，來對(duì)社會(huì)經(jīng)濟(jì)進(jìn)行前所未有的實(shí)時(shí)分極為豐富的數(shù)據(jù)資源，來對(duì)社會(huì)經(jīng)濟(jì)進(jìn)行前所未有的實(shí)時(shí)分析，幫助政府更好地響應(yīng)社會(huì)和經(jīng)濟(jì)運(yùn)行。析，幫助政府更好地響應(yīng)社會(huì)和經(jīng)濟(jì)運(yùn)行。l2013年年3月月22日，日，奧巴馬政府宣布投資奧巴馬政府宣布投資2億美元拉動(dòng)大數(shù)據(jù)億美元拉動(dòng)大數(shù)據(jù)相關(guān)產(chǎn)業(yè)發(fā)展，將相關(guān)產(chǎn)業(yè)發(fā)展，將“大數(shù)據(jù)戰(zhàn)略大數(shù)

5、據(jù)戰(zhàn)略”上升為國家意志上升為國家意志。奧巴馬。奧巴馬政府將數(shù)據(jù)定義為政府將數(shù)據(jù)定義為“未來的新石油未來的新石油”，并表示一個(gè)國家擁有，并表示一個(gè)國家擁有數(shù)據(jù)的規(guī)模、活性及解釋運(yùn)用的能力將成為綜合國力的重要數(shù)據(jù)的規(guī)模、活性及解釋運(yùn)用的能力將成為綜合國力的重要組成部分，未來，對(duì)數(shù)據(jù)的占有和控制甚至將成為陸權(quán)、海組成部分，未來，對(duì)數(shù)據(jù)的占有和控制甚至將成為陸權(quán)、海權(quán)、空權(quán)之外的另一種國家核心資產(chǎn)。權(quán)、空權(quán)之外的另一種國家核心資產(chǎn)。 l2013年，年，國家自然科學(xué)基金委國家自然科學(xué)基金委項(xiàng)目指南項(xiàng)目指南中，大數(shù)據(jù)成為中，大數(shù)據(jù)成為最熱門關(guān)鍵詞。最熱門關(guān)鍵詞。enet網(wǎng)的投票結(jié)果：您覺得大數(shù)據(jù)時(shí)代真的來

6、了嗎？網(wǎng)的投票結(jié)果：您覺得大數(shù)據(jù)時(shí)代真的來了嗎？什么是數(shù)據(jù)？什么是數(shù)據(jù)？數(shù)據(jù)數(shù)據(jù)信息信息知識(shí)知識(shí)原始數(shù)據(jù)點(diǎn)原始數(shù)據(jù)點(diǎn)數(shù)字、文字、圖片、視頻等數(shù)字、文字、圖片、視頻等有價(jià)值的數(shù)據(jù)集合有價(jià)值的數(shù)據(jù)集合具有特定的意義具有特定的意義可為決策提供依據(jù)可為決策提供依據(jù)具有可破譯性、關(guān)聯(lián)性、新具有可破譯性、關(guān)聯(lián)性、新穎性和價(jià)值性的加工后信息穎性和價(jià)值性的加工后信息舉例：舉例：-100萬（沒有任何萬（沒有任何意義）意義）A公司今年利潤公司今年利潤-100萬（包含信息，萬（包含信息，意味著虧損）意味著虧損）A公司今年虧損公司今年虧損100萬，我應(yīng)該拋萬，我應(yīng)該拋出手中的該公司股出手中的該公司股票（為決策服務(wù)）票

7、（為決策服務(wù)）數(shù)據(jù)的計(jì)量數(shù)據(jù)的計(jì)量bitByteKBMBGBTBPBEBZBYBBBNBDB8102410241024102410241024102410241024102410242008年，全球產(chǎn)生數(shù)據(jù)量年，全球產(chǎn)生數(shù)據(jù)量0.49ZB；2009年，全球產(chǎn)生數(shù)據(jù)量年，全球產(chǎn)生數(shù)據(jù)量0.80ZB；2010年，全球產(chǎn)生數(shù)據(jù)量年，全球產(chǎn)生數(shù)據(jù)量1.20ZB；2011年，全球產(chǎn)生數(shù)據(jù)量年，全球產(chǎn)生數(shù)據(jù)量1.82ZB。截止截止2012年，人類所有生產(chǎn)的印刷材料數(shù)據(jù)量年，人類所有生產(chǎn)的印刷材料數(shù)據(jù)量200PB，全人類歷史所說的話數(shù)據(jù)量大約為，全人類歷史所說的話數(shù)據(jù)量大約為5EB。整個(gè)人類文明中，整個(gè)人類

8、文明中，90%的數(shù)據(jù)是過去兩年產(chǎn)生的。的數(shù)據(jù)是過去兩年產(chǎn)生的。到到2020年，數(shù)據(jù)規(guī)模將是今天的年，數(shù)據(jù)規(guī)模將是今天的44倍。倍。何為大數(shù)據(jù)？何為大數(shù)據(jù)？大數(shù)據(jù)的四大特征大數(shù)據(jù)的四大特征大數(shù)據(jù)大數(shù)據(jù)價(jià)值密度低價(jià)值密度低數(shù)據(jù)量巨大數(shù)據(jù)量巨大數(shù)據(jù)數(shù)據(jù)類型類型多樣多樣變化變化速度速度快捷快捷百度首頁百度首頁導(dǎo)航每天導(dǎo)航每天需要提供需要提供的數(shù)據(jù)超的數(shù)據(jù)超過過1.5PB，這些數(shù)據(jù)這些數(shù)據(jù)如果打印如果打印出來將超出來將超過過5千億張千億張A4紙。紙。 現(xiàn)在的數(shù)據(jù)類型不僅是文本形式，更多的是圖片、視頻、音現(xiàn)在的數(shù)據(jù)類型不僅是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多類型的數(shù)據(jù)，個(gè)性化數(shù)據(jù)占絕對(duì)多

9、數(shù)頻、地理位置信息等多類型的數(shù)據(jù)，個(gè)性化數(shù)據(jù)占絕對(duì)多數(shù) 數(shù)據(jù)處理遵循數(shù)據(jù)處理遵循“1秒秒”定律；到定律；到2020年，年，全球?qū)碛腥驅(qū)碛?20億部互聯(lián)網(wǎng)連接設(shè)備。億部互聯(lián)網(wǎng)連接設(shè)備。以視頻為以視頻為例，例，1小時(shí)小時(shí)的監(jiān)控視的監(jiān)控視頻，可能頻，可能有用的數(shù)有用的數(shù)據(jù)只有一據(jù)只有一兩秒。兩秒。 大數(shù)據(jù)時(shí)代的管理啟示大數(shù)據(jù)時(shí)代的管理啟示l大數(shù)據(jù)分析，將只有在少數(shù)情況下采用隨機(jī)樣本分析法，而大多數(shù)時(shí)大數(shù)據(jù)分析，將只有在少數(shù)情況下采用隨機(jī)樣本分析法，而大多數(shù)時(shí)候應(yīng)進(jìn)行全部數(shù)據(jù)分析候應(yīng)進(jìn)行全部數(shù)據(jù)分析l大數(shù)據(jù)要求我們有所改變，不必追求精確性，而應(yīng)該接受混亂與不確大數(shù)據(jù)要求我們有所改變，不必追求精確

10、性，而應(yīng)該接受混亂與不確定性定性l不是因果關(guān)系，而是相關(guān)關(guān)系。在大數(shù)據(jù)時(shí)代，我們不必非得知道現(xiàn)不是因果關(guān)系，而是相關(guān)關(guān)系。在大數(shù)據(jù)時(shí)代，我們不必非得知道現(xiàn)象背后的原因，而是要讓數(shù)據(jù)自己象背后的原因，而是要讓數(shù)據(jù)自己“發(fā)聲發(fā)聲”l數(shù)據(jù)化，一切皆可量化。信息技術(shù)非常重要數(shù)據(jù)化，一切皆可量化。信息技術(shù)非常重要l數(shù)據(jù)創(chuàng)新能產(chǎn)生取之不竭的價(jià)值。大數(shù)據(jù)的真實(shí)價(jià)值就像飄浮的冰山，數(shù)據(jù)創(chuàng)新能產(chǎn)生取之不竭的價(jià)值。大數(shù)據(jù)的真實(shí)價(jià)值就像飄浮的冰山，第一眼只能看到冰山的一角，而絕大部分都隱藏在表面之下第一眼只能看到冰山的一角，而絕大部分都隱藏在表面之下l我們正處在大數(shù)據(jù)時(shí)代的早期，思維和技術(shù)是最有價(jià)值的，但最終大我們

11、正處在大數(shù)據(jù)時(shí)代的早期，思維和技術(shù)是最有價(jià)值的，但最終大部分的價(jià)值還是必須從數(shù)據(jù)本身中挖掘部分的價(jià)值還是必須從數(shù)據(jù)本身中挖掘l風(fēng)險(xiǎn)，讓數(shù)據(jù)主宰一切的隱憂。我們總是以群體的方式存在，并體現(xiàn)風(fēng)險(xiǎn)，讓數(shù)據(jù)主宰一切的隱憂。我們總是以群體的方式存在，并體現(xiàn)出群體性的風(fēng)險(xiǎn)特征。要挖掘大數(shù)據(jù)的價(jià)值，更要防止大數(shù)據(jù)挖掘帶出群體性的風(fēng)險(xiǎn)特征。要挖掘大數(shù)據(jù)的價(jià)值，更要防止大數(shù)據(jù)挖掘帶來的風(fēng)險(xiǎn)來的風(fēng)險(xiǎn)大數(shù)據(jù)的管理技術(shù)大數(shù)據(jù)的管理技術(shù)數(shù)據(jù)采集技術(shù)：數(shù)據(jù)采集技術(shù)：系統(tǒng)日志采集、網(wǎng)絡(luò)數(shù)據(jù)采集、終端采集數(shù)據(jù)存儲(chǔ)技術(shù)：數(shù)據(jù)存儲(chǔ)技術(shù)：關(guān)系數(shù)據(jù)庫、NOSQL、SQL基礎(chǔ)架構(gòu)：基礎(chǔ)架構(gòu)：云存儲(chǔ)（云計(jì)算）、分布式文件存儲(chǔ)數(shù)據(jù)處理技術(shù)

12、：數(shù)據(jù)處理技術(shù)：自然語言處理（計(jì)算語言學(xué)）結(jié)果呈現(xiàn)技術(shù)：結(jié)果呈現(xiàn)技術(shù)：云計(jì)算、標(biāo)簽云、關(guān)系圖等統(tǒng)計(jì)分析技術(shù)：統(tǒng)計(jì)分析技術(shù)：假設(shè)檢驗(yàn)、回歸分析、聚類分析、判別分析、對(duì)應(yīng)分析、因子分析等數(shù)據(jù)挖掘技術(shù)：數(shù)據(jù)挖掘技術(shù)：分類、估計(jì)、預(yù)測、描述和可視化、復(fù)雜數(shù)據(jù)類型挖掘等模型預(yù)測技術(shù)：模型預(yù)測技術(shù)：預(yù)測模型、機(jī)器學(xué)習(xí)、建模仿真等大數(shù)據(jù)時(shí)代數(shù)據(jù)存儲(chǔ)面臨的問題大數(shù)據(jù)時(shí)代數(shù)據(jù)存儲(chǔ)面臨的問題l容量問題：容量問題：PB級(jí)規(guī)模的數(shù)據(jù)如何有效存儲(chǔ)。級(jí)規(guī)模的數(shù)據(jù)如何有效存儲(chǔ)。l延遲問題：延遲問題：大數(shù)據(jù)的價(jià)值來源于及時(shí)性。分布式的大數(shù)據(jù)如大數(shù)據(jù)的價(jià)值來源于及時(shí)性。分布式的大數(shù)據(jù)如何并行處理？何并行處理？l安全問題：安全問

13、題：期望信息安全立法。期望信息安全立法。l成本問題：成本問題：歸檔組件的自動(dòng)重組與精簡技術(shù)是降低存儲(chǔ)成本歸檔組件的自動(dòng)重組與精簡技術(shù)是降低存儲(chǔ)成本的關(guān)鍵。的關(guān)鍵。l期限問題：期限問題：有些數(shù)據(jù)需要保存幾十年，有些可能迅速刪除更有些數(shù)據(jù)需要保存幾十年，有些可能迅速刪除更新。新。l靈活性問題：靈活性問題：如何擴(kuò)容和功能擴(kuò)展。如何擴(kuò)容和功能擴(kuò)展。l應(yīng)用感知問題：應(yīng)用感知問題：如何將數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)開發(fā)應(yīng)用相結(jié)合。如何將數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)開發(fā)應(yīng)用相結(jié)合。l小用戶的數(shù)據(jù)存儲(chǔ)難題：小用戶的數(shù)據(jù)存儲(chǔ)難題：大型數(shù)據(jù)存儲(chǔ)器如何為小用戶提供大型數(shù)據(jù)存儲(chǔ)器如何為小用戶提供服務(wù)。服務(wù)。大數(shù)據(jù)的作用大數(shù)據(jù)的作用第一，對(duì)大數(shù)據(jù)

14、的處理分析正成為新一代第一，對(duì)大數(shù)據(jù)的處理分析正成為新一代信息技術(shù)融合應(yīng)用的結(jié)點(diǎn)。信息技術(shù)融合應(yīng)用的結(jié)點(diǎn)。 第二，大數(shù)據(jù)是信息產(chǎn)業(yè)持續(xù)高速增長的第二，大數(shù)據(jù)是信息產(chǎn)業(yè)持續(xù)高速增長的新引擎。新引擎。 第三，大數(shù)據(jù)利用將成為提高核心競爭力第三，大數(shù)據(jù)利用將成為提高核心競爭力的關(guān)鍵因素。的關(guān)鍵因素。 第四，大數(shù)據(jù)時(shí)代科學(xué)研究的方法手段將第四，大數(shù)據(jù)時(shí)代科學(xué)研究的方法手段將發(fā)生重大改變。發(fā)生重大改變。 大數(shù)據(jù)的商業(yè)應(yīng)用：大數(shù)據(jù)的商業(yè)應(yīng)用：案例案例案例一：案例一： 你開心他就買，你焦慮他就拋華爾街“德溫特資本市場”公司首席執(zhí)行官保羅霍廷每天的工作之一，就是利用電腦程序分析全球3.4億微博賬戶的留言，進(jìn)而

15、判斷民眾情緒，再以“1”到“50”進(jìn)行打分。根據(jù)打分結(jié)果，霍廷再?zèng)Q定如何處理手中數(shù)以百萬美元計(jì)的股票?；敉⒌呐袛嘣瓌t很簡單：如果所有人似乎都高興，那就買入；如果大家的焦慮情緒上升，那就拋售。這一招收效顯著當(dāng)年第一季度，霍廷的公司獲得了7%的收益率。案例二：案例二： IBM估測，“數(shù)據(jù)”值錢的地方主要在于時(shí)效。對(duì)于片刻便能定輸贏的華爾街，這一時(shí)效至關(guān)重要。曾經(jīng)，華爾街2%的企業(yè)搜集微博等平臺(tái)的“非正式”數(shù)據(jù)；如今，接近半數(shù)企業(yè)采用了這種手段。l“社會(huì)流動(dòng)”創(chuàng)業(yè)公司在“大數(shù)據(jù)”行業(yè)生機(jī)勃勃，和微博推特是合作伙伴。它分析數(shù)據(jù)，告訴廣告商什么是正確的時(shí)間，誰是正確的用戶，什么是應(yīng)該發(fā)表的正確內(nèi)容，備受

16、廣告商熱愛。l通過喬希詹姆斯的Omniture（著名的網(wǎng)頁流量分析工具）公司，你可以知道有多少人訪問你的網(wǎng)站，以及他們呆了多長時(shí)間這些數(shù)據(jù)對(duì)于任何企業(yè)來說都至關(guān)重要。詹姆斯把公司賣掉，進(jìn)賬18億美元。l微軟專家吉拉德喜歡把這些“大數(shù)據(jù)”結(jié)果可視化：他把客戶請到辦公室，將包含這些公司的數(shù)據(jù)圖譜展現(xiàn)出來有些是普通的時(shí)間軸，有些像蒲公英，有些則是鋪滿整個(gè)畫面的泡泡，泡泡中顯示這些客戶的粉絲正在談?wù)撌裁丛掝}。1.“臉譜”數(shù)據(jù)分析師杰弗遜的工作就是搭建數(shù)據(jù)分析模型，弄清楚用戶點(diǎn)擊廣告的動(dòng)機(jī)和方式。與大數(shù)據(jù)同行與大數(shù)據(jù)同行p2013年5月10日，阿里巴巴集團(tuán)董事局主席馬云在淘寶十周年晚會(huì)上做卸任前的演說“大家還沒搞清PC時(shí)代的時(shí)候，移動(dòng)互聯(lián)網(wǎng)來了，還沒搞清移動(dòng)互聯(lián)網(wǎng)的時(shí)候，大數(shù)據(jù)時(shí)代來了”。 p我國與大數(shù)據(jù)處理相關(guān)的上市公司包括：第一類是與海量數(shù)據(jù)的存儲(chǔ)和處理相關(guān)的公司，包括天澤天澤信息信息、拓爾思拓爾思、美亞柏科美亞柏科、恒泰艾普恒泰艾普、潛能恒信潛能恒信。第二類是與數(shù)據(jù)中心建設(shè)與運(yùn)營維護(hù)相關(guān)的公司，包括榮榮之聯(lián)之聯(lián)、天璣科技天璣科技、銀