大數(shù)據(jù)培訓(xùn)課件

1、大數(shù)據(jù)徐俊杰 經(jīng)管學(xué)院第一頁(yè)，共二十八頁(yè)。目錄一個(gè)案例大數(shù)據(jù)究竟是什么？大數(shù)據(jù)為何會(huì)火爆？如何應(yīng)對(duì)大數(shù)據(jù)潮流？第二頁(yè)，共二十八頁(yè)。埃奇奧尼與他的Farecast第三頁(yè)，共二十八頁(yè)。人們已經(jīng)認(rèn)同：數(shù)據(jù)也是資源 數(shù)據(jù)是企業(yè)最廣泛的資源。舉例：飯店、工廠數(shù)據(jù)是最易被人們忽視的資源舉例：公交卡、支付寶數(shù)據(jù)是利用潛力巨大的資源。舉例：網(wǎng)店購(gòu)物推薦第四頁(yè)，共二十八頁(yè)。但同時(shí)，數(shù)據(jù)也是麻煩類型多樣、來(lái)源復(fù)雜舉例：交通管理持續(xù)變化、質(zhì)量難控舉例：網(wǎng)店評(píng)論第五頁(yè)，共二十八頁(yè)。那么，大數(shù)據(jù)是指什么？第六頁(yè)，共二十八頁(yè)。咨詢公司是這樣解釋的加特納：“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化

2、能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。 麥肯錫：一種規(guī)模大到在采集、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合。 第七頁(yè)，共二十八頁(yè)。我對(duì)大數(shù)據(jù)的理解大數(shù)據(jù)是指超大規(guī)模的數(shù)據(jù)集合，往往還具有類型多樣、快速流轉(zhuǎn)、和價(jià)值密度低等特點(diǎn)，人們無(wú)法通過傳統(tǒng)數(shù)據(jù)技術(shù)，以可接受的代價(jià)來(lái)駕馭處理它。第八頁(yè)，共二十八頁(yè)。兩點(diǎn)認(rèn)識(shí)大數(shù)據(jù)的“大”不只是“數(shù)量大”，類型多樣、快速流轉(zhuǎn)和價(jià)值密度低才是其有別于傳統(tǒng)“數(shù)據(jù)”概念的關(guān)鍵所在。舉例：NEC用臉部識(shí)別技術(shù)提升銷售大數(shù)據(jù)的“大”還體現(xiàn)在企業(yè)的數(shù)據(jù)觀突破了傳統(tǒng)的管理視野。舉例：商超的促銷定價(jià)怎么做第九頁(yè)，共二十八頁(yè)。處理大數(shù)據(jù)需要專門的技術(shù)

3、方案?jìng)鹘y(tǒng)數(shù)據(jù) 數(shù)據(jù)庫(kù) OLTP系統(tǒng) 中心式架構(gòu)大數(shù)據(jù) 數(shù)據(jù)倉(cāng)庫(kù) OLAP 數(shù)據(jù)挖掘 云計(jì)算架構(gòu) Hadoop第十頁(yè)，共二十八頁(yè)。所以，馬云說(shuō)“我們正從IT（信息技術(shù)）時(shí)代走向DT（數(shù)據(jù)技術(shù)）時(shí)代”、“IT時(shí)代是制造，DT時(shí)代是創(chuàng)造”。傳統(tǒng)的“信息技術(shù)”，是對(duì)規(guī)模有限的“干凈” 數(shù)據(jù)進(jìn)行處理，系統(tǒng)的功效是可以預(yù)見的。而大數(shù)據(jù)依賴的“數(shù)據(jù)技術(shù)”，則擅長(zhǎng)于對(duì)規(guī)模無(wú)限的“混亂”數(shù)據(jù)進(jìn)行處理，系統(tǒng)的功效是不確定的。第十一頁(yè)，共二十八頁(yè)。為什么現(xiàn)在必須關(guān)注大數(shù)據(jù)？第十二頁(yè)，共二十八頁(yè)。原因1：這是一個(gè)數(shù)據(jù)激增的時(shí)代每天有200萬(wàn)篇博客在網(wǎng)上發(fā)布，這些文章相當(dāng)于時(shí)代雜志刊發(fā)770年的總量；每天有2.5億張照

4、片上傳至社交網(wǎng)站Facebook，如果都打印出來(lái)，摞在一起有80個(gè)埃菲爾鐵塔那么高；每天有86.4萬(wàn)小時(shí)視頻被上傳至視頻網(wǎng)站Youtube，相當(dāng)于不間斷播放視頻98年；百度每天的關(guān)鍵詞搜索量50億，谷歌33億；淘寶天貓2015雙11營(yíng)業(yè)額達(dá)912億人民幣。中國(guó)小商品城2014全年成交額才857億元人民幣；互聯(lián)網(wǎng)一天內(nèi)產(chǎn)生的信息量可以裝滿1.68億張DVD光盤。第十三頁(yè)，共二十八頁(yè)。原因2：數(shù)據(jù)的商業(yè)地位正在上升大量案例表明，粗放式經(jīng)營(yíng)是個(gè)死胡同。舉例：中國(guó)制造為何不被尊重傳統(tǒng)產(chǎn)業(yè)都在探尋“數(shù)據(jù)驅(qū)動(dòng)型”創(chuàng)新。舉例：UBI引導(dǎo)車險(xiǎn)定價(jià)改革第十四頁(yè)，共二十八頁(yè)。原因3：大數(shù)據(jù)已躍升為國(guó)際競(jìng)爭(zhēng)戰(zhàn)略20

5、12年，美國(guó)推出“大數(shù)據(jù)研發(fā)計(jì)劃”，希望增強(qiáng)海量數(shù)據(jù)收集、分析萃取能力，認(rèn)為這事關(guān)美國(guó)國(guó)家安全和未來(lái)競(jìng)爭(zhēng)力。 目前，歐盟正在制定數(shù)據(jù)價(jià)值鏈戰(zhàn)略計(jì)劃，包括開放數(shù)據(jù)、云計(jì)算、高性能計(jì)算和科學(xué)知識(shí)開放獲取四大戰(zhàn)略。 2013年，日本公布“創(chuàng)建最尖端IT國(guó)家宣言”，提出要把日本建設(shè)成為一個(gè)具有“世界最高水準(zhǔn)的廣泛運(yùn)用信息產(chǎn)業(yè)技術(shù)的社會(huì)”。2014年，韓國(guó)提出“數(shù)據(jù)產(chǎn)業(yè)發(fā)展戰(zhàn)略”，并把大數(shù)據(jù)納入了未來(lái)增長(zhǎng)引擎執(zhí)行計(jì)劃。 2009年，聯(lián)合國(guó)推出“全球脈動(dòng)”項(xiàng)目，旨在推動(dòng)數(shù)字?jǐn)?shù)據(jù)采集和分析創(chuàng)新；2014年發(fā)布大數(shù)據(jù)開發(fā)：機(jī)遇與挑戰(zhàn)報(bào)告。 2013年，八國(guó)集團(tuán)發(fā)布了G8開放數(shù)據(jù)憲章，提出要加快推動(dòng)數(shù)據(jù)開放和利

6、用。 第十五頁(yè)，共二十八頁(yè)。原因4：國(guó)內(nèi)的政策導(dǎo)向十分明顯2015.1 國(guó)務(wù)院關(guān)于促進(jìn)云計(jì)算創(chuàng)新發(fā)展培育信息產(chǎn)業(yè)新業(yè)態(tài)的意見2015.7 國(guó)務(wù)院關(guān)于積極推進(jìn)“互聯(lián)網(wǎng)+”行動(dòng)的指導(dǎo)意見 2015.9 國(guó)務(wù)院關(guān)于促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要2015.5安徽省人民政府辦公廳關(guān)于促進(jìn)電子政務(wù)協(xié)調(diào)發(fā)展的實(shí)施意見2015.9 安徽省委省政府關(guān)于加快調(diào)結(jié)構(gòu)轉(zhuǎn)方式促升級(jí)行動(dòng)計(jì)劃 2015.10安徽省人民政府關(guān)于促進(jìn)云計(jì)算創(chuàng)新發(fā)展培育信息產(chǎn)業(yè)新業(yè)態(tài)的實(shí)施意見2015.10安徽省運(yùn)用大數(shù)據(jù)加強(qiáng)對(duì)市場(chǎng)主體服務(wù)和監(jiān)管實(shí)施方案第十六頁(yè)，共二十八頁(yè)。中央明確提出“國(guó)家大數(shù)據(jù)戰(zhàn)略”11月3日發(fā)布的中共中央關(guān)于制定國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)

7、展第十三個(gè)五年規(guī)劃的建議提出：拓展網(wǎng)絡(luò)經(jīng)濟(jì)空間，推進(jìn)數(shù)據(jù)資源開放共享，實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略，超前布局下一代互聯(lián)網(wǎng)。 第十七頁(yè)，共二十八頁(yè)。安徽省提出了大數(shù)據(jù)產(chǎn)業(yè)空間布局思路安徽省人民政府關(guān)于促進(jìn)云計(jì)算創(chuàng)新發(fā)展培育信息產(chǎn)業(yè)新業(yè)態(tài)的實(shí)施意見提出：參與國(guó)家產(chǎn)業(yè)布局，創(chuàng)建國(guó)家大數(shù)據(jù)產(chǎn)業(yè)發(fā)展集聚區(qū)。規(guī)劃“一中心兩基地多園區(qū)”云計(jì)算和大數(shù)據(jù)產(chǎn)業(yè)空間布局，建設(shè)合肥市云計(jì)算大數(shù)據(jù)生產(chǎn)應(yīng)用中心，淮南、宿州市大數(shù)據(jù)存儲(chǔ)基地，黃山、池州市云計(jì)算大數(shù)據(jù)創(chuàng)意產(chǎn)業(yè)園。推動(dòng)合肥市創(chuàng)建“中國(guó)軟件名城”和中國(guó)（合肥）智能語(yǔ)音產(chǎn)業(yè)基地暨“中國(guó)聲谷”建設(shè)；打造蕪湖、馬鞍山市互聯(lián)網(wǎng)產(chǎn)業(yè)園和生產(chǎn)性服務(wù)業(yè)示范園區(qū)，培育一批面向國(guó)際或國(guó)內(nèi)的

8、電商平臺(tái)，加快建設(shè)一批“皖貨”網(wǎng)上專業(yè)市場(chǎng)。建成中國(guó)移動(dòng)（安徽）數(shù)據(jù)中心、合肥國(guó)際金融后臺(tái)服務(wù)基地。第十八頁(yè)，共二十八頁(yè)。原因5：政府、企業(yè)在行動(dòng)2015年，貴州提出打造“中國(guó)數(shù)谷”，發(fā)起舉辦“國(guó)際數(shù)博會(huì)”，是第一個(gè)舉全省之力推動(dòng)大數(shù)據(jù)發(fā)展的省份。成立了“貴陽(yáng)大數(shù)據(jù)交易所”。2014年，安徽省經(jīng)信委和省中小企業(yè)服務(wù)中心牽頭成立“安徽省大數(shù)據(jù)產(chǎn)業(yè)情報(bào)服務(wù)平臺(tái)”，為中小企業(yè)服務(wù)。 2014年，蕪湖建立安徽沿江大數(shù)據(jù)信息產(chǎn)業(yè)服務(wù)中心 中國(guó)電信、華為、阿里、騰訊、中國(guó)石化、義烏小商品城、貴陽(yáng)孟關(guān)汽貿(mào)城、安徽煙草.第十九頁(yè)，共二十八頁(yè)。如何應(yīng)對(duì)大數(shù)據(jù)潮流？第二十頁(yè)，共二十八頁(yè)。認(rèn)清形勢(shì)、把握趨勢(shì)土地、人

9、力、資本等傳統(tǒng)要素已經(jīng)無(wú)法構(gòu)建抵御市場(chǎng)競(jìng)爭(zhēng)的護(hù)城河，對(duì)數(shù)據(jù)的掌控能力決定了企業(yè)的發(fā)展?jié)摿?，?duì)數(shù)據(jù)的利用效率決定了企業(yè)的發(fā)展效益。舉例：克羅格證明傳統(tǒng)超市生財(cái)有道舉例：阿里真能打造物流智能骨干網(wǎng)嗎？第二十一頁(yè)，共二十八頁(yè)。理性面對(duì) 厘清思路大數(shù)據(jù)來(lái)了？還是狼來(lái)了？大數(shù)據(jù)的本質(zhì)是“基于數(shù)據(jù)的決策”，摒棄“基于經(jīng)驗(yàn)的決策”，傳統(tǒng)企業(yè)應(yīng)當(dāng)從客戶端、產(chǎn)品端、管理端尋找介入機(jī)會(huì)，切不可陷入技術(shù)端陷阱。舉例：谷歌流感趨勢(shì)預(yù)測(cè)飽受質(zhì)疑第二十二頁(yè)，共二十八頁(yè)。設(shè)立機(jī)構(gòu) 轉(zhuǎn)換職能企業(yè)應(yīng)當(dāng)設(shè)立信息化部門，甚至設(shè)立大數(shù)據(jù)開發(fā)管理部門，該部門不再是后勤支撐角色，而是要總領(lǐng)性規(guī)劃企業(yè)的數(shù)據(jù)戰(zhàn)略。支持通過數(shù)據(jù)整合顛覆公司低

10、效的流程和業(yè)務(wù)，信息化部門的職能從軟硬件日常維護(hù)轉(zhuǎn)向助推商業(yè)邏輯重構(gòu)。第二十三頁(yè)，共二十八頁(yè)。主動(dòng)采集 有序歸集企業(yè)要圍繞客戶、產(chǎn)品、管理建立數(shù)據(jù)采集計(jì)劃，把數(shù)據(jù)當(dāng)作“戰(zhàn)略資產(chǎn)”來(lái)看待，大中型企業(yè)要著手建立數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市；數(shù)據(jù)采集、清洗、儲(chǔ)存、分析納入公司信息化部門的日常管理任務(wù)中。舉例：攜程打造眾薈酒店大數(shù)據(jù)平臺(tái)第二十四頁(yè)，共二十八頁(yè)。項(xiàng)目導(dǎo)向 大膽嘗試企業(yè)可以通過項(xiàng)目預(yù)研的方式，支持部門和員工探索大數(shù)據(jù)應(yīng)用方案，根據(jù)預(yù)研結(jié)果擇優(yōu)推進(jìn)。需要注意，傳統(tǒng)行業(yè)的大數(shù)據(jù)應(yīng)用也具有很多風(fēng)險(xiǎn)，對(duì)成效不明顯的應(yīng)用應(yīng)當(dāng)給予包容。第二十五頁(yè)，共二十八頁(yè)。尋求聯(lián)合 推動(dòng)聚合公共服務(wù)型大數(shù)據(jù)應(yīng)用離不開政府機(jī)關(guān)、事業(yè)單位的數(shù)據(jù)支持，政府文件對(duì)此也有明確要求（2018年前建立國(guó)家政府?dāng)?shù)據(jù)統(tǒng)一開放平臺(tái)），企業(yè)可主動(dòng)出擊，推動(dòng)公共數(shù)據(jù)向社會(huì)開放。此外，產(chǎn)業(yè)鏈共建共享數(shù)據(jù)中心、直接并購(gòu)等方式也是企業(yè)構(gòu)建大數(shù)據(jù)平臺(tái)的潛在途徑。舉例：江蘇與百度合作建設(shè)智慧交通項(xiàng)目第二十六頁(yè)，共二十八頁(yè)。謝謝第二十七頁(yè)，共二十八頁(yè)。內(nèi)容總結(jié)大數(shù)據(jù)。每天有2.5億張照片上傳至社交網(wǎng)站Facebook，如果都打印出來(lái)，摞在一起有80個(gè)埃菲爾鐵塔那么高。百度每天的關(guān)鍵詞搜索量50億，谷歌33億。2014年，韓國(guó)提出“數(shù)據(jù)產(chǎn)業(yè)發(fā)展戰(zhàn)略”，并把大數(shù)據(jù)納入了未來(lái)增長(zhǎng)引擎執(zhí)行計(jì)劃