大數(shù)據(jù)與數(shù)據(jù)挖掘培訓(xùn)教學(xué)課件(40張)

1、大數(shù)據(jù)與數(shù)據(jù)挖掘第1頁(yè)，共41頁(yè)。第二部分 大數(shù)據(jù)第2頁(yè)，共41頁(yè)。大數(shù)據(jù)概念大數(shù)據(jù)行業(yè)應(yīng)用數(shù)據(jù)分析與挖掘大數(shù)據(jù)技術(shù)大數(shù)據(jù)體系第3頁(yè)，共41頁(yè)。數(shù)據(jù)的大小物理屬性的數(shù)據(jù)公斤、公里、升等信息屬性的數(shù)據(jù)位 (Bit)是量度信息的基本單位，只有0、1兩種二進(jìn)制狀態(tài)。8位(bit)組成一個(gè)字節(jié) (1Byte，8bit)，能夠容納一個(gè)英文字符，而一個(gè)漢字需要兩個(gè)字節(jié)(2Byte，16bit)的存儲(chǔ)空間。一頁(yè)書(shū)籍：10KB一張低分辨率照片：100KB一次胸透視：10MB一張CD光盤(pán)：500MB一部高質(zhì)量電影：1GB第4頁(yè)，共41頁(yè)。大數(shù)據(jù)何為大？數(shù)據(jù)度量1Byte = 8 bit1KB = 1,024 B

2、ytes1MB = 1,024 KB = 1,048,576 Bytes1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes1EB = 1,024 PB = 1,152,921,504,606,846,976 Bytes1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes

3、1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes第5頁(yè)，共41頁(yè)。練習(xí)題3PB=( ? )GB假設(shè)紅樓夢(mèng)含標(biāo)點(diǎn)87萬(wàn)字（不含標(biāo)點(diǎn)853509字），1GB 約等于（？）部紅樓夢(mèng)？1TB 約等于（？）部？美國(guó)國(guó)會(huì)圖書(shū)館藏書(shū)（151,785,778冊(cè)）（2011年4月：收錄數(shù)據(jù)235TB ），1EB = （？）倍美國(guó)國(guó)會(huì)圖書(shū)館存儲(chǔ)的信息量第6頁(yè)，共41頁(yè)。大數(shù)據(jù)時(shí)代的到來(lái)主要有以下一些原因硬件成本的降低網(wǎng)絡(luò)帶寬的提升云計(jì)算的興起網(wǎng)絡(luò)技術(shù)的發(fā)展智能終端的普及電子商務(wù)、社交網(wǎng)絡(luò)、電子地圖等的全面應(yīng)用物聯(lián)網(wǎng)第7頁(yè)，共41頁(yè)。大數(shù)據(jù)時(shí)代的到來(lái)主

4、要有以下一些原因硬件成本的降低網(wǎng)絡(luò)帶寬的提升云計(jì)算的興起網(wǎng)絡(luò)技術(shù)的發(fā)展智能終端的普及電子商務(wù)、社交網(wǎng)絡(luò)、電子地圖等的全面應(yīng)用物聯(lián)網(wǎng)第8頁(yè)，共41頁(yè)。大數(shù)據(jù)時(shí)代的到來(lái)主要有以下一些原因硬件成本的降低網(wǎng)絡(luò)帶寬的提升云計(jì)算的興起網(wǎng)絡(luò)技術(shù)的發(fā)展智能終端的普及電子商務(wù)、社交網(wǎng)絡(luò)、電子地圖等的全面應(yīng)用物聯(lián)網(wǎng)第9頁(yè)，共41頁(yè)。大數(shù)據(jù)時(shí)代的到來(lái)主要有以下一些原因硬件成本的降低網(wǎng)絡(luò)帶寬的提升云計(jì)算的興起網(wǎng)絡(luò)技術(shù)的發(fā)展智能終端的普及電子商務(wù)、社交網(wǎng)絡(luò)、電子地圖等的全面應(yīng)用物聯(lián)網(wǎng)第10頁(yè)，共41頁(yè)。大數(shù)據(jù)時(shí)代的到來(lái)主要有以下一些原因硬件成本的降低網(wǎng)絡(luò)帶寬的提升云計(jì)算的興起網(wǎng)絡(luò)技術(shù)的發(fā)展智能終端的普及電子商務(wù)、社交網(wǎng)

5、絡(luò)、電子地圖等的全面應(yīng)用物聯(lián)網(wǎng)第11頁(yè)，共41頁(yè)。大數(shù)據(jù)時(shí)代的到來(lái)主要有以下一些原因硬件成本的降低網(wǎng)絡(luò)帶寬的提升云計(jì)算的興起網(wǎng)絡(luò)技術(shù)的發(fā)展智能終端的普及電子商務(wù)、社交網(wǎng)絡(luò)、電子地圖等的全面應(yīng)用物聯(lián)網(wǎng)第12頁(yè)，共41頁(yè)。大數(shù)據(jù)時(shí)代的到來(lái)主要有以下一些原因硬件成本的降低網(wǎng)絡(luò)帶寬的提升云計(jì)算的興起網(wǎng)絡(luò)技術(shù)的發(fā)展智能終端的普及電子商務(wù)、社交網(wǎng)絡(luò)、電子地圖等的全面應(yīng)用物聯(lián)網(wǎng)第13頁(yè)，共41頁(yè)。練習(xí)題促進(jìn)大數(shù)據(jù)技術(shù)到來(lái)的主要因素有那些？大數(shù)據(jù)時(shí)代的到來(lái)主要是由于網(wǎng)上的數(shù)據(jù)量大規(guī)模增加（ ）第14頁(yè)，共41頁(yè)。大數(shù)據(jù)不僅是網(wǎng)絡(luò)業(yè)的未來(lái)，而且是整個(gè)社會(huì)和經(jīng)濟(jì)發(fā)展的未來(lái)。第15頁(yè)，共41頁(yè)。 早期的大規(guī)模數(shù)據(jù)應(yīng)

6、用文本資料的數(shù)字化將文本資料轉(zhuǎn)化成數(shù)字信息存儲(chǔ)，可進(jìn)行搜索，傳播。亞馬遜數(shù)字圖書(shū)館第16頁(yè)，共41頁(yè)。文本資料的數(shù)字化亞馬遜的數(shù)字圖書(shū)館第17頁(yè)，共41頁(yè)。地理方位的數(shù)字化對(duì)地理位置的數(shù)據(jù)化需要滿足一些前提條件：需要能精確地測(cè)量相關(guān)區(qū)域內(nèi)的每一塊地方；需要一套標(biāo)準(zhǔn)的標(biāo)記體系；需要收集和記錄數(shù)據(jù)的工具。簡(jiǎn)而言之，就是地理范圍、標(biāo)準(zhǔn)、工具或者說(shuō)量化、標(biāo)準(zhǔn)化、收集。只有具備了這些，才能把位置信息當(dāng)成數(shù)據(jù)來(lái)存儲(chǔ)和分析。莫里斯航海圖表第18頁(yè)，共41頁(yè)。 UPS的快速定位系統(tǒng)UPS快遞多效地利用了地理定位數(shù)據(jù)。為了使總部能及時(shí)了在車輛的位置和預(yù)防引擎故障，它的貨車上裝有傳感器、無(wú)線適配器和GPS。這些設(shè)

7、備方便了公司監(jiān)督管理員工并優(yōu)化行車線路。UPS為貨車定制的最佳行車路徑是根據(jù)過(guò)去的行車經(jīng)驗(yàn)總結(jié)而來(lái)的。設(shè)計(jì)了盡量少左轉(zhuǎn)的路線，因?yàn)樽筠D(zhuǎn)要求貨車在交叉路口穿過(guò)去，所以更容易出事故。而且，貨車往往需要等待一會(huì)兒才能左轉(zhuǎn)，也會(huì)更耗油，因此，減少左轉(zhuǎn)使得行車的安全性和效率都得到了大幅提升。第19頁(yè)，共41頁(yè)。社交網(wǎng)絡(luò)的發(fā)展簡(jiǎn)單地說(shuō)，社交網(wǎng)絡(luò)是在互聯(lián)網(wǎng)上與其他人相聯(lián)系的一個(gè)平臺(tái)。 社交網(wǎng)絡(luò)站點(diǎn)通常圍繞用戶的基本信息而運(yùn)作，用戶基本信息是指有關(guān)用戶喜歡的事、不喜歡的事、興趣、愛(ài)好、學(xué)校、職業(yè)或任何其他共同點(diǎn)的集合。通常，這些站點(diǎn)提供不同級(jí)別的隱私控制。社交網(wǎng)絡(luò)的目標(biāo)是，通過(guò)一個(gè)或多個(gè)共同點(diǎn)將一些人相互聯(lián)系

8、起來(lái)而建立一個(gè)群組。國(guó)外：Facebook, twitterFacebook2012年擁有大約6.29億用戶，他們通過(guò)上千億的朋友關(guān)系網(wǎng)相互連接。這個(gè)巨大的社交網(wǎng)絡(luò)覆蓋了大約10%的全球總?cè)丝?。?guó)內(nèi)：新浪微博，微信，人人網(wǎng)第20頁(yè)，共41頁(yè)。社交網(wǎng)絡(luò)的理論基礎(chǔ)1967年，哈佛大學(xué)的心理學(xué)教授米爾格倫(19341984)創(chuàng)立了六度分割理論，簡(jiǎn)單地說(shuō)：“你和任何一個(gè)陌生人之間所間隔的人不會(huì)超過(guò)六個(gè)，也就是說(shuō)，最多通過(guò)六個(gè)人你就能夠認(rèn)識(shí)任何一個(gè)陌生人?！卑凑樟确指衾碚摚總€(gè)個(gè)體的 社交圈都不斷放大，最后成為一個(gè)大型網(wǎng)絡(luò)。這是社會(huì)性網(wǎng)絡(luò)（SocialNetworking）的早期理解。第21頁(yè)，共41

9、頁(yè)。我國(guó)社交網(wǎng)絡(luò)的發(fā)展E-mail點(diǎn)對(duì)點(diǎn)人與人之間可以通過(guò)電子郵件交流BBS點(diǎn)對(duì)面BBS將點(diǎn)對(duì)點(diǎn)形式演變?yōu)辄c(diǎn)對(duì)面，降低交流成本。實(shí)現(xiàn)了個(gè)人的分散信息向可共享的聚合信息的進(jìn)步。天涯、貓撲、西祠胡同等產(chǎn)品都是BBS時(shí)代的典型企業(yè)。2006年年以前，資本主要關(guān)注BBS及博客形態(tài)的社交網(wǎng)絡(luò)產(chǎn)品，但是后期來(lái)看，這類企業(yè)的發(fā)展多不盡人意。娛樂(lè)化社交網(wǎng)絡(luò)2002年，LinkedIn成立;2003年，運(yùn)用豐富的多媒體個(gè)性化空間吸引注意力的Myspace成立;2004年，復(fù)制線下真實(shí)人際關(guān)系來(lái)到線上低成本管理的Facebook成立中國(guó)社交網(wǎng)絡(luò)產(chǎn)品相也繼出現(xiàn)，如2005年成立的人人網(wǎng)、2008年成立的開(kāi)心網(wǎng)。第2

10、2頁(yè)，共41頁(yè)。微信息社交網(wǎng)絡(luò)時(shí)代2009年8月，新浪推出微博產(chǎn)品，用戶通過(guò)推介及自行搜索等方式構(gòu)建自己的朋友圈，這種產(chǎn)品迅速聚合了海量的用戶群，當(dāng)然也吸引了眾多業(yè)者(如騰訊、網(wǎng)易、盛大)的追隨。這種模式也再次將廣義社交網(wǎng)絡(luò)推向投資人視野。隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展，微信息社交產(chǎn)品逐漸與位置服務(wù)等移動(dòng)特性相結(jié)合，相繼出現(xiàn)微信等移動(dòng)客戶端產(chǎn)品。垂直社交網(wǎng)絡(luò)應(yīng)用時(shí)代垂直社交網(wǎng)絡(luò)主要是與游戲、電子商務(wù)等相結(jié)合，是社交網(wǎng)絡(luò)探究商業(yè)模式的有利嘗試。清科研究中心預(yù)計(jì)，垂直社交將成為社交網(wǎng)絡(luò)未來(lái)發(fā)展的主要方向。第23頁(yè)，共41頁(yè)。根據(jù)“社交網(wǎng)絡(luò)分析之父”貝爾納多哈柏曼（Bernardo Huberman）的分析，

11、社交網(wǎng)絡(luò)中單一主題出現(xiàn)的頻率可以用來(lái)預(yù)測(cè)很多事情，比如好萊塢的票房收入。他和一位在惠普實(shí)驗(yàn)室工作的同事開(kāi)發(fā)了一個(gè)程序，可以用來(lái)監(jiān)聽(tīng)微博的發(fā)布頻率，基于此，他們就能預(yù)測(cè)一部電影的成敗，這往往比其他傳統(tǒng)評(píng)估預(yù)測(cè)方法還要準(zhǔn)確。第24頁(yè)，共41頁(yè)。網(wǎng)絡(luò)搜索技術(shù)的發(fā)展Google第25頁(yè)，共41頁(yè)。大數(shù)據(jù)的產(chǎn)生 供應(yīng)鏈原始材料供應(yīng)商1 1級(jí)批發(fā)零售商1 半成品/成品供應(yīng)商1 核心企業(yè) 2級(jí)批發(fā)零售商1原始材料供應(yīng)商2 1級(jí)批發(fā)零售商1 半成品/成品供應(yīng)商2 2級(jí)批發(fā)零售商2 原始采用供應(yīng)商n 1級(jí)批發(fā)零售商n 半成品/成品供應(yīng)商n 2級(jí)批發(fā)零售商n政府部門(mén)電信、稅務(wù)、銀行、工商、房產(chǎn)、電力、自來(lái)水等多個(gè)

12、部門(mén)數(shù)據(jù)的集成綜合電商供應(yīng)商、客戶、商戶、物流叫車出租車、客戶商旅/票務(wù)客戶、航空公司、旅店、飯店等第26頁(yè)，共41頁(yè)。哪些屬于大數(shù)據(jù)的研究范疇大數(shù)據(jù)熱反映出人們?cè)诓聹y(cè)追尋下一個(gè)大創(chuàng)新交通數(shù)據(jù)？社交數(shù)據(jù)？電子商務(wù)數(shù)據(jù)？供應(yīng)鏈數(shù)據(jù)？企業(yè)經(jīng)營(yíng)管理數(shù)據(jù)？第27頁(yè)，共41頁(yè)。數(shù)據(jù)大不等于大數(shù)據(jù)現(xiàn)有設(shè)備，技術(shù)，方法所能處理的不是大數(shù)據(jù)數(shù)據(jù)挖掘，精細(xì)化運(yùn)營(yíng)，精準(zhǔn)廣告和個(gè)性化服務(wù)推廣不是未來(lái)大數(shù)據(jù)服務(wù)商業(yè)模式的主要部分大數(shù)據(jù)的特征第28頁(yè)，共41頁(yè)。多樣性 (Variety)數(shù)量巨大 (Volume)速度快 (Velocity)價(jià)值密度低 (Value)大數(shù)據(jù)的描述性定義第29頁(yè)，共41頁(yè)。多樣性數(shù)據(jù)來(lái)源多

13、樣性超出一種服務(wù)，一個(gè)公司，一個(gè)地區(qū)數(shù)據(jù)種類多樣性文字，語(yǔ)音，圖表，圖片，視頻數(shù)據(jù)對(duì)象多樣性個(gè)人，商業(yè)，社會(huì)，自然界 大數(shù)據(jù)的多樣性越高，潛在價(jià)值就越大大數(shù)據(jù)的操作定義第30頁(yè)，共41頁(yè)。數(shù)量以TB為基本計(jì)量單位數(shù)據(jù)間關(guān)系眾多，結(jié)構(gòu)復(fù)雜，變化多端 大數(shù)據(jù)的體量越大，潛在價(jià)值就越大大數(shù)據(jù)的操作定義第31頁(yè)，共41頁(yè)。傳輸速度快處理的數(shù)據(jù)是TB級(jí)代替了GB級(jí)， “超大規(guī)模數(shù)據(jù)”和“海量數(shù)據(jù)”也有規(guī)模大的特點(diǎn)，但大數(shù)據(jù)更強(qiáng)調(diào)數(shù)據(jù)的快速動(dòng)態(tài)變化，形成流式數(shù)據(jù)，數(shù)據(jù)流動(dòng)的速度快到難以用傳統(tǒng)的系統(tǒng)去處理。第32頁(yè)，共41頁(yè)。價(jià)值密度低數(shù)據(jù)量呈指數(shù)增長(zhǎng)的同時(shí)，隱藏在海量數(shù)據(jù)的有用信息卻沒(méi)有相應(yīng)比例增長(zhǎng)，反而

14、使我們獲取有用信息的難度加大。以視頻為例，連續(xù)的監(jiān)控過(guò)程，可能有用的數(shù)據(jù)僅有一兩秒第33頁(yè)，共41頁(yè)。傳統(tǒng)數(shù)據(jù)與大數(shù)據(jù)的區(qū)別傳統(tǒng)數(shù)據(jù)硬件條件IBMSystemx3100通過(guò)4個(gè)DIMM插槽，實(shí)現(xiàn)512MB或1GB/8GBDDRII667MHz的內(nèi)存容量可掛6個(gè)500G外部存儲(chǔ)建立服務(wù)器矩陣后容量 可增加需求：騰訊qq郵箱，騰訊宣稱有7億多注冊(cè)賬號(hào)，有3億多活躍賬號(hào)，平均每人100G空間第34頁(yè)，共41頁(yè)。 傳統(tǒng)數(shù)據(jù)傳統(tǒng)的數(shù)據(jù)采集來(lái)源單一，且存儲(chǔ)、管理和分析數(shù)據(jù)量也相對(duì)較小，大多采用關(guān)系型數(shù)據(jù)庫(kù)和并行數(shù)據(jù)倉(cāng)庫(kù)即可處理。傳統(tǒng)的數(shù)據(jù)處理方法是以處理器為中心，而大數(shù)據(jù)環(huán)境下，需要采取以數(shù)據(jù)為中心的模式

15、，減少數(shù)據(jù)移動(dòng)帶來(lái)的開(kāi)銷。因此，傳統(tǒng)的數(shù)據(jù)處理方法，已經(jīng)不能適應(yīng)大數(shù)據(jù)的需求！傳統(tǒng)數(shù)據(jù)與大數(shù)據(jù)的區(qū)別第35頁(yè)，共41頁(yè)。傳統(tǒng)數(shù)據(jù)與大數(shù)據(jù)的區(qū)別傳統(tǒng)數(shù)據(jù)處理結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)，簡(jiǎn)單來(lái)說(shuō)就是數(shù)據(jù)庫(kù)。結(jié)合到典型場(chǎng)景中更容易理解，比如企業(yè)ERP、財(cái)務(wù)系統(tǒng)；醫(yī)療HIS數(shù)據(jù)庫(kù)；教育一卡通；政府行政審批；其他核心數(shù)據(jù)庫(kù)等。第36頁(yè)，共41頁(yè)。傳統(tǒng)數(shù)據(jù)與大數(shù)據(jù)的區(qū)別世界上跟多的是半結(jié)構(gòu)和非結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化是指數(shù)據(jù)的字段數(shù)量不固定，大小可變化的數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)，包括視頻、音頻、圖片、圖像、文檔、文本等形式。具體到典型案例中，像是醫(yī)療影像系統(tǒng)、教育視頻點(diǎn)播、視頻監(jiān)控、國(guó)土GIS、設(shè)計(jì)院、文件服務(wù)器（PDM/F

16、TP）、媒體資源管理等具體應(yīng)用，這些行業(yè)對(duì)于存儲(chǔ)需求包括數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)備份以及數(shù)據(jù)共享等。第37頁(yè)，共41頁(yè)。結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)第38頁(yè)，共41頁(yè)。大數(shù)據(jù)可處理半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)(No sql)支持分布式處理具有可擴(kuò)展性數(shù)據(jù)采集方法多樣可處理多種類型的數(shù)據(jù)第39頁(yè)，共41頁(yè)。練習(xí)大數(shù)據(jù)的主要特點(diǎn)有哪些？公司備份數(shù)據(jù)庫(kù)中有86TB的數(shù)據(jù)，可稱之為大數(shù)據(jù)嗎？公司論壇中的所有留言屬于大數(shù)據(jù)研究范疇嗎？某高校全體學(xué)生信息不屬于大數(shù)據(jù)研究范疇（ ？ ）大數(shù)據(jù)的多樣性主要體現(xiàn)在哪里？第40頁(yè)，共41頁(yè)。1、聰明的人有長(zhǎng)的耳朵和短的舌頭。 弗萊格 2、重復(fù)是學(xué)習(xí)之母。 狄慈根 3、當(dāng)你還不能對(duì)自己說(shuō)今

17、天學(xué)到了什么東西時(shí)，你就不要去睡覺(jué)。 利希頓堡 4、人天天都學(xué)到一點(diǎn)東西，而往往所學(xué)到的是發(fā)現(xiàn)昨日學(xué)到的是錯(cuò)的。 B.V 5、學(xué)到很多東西的訣竅，就是一下子不要學(xué)很多。 洛 克 6、學(xué)問(wèn)是異常珍貴的東西，從任何源泉吸收都不可恥。 阿卜日法拉茲 7、學(xué)習(xí)是勞動(dòng)，是充滿思想的勞動(dòng)。 烏申斯基 8、聰明出于勤奮，天才在于積累 華羅庚 9、好學(xué)而不勤問(wèn)非真好學(xué)者。 10、書(shū)山有路勤為徑，學(xué)海無(wú)涯苦作舟。 11、人的大腦和肢體一樣，多用則靈，不用則廢 茅以升 12、你想成為幸福的人嗎？但愿你首先學(xué)會(huì)吃得起苦 屠格涅夫 13、成功艱苦勞動(dòng)正確方法少說(shuō)空話 愛(ài)因斯坦 14、不經(jīng)歷風(fēng)雨，怎能見(jiàn)彩虹 真心英雄 15、只有登上山頂，才能看到那邊的風(fēng)光。 16只會(huì)幻想而不行動(dòng)的人，永遠(yuǎn)也體會(huì)不到收獲果實(shí)時(shí)的喜悅。 17、勤奮是你生命的密碼，能譯出你一部壯麗的史詩(shī)。 1 8成功，往往住在失敗的隔壁！1 9 生命不是要超越別人，而是要超越自己2 0命運(yùn)是那些懦弱和認(rèn)命的人發(fā)明的！1人生最大的喜悅是每個(gè)人都說(shuō)你做不到，你卻完成它了！2世界上大部分的事情，都是覺(jué)得不太舒服的人做出來(lái)的3昨天是失效的支票，明天是未兌現(xiàn)的支票，今天才是現(xiàn)金4一直割舍不下一件事，永遠(yuǎn)成不了!5掃地，要連心地一起掃！6不為模糊不清的未來(lái)?yè)?dān)憂，只為清清楚楚的現(xiàn)在努力7當(dāng)你停止嘗試時(shí)，就是失敗的時(shí)候8心靈激情不在，就