數(shù)據(jù)與大數(shù)據(jù)分析ppt課件.ppt

1、1,Contents,我們可以做些什么,實操分享,大數(shù)據(jù)，你從哪來,你是誰,2,中國網(wǎng)民數(shù)量：7.51億 半年增長率：2.7%,中國注冊網(wǎng)站數(shù)量：344.3萬個,手機(jī)網(wǎng)民：7.236億 占網(wǎng)民總數(shù)：96.3%,月均網(wǎng)絡(luò)交易： 16億筆,每日新發(fā)微 博數(shù)量： 1億+條,注冊微博用戶數(shù)： 2.9071億,發(fā)布的網(wǎng)頁數(shù)量：866億頁 年增速：40%,網(wǎng)絡(luò)直播用戶：3.43億 占網(wǎng)民總數(shù)：47.1%,3,很多人還沒搞清楚什么是PC互聯(lián)網(wǎng)，移動互聯(lián)來了；我們還沒搞清楚移動互聯(lián)的時候，大數(shù)據(jù)時代又來了！ 馬云,4,數(shù)據(jù)爆炸式的增長,數(shù)據(jù)資產(chǎn)管理的挑戰(zhàn),需要更高性價比的數(shù)據(jù)計算與儲存方式,需要不同的數(shù)據(jù)管理

2、策略,01,你從哪里來？,5,數(shù)據(jù)爆炸式的增長,6,數(shù)據(jù)資產(chǎn)管理的挑戰(zhàn),數(shù)據(jù)資產(chǎn),數(shù)據(jù)資產(chǎn)管理,傳統(tǒng)數(shù)據(jù)管理方式面臨挑戰(zhàn),7,需要更高性價比的數(shù)據(jù)計算與儲存方式,計算更快 存儲更省,10萬 GB,10萬 TB,1Byte = 8 Bit 1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB = 1,024 TB = 1,048

3、,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes,1Bity,1KB,1MB,1GB,1TB,1PB,1EB,1ZB,1YB,8,需要不同的數(shù)據(jù)管理策略,15% 結(jié)構(gòu)化的 DB/DW,殘缺,當(dāng)我們想要擴(kuò)充時， 才發(fā)覺： 架構(gòu)只能

4、 scale-up， scale-out 不易 處理時間過長， time-to-value 受限 成本過高， cost-efficiency 受限,9,概念（Concept） 特征（Features） 變革（Change） 技術(shù)（Technology）,數(shù)據(jù)庫（database）,大數(shù)據(jù)（bigdata）,你是什么？,02,10,大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)就是“未來的新石油”。,全球信息咨詢機(jī)構(gòu)國際數(shù)據(jù)公司（IDC）對大數(shù)據(jù)的技術(shù)定義是：通過高速捕捉、發(fā)現(xiàn)或分析，從大容量數(shù)據(jù)中獲取價值的一種新的技術(shù)架構(gòu)。,所謂

5、“大數(shù)據(jù)”(big data) 指的是這樣一種現(xiàn)象：一個公司日常運營所生成和積累用戶行為數(shù)據(jù)“增長如此之快，以至于難以使用現(xiàn)有的數(shù)據(jù)庫管理工具來駕馭，困難存在于數(shù)據(jù)的獲取、存儲、搜索、共享、分析和可視化等方面。”這些數(shù)據(jù)量是如此之大，已經(jīng)不是以我們所熟知的多少G和多少T為單位來衡量，而是以P(1000個T)， E(一百萬個T)或Z(10億個T)為計量單位，所以稱之為大數(shù)據(jù)。,概念,11,數(shù)據(jù)類型多 越來越多非結(jié)構(gòu)化數(shù)據(jù)；音頻、 食品，地理位置信息等多類型數(shù) 據(jù)對數(shù)據(jù)處理能力提出更高要求。,數(shù)據(jù)價值高 海量數(shù)據(jù)帶來了巨大的商業(yè)價值。數(shù)據(jù)之間關(guān)聯(lián)性支持深層的數(shù)據(jù)挖掘。,大數(shù)據(jù)的特點-4V理論,數(shù)據(jù)

6、處理速度快 對數(shù)據(jù)實時處理有著極高的要求， 通過傳統(tǒng)數(shù)據(jù)庫查詢方式得到的 “當(dāng)前結(jié)果”很可能已經(jīng)沒有價值。,數(shù)據(jù)規(guī)模大 從TB躍升到PB甚至EB。 一組公式：1024GB=1TB; 1024TB=1PB;1024PB=1EB。,12,。,大數(shù)據(jù)改變生活,13,IBM C&P Industry,需求 海量數(shù)據(jù)存儲技術(shù) 實時數(shù)據(jù)處理技術(shù) 數(shù)據(jù)高速傳輸技術(shù) 搜索技術(shù),描述 分布式文件系統(tǒng) 流計算引擎 服務(wù)器/存儲間高速通信 文本檢索、智能搜索、實時搜 索,技術(shù) Hadoop，x86/MPP Map Reduce Streaming Data Infini Band Enterprise Search

7、,數(shù)據(jù)分析技術(shù),大數(shù)據(jù)涉及的關(guān)鍵技術(shù),Text Analytics Engine 自然語言處理、文本情感分析、 Visual Data Modeling 機(jī)器學(xué)習(xí)、聚類關(guān)聯(lián)、數(shù)據(jù)模型,14,顧客一次購買商品 1面包、黃油、尿布、牛奶 2咖啡、糖、小甜餅、鮭魚 3面包、黃油、咖啡、尿布、牛奶、雞蛋 4面包、黃油、鮭魚、雞 5雞蛋、面包、黃油 6鮭魚、尿布、牛奶 7面包、茶葉、糖、雞蛋 8咖啡、糖、雞、雞蛋 9面包、尿布、牛奶、鹽 10茶葉、雞蛋、小甜餅、尿布、牛奶,顧客一次購買商品 1面包、黃油、尿布、牛奶 2咖啡、糖、小甜餅、鮭魚 3面包、黃油、咖啡、尿布、牛奶、雞蛋 4面包、黃油、鮭魚、雞

8、5雞蛋、面包、黃油 6鮭魚、尿布、牛奶 7面包、茶葉、糖、雞蛋 8咖啡、糖、雞、雞蛋 9面包、尿布、牛奶、鹽 10茶葉、雞蛋、小甜餅、尿布、牛奶,15,概念（Concept） 分類（Features） 流程（Technological process）,03,我們可以做些什么？,16,大數(shù)據(jù)時代的核心價值數(shù)據(jù)分析,什么是數(shù)據(jù)分析,17,數(shù)據(jù)分析有哪些類型,數(shù)據(jù)分析,對比分析法,平均分析法,交叉分析法,初級數(shù)據(jù)分析,高級數(shù)據(jù)分析,相關(guān)分析,因子分析,回歸分析,18,數(shù)據(jù)分析的一般環(huán)節(jié),19,04,關(guān)于數(shù)據(jù)分析的分享與交流,理論模型 統(tǒng)計方法 可視化,20,數(shù)據(jù)分析方法論,21,4P（produc

9、t price place promotion）,22,5W2H,23,KANO模型,對顧客的不同需求進(jìn)行分區(qū)處理，幫助團(tuán)隊識別對產(chǎn)品來說較為關(guān)鍵的客戶需求層次，盡快完成規(guī)劃。,興奮型需求,期望型需求,基本型需求,24,數(shù)據(jù)分析統(tǒng)計方法,聚類分析,01,回歸分析,02,時間序列分析,03,因子分析 和主成分分析,04,數(shù)據(jù)分析軟件 MATLAB SAS Spss Stata Eviews Excel,25,可視化方法,ECHARTS,EASELY,PPT,附： 1、ECHARTS 2、EASELY https:/www.easel.ly/home,26,THE END,27,用戶行為理論,用戶

10、行為理論的用途較單一，就是用于用戶行為研究分析用戶使用行為：認(rèn)知-熟悉-試用-使用-忠誠利用用戶行為理論，梳理網(wǎng)站分析的各關(guān)鍵指標(biāo)之間的邏輯關(guān)系，構(gòu)建符合公司實際業(yè)務(wù)的網(wǎng)站分析指標(biāo)體系：,28,ADD YOUR TITLE HERE,TEXT HERE,TEXT HERE,TEXT HERE,TEXT HERE,TEXT HERE,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and repla

11、ce it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,29,數(shù)據(jù)分析統(tǒng)計方法,01,02,04,03,聚類分析,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead

12、and replace it.,30,數(shù)據(jù)分析統(tǒng)計方法 聚類分析 回歸分析 因子分析和主成分分析 時間序列分析,數(shù)據(jù)分析軟件 MATLAB SAS Spss Stata Eviews Excel,31,1.績效指標(biāo)必須是具體的（Specific） 2. 績效指標(biāo)必須是可以衡量的（Measurable） 3. 績效指標(biāo)必須是可以達(dá)到的（Attainable） 4. 績效指標(biāo)是要與其他目標(biāo)具有一定的相關(guān)性(Relevant) 5.績效指標(biāo)必須具有明確的截止期限（Time-bound） 無論是制定團(tuán)隊的工作目標(biāo)還是員工的績效目標(biāo)都必須符合上述原則，五個原則缺一不可,32,ADD YOUR TITLE

13、 HERE,MAIN IDEA This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,33,03,ADD YOUR TITLE HERE,This is an example text. Go ahead and replace it.,34,數(shù)據(jù)資產(chǎn)管理的挑戰(zhàn),35,數(shù)據(jù)

14、資產(chǎn)管理的挑戰(zhàn),36,37,38,軟件是大數(shù)據(jù)的引擎,和數(shù)據(jù)中心（Data Center） 一樣，軟件是大數(shù)據(jù)的驅(qū)動力. 軟件改變世界!,39,中央政府對大數(shù)據(jù)的重視程度,40,零 售 業(yè),制 造 業(yè),信息產(chǎn)業(yè),移動通信,金融證券,數(shù)據(jù)量大,挖掘潛力大,數(shù)據(jù)意識強(qiáng),IT基礎(chǔ)好,這些產(chǎn)業(yè)在大數(shù)據(jù)分析應(yīng)用方面具有如下優(yōu)勢：,數(shù)據(jù)化讓產(chǎn)業(yè)績效大幅提升,電子商務(wù),醫(yī)療服務(wù),41,ADD YOUR TITLE HERE,This is an example text. Go ahead and replace it. 01,This is an example text. Go ahead and re

15、place it. 02,This is an example text. Go ahead and replace it. 03,This is an example text. Go ahead and replace it. 04,80%,47%,57%,67%,42,數(shù)據(jù)分析的一般環(huán)節(jié),43,數(shù)據(jù)分析的一般環(huán)節(jié),A ADD YOUR TEXE HERE,B ADD YOUR TEXE HERE,C ADD YOUR TEXE HERE,E ADD YOUR TEXE HERE,D ADD YOUR TEXE HERE,44,45,46,在項目投資分析之外，數(shù)據(jù)分析的價值在企業(yè)經(jīng)營管理上

16、起到更加舉足輕重的作用。各種量化的模型、量化分析方法的應(yīng)用，使數(shù)據(jù)下面隱藏的規(guī)律得以展現(xiàn)，讓企業(yè)在運營管理上、市場營銷上、客戶服務(wù)體驗上，越來越精細(xì)化，讓企業(yè)在激烈的競爭中取勝！,47,數(shù)據(jù)分析的營銷價值-預(yù)測消費行為,數(shù)據(jù)分析的營銷價值-優(yōu)化營銷策略,數(shù)據(jù)分析的營銷價值-消費者描述,數(shù)據(jù)分析的營銷價值-個性化營銷,數(shù)據(jù)分析的營銷價值-廣告精準(zhǔn)投放,通過分析以下幾個方面的關(guān)聯(lián)性，為消費者推薦具體的產(chǎn)品和內(nèi)容： 產(chǎn)品本身的關(guān)聯(lián)性 客戶消費習(xí)慣的關(guān)聯(lián)性 客戶喜好的關(guān)聯(lián)性 客戶品牌的關(guān)聯(lián)性 產(chǎn)品價格和價值的關(guān)聯(lián)性 客戶習(xí)性的一致性等等,48,01,什么是大數(shù)據(jù),49,數(shù)據(jù)挖掘,1. 從數(shù)據(jù)中提取出隱

17、含的過去未知的有價值的潛 在信息 2. 從大量數(shù)據(jù)或者數(shù)據(jù)庫中提取有用信息的科學(xué),典型事例：購物籃分析 顧客一次購買商品 1面包、黃油、尿布、牛奶 2咖啡、糖、小甜餅、鮭魚 3面包、黃油、咖啡、尿布、牛奶、雞蛋 4面包、黃油、鮭魚、雞 5雞蛋、面包、黃油 6鮭魚、尿布、牛奶 7面包、茶葉、糖、雞蛋 8咖啡、糖、雞、雞蛋 9面包、尿布、牛奶、鹽 10茶葉、雞蛋、小甜餅、尿布、牛奶,50,Social Media,Machine / Sensor,DOC / Media,Web Clickstream,Apps,Call Log,Log,什么是數(shù)據(jù)？,半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù),51,何為大？數(shù)據(jù)度量

18、 1Byte = 8 Bit 1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1ZB

19、 = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes,什么是大數(shù)據(jù)？,52,數(shù)據(jù)分析的流程,53,ADD YOUR TITLE HERE,THE TITLE ADD YOUR TITLE HERE ADD YOUR TITLE HERE ADD YOUR TITLE HERE,THE TITLE ADD YOUR TITLE HERE ADD YOUR TITLE HERE ADD YOUR TITLE HERE,54,ADD YOUR

20、 TITLE HERE,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,55,02,ADD YOUR TITLE HERE,This is an example text. Go ahead and replace it.,56,ADD YOUR TITLE HERE,60% ADD YOUR TITLE HERE This is an example text.

21、Go ahead and replace it.,80% ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,50% ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,57,ADD YOUR TITLE HERE,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an exa

22、mple text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,58,ADD YOUR TITLE HERE,19% This is an example text. Go ahead and replace it.,43% This is an example text. Go ahead and replace it.,25% This is an example text. Go ahead and replace it.,MAIN IDEA This is an example text. Go ahead and replace it.,59,ADD YOUR TITLE HERE,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it. This is an example text.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it. This is an example text.,ADD YOUR