大數(shù)據(jù)分析方法課件

1、大數(shù)據(jù)分析方法交流關(guān)于分析思想、流程與工具的探討主要內(nèi)容引言數(shù)據(jù)分析的工作框架數(shù)據(jù)分析的實(shí)施流程總結(jié)引言引言言數(shù)據(jù)必稱“大” 的時(shí)代交通大數(shù)據(jù)、旅游大數(shù)據(jù)、網(wǎng)購大數(shù)據(jù)2011年開始的各種各樣的“V”：Volume、Variety、Velocity（Value、Veracity-真實(shí)性）各種全新的配套手段：存儲(chǔ)（云）；處理（并行）；保護(hù)（安全性）；分析（數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)）潛力無限 vs 言過其實(shí)？創(chuàng)新為主 vs 傳承為主？引言思考1：“大”數(shù)據(jù)，到底應(yīng)該多大？量級(jí)不嚴(yán)格、范圍不嚴(yán)格思考2：新方法，到底有多新？大多數(shù)傳承傳統(tǒng)方式新方法解決面窄思考3：新結(jié)論，到底多有價(jià)值？陳述事實(shí)多，推理結(jié)論少展

2、示效果好，實(shí)踐應(yīng)用差總結(jié)：大數(shù)據(jù)更多是一種新的數(shù)據(jù)觀充分認(rèn)識(shí)數(shù)據(jù)的價(jià)值（潛力與局限）正確選擇分析的方法引言零售數(shù)據(jù)分析：我們的優(yōu)勢(shì)1、擁有最精華的數(shù)據(jù)，產(chǎn)出結(jié)論有說服力（大而全不一定是長處：收集成本高、篩選困難）2、時(shí)間長涵蓋面廣，便于比較分析我們需要仔細(xì)分析的是：想做什么能做什么怎樣做數(shù)據(jù)分析的工作框架工作框架需要的結(jié)論：既想要也想得到的數(shù)據(jù)資源和分析方法大量擴(kuò)充 右半邊擴(kuò)張分析對(duì)象理解和問題思考有所不足 左半邊停滯最重要的還是商業(yè)思維需要得到的結(jié)論數(shù)據(jù)分析可以解決的內(nèi)容大數(shù)據(jù)商業(yè)思維數(shù)據(jù)資源理解 Deep Understanding分析方法洞察 Insight前瞻 Prospect工作框架

3、充分?jǐn)U展兩個(gè)部分，首先代表：理解宏觀問題給出系統(tǒng)假設(shè)將假設(shè)化簡至可被數(shù)據(jù)分析其次，兩項(xiàng)工作無法忽視：充分研究了解對(duì)象 我們想要知道什么（發(fā)現(xiàn)問題）判斷我們想要研究的問題是否有意義（減少人力損耗）工作框架數(shù)據(jù)分析的六個(gè)階段1、對(duì)研究對(duì)象主觀的和客觀的、整體的和局部的認(rèn)識(shí)2、提出希望探索的宏觀的問題（自由的或是有明確的）3、探討分析這些問題并產(chǎn)生結(jié)論的價(jià)值4、為選出的研究問題提出充分的假設(shè)。5、將研究假設(shè)進(jìn)行拆解、劃分成為可定量分析的單元。6、結(jié)合數(shù)據(jù)資源和數(shù)據(jù)分析方法產(chǎn)生結(jié)論，驗(yàn)證假設(shè)及理論的擴(kuò)展性。工作框架兩個(gè)重要問題產(chǎn)生的結(jié)論要有理論解釋反面例子：消費(fèi)額和停車場(chǎng)大小正相關(guān)（相關(guān)性需要結(jié)合背景

4、）機(jī)器學(xué)習(xí)方法解釋性差、往往模型擬合數(shù)據(jù)，由于現(xiàn)實(shí)世界太復(fù)雜，參數(shù)太多，因此使用效果并不好認(rèn)真思考提出問題的操作性反面例子：不同客戶的消費(fèi)偏好分析、競(jìng)爭力比較我們將結(jié)合六個(gè)步驟，分別討論完成它們的方法和一些重點(diǎn)問題數(shù)據(jù)分析的具體流程步驟1：建立對(duì)對(duì)象的整體認(rèn)知內(nèi)容：對(duì)對(duì)象建立主觀印象意義：產(chǎn)生新問題；產(chǎn)生對(duì)問題的合理假設(shè)著手點(diǎn)：觀察現(xiàn)狀；例子：購物中心的消費(fèi)習(xí)慣轉(zhuǎn)變觀察數(shù)據(jù)；例子：消費(fèi)數(shù)據(jù)分析暗示的消費(fèi)群體變化此外，聞?wù)哂行模豪樱和赓u數(shù)據(jù)暗示房價(jià)步驟2：提出希望探索的宏觀問題內(nèi)容：提出大目標(biāo)形式：“A對(duì)B的影響”、“A未來一年的銷售額”等易于描述的、可變因子不超過一個(gè)的問題。反面例子：不同業(yè)

5、態(tài)對(duì)不同年齡段顧客的影響1、業(yè)態(tài)和年齡段范圍太廣2、“影響”未指明具體內(nèi)容導(dǎo)致此調(diào)查耗費(fèi)資源、失去重點(diǎn)可改成：餐飲區(qū)域面積占比對(duì)顧客到店數(shù)目的影響（劃定業(yè)態(tài)、指明影響內(nèi)容、排除掉年齡因素）步驟3：探討闡述結(jié)論的價(jià)值相同的結(jié)論對(duì)不同的對(duì)象價(jià)值不同例：火車票訂票信息：增開列車？疏導(dǎo)客流？市政服務(wù)？思考分析結(jié)果對(duì)各種對(duì)象的可能價(jià)值正面例子：男女性消費(fèi)者對(duì)購物中心環(huán)境設(shè)計(jì)的不同偏好反面例子：為不同地域的客戶設(shè)計(jì)不同會(huì)員禮品 - 成本反面例子：周邊辦公樓客流對(duì)銷售影響 - 無法采取措施步驟4：對(duì)宏觀問題提出充分假設(shè)內(nèi)容：將大問題提出各種各樣的小問題例子：顧客對(duì)購物中心服務(wù)的滿意度的影響因素假設(shè)1：服務(wù)人

6、員對(duì)待客戶的態(tài)度假設(shè)2：購物中心提供的額外服務(wù)的種類假設(shè)3：購物中心的環(huán)境驗(yàn)證假設(shè)來分析真實(shí)的影響因素及其影響程度步驟5：將對(duì)象分解為可測(cè)量數(shù)據(jù)內(nèi)容：將各項(xiàng)假設(shè)提到的元素定量化以假設(shè)1：服務(wù)人員對(duì)待客戶的態(tài)度為例：數(shù)據(jù)庫中數(shù)據(jù)：出勤記錄、日?？己擞涗?、投訴記錄問卷調(diào)查數(shù)據(jù)：服務(wù)效率、服務(wù)意識(shí)、用詞方式、普通話標(biāo)準(zhǔn)、表現(xiàn)情感等相似的定量評(píng)分注：部分研究問題已經(jīng)明顯定量化，部分則需要人工確定量化標(biāo)準(zhǔn)步驟6：運(yùn)用數(shù)據(jù)分析方法產(chǎn)生結(jié)論內(nèi)容：套用各種數(shù)據(jù)方法產(chǎn)出結(jié)論形式：數(shù)值、概率值、圖表分析軟件和語言SPSS、SAS、Matlab、smartPLSPython、R等等分析方法：常規(guī)統(tǒng)計(jì)方法：T檢驗(yàn)、方差分析、相關(guān)分析、回歸分析、因子分析、時(shí)間序列分析、結(jié)構(gòu)方程模型等，參考任意一本統(tǒng)計(jì)學(xué)教材。機(jī)器學(xué)習(xí)方法：聚類、分類、神經(jīng)網(wǎng)絡(luò)、決策樹等等，參考機(jī)器學(xué)習(xí)導(dǎo)論。補(bǔ)充需要認(rèn)真防范的致命錯(cuò)誤：1、與環(huán)境（背景）的結(jié)合例：突發(fā)事件的影響2、認(rèn)真思考邏輯關(guān)聯(lián)例：歷年節(jié)日的“同比”3、“見所未見”例：飛回的戰(zhàn)斗機(jī)往往機(jī)艙損壞嚴(yán)重專門提出：“相關(guān)”的欺騙性“萬物皆相關(guān)”數(shù)據(jù)相關(guān) 邏輯相關(guān)總結(jié)總結(jié)大數(shù)據(jù)和新方法只是新的資源和工