大數(shù)據(jù)技術(shù)及數(shù)據(jù)分析課程培訓(xùn)演示

大數(shù)據(jù)技術(shù)及數(shù)據(jù)分析當(dāng)前第1頁\共有50頁\編于星期六\4點(diǎn)2課程收益學(xué)習(xí)數(shù)理統(tǒng)計(jì)的理念熟悉常見的處理套路掌握常用軟件的使用解決學(xué)員的具體問題當(dāng)前第2頁\共有50頁\編于星期六\4點(diǎn)3目錄數(shù)理統(tǒng)計(jì)常識(shí)數(shù)理統(tǒng)計(jì)技術(shù)當(dāng)前第3頁\共有50頁\編于星期六\4點(diǎn)4目錄數(shù)理統(tǒng)計(jì)常識(shí)量化的重要性統(tǒng)計(jì)基礎(chǔ)知識(shí)數(shù)據(jù)挖掘簡介數(shù)理統(tǒng)計(jì)技術(shù)當(dāng)前第4頁\共有50頁\編于星期六\4點(diǎn)5案例當(dāng)前第5頁\共有50頁\編于星期六\4點(diǎn)6案例記者 在短時(shí)間內(nèi)發(fā)生這么多起跳樓的事件，如果站在理論 角度上，發(fā)生率算不算高？樊富珉 按衛(wèi)生部統(tǒng)計(jì)，目前中國自殺率大概是十萬分之十六 左右。而富士康40多萬人，約十萬分之二三左右，大 學(xué)生我們也做過統(tǒng)計(jì)，大概十萬分之二到三左右。如 果從全國的自殺率來比的話，應(yīng)該還是低的當(dāng)前第6頁\共有50頁\編于星期六\4點(diǎn)7案例世界銀行發(fā)展委員會(huì)25日通過了發(fā)達(dá)國家向發(fā)展中國家轉(zhuǎn)移投票權(quán)的改革方案，這一改革從一個(gè)側(cè)面反映了世界經(jīng)濟(jì)版圖的變化本次改革中，發(fā)達(dá)國家向發(fā)展中國家共轉(zhuǎn)移了3.13個(gè)百分點(diǎn)的投票權(quán)。中國在世行的投票權(quán)從目前的2.77%提高到4.42%，成為世界銀行第三大股東國，僅次于美國和日本世界銀行規(guī)則：任何重要的決議必須由85%以上的表決權(quán)決定名次國家改革后投票權(quán)改革前投票權(quán)1美國15.85%15.85%2日本6.84%7.62%3中國4.42%2.77%4德國4.00%4.35%5法國3.75%4.17%5英國3.75%4.17%7印度2.91%2.77%8俄羅斯2.77%2.77%8沙特2.77%2.77%10意大利2.64%2.71%當(dāng)前第7頁\共有50頁\編于星期六\4點(diǎn)8案例在一次海難中，統(tǒng)計(jì)數(shù)據(jù)為頭等艙乘客319人，200人幸存二等艙乘客269人，117人幸存三等艙乘客699人，172人幸存從以上數(shù)據(jù)你可以發(fā)現(xiàn)什么？當(dāng)前第8頁\共有50頁\編于星期六\4點(diǎn)9目錄數(shù)理統(tǒng)計(jì)常識(shí)量化的重要性統(tǒng)計(jì)基礎(chǔ)知識(shí)數(shù)據(jù)挖掘簡介數(shù)理統(tǒng)計(jì)技術(shù)當(dāng)前第9頁\共有50頁\編于星期六\4點(diǎn)10誤差（波動(dòng)）偶然誤差可減小但不可消除系統(tǒng)誤差可消除當(dāng)前第10頁\共有50頁\編于星期六\4點(diǎn)11抽樣樣本大小AQL0.0100.0150.0250.0400.0650.10.150.250.400.651.01.52.54.06.510抽樣數(shù)收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退1~820/19~1530/116~2550/11/226~5080/11/22/351~90130/11/22/33/491~150200/11/22/33/45/6151~280320/11/22/33/45/67/8281~500500/11/22/33/45/67/810/11501~1200800/11/22/33/45/67/810/1114/151201~32001250/11/22/33/45/67/810/1114/1521/223201~100002000/11/22/33/45/67/810/1114/1521/2210001~350003150/11/22/33/45/67/810/1114/1521/2235001~1500005000/11/22/33/45/67/810/1114/1521/22150001~5000008000/11/22/33/45/67/810/1114/1521/22≥50000112500/11/22/33/45/67/810/1114/1521/22當(dāng)前第11頁\共有50頁\編于星期六\4點(diǎn)12連續(xù)數(shù)據(jù)和離散數(shù)據(jù)連續(xù)數(shù)據(jù)定量信息含量大離散數(shù)據(jù)定性信息含量小當(dāng)前第12頁\共有50頁\編于星期六\4點(diǎn)13判斷數(shù)據(jù)屬性銷售訂單準(zhǔn)確度數(shù)據(jù)輸入準(zhǔn)確度銷售地區(qū)用通規(guī)測量得到的孔徑用卡尺測量得到的孔徑客戶熱線對(duì)話時(shí)間空調(diào)制冷劑的重量一批顧客中不滿意的人數(shù)一批顧客中不滿意的比例當(dāng)前第13頁\共有50頁\編于星期六\4點(diǎn)14數(shù)據(jù)的居中程度和離散程度主要的居中指標(biāo)平均值 數(shù)據(jù)集的平均值中位數(shù) 數(shù)據(jù)排序后得到的中間數(shù)眾數(shù) 數(shù)據(jù)集中最頻繁出現(xiàn)的值主要的離散指標(biāo)極差 數(shù)據(jù)集中最大值與最小值的差值方差 與平均值間距的平方和的平均值標(biāo)準(zhǔn)偏差 方差的平方根當(dāng)前第14頁\共有50頁\編于星期六\4點(diǎn)15正態(tài)曲線大多數(shù)（但不是所有）數(shù)據(jù)符合正態(tài)分布當(dāng)前第15頁\共有50頁\編于星期六\4點(diǎn)16目錄數(shù)理統(tǒng)計(jì)常識(shí)量化的重要性統(tǒng)計(jì)基礎(chǔ)知識(shí)數(shù)據(jù)挖掘簡介數(shù)理統(tǒng)計(jì)技術(shù)當(dāng)前第16頁\共有50頁\編于星期六\4點(diǎn)17數(shù)據(jù)挖掘簡介數(shù)據(jù)挖掘（DataMining）的概念從數(shù)據(jù)庫數(shù)據(jù)中揭示出隱含的、未知的并有潛在價(jià)值的信息決策支持，基于人工智能、機(jī)器學(xué)習(xí)、模式識(shí)別、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫、可視化技術(shù)等，高度自動(dòng)化地分析企業(yè)的數(shù)據(jù)，做出歸納性的推理，從中挖掘出潛在的模式，幫助做出正確的決策當(dāng)前第17頁\共有50頁\編于星期六\4點(diǎn)18數(shù)據(jù)挖掘主要?jiǎng)幼鞣诸惞乐殿A(yù)測關(guān)聯(lián)聚集可視化描述當(dāng)前第18頁\共有50頁\編于星期六\4點(diǎn)19案例第一次戰(zhàn)役 1950年10月26日 1950年11月02日第二次戰(zhàn)役 1950年11月25日 1950年12月02日第三次戰(zhàn)役 1950年12月31日 1951年01月08日當(dāng)前第19頁\共有50頁\編于星期六\4點(diǎn)20案例豐田大規(guī)模召回事件引起全球強(qiáng)烈反響，引發(fā)豐田信譽(yù)危機(jī)當(dāng)前第20頁\共有50頁\編于星期六\4點(diǎn)21目錄數(shù)理統(tǒng)計(jì)常識(shí)數(shù)理統(tǒng)計(jì)技術(shù)基礎(chǔ)動(dòng)作圖表操作典型工具和應(yīng)用當(dāng)前第21頁\共有50頁\編于星期六\4點(diǎn)22基礎(chǔ)動(dòng)作搜集整理分析評(píng)估展示當(dāng)前第22頁\共有50頁\編于星期六\4點(diǎn)23目錄數(shù)理統(tǒng)計(jì)常識(shí)數(shù)理統(tǒng)計(jì)技術(shù)基礎(chǔ)動(dòng)作圖表操作典型工具和應(yīng)用當(dāng)前第23頁\共有50頁\編于星期六\4點(diǎn)24圖表類型數(shù)字型邏輯型當(dāng)前第24頁\共有50頁\編于星期六\4點(diǎn)25圖表的注意事項(xiàng)選取適當(dāng)?shù)膱D表類型數(shù)量圖表應(yīng)寫清單位引用資料應(yīng)說明出處不要妄圖表達(dá)過多的信息圖例一般控制在五個(gè)以下盡量簡單明了、利于理解當(dāng)前第25頁\共有50頁\編于星期六\4點(diǎn)26動(dòng)態(tài)圖表當(dāng)前第26頁\共有50頁\編于星期六\4點(diǎn)27報(bào)告制作原則提案型報(bào)告說明型報(bào)告當(dāng)前第27頁\共有50頁\編于星期六\4點(diǎn)28文檔制作原則邏輯清晰方案多選文字精煉內(nèi)容可視恰當(dāng)修飾體積小巧制作迅速當(dāng)前第28頁\共有50頁\編于星期六\4點(diǎn)29報(bào)告的需求管理報(bào)告的客戶誰在看報(bào)告？希望看什么？希望的頻率？希望的詳略？相關(guān)的技巧買點(diǎn)和賣點(diǎn)金字塔原理當(dāng)前第29頁\共有50頁\編于星期六\4點(diǎn)30報(bào)告的素材準(zhǔn)則中肯可比準(zhǔn)確時(shí)效可靠清晰當(dāng)前第30頁\共有50頁\編于星期六\4點(diǎn)31素材組織的FAB技巧Feature 特點(diǎn)Advantage 優(yōu)點(diǎn)Benefit 利益BenefitAdvantageFeature客戶關(guān)注點(diǎn)當(dāng)前第31頁\共有50頁\編于星期六\4點(diǎn)32目錄數(shù)理統(tǒng)計(jì)常識(shí)數(shù)理統(tǒng)計(jì)技術(shù)基礎(chǔ)動(dòng)作圖表操作典型工具和應(yīng)用當(dāng)前第32頁\共有50頁\編于星期六\4點(diǎn)33規(guī)范處理數(shù)據(jù)和數(shù)據(jù)有效性數(shù)據(jù)處理的良好習(xí)慣Excel數(shù)據(jù)有效性當(dāng)前第33頁\共有50頁\編于星期六\4點(diǎn)34層別法、聚類和表格維度層別法、聚類一維表和二維表當(dāng)前第34頁\共有50頁\編于星期六\4點(diǎn)35數(shù)據(jù)透視表當(dāng)前第35頁\共有50頁\編于星期六\4點(diǎn)36將數(shù)據(jù)按順序等距分組，體現(xiàn)各組內(nèi)頻數(shù)的柱狀圖輪廓符合正態(tài)分布曲線說明處于穩(wěn)定狀態(tài)通過異常輪廓形狀分析可定位異常的原因直方圖當(dāng)前第36頁\共有50頁\編于星期六\4點(diǎn)37案例174185189196208190178184190205184185194191205205207207207206210209217214214206209210當(dāng)前第37頁\共有50頁\編于星期六\4點(diǎn)38表現(xiàn)各項(xiàng)目頻度降序排列及累積比例二八原則大問題優(yōu)先柏拉圖當(dāng)前第38頁\共有50頁\編于星期六\4點(diǎn)39ABC分析法A類0~70%，主要影響因素B類70~90%，次要影響因素C類90~100%，一般影響因素ABC的劃分不是絕對(duì)的當(dāng)前第39頁\共有50頁\編于星期六\4點(diǎn)40練習(xí)張女士結(jié)婚五年以來與丈夫發(fā)生糾紛如下不做家務(wù) 28次深夜不歸 5次不良嗜好 5次沒送禮物 1次胡亂花錢 3次婆媳關(guān)系 50次異性交往 8次請制作柏拉圖并用ABC法分析當(dāng)前第40頁\共有50頁\編于星期六\4點(diǎn)41散布圖、關(guān)聯(lián)規(guī)則和預(yù)測研究兩個(gè)特性之的內(nèi)在關(guān)系坐標(biāo)軸分別表示結(jié)果特性和原因特性使得解決問題時(shí)找出強(qiáng)相關(guān)的原因當(dāng)前第41頁\共有50頁\編于星期六\4點(diǎn)42常見類型散布圖正相關(guān)強(qiáng)X的增加導(dǎo)致Y的明顯增加正相關(guān)弱X的增加導(dǎo)致Y的略微增加因變量自變量強(qiáng)正相關(guān)弱正相關(guān)因變量自變量當(dāng)前第42頁\共有50頁\編于星期六\4點(diǎn)43常見類型負(fù)相關(guān)強(qiáng)X的增加導(dǎo)致Y的明顯減少負(fù)相關(guān)弱X的增加導(dǎo)致Y的略微減少散布圖因變量自變量強(qiáng)負(fù)相關(guān)自變量弱負(fù)相關(guān)因變量當(dāng)前第43頁\共有50頁\編于星期六\4點(diǎn)44常見類型散布圖無相關(guān)Y的變化與X的變化毫無關(guān)系曲線關(guān)系X與Y之間無線性關(guān)系但符合某種曲線變化規(guī)律曲線相關(guān)因變量自變量不相關(guān)自變量因變量當(dāng)前第44頁\共有50頁\編于星期六\4點(diǎn)45預(yù)測Forecast法趨勢線法當(dāng)前第45頁\共有50頁\編于星期六\4點(diǎn)46單變量求解當(dāng)前第46頁\共有50頁\編于星期六\4點(diǎn)47規(guī)劃求解當(dāng)前第47頁\共有50頁\編于星期六\4點(diǎn)48矩陣數(shù)據(jù)分析法矩陣數(shù)據(jù)分析法（MatrixDataAnalysisChart）用于排定優(yōu)先級(jí)、做多目標(biāo)決策量化表示各元素的關(guān)系，更準(zhǔn)確地整理和分析結(jié)果當(dāng)前第48頁\共有50頁\編于星期六\4點(diǎn)49案例

易于控制易于使用網(wǎng)絡(luò)性能軟件兼容便于維護(hù)總分權(quán)重易于控制041319.002