大數(shù)據(jù)技術(shù)及數(shù)據(jù)分析課程培訓(xùn)-師偉ppt課件

大數(shù)據(jù)技術(shù)及數(shù)據(jù)分析 主講人 師偉 2 課程收益 學(xué)習數(shù)理統(tǒng)計的理念熟悉常見的處理套路掌握常用軟件的使用解決學(xué)員的具體問題 3 目錄 數(shù)理統(tǒng)計常識數(shù)理統(tǒng)計技術(shù) 4 目錄 數(shù)理統(tǒng)計常識量化的重要性統(tǒng)計基礎(chǔ)知識數(shù)據(jù)挖掘簡介數(shù)理統(tǒng)計技術(shù) 5 案例 6 案例 記者在短時間內(nèi)發(fā)生這么多起跳樓的事件 如果站在理論角度上 發(fā)生率算不算高 樊富珉按衛(wèi)生部統(tǒng)計 目前中國自殺率大概是十萬分之十六左右 而富士康40多萬人 約十萬分之二三左右 大學(xué)生我們也做過統(tǒng)計 大概十萬分之二到三左右 如果從全國的自殺率來比的話 應(yīng)該還是低的 7 案例 世界銀行發(fā)展委員會25日通過了發(fā)達國家向發(fā)展中國家轉(zhuǎn)移投票權(quán)的改革方案 這一改革從一個側(cè)面反映了世界經(jīng)濟版圖的變化本次改革中 發(fā)達國家向發(fā)展中國家共轉(zhuǎn)移了3 13個百分點的投票權(quán) 中國在世行的投票權(quán)從目前的2 77 提高到4 42 成為世界銀行第三大股東國 僅次于美國和日本世界銀行規(guī)則 任何重要的決議必須由85 以上的表決權(quán)決定 8 案例 在一次海難中 統(tǒng)計數(shù)據(jù)為頭等艙乘客319人 200人幸存二等艙乘客269人 117人幸存三等艙乘客699人 172人幸存從以上數(shù)據(jù)你可以發(fā)現(xiàn)什么 9 目錄 數(shù)理統(tǒng)計常識量化的重要性統(tǒng)計基礎(chǔ)知識數(shù)據(jù)挖掘簡介數(shù)理統(tǒng)計技術(shù) 10 誤差 波動 偶然誤差可減小但不可消除系統(tǒng)誤差可消除 11 抽樣 12 連續(xù)數(shù)據(jù)和離散數(shù)據(jù) 連續(xù)數(shù)據(jù)定量信息含量大離散數(shù)據(jù)定性信息含量小 13 判斷數(shù)據(jù)屬性 銷售訂單準確度數(shù)據(jù)輸入準確度銷售地區(qū)用通規(guī)測量得到的孔徑用卡尺測量得到的孔徑客戶熱線對話時間空調(diào)制冷劑的重量一批顧客中不滿意的人數(shù)一批顧客中不滿意的比例 14 數(shù)據(jù)的居中程度和離散程度 主要的居中指標平均值數(shù)據(jù)集的平均值中位數(shù)數(shù)據(jù)排序后得到的中間數(shù)眾數(shù)數(shù)據(jù)集中最頻繁出現(xiàn)的值主要的離散指標極差數(shù)據(jù)集中最大值與最小值的差值方差與平均值間距的平方和的平均值標準偏差方差的平方根 15 正態(tài)曲線 大多數(shù) 但不是所有 數(shù)據(jù)符合正態(tài)分布 16 目錄 數(shù)理統(tǒng)計常識量化的重要性統(tǒng)計基礎(chǔ)知識數(shù)據(jù)挖掘簡介數(shù)理統(tǒng)計技術(shù) 17 數(shù)據(jù)挖掘簡介 數(shù)據(jù)挖掘 DataMining 的概念從數(shù)據(jù)庫數(shù)據(jù)中揭示出隱含的 未知的并有潛在價值的信息決策支持 基于人工智能 機器學(xué)習 模式識別 統(tǒng)計學(xué) 數(shù)據(jù)庫 可視化技術(shù)等 高度自動化地分析企業(yè)的數(shù)據(jù) 做出歸納性的推理 從中挖掘出潛在的模式 幫助做出正確的決策 18 數(shù)據(jù)挖掘主要動作 分類估值預(yù)測關(guān)聯(lián)聚集可視化描述 19 案例 第一次戰(zhàn)役1950年10月26日1950年11月02日第二次戰(zhàn)役1950年11月25日1950年12月02日第三次戰(zhàn)役1950年12月31日1951年01月08日 20 案例 豐田大規(guī)模召回事件引起全球強烈反響 引發(fā)豐田信譽危機 21 目錄 數(shù)理統(tǒng)計常識數(shù)理統(tǒng)計技術(shù)基礎(chǔ)動作圖表操作典型工具和應(yīng)用 22 基礎(chǔ)動作 搜集整理分析評估展示 23 目錄 數(shù)理統(tǒng)計常識數(shù)理統(tǒng)計技術(shù)基礎(chǔ)動作圖表操作典型工具和應(yīng)用 24 圖表類型 數(shù)字型邏輯型 25 圖表的注意事項 選取適當?shù)膱D表類型數(shù)量圖表應(yīng)寫清單位引用資料應(yīng)說明出處不要妄圖表達過多的信息圖例一般控制在五個以下盡量簡單明了 利于理解 26 動態(tài)圖表 27 報告制作原則 提案型報告說明型報告 28 文檔制作原則 邏輯清晰方案多選文字精煉內(nèi)容可視恰當修飾體積小巧制作迅速 29 報告的需求管理 報告的客戶誰在看報告 希望看什么 希望的頻率 希望的詳略 相關(guān)的技巧買點和賣點金字塔原理 30 報告的素材準則 中肯可比準確時效可靠清晰 31 素材組織的FAB技巧 Feature特點Advantage優(yōu)點Benefit利益 Benefit Advantage Feature 32 目錄 數(shù)理統(tǒng)計常識數(shù)理統(tǒng)計技術(shù)基礎(chǔ)動作圖表操作典型工具和應(yīng)用 33 規(guī)范處理數(shù)據(jù)和數(shù)據(jù)有效性 數(shù)據(jù)處理的良好習慣Excel數(shù)據(jù)有效性 34 層別法 聚類和表格維度 層別法 聚類一維表和二維表 35 數(shù)據(jù)透視表 36 將數(shù)據(jù)按順序等距分組 體現(xiàn)各組內(nèi)頻數(shù)的柱狀圖輪廓符合正態(tài)分布曲線說明處于穩(wěn)定狀態(tài)通過異常輪廓形狀分析可定位異常的原因 直方圖 37 案例 174185189196208190178184190205184185194191 205205207207207206210209217214214206209210 38 表現(xiàn)各項目頻度降序排列及累積比例二八原則大問題優(yōu)先 柏拉圖 39 ABC分析法 A類0 70 主要影響因素B類70 90 次要影響因素C類90 100 一般影響因素 ABC的劃分不是絕對的 40 練習 張女士結(jié)婚五年以來與丈夫發(fā)生糾紛如下不做家務(wù)28次深夜不歸5次不良嗜好5次沒送禮物1次胡亂花錢3次婆媳關(guān)系50次異性交往8次請制作柏拉圖并用ABC法分析 41 散布圖 關(guān)聯(lián)規(guī)則和預(yù)測 研究兩個特性之的內(nèi)在關(guān)系坐標軸分別表示結(jié)果特性和原因特性使得解決問題時找出強相關(guān)的原因 42 常見類型 散布圖 正相關(guān)強X的增加導(dǎo)致Y的明顯增加 正相關(guān)弱X的增加導(dǎo)致Y的略微增加 43 常見類型 負相關(guān)強X的增加導(dǎo)致Y的明顯減少 負相關(guān)弱X的增加導(dǎo)致Y的略微減少 散布圖 44 常見類型 散布圖 無相關(guān)Y的變化與X的變化毫無關(guān)系 曲線關(guān)系X與Y之間無線性關(guān)系但符合某種曲線變化規(guī)律 45 預(yù)測 Forecast法趨勢線法 46 單變量求解 47 規(guī)劃求解 48 矩陣數(shù)據(jù)分析法 矩陣數(shù)據(jù)分析法 MatrixDataAnalysisChart 用于排定優(yōu)先級 做多目標決策量化表示各元素的關(guān)系 更準確地整理和分析結(jié)果 49 案例 50 練習 51 中興通訊管理體系總監(jiān)中興通訊最佳兼職講師中興通訊學(xué)院資深講