2018數(shù)據(jù)分析工作總結(jié)

2018 數(shù)據(jù)分析工作總結(jié)數(shù)據(jù)分析工作總結(jié) 在這 1 段時間的工作中 遭受到了很多的 問題 也嘗試了多種解決方案 最后取得良好的效果 這也離 不開同事的幫助 從中可以感悟到本身的不足 需要在以后的 時間中加強(qiáng)自我的能力 下面是小編帶來的 2018 數(shù)據(jù)分析工作 總結(jié) 近期主要完成了某產(chǎn)品用戶畫像分析 從 9 月底拿到數(shù)據(jù) 到上周輸出第 3 稿 中間用時 1 個半月 如果從收到需求 到 3 稿輸出 那就超過兩個月 在這次全部分析進(jìn)程中 遇到了 很多問題 嘗試了使用不同方法 現(xiàn)在是時候做 1 個復(fù)盤 總 結(jié) 反思 在開始階段 遇到的主要問題是客戶的要求是分析產(chǎn)品用 戶畫像報告 由于沒有直接跟客戶溝通 而需求只有簡單的 1 句話 我只能根據(jù)經(jīng)驗(yàn)列出要分析的要點(diǎn) 肯定需要的數(shù)據(jù)維 度 在我肯定分析框架后 我發(fā)現(xiàn)如果依照我方的想法最后輸 出的結(jié)果卻不是客戶想到的 那就白做了 所以肯定分析框架 后還需要客戶確認(rèn) 思路是不是可行 分析方向有沒有異議 這個問題還算比較好解決 客戶同意了分析思路便可 經(jīng)過與客戶溝通后 到了第 2 階段 發(fā)起提數(shù)需求 這個 進(jìn)程整體算比較順利 客戶方數(shù)據(jù)庫工程師首先反饋了 1 份樣 本數(shù)據(jù) 讓我方確認(rèn)數(shù)據(jù)是不是正確 如正確 則提供全量樣 本 數(shù)據(jù)驗(yàn)證的進(jìn)程 主要是由我來完成 對樣本數(shù)據(jù) 我提 出了 1 些疑問 對方也逐一解答 固然還有個別字段邏輯問題 我沒有發(fā)現(xiàn) 對后續(xù)的分析帶來了 1 些影響 造成最后能使用 的維度減少 是 1 個遺憾 拿到全量數(shù)據(jù)后 對數(shù)據(jù)進(jìn)行清洗 在這個進(jìn)程中發(fā)現(xiàn)數(shù) 據(jù)質(zhì)量非常不理想 很多字段的缺失值占比很大 個別字段也 有異常值 整體樣本中能使用的記錄銳減 1 開始我的處理方 法比較簡單 對缺失值占比達(dá)的字段直接不使用 帶來的后果 就是輸出的初版分析報告過于簡單 重新回到數(shù)據(jù) 再次對數(shù)據(jù)進(jìn)行摸底 而且也調(diào)劑分析方 法 嘗試使用聚類分析方法 按用戶活躍渠道 對用進(jìn)行分群 分群后 再結(jié)合其他維度 對用戶進(jìn)行描寫 這 1 次輸出的報 告還是存在 1 些問題 最大問題就是用戶群之間區(qū)分不明顯 只能繼續(xù)修改 中間由于要做另外一個分析 用戶畫像分析就 暫時先放 1 邊 完成另外一個分析后 繼續(xù)回到產(chǎn)品用戶畫像分析 這次 同事提出了 1 些建議 在沒有更好的思路前 我依照同事的建 議第 3 次修改分析報告 固然還是要先處理數(shù)據(jù) 這次我對異 常值 缺失值就好了處理 異常值使用的是蓋帽法 對缺失值 在 1 些字段中用 0 彌補(bǔ) 這樣增加了可以使用的維度 數(shù)據(jù)清 洗完后 對連續(xù)變量進(jìn)行分箱處理 這 1 次還是先使用聚類分 析 對幾個字段進(jìn)行聚類 這樣增加了兩個大的維度 接著基 于兩個大的維度 使用對應(yīng)分析方法 結(jié)合其他維度視察變量 間的關(guān)系 最后的結(jié)果顯示有部份變量之間是存在明顯的關(guān)系 有些幾近沒有區(qū)分 數(shù)據(jù)處理完后 再次輸出分析報告 完成第 3 次分析后 我回過頭來看看分析中存在的問題 特別是使用對應(yīng)分析 查閱了 1 些資料 發(fā)現(xiàn)在對應(yīng)分析中 應(yīng)當(dāng)先進(jìn)行預(yù)分析 聚類分析 兩次我都是使用 k means 聚類 其實(shí)還可使用 2 階聚類 2 階聚類適用于分類變量 這是快速 聚類不適用的 我嘗試在清洗后的數(shù)據(jù)中使用 2 階聚類 效果 尚可 最近恰好又在看丁亞軍老師的講課視頻 講到聚類分析 再結(jié)合我在工作中的利用 對聚類分析方法有了新的認(rèn)識 聚 類方法在剛興起的時候 是不被傳統(tǒng)的統(tǒng)計學(xué)家們接受 由于 這個方法太簡單 沒有使用到過量的統(tǒng)計學(xué)知識 在實(shí)際的工 作中 聚類使用的頻率還是很高的 特別是在用戶分群方面 用戶特點(diǎn)的描寫 對應(yīng)分析是第 1 次用到 為何會想到使用對 應(yīng)分析 主要是根據(jù)變量類型 幾個分類型變量 探究變