其他數(shù)據(jù)統(tǒng)計(jì)

數(shù)據(jù)統(tǒng)計(jì)Q4季度總結(jié)杰嬌2014011613-Q4工作總結(jié)14-Q1工作計(jì)劃問(wèn)題13-Q4工作總結(jié)(大綱）數(shù)據(jù)質(zhì)量中心團(tuán)隊(duì)建設(shè)數(shù)據(jù)倉(cāng)庫(kù)常規(guī)需求常規(guī)需求——概覽Native-app

Web-app媒體站音樂(lè)盒音樂(lè)人音樂(lè)云千千靜聽(tīng)百度音樂(lè)pc版Vip付費(fèi)票務(wù)……10+602143常規(guī)需求——詳細(xì)及趨勢(shì)

常規(guī)需求——產(chǎn)品線分布常規(guī)需求——Log資源清理音樂(lè)26.04NS其他產(chǎn)品線Month：7音樂(lè)27.55NS其他產(chǎn)品線Month：10音樂(lè)18.07NS其他產(chǎn)品線Month：11音樂(lè)13.85NS其他產(chǎn)品線Month：121Log平臺(tái)向新平臺(tái)遷移2Log平臺(tái)下線維護(hù)3Log平臺(tái)強(qiáng)制下線Q3數(shù)據(jù)倉(cāng)庫(kù)——變化量變質(zhì)變百度音樂(lè)用戶行為數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)——關(guān)鍵詞數(shù)據(jù)倉(cāng)庫(kù)專業(yè)效率技術(shù)準(zhǔn)確百度音樂(lè)用戶行為數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)——主要工作總結(jié)資源優(yōu)化數(shù)據(jù)覆蓋度基礎(chǔ)/主題結(jié)構(gòu)及效率優(yōu)化Event大表上線、音樂(lè)人、音樂(lè)云、vip等后端日志入庫(kù)完成，同時(shí)為這些產(chǎn)品的遷移奠定了基礎(chǔ)建立監(jiān)控值班機(jī)制（11月）對(duì)于音樂(lè)核心報(bào)表，建立了監(jiān)控值班機(jī)制，以保障第一時(shí)間處理到問(wèn)題整體結(jié)構(gòu)上的優(yōu)化（時(shí)間待定）對(duì)目前數(shù)據(jù)倉(cāng)庫(kù)中間/報(bào)表層數(shù)據(jù)粒度以及任務(wù)結(jié)構(gòu)進(jìn)行優(yōu)化，是的存儲(chǔ)及計(jì)算效率更高啟動(dòng)線上數(shù)據(jù)遷移（榜單、音樂(lè)人、melody、曲庫(kù)）等遷移，榜單、音樂(lè)人、曲庫(kù)已完成產(chǎn)品線RD提供數(shù)據(jù)推送服務(wù)、UDF\UDAF等逐漸豐富細(xì)化音樂(lè)數(shù)據(jù)級(jí)別，分為核心和非核心數(shù)據(jù)（10月）將核心數(shù)據(jù)任務(wù)單獨(dú)拆分出來(lái)執(zhí)行，以保證核心任務(wù)不收其他任務(wù)影響規(guī)范優(yōu)化建立了數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)規(guī)范，并形成規(guī)范文檔執(zhí)行資源管理對(duì)kpi、核心任務(wù)進(jìn)行了深入的優(yōu)化，時(shí)間提前了3-4小時(shí)biglog獨(dú)立隊(duì)列申請(qǐng)到biglog獨(dú)立隊(duì)列，目前kpi、核心任務(wù)已遷移并運(yùn)行穩(wěn)定及時(shí)資源管理結(jié)合數(shù)據(jù)質(zhì)量中心、crm對(duì)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行資源使用上的管理數(shù)據(jù)倉(cāng)庫(kù)——資源評(píng)估效果數(shù)據(jù)質(zhì)量中心業(yè)務(wù)技術(shù)數(shù)據(jù)質(zhì)量中心在元數(shù)據(jù)基礎(chǔ)上對(duì)整個(gè)數(shù)據(jù)體系進(jìn)行數(shù)據(jù)處理、流向等的分析，使得每個(gè)點(diǎn)都能清晰的觀察到上下游血脈和依賴關(guān)系在元數(shù)據(jù)及數(shù)據(jù)指標(biāo)規(guī)范化、定義豐富精準(zhǔn)化的基礎(chǔ)上，建立主題數(shù)據(jù)體系樹(shù)，從而提供數(shù)據(jù)自主檢索（選購(gòu)）等服務(wù)。在元數(shù)據(jù)及數(shù)據(jù)業(yè)務(wù)模型化的基礎(chǔ)上，對(duì)業(yè)務(wù)進(jìn)行歸類建模，使得用戶通過(guò)傻瓜型的操作能夠獲取所需，而不完全依賴?yán)凶鳂I(yè)。數(shù)據(jù)質(zhì)量中心數(shù)據(jù)工廠數(shù)據(jù)超市血統(tǒng)分析以元數(shù)據(jù)管理為基礎(chǔ)元數(shù)據(jù)

管理元數(shù)據(jù)管理——日志管理模塊12月初元數(shù)據(jù)管理——數(shù)據(jù)倉(cāng)庫(kù)管理12月中-1月將原本地word文檔維護(hù)的日志格式結(jié)構(gòu)化，更好的達(dá)到維護(hù)及時(shí)和信息共享的目的。為后續(xù)“基礎(chǔ)日志自動(dòng)掃描”、“血統(tǒng)分析”、“數(shù)據(jù)超市”的實(shí)現(xiàn)奠定了基礎(chǔ)。使得非數(shù)據(jù)統(tǒng)計(jì)同學(xué)也能夠方便的、實(shí)時(shí)的了解到各個(gè)產(chǎn)品線基礎(chǔ)日志規(guī)范的全面信息。將日志規(guī)范制定的過(guò)程系統(tǒng)化自動(dòng)化，例如通過(guò)系統(tǒng)維護(hù)自動(dòng)郵件通知等，降低了人工同時(shí)要發(fā)送郵件和維護(hù)word文檔的成本。數(shù)據(jù)質(zhì)量中心——圖示數(shù)據(jù)質(zhì)量中心——規(guī)范建立代碼規(guī)范項(xiàng)目開(kāi)發(fā)規(guī)范隨著數(shù)據(jù)質(zhì)量中心工作的不斷深入，逐步形成了可執(zhí)行和可落實(shí)的代碼規(guī)范由于經(jīng)驗(yàn)不足，項(xiàng)目過(guò)程暴露了很多問(wèn)題，經(jīng)過(guò)總結(jié)和討論形成了規(guī)范團(tuán)隊(duì)建設(shè)清晰的團(tuán)隊(duì)目標(biāo)、統(tǒng)一規(guī)則每周同步重要事情以及團(tuán)隊(duì)重要方向和變化等。建立維護(hù)工作規(guī)則以及獎(jiǎng)懲機(jī)制成員結(jié)構(gòu)重組根據(jù)團(tuán)隊(duì)工作的變化，重組成員，達(dá)到效率最大化。backup系統(tǒng)的學(xué)習(xí)提升安排系統(tǒng)的hive等技術(shù)培訓(xùn)周例會(huì)進(jìn)行codereview抽查，共同發(fā)現(xiàn)問(wèn)題，提出解決方案導(dǎo)師指導(dǎo)團(tuán)隊(duì)精神規(guī)范執(zhí)行、成員的成長(zhǎng)、及時(shí)發(fā)問(wèn)題、及時(shí)溝通、鼓勵(lì)等等，需要改進(jìn)和提高計(jì)劃數(shù)據(jù)倉(cāng)庫(kù)曲庫(kù)遷移Toaddacommenthere123質(zhì)量中心元數(shù)據(jù)管理——數(shù)據(jù)倉(cāng)庫(kù)管理常規(guī)需求統(tǒng)計(jì)需求、日志格式規(guī)范數(shù)據(jù)倉(cāng)庫(kù)Melody遷移、啟動(dòng)event大表切換、啟動(dòng)普通任務(wù)向高優(yōu)隊(duì)列遷移質(zhì)量中心元數(shù)據(jù)管理——crm元數(shù)據(jù)管理常規(guī)需求統(tǒng)計(jì)需求、日志格式規(guī)范數(shù)據(jù)倉(cāng)庫(kù)Melody遷移、event大表切換普通任務(wù)向高優(yōu)隊(duì)列遷移質(zhì)量中心日志掃描子系統(tǒng)常規(guī)需求統(tǒng)計(jì)需求、日志格式規(guī)范2014年：數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)優(yōu)化數(shù)據(jù)源切換數(shù)據(jù)主題等覆蓋度數(shù)據(jù)質(zhì)量中心元數(shù)據(jù)管理日志掃描血統(tǒng)分析數(shù)據(jù)工廠數(shù)據(jù)超市常規(guī)需求重要項(xiàng)目支持需求、日志格式規(guī)范團(tuán)隊(duì)建設(shè)技術(shù)能力業(yè)務(wù)能力獨(dú)立承擔(dān)解決問(wèn)題能力問(wèn)題分析團(tuán)隊(duì)業(yè)務(wù)、技術(shù)能力業(yè)務(wù)/技術(shù)積累不夠，不能獨(dú)立處理問(wèn)題人員更替頻繁，無(wú)法沉淀流程機(jī)制隨著業(yè)務(wù)不斷向數(shù)據(jù)倉(cāng)庫(kù)遷移，部分流程和機(jī)制需要不斷的嘗試和調(diào)整工程能力隨著數(shù)據(jù)質(zhì)量中