數(shù)據(jù)開發(fā)多年經(jīng)驗個人感悟總結(jié)

數(shù)據(jù)開發(fā)多年經(jīng)驗個人感悟總結(jié)大數(shù)據(jù)開發(fā)大數(shù)據(jù)開發(fā)，有幾個階段：1.數(shù)據(jù)采集【原始數(shù)據(jù)】2.數(shù)據(jù)匯聚【經(jīng)過清洗合并的可用數(shù)據(jù)】3.數(shù)據(jù)轉(zhuǎn)換和映射【經(jīng)過分類，提取的專項主題數(shù)據(jù)】4.數(shù)據(jù)應(yīng)用【提供api智能系統(tǒng)應(yīng)用系統(tǒng)等】數(shù)據(jù)采集數(shù)據(jù)采集有線上和線下兩種方式，線上一般通過爬蟲、通過抓取，或者通過已有應(yīng)用系統(tǒng)的采集，在這個階段，我們可以做一個大數(shù)據(jù)采集平臺，依托自動爬蟲（使用python或者nodejs制作爬蟲軟件），ETL工具、或者自定義的抽取轉(zhuǎn)換引擎，從文件中、數(shù)據(jù)庫中、網(wǎng)頁中專項爬取數(shù)據(jù)，如果這一步通過自動化系統(tǒng)來做的話，可以很方便的管理所有的原始數(shù)據(jù)，并且從數(shù)據(jù)的開始對數(shù)據(jù)進(jìn)行標(biāo)簽采集，可以規(guī)范開發(fā)人員的工作。并且目標(biāo)數(shù)據(jù)源可以更方便的管理。數(shù)據(jù)采集的難點在于多數(shù)據(jù)源，例如mysql、postgresql、sqlserver、mongodb、sqllite。還有本地文件、excel統(tǒng)計文檔、甚至是doc文件。如何將他們規(guī)整的、有方案的整理進(jìn)我們的大數(shù)據(jù)流程中也是必不可缺的一環(huán)。數(shù)據(jù)匯聚數(shù)據(jù)的匯聚是大數(shù)據(jù)流程最關(guān)鍵的一步，你可以在這里加上數(shù)據(jù)標(biāo)準(zhǔn)化，你也可以在這里做數(shù)據(jù)清洗，數(shù)據(jù)合并，還可以在這一步將數(shù)據(jù)存檔，將確認(rèn)可用的數(shù)據(jù)經(jīng)過可監(jiān)控的流程進(jìn)行整理歸類，這里產(chǎn)出的所有數(shù)據(jù)就是整個公司的數(shù)據(jù)資產(chǎn)了，到了一定的量就是一筆固定資產(chǎn)。數(shù)據(jù)匯聚的難點在于如何標(biāo)準(zhǔn)化數(shù)據(jù)，例如表名標(biāo)準(zhǔn)化，表的標(biāo)簽分類，表的用途，數(shù)據(jù)的量，是否有數(shù)據(jù)增量？，數(shù)據(jù)是否可用？需要在業(yè)務(wù)上下很大的功夫，必要時還要引入智能化處理，例如根據(jù)內(nèi)容訓(xùn)練結(jié)果自動打標(biāo)簽，自動分配推薦表名、表字段名等。還有如何從原始數(shù)據(jù)中導(dǎo)入數(shù)據(jù)等。數(shù)據(jù)轉(zhuǎn)換和映射經(jīng)過數(shù)據(jù)匯聚的數(shù)據(jù)資產(chǎn)如何提供給具體的使用方使用？在這一步，主要就是考慮數(shù)據(jù)如何應(yīng)用，如何將兩個？三個？數(shù)據(jù)表轉(zhuǎn)換成一張能夠提供服務(wù)的數(shù)據(jù)。然后定期更新增量。經(jīng)過前面的那幾步，在這一步難點并不太多了，如何轉(zhuǎn)換數(shù)據(jù)與如何清洗數(shù)據(jù)、標(biāo)準(zhǔn)數(shù)據(jù)無二，將兩個字段的值轉(zhuǎn)換成一個字段，或者根據(jù)多個可用表統(tǒng)計出一張圖表數(shù)據(jù)等等。數(shù)據(jù)應(yīng)用數(shù)據(jù)的應(yīng)用方式很多，有對外的、有對內(nèi)的，如果擁有了前期的大量數(shù)據(jù)資產(chǎn)，通過restfulAPI提供給用戶？或者提供流式引擎KAFKA給應(yīng)用消費?或者直接組成專題數(shù)據(jù)，供自己的應(yīng)用查詢？這里對數(shù)據(jù)資產(chǎn)的要求比較高，所以前期的工作做好了，這里的自由度很高。總結(jié)：大數(shù)據(jù)開發(fā)的難點大數(shù)據(jù)開發(fā)的難點主要是監(jiān)控，怎么樣規(guī)劃開發(fā)人員的工作？開發(fā)人員隨隨便便采集了一堆垃圾數(shù)據(jù)，并且直連數(shù)據(jù)庫。短期來看，這些問題比較小，可以矯正。但是在資產(chǎn)的量不斷增加的時候，這就是一顆定時炸彈，隨時會引爆，然后引發(fā)一系列對數(shù)據(jù)資產(chǎn)的影響，例如數(shù)據(jù)混亂帶來的就是數(shù)據(jù)資產(chǎn)的價值下降，客戶信任度變低。如何監(jiān)控開發(fā)人員的開發(fā)流程？答案只能是自動化平臺，只有自動化平臺能夠做到讓開發(fā)人員感到舒心的同時，接受新的事務(wù)，拋棄手動時代。這就是前端開發(fā)工程師在大數(shù)據(jù)行業(yè)中所占有的優(yōu)勢點，如何制作交互良好的可視化操作界面？如何將現(xiàn)有的工作流程、工作需求變成一個個的可視化操作界面？可不可以使用智能化取代一些無腦的操作？從一定意義上來說，大數(shù)據(jù)開發(fā)中，我個人認(rèn)為前端開發(fā)工程師占據(jù)著更重要的位置，僅次于大數(shù)據(jù)開發(fā)工程師。至于后臺開發(fā)，系統(tǒng)開發(fā)是第三位的。好的交互至關(guān)重要，如何轉(zhuǎn)換數(shù)據(jù)，如何抽取數(shù)據(jù)，一定程度上，都是有先人踩過的坑，例如kettle，再例如kafka，pipeline，解決方案眾多。關(guān)鍵是如何交互？怎么樣變現(xiàn)為可視化界面？這是一個重要的課題?，F(xiàn)有的各位朋友的側(cè)重點不同，認(rèn)為前端的角色都是可有可無，我覺得是錯誤的，后臺的確很重要，但是后臺的解決方案多。前端實際的地位更重要，但是基本無開源的解決方案，如果不夠重視前端開發(fā)，面臨的問題就是交互很爛，界面爛，體驗差，導(dǎo)致開發(fā)人員的排斥，而可視化這塊的知識點眾多，對開發(fā)人員的素質(zhì)要求更高。大數(shù)據(jù)治理大數(shù)據(jù)治理應(yīng)該貫穿整個大數(shù)據(jù)開發(fā)流程，它有扮演著重要的角色，淺略的介紹幾點：數(shù)據(jù)血緣數(shù)據(jù)質(zhì)量審查全平臺監(jiān)控數(shù)據(jù)血緣從數(shù)據(jù)血緣說起，數(shù)據(jù)血緣應(yīng)該是大數(shù)據(jù)治理的入口，通過一張表，能夠清晰看見它的來龍去脈，字段的拆分，清洗過程，表的流轉(zhuǎn)，數(shù)據(jù)的量的變化，都應(yīng)該從數(shù)據(jù)血緣出發(fā)，我個人認(rèn)為，大數(shù)據(jù)治理整個的目標(biāo)就是這個數(shù)據(jù)血緣，從數(shù)據(jù)血緣能夠有監(jiān)控全局的能力。數(shù)據(jù)血緣是依托于大數(shù)據(jù)開發(fā)過程的，它包圍著整個大數(shù)據(jù)開發(fā)過程，每一步開發(fā)的歷史，數(shù)據(jù)導(dǎo)入的歷史，都應(yīng)該有相應(yīng)的記錄，數(shù)據(jù)血緣在數(shù)據(jù)資產(chǎn)有一定規(guī)模時，基本必不可少。數(shù)據(jù)質(zhì)量審查數(shù)據(jù)開發(fā)中，每一個模型（表）創(chuàng)建的結(jié)束，都應(yīng)該有一個數(shù)據(jù)質(zhì)量審查的過程，在體系大的環(huán)境中，還應(yīng)該在關(guān)鍵步驟添加審批，例如在數(shù)據(jù)轉(zhuǎn)換和映射這一步，涉及到客戶的數(shù)據(jù)提供，應(yīng)該建立一個完善的數(shù)據(jù)質(zhì)量審查制度，幫助企業(yè)第一時間發(fā)現(xiàn)數(shù)據(jù)存在的問題，在數(shù)據(jù)發(fā)生問題時也能第一時間看到問題的所在，并從根源解決問題，而不是盲目的通過連接數(shù)據(jù)庫一遍一遍的查詢sql。全平臺監(jiān)控監(jiān)控呢，其實包含了很多的點，例如應(yīng)用監(jiān)控，數(shù)據(jù)監(jiān)控，預(yù)警系統(tǒng)，工單系統(tǒng)等，對我們接管的每個數(shù)據(jù)源、數(shù)據(jù)表都需要做到實時監(jiān)控，一旦發(fā)生殆機(jī)，或者發(fā)生停電，能夠第一時間電話或者短信通知到具體負(fù)責(zé)人，這里可以借鑒一些自動化運維平臺的經(jīng)驗的，監(jiān)控約等于運維，好的監(jiān)控提供的數(shù)據(jù)資產(chǎn)的保護(hù)也是很重要的。大數(shù)據(jù)可視化大數(shù)據(jù)可視化不僅僅是圖表的展現(xiàn)，大數(shù)據(jù)可視化不僅僅是圖表的展現(xiàn)，大數(shù)據(jù)可視化不僅僅是圖表的展現(xiàn)，重要的事說三遍，大數(shù)據(jù)可視化歸類的數(shù)據(jù)開發(fā)中，有一部分屬于應(yīng)用類，有一部分屬于開發(fā)類。在開發(fā)中，大數(shù)據(jù)可視化扮演的是可視化操作的角色，如何通過可視化的模式建立模型？如何通過拖拉拽，或者立體操作來實現(xiàn)數(shù)據(jù)質(zhì)量的可操作性？畫兩個表格加幾個按鈕實現(xiàn)復(fù)雜的操作流程是不現(xiàn)實的。在可視化應(yīng)用中，更多的也有如何轉(zhuǎn)換數(shù)據(jù)，如何展示數(shù)據(jù)，圖表是其中的一部分，平時更多的工作還是對數(shù)據(jù)的分析，怎么樣更直觀的表達(dá)數(shù)據(jù)？這需要對數(shù)據(jù)有深刻的理解，對業(yè)務(wù)有深刻的理解，才能做出合適的可視化應(yīng)用。智能的可視化平臺可視化是可以被再可視化的，例如superset，通過操作sql實現(xiàn)圖表，有一些產(chǎn)品甚至能做到根據(jù)數(shù)據(jù)的內(nèi)容智能分類，推薦圖表類型，實時的進(jìn)行可視化開發(fā)，這樣的功能才是可視化現(xiàn)有的發(fā)展方向，我們需要大量的可視化內(nèi)容來對公司發(fā)生產(chǎn)出，例如服裝行業(yè)，銷售部門：進(jìn)貨出貨，顏色搭配對用戶的影響，季節(jié)對選擇的影響生產(chǎn)部門：布料價格走勢？產(chǎn)能和效率的數(shù)據(jù)統(tǒng)計？等等，每一個部門都可以有一個數(shù)據(jù)大屏，可以通過平臺任意規(guī)劃自己的大屏，所有人每天能夠關(guān)注到自己的領(lǐng)域動向，這才是大數(shù)據(jù)可視化應(yīng)用的具體意義。寫在最后洋洋灑灑寫了很多，對我近兩年的所見所聞所學(xué)所想進(jìn)行了一些總結(jié)，有些童鞋會問，不是技術(shù)么？為什么沒有代碼？博主要說，代碼博主要學(xué)的，要寫的，但是與工作無關(guān)，代碼是我個人的技能，個人傍身，實現(xiàn)個人想法的重要技能。但是，代碼與業(yè)務(wù)的關(guān)系不大，在工作中，懂業(yè)務(wù)的人代碼寫的更好，因為他知道公司想要什么。如果你業(yè)務(wù)很差，那也沒關(guān)系，你代碼好就行了呀，根據(jù)別人的交代干活，也是很不錯的。技術(shù)和業(yè)務(wù)是相輔相成的，稍后博主總結(jié)代碼的精進(jìn)。寫完了，博主的焦慮一絲未少，我的代碼規(guī)范性不夠，目前技術(shù)棧js、java、nodejs、python。主業(yè)js熟練度80%吧，正在研究阮一峰的es6（看的差不多）和vuejs的源碼（有點擱淺），vuejs算是中等，css和布局方面可以說還可以，另外d3.js，go.js都是處于會用，能干活。nodejs呢，expre