大數(shù)據(jù)分析過程遇到的13個(gè)問題

大數(shù)據(jù)分析遇到的13個(gè)問題1、最早的數(shù)據(jù)分析可能就報(bào)表目前很多數(shù)據(jù)分析后的結(jié)果，展示的形式很多，有各種圖形以及報(bào)表，最早的應(yīng)該是簡單的幾條數(shù)據(jù)，然后搞個(gè)web頁面，展示一下數(shù)據(jù)。早期可能數(shù)據(jù)量也不大，隨便搞個(gè)數(shù)據(jù)庫，然后SQL搞一下，數(shù)據(jù)報(bào)表就出來了。但是數(shù)據(jù)量大起來怎么分析呢？數(shù)據(jù)分析完了怎么做傳輸呢？這么大的數(shù)據(jù)量怎么做到實(shí)時(shí)呢？分析的結(jié)果數(shù)據(jù)如果不是很大還行，如果分析的結(jié)果數(shù)據(jù)還是很大改怎么辦呢？這些問題在這篇文章中都能找到答案，下面各個(gè)擊破。2、要做數(shù)據(jù)分析，首先要有數(shù)據(jù)這個(gè)標(biāo)題感覺有點(diǎn)廢話，不過要做飯需要食材一樣。有些數(shù)據(jù)時(shí)業(yè)務(wù)積累的，像交易訂單的數(shù)據(jù)，每一筆交易都會(huì)有一筆訂單，之后再對訂單數(shù)據(jù)作分析。但是有些場景下，數(shù)據(jù)沒法考業(yè)務(wù)積累，需要依賴于外部，這個(gè)時(shí)候外部如果有現(xiàn)成的數(shù)據(jù)最好了，直接join過來，但是有時(shí)候是需要自己獲取的，例如搞個(gè)爬蟲爬取網(wǎng)頁的數(shù)據(jù)，有時(shí)候單臺機(jī)器搞爬蟲可能還爬不完，這個(gè)時(shí)候可能就開始考慮單機(jī)多線程爬取或者分布式多線程爬取數(shù)據(jù)，中間涉及到一個(gè)步驟，就是在線的業(yè)務(wù)數(shù)據(jù)，需要每天晚上導(dǎo)入到離線的系統(tǒng)中，之后才可以進(jìn)行分析。3、有了數(shù)據(jù)，咋分析呢？先將數(shù)據(jù)量小的情況下，可能一個(gè)復(fù)雜的SQL就可以搞出來，之后搞個(gè)web服務(wù)器，頁面請求的時(shí)候，執(zhí)行這個(gè)SQL，然后展示數(shù)據(jù)，好了，一個(gè)最簡單的數(shù)據(jù)分析，嚴(yán)格意義上講是統(tǒng)計(jì)的分析。這種情況下，分析的數(shù)據(jù)源小，分析的腳本就是在線執(zhí)行的SQL，分析的結(jié)果不用傳輸，結(jié)果的展示就在頁面上，整個(gè)流程一條龍。4、數(shù)據(jù)量大了，無法在線分析了，咋辦呢？這個(gè)時(shí)候，數(shù)據(jù)量已經(jīng)大的無法用在線執(zhí)行SQL的形式進(jìn)行統(tǒng)計(jì)分析了。這個(gè)時(shí)候順應(yīng)時(shí)代的東西產(chǎn)生了（當(dāng)然還有其他的，我就知道這個(gè)呵呵），數(shù)據(jù)離線數(shù)據(jù)工具h(yuǎn)adoop出來了。這個(gè)時(shí)候，你的數(shù)據(jù)以文件的形式存在，可能各個(gè)屬性是逗號分隔的，數(shù)據(jù)條數(shù)有十幾個(gè)億。這時(shí)候你可能需要構(gòu)建一個(gè)hadoop集群，然后把自己的文件導(dǎo)入到集群上面去，上了集群之后，文件就是HDFS的格式了，然后如果要做統(tǒng)計(jì)分析，需要寫mapreduce程序，所謂的mapreduce程序，就是實(shí)現(xiàn)map和reduce的接口，按照自己的業(yè)務(wù)邏輯寫分析流程，之后把程序打成jar包上傳到集群，之后開始執(zhí)行。分析后的結(jié)果還是文件的形式產(chǎn)生。5、分析個(gè)數(shù)據(jù)還要寫java代碼是不是效率低了點(diǎn)這個(gè)確實(shí)是，mapreduce的程序，本身的可測性沒有執(zhí)行一個(gè)簡單的單元測試來的爽，所以效率確實(shí)不高。這個(gè)時(shí)候，hive出現(xiàn)了，hive是一個(gè)數(shù)據(jù)倉庫分析的語言，語法類似于數(shù)據(jù)庫的SQL，但是有幾個(gè)地方是不同的。有了hive之后，數(shù)據(jù)分析就好之前寫SQL一樣了，按照邏輯編寫hiveSQL，然后控制臺執(zhí)行?？赡茏畲蟮母杏X是，數(shù)據(jù)庫的sql很快就能有結(jié)果，但是hive的，即使很小的一個(gè)數(shù)據(jù)分析，也需要幾分鐘時(shí)間。構(gòu)建hive，需要在hadoop的集群上，原理很簡單，就是把文件構(gòu)建成表的形式（有一個(gè)數(shù)據(jù)庫或者內(nèi)存數(shù)據(jù)庫維護(hù)表的schema信息），之后提交寫好的hivesql的時(shí)候，hadoop集群里面的程序把hive腳本轉(zhuǎn)換成對應(yīng)的mapreduce程序執(zhí)行。這個(gè)時(shí)候，做離線的數(shù)據(jù)分析簡單寫腳本就行了，不用再搞java代碼，然后上傳執(zhí)行了。6、數(shù)據(jù)產(chǎn)生的結(jié)果，怎么搞到線上提供服務(wù)的數(shù)據(jù)庫中呢？這個(gè)時(shí)候分析的結(jié)果有了，可能是一個(gè)很寬很長的excel表格，需要導(dǎo)入到線上的數(shù)據(jù)庫中，可能你想到了，如果我的數(shù)據(jù)庫是mysql，我直接執(zhí)行l(wèi)oad命令就搞進(jìn)去了，哪有那么麻煩。但是數(shù)據(jù)源可能有多了，mysql