Topsummit從零開始搭建大數(shù)據(jù)平臺-樂視網(wǎng)白德鑫

從零開始搭建大數(shù)據(jù)平臺白德鑫@leoobai摘要屌絲的數(shù)據(jù)分析土豪要和屌絲做朋友屌絲的進化屌絲變土豪構建電視分析數(shù)據(jù)平臺本案例是在為在為超級電視及樂視盒子數(shù)據(jù)提供用戶行為的數(shù)據(jù)分析及挖掘服務而啟動的數(shù)據(jù)平臺項目的過程和經(jīng)驗分享。對超級電視的用戶行為數(shù)據(jù)進行實時和離線分析，為運營提供決策支持。通過對電視數(shù)據(jù)挖掘來進行系統(tǒng)優(yōu)化和服務提升。

白德鑫來自樂視網(wǎng)TV開放平臺事業(yè)部歷經(jīng)電信、游戲、互聯(lián)網(wǎng)三個行業(yè)，互聯(lián)網(wǎng)電視拓荒者，目前負責樂視網(wǎng)超級電視運營平臺、LetvStore、TV數(shù)據(jù)挖掘分析平臺、TV開放平臺項目建設。微博:@leoobai

G粉，釣魚迷和摩托迷屌絲如何成為糕富帥苦逼屌絲配置兩臺MySQL（主從）記錄日志，通過CronJob加上SQL方式在Slave進行統(tǒng)計分析發(fā)奮圖強的屌絲嘗試使用Cassandra將日志存儲，使用Hadoop進行計算，然后把結果塞到MySQL里太多的數(shù)據(jù)組合，屌絲嘗試使用MySQL集群加上Kettle進行統(tǒng)計分析鳥槍換炮屌絲開始使用大規(guī)模殺傷性武器Kafka、Storm、Hadoop、Hbase、Hive、Oozie、Sqoop苦逼屌絲的數(shù)據(jù)起點數(shù)據(jù)越來越大，需求越來越多，土豪上門了人員離職造成系統(tǒng)失控，Cassandra沒人維護了人員離職對系統(tǒng)影響很大不一定時刻都有合適的人接替招聘成本很高，因為有技術的土豪都不愿意和屌絲做朋友人員流失往往帶來技術的流失一個蘿卜一個坑，蘿卜走了坑要很久才能填上重回屌絲時代土豪和我們做朋友了數(shù)據(jù)量從年初的3個月翻一倍到目前每個月翻一倍數(shù)據(jù)每月一億條增長到每周一億條只用了半年不到超級電視及盒子的快速增長引起需求快速變化，從設備行為快速向用戶行為轉變一邊找土豪一邊增強自身能力為此成立了獨立的數(shù)據(jù)研發(fā)團隊及數(shù)據(jù)分析人員從年初我們也開始了鳥槍換炮的工作增強內(nèi)功數(shù)據(jù)研發(fā)團隊通過將近半年的努力，逐步搭建并完善了新的平臺新平臺通過Kafka接收其他系統(tǒng)、超級電視、樂視盒子等業(yè)務數(shù)據(jù)、日志數(shù)據(jù)、以及其他元數(shù)據(jù)（包括內(nèi)容、應用）然后整合加工Storme通過整合Kafka加工之后的數(shù)據(jù)存入MySQL及Hbase中去通過Hadoop及數(shù)據(jù)服務為AD-HOC、開放數(shù)據(jù)平臺、數(shù)據(jù)門戶對各個業(yè)務部門提供數(shù)據(jù)服務這些是人才依靠招聘和內(nèi)部自薦的方式進行擴充屌絲的豪華七件套數(shù)據(jù)入門第一套測試服務器兩臺4corecpu,6Gmemory，20個線程數(shù)據(jù)入門第一套測試服務器1臺4corecpu,6Gmemory，20個線程數(shù)據(jù)入門第一套測試服務器1臺4corecpu,6Gmemory，20個線程數(shù)據(jù)入門第二套Storm集群SpoutSpoutSpout…ParserBoltParserBoltParserBolt…BoltBoltBolt…CbaseKafka消息隨機…WriterBoltWriterBoltWriterBolt…組合計算數(shù)據(jù)入門第三套案例ROI分析數(shù)據(jù)量每月基本翻一倍，原有的系統(tǒng)架構根本無法滿足新的數(shù)據(jù)需求Kettle方式的數(shù)據(jù)整合時間越來越久采用Hadoop+Storm等方案，數(shù)據(jù)量增長不會對數(shù)據(jù)挖掘產(chǎn)生特別大的影響。數(shù)據(jù)從原來每日抽取報表到實時數(shù)據(jù)隨意查詢整合還有很多事情要做案例啟示不同的階段選擇不同的方案人員流失會導致技術流失技術儲備和內(nèi)部自薦要比招聘牛人更快對于新業(yè)務