ASBJ劉彥偉實時數(shù)據(jù)平臺技術(shù)實踐v

ArchSummit

2014全球架構(gòu)師峰會京東實時數(shù)據(jù)平臺技術(shù)實踐劉彥偉目錄京東大數(shù)據(jù)平臺介紹實時數(shù)據(jù)平臺背景實時數(shù)據(jù)平臺解決方案關(guān)鍵環(huán)節(jié)詳解關(guān)于平臺產(chǎn)品化京東大數(shù)據(jù)平臺定位支撐全集團數(shù)據(jù)業(yè)務(wù)全集團數(shù)據(jù)集中自助式服務(wù)平臺模式大數(shù)據(jù)

平臺商城拍拍易迅無線金融京東大數(shù)據(jù)平臺發(fā)展歷程---技術(shù)選型2011年之前2011~20122012~至今京東大數(shù)據(jù)平臺發(fā)展歷程---技術(shù)選型傳統(tǒng)商業(yè)數(shù)據(jù)倉庫解決方案弊端高復(fù)雜度計算任務(wù)并發(fā)性差海量數(shù)據(jù)處理能力不足存儲能力有限擴展性差成本高后期遇到的問題越來越多的ETL任務(wù)需要12點后才能完成任務(wù)排隊現(xiàn)象嚴重基于流量等大數(shù)據(jù)量的批量計算和復(fù)雜推薦類算法基本無法應(yīng)付存儲達到上限，需不斷轉(zhuǎn)移歷史數(shù)據(jù)京東大數(shù)據(jù)平臺發(fā)展歷程---工具腳本+配置文件分散工具集一站式消費+多屏可用京東大數(shù)據(jù)平臺架構(gòu)自助式服務(wù)平臺支持離線模式\流式模式開源組件+自主研發(fā)通過產(chǎn)品化發(fā)揮最大價值讓用戶專注于開發(fā)實時數(shù)據(jù)平臺背景運營場景實時感知業(yè)務(wù)運行情況，實現(xiàn)實時決策支持，比如調(diào)整營銷策略、庫房排班等營銷場景根據(jù)用戶位置、實時瀏覽軌跡、商品價格變化等實現(xiàn)精準(zhǔn)推薦、廣告Top排行榜：銷量排行、熱度排行等優(yōu)化離線數(shù)據(jù)倉庫數(shù)據(jù)抽取環(huán)節(jié)傳統(tǒng)“T+1”模式的數(shù)據(jù)倉庫每天凌晨第一件事就是增量或全量抽取業(yè)務(wù)數(shù)據(jù)

隨著數(shù)據(jù)抽取任務(wù)的不斷增長，數(shù)據(jù)抽取時間成本不斷增長，離線計算啟動時間不

斷被推遲實時數(shù)據(jù)平臺要解決的幾個問題實時數(shù)據(jù)采集----數(shù)怎么來數(shù)據(jù)要全延遲要低實時數(shù)據(jù)存儲----數(shù)放在哪數(shù)據(jù)存儲統(tǒng)一方便使用、高吞吐量實時數(shù)據(jù)計算----數(shù)怎么算及時性支持高復(fù)雜度場景實時數(shù)據(jù)平臺解決方案實時數(shù)據(jù)采集實時數(shù)據(jù)總線實時數(shù)據(jù)分發(fā)實時數(shù)據(jù)流式處理準(zhǔn)實時數(shù)據(jù)批量處理高可用實現(xiàn)產(chǎn)品化關(guān)鍵環(huán)節(jié)詳解—實時數(shù)據(jù)采集實時數(shù)據(jù)來源在線系統(tǒng)記錄日志統(tǒng)一的實時日志采集方案支持數(shù)據(jù)上報提供SDK支持用戶上報實時數(shù)據(jù)基于數(shù)據(jù)庫日志無需開發(fā)數(shù)據(jù)最全優(yōu)勢幾乎覆蓋全部業(yè)務(wù)數(shù)據(jù)通過產(chǎn)品化實現(xiàn)用戶自助接入快速新增實時數(shù)據(jù)關(guān)鍵環(huán)節(jié)詳解—實時數(shù)據(jù)采集數(shù)據(jù)庫日志采集方案Parser分庫分表數(shù)據(jù)合并格式轉(zhuǎn)換協(xié)議解析數(shù)據(jù)拆分數(shù)據(jù)過濾數(shù)據(jù)壓縮Tracker數(shù)據(jù)確認數(shù)據(jù)壓縮異構(gòu)適配實時采集DBJDQ數(shù)據(jù)緩存庫粒度原始日志保證順序內(nèi)部使用JDQ數(shù)據(jù)緩存表粒度結(jié)構(gòu)數(shù)據(jù)保證順序?qū)ν庀M關(guān)鍵環(huán)節(jié)詳解—高可用的任務(wù)調(diào)度框架實時任務(wù)調(diào)度框架–

Magpie保證任務(wù)的高可用節(jié)點不可用時任務(wù)自動切換到可用節(jié)點調(diào)度框架通過Zookeeper實現(xiàn)各調(diào)度節(jié)點的無狀態(tài)根據(jù)CPU，內(nèi)存，網(wǎng)絡(luò)資源平衡集群各節(jié)點壓力通過分組實現(xiàn)集群內(nèi)資源隔離集群規(guī)模水平擴展整合監(jiān)控關(guān)鍵環(huán)節(jié)詳解—實時數(shù)據(jù)總線DBLOG在線系統(tǒng)JDQTopic_f2Topic_f1Topic_p1Topic_t2Topic_t1SDK上報BinlogFile關(guān)鍵環(huán)節(jié)詳解—實時數(shù)據(jù)總線實時數(shù)據(jù)采集與下游數(shù)據(jù)使用者之間的橋梁數(shù)據(jù)共享通道實現(xiàn)了數(shù)據(jù)集中、統(tǒng)一了實時數(shù)據(jù)出口一個支持高吞吐率的分布式消息隊列保障數(shù)據(jù)的基本可靠性以Topic為單位存儲實時數(shù)據(jù)對象基于單分區(qū)保障Binlog數(shù)據(jù)的順序性支持數(shù)據(jù)權(quán)限控制關(guān)鍵壞環(huán)節(jié)導(dǎo)詳解—流式處理離線胃批量俊計算靜態(tài)走數(shù)據(jù)規(guī)則伯可變流式騰計算動態(tài)牙數(shù)據(jù)規(guī)則種預(yù)設(shè)及時然響應(yīng)關(guān)鍵并環(huán)節(jié)格詳解—流式處理流式詢計算--諸--計算漲程序盼從龐鐮大而敲連續(xù)罰的數(shù)抄據(jù)流文中提垮取、魯過濾邁、分興析數(shù)弟據(jù)實時姐數(shù)據(jù)陰是一頑個持癥續(xù)的基數(shù)據(jù)快流基于誘事件礦觸發(fā)并行葉計算可靠憲的消放息處寨理機倍制，益失敗盟后自粒動重衛(wèi)試及時務(wù)性高舒，毫粉秒級敘處理歲延遲關(guān)鍵配環(huán)節(jié)渾詳解—實時愿計算猛平臺統(tǒng)一保的實粘時計灑算平汗臺基于St卡or攜m打造遣的流評式計肅算平我臺提供SD插K實現(xiàn)墻與JD信Q的對拐接，翻從而突通過JD漁Q獲取川實時絲式數(shù)據(jù)提供腰可視征化的饞配置荒管理成系統(tǒng)支持Jo痛b的自懇助上央傳、揪測試疊、發(fā)刮布、攻管控左服務(wù)支持Jo菊b的版逐本控旁制集成尸監(jiān)控縱，實薪現(xiàn)狀很態(tài)、率延遲腳等異殊常報眾警實時進查看Jo兆b運行哲日志實現(xiàn)巴了公聽司資債源利們用最濟大化悲，包焦括人峰力、釋技術(shù)濁、硬探件等關(guān)鍵刷環(huán)節(jié)疼詳解—實時燃數(shù)據(jù)哲分發(fā)從JD楚Q中消您費某盤一特涂定數(shù)縱據(jù)，詢并根儉據(jù)用陶戶配扎置信蝕息將雪數(shù)據(jù)圾分發(fā)岡到HD獎FS中日志脆型文胖件數(shù)無據(jù)落斑地為HD牢FS的文茅件Bi母nl窩og型實黃時增忌量數(shù)湊據(jù)落才地為賓準(zhǔn)實謹時Hi旱ve還原腳表基于比分鐘槳級時貼間分扣區(qū)存賣儲每個壓分區(qū)娃中一神份全敏量數(shù)言據(jù)提供UD越F獲取漸最新婚分區(qū)基于蕉實時佳增量揚日志礎(chǔ)每天蝴生成洲一份皇拉鏈棗表關(guān)鍵論環(huán)節(jié)善詳解—實時軍數(shù)據(jù)刪分發(fā)準(zhǔn)實摩時Hi險ve還原子表的荒實現(xiàn)劫思路關(guān)鍵作環(huán)節(jié)衣詳解—準(zhǔn)實椒時批銀量處理適用桑場景計算糖邏輯侍復(fù)雜閉，難思以通兇過流聚式處泄理模胳式實每現(xiàn)的墓實時抄計算及場景開發(fā)司人員賠擅長糕傳統(tǒng)ET砌L開發(fā)撒或SQ排L，不筒熟悉寺流式尿處理可以幸接受苦分鐘獨級的備延遲實現(xiàn)報方式每隔固定兔時間鼠周期瞞（分洞鐘級企）批閣量處洪理一暗次與傳倡統(tǒng)離論線數(shù)握據(jù)處亂理模飄式相脈同，刻學(xué)習(xí)蝴成本高低依賴準(zhǔn)實決時的hi率ve還原景表關(guān)鍵螺環(huán)節(jié)呀詳解—基于脈Bi戴nl藏og妄增量坡日志舞的拉演鏈表改變礎(chǔ)原有”T牲+1得”數(shù)據(jù)調(diào)抽取錄模式省去抗離線菠抽取寒環(huán)節(jié)基于澇當(dāng)天甚數(shù)據(jù)振庫實惜時Bi振nl相og增量忌日志腦快速生生成咱離線千拉鏈飽表縮短組離線級計算贏等待憑時間關(guān)于亂平臺絨產(chǎn)品寧化愿景通過必產(chǎn)品望化降捐低技冊術(shù)門騾檻，剃從而濾降低運大數(shù)鐘據(jù)消眨費門黨檻讓人系人都狡成為素數(shù)據(jù)笛專家原則流程牽抽象標(biāo)準(zhǔn)延化功能丸完備董，配艘置、上管控籃、監(jiān)繼控、換分析殖、運珍營等蠢功能敞缺一淹不可其他統(tǒng)一膊風(fēng)格稿、統(tǒng)釣一交孤互關(guān)注爭細節(jié)幫助刺文檔+提示+最佳犁案例多屏侮可用關(guān)于灑平臺匆產(chǎn)品漲化—標(biāo)準(zhǔn)棋化關(guān)于蹤蝶平臺嬸產(chǎn)品繭化—分析廣告法一下《京東潔技術(shù)解密》的面每世，趕就是嗓京東沸技術(shù)慰團隊籌首次腔向業(yè)谷界集粘體亮扒相。京東金創(chuàng)始殿人劉蕩強東蝕、騰訊驕大佬臣張志等東作馳序鼎飾力推趣薦，同禽樣寫燒給產(chǎn)睜品、餅運營翅、管磨理、侄品牌寄商、區(qū)創(chuàng)業(yè)匯人群蹄。書中壁用翔執(zhí)實的灣內(nèi)容險為讀列者逐附一解貝答：——如何