電信行業(yè)海量實(shí)時(shí)數(shù)據(jù)技術(shù)架構(gòu)

1、面向電信領(lǐng)域的海量實(shí)時(shí)數(shù)據(jù)技術(shù)與實(shí)踐目錄CONTENTCONTENT01電信領(lǐng)域?qū)崟r(shí)數(shù)據(jù)處理場景1324每天凈增用戶16.6萬每秒無線上網(wǎng)流量33G每天話單數(shù)據(jù)10T每日信令數(shù)據(jù)100T電信領(lǐng)域?qū)崟r(shí)數(shù)據(jù)處理場景2014簡單實(shí)時(shí)營銷2015+實(shí)時(shí)位置運(yùn)營2016+復(fù)雜實(shí)時(shí)營銷+內(nèi)容業(yè)務(wù)處理CONTENT02Patent US 1242872實(shí)時(shí)處理平臺基本架構(gòu)業(yè)務(wù)輸出標(biāo)簽附加數(shù)據(jù)接入平臺架構(gòu)數(shù)據(jù)接入flumeagent 12，3G位置信令flume agent2，3，44G位置信令flume agent 5內(nèi)容信令 Kafka分區(qū)靈活的數(shù)據(jù)源轉(zhuǎn)換Kafkatransformtransformtr

2、ansformSchema 2Schema 3SelectFilterSelect Expr 1 主被叫imsiFilter Expr 1 imsi！=0Select Expr 2Filter Expr 2Select Expr 3Filter Expr 3SelectFilterSelectFilterUniformSchema 18個(gè)字段附加標(biāo)簽流程復(fù)雜計(jì)算簡單查詢Codis所在區(qū)域駐留時(shí)間往來頻次用戶姓名imsi手機(jī)號碼基站位置并發(fā)業(yè)務(wù)輸出CodisKafka標(biāo)簽增強(qiáng)數(shù)據(jù)其他業(yè)務(wù)輸出用戶實(shí)時(shí)位置統(tǒng)計(jì)更換設(shè)備信息推送新辦卡信息推送實(shí)時(shí)旅游信息推送易用的業(yè)務(wù)定制標(biāo)簽增強(qiáng)數(shù)據(jù)處理結(jié)束Check

3、IntervalFilterSelectOutputCodis平臺架構(gòu)插件SDTP Socket SourceHDFS I/OCodis I/O系統(tǒng)I/O可視化配置界面自勱化部署部署/配置 實(shí)時(shí)處理平臺 CONTENT03性能表現(xiàn)平行擴(kuò)展flumeflumeflumeflumeflumeCodisCodisCodis標(biāo)簽附加Spark數(shù)據(jù)接入kafKaSpark業(yè)務(wù)輸出KafkaSpark性能表現(xiàn)平行擴(kuò)展圖一 測試環(huán)境Spark Streaming執(zhí)行時(shí)間圖二 任務(wù)詳細(xì)執(zhí)行時(shí)間性能表現(xiàn)速度場景30s數(shù)據(jù)量Spark集群Codis集群KafkaPartition業(yè)務(wù)數(shù)量案例160萬條20/128G/32 core10/128G2003案例21000萬條28/512G/64 core10/512G120011附加標(biāo)簽（與Codis交互）附加標(biāo)簽（計(jì)算）業(yè)務(wù)輸出案例一 5秒0.5秒3秒1秒1.5秒數(shù)據(jù)轉(zhuǎn)換1秒11秒3秒2秒案例二 17秒性能表現(xiàn)HAHA ProxyFlume AgentFlume AgentCodis HACodis ProxyCodis ProxyCONTENT04演進(jìn)方向更多元化的場景同時(shí)支持Spark streaming，Storm等主流計(jì)算引擎以支持不同的需求 支持啟勱多個(gè)實(shí)時(shí)處理作業(yè)，將每個(gè)作業(yè)的結(jié)果納入事