大數(shù)據(jù)平臺(tái)規(guī)劃方案匯報(bào)

1、 大數(shù)據(jù)平臺(tái)有助于提升現(xiàn)網(wǎng)分析能力 p 基于Hadoop構(gòu)建 大數(shù)據(jù)的用戶(hù)行為 分析系統(tǒng) p 系統(tǒng)提供了核心的 分布式云存儲(chǔ)、分 布式并行計(jì)算、分 布式數(shù)據(jù)倉(cāng)庫(kù)、分 布式列數(shù)據(jù)庫(kù)整體 解決方案 路由器 路由 器 互聯(lián)網(wǎng) 分光鏡像 日志采集 網(wǎng)元設(shè)備(GGSN PDSNWAP網(wǎng)關(guān)、NET網(wǎng)關(guān)/ 數(shù)據(jù)采集Agent Apache日志 DPI 數(shù)據(jù)爬取 數(shù)據(jù)爬取 建設(shè)方案 防火墻 WWW網(wǎng)站 WAP網(wǎng)站 正向采集 用戶(hù)行為 數(shù)據(jù) 反向采集 互聯(lián)網(wǎng)數(shù) 據(jù) 方案延伸 p 基于Hadoop的大數(shù)據(jù)解決方案提供了 基礎(chǔ)的云存儲(chǔ)和云計(jì)算的能力，基于 該技術(shù)框架可進(jìn)行應(yīng)用的擴(kuò)展和衍 生。 p 基于用戶(hù)互聯(lián)網(wǎng)訪問(wèn)

2、行為分析結(jié)果， 形成詳細(xì)的戶(hù)興趣愛(ài)好列表，可進(jìn)行 即時(shí)、精準(zhǔn)的廣告投放 collector Pcap數(shù)據(jù)（DPI） 核心設(shè)備話(huà)單 互聯(lián)網(wǎng)頁(yè)面數(shù)據(jù) 20 大數(shù)據(jù)平臺(tái)有效提升數(shù)據(jù)查詢(xún)速度 Ø 以手機(jī)上網(wǎng)詳單查詢(xún)?yōu)閼?yīng)用案例 關(guān)鍵性指標(biāo) 數(shù)據(jù)存儲(chǔ) p 上網(wǎng)記錄入庫(kù)時(shí)間：一般 小于30分鐘，實(shí)際約10分 鐘 p 歷史5個(gè)月+當(dāng)前月 數(shù)據(jù)查詢(xún) p 上網(wǎng)記錄查詢(xún)速度：不高 于1秒（不含用戶(hù)訪問(wèn)查詢(xún) 頁(yè)面的時(shí)間） p 并發(fā)查詢(xún)數(shù)目：1000請(qǐng)求 /秒 系統(tǒng) 構(gòu)成 p 系統(tǒng)主要包含數(shù)據(jù)采集子系統(tǒng)、數(shù)據(jù)入庫(kù)子系統(tǒng)、數(shù)據(jù)存儲(chǔ)子系統(tǒng)、 數(shù)據(jù)查詢(xún)與分析子系統(tǒng) p 采用Hadoop/HBase作為上網(wǎng)記錄存儲(chǔ)方

3、案 p 采用MapReduce/Hive作用統(tǒng)計(jì)分析和數(shù)據(jù)挖掘工具 21 大數(shù)據(jù)平臺(tái)適應(yīng)復(fù)雜數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)整合應(yīng)用 n 項(xiàng)目背景 運(yùn)營(yíng)商建設(shè)有多套垂直的網(wǎng)管子系統(tǒng)，目前系統(tǒng)數(shù)據(jù)集中程度不夠，還未形成統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù) 共享框架，對(duì)運(yùn)營(yíng)支撐的支撐力度不夠，而網(wǎng)絡(luò)運(yùn)維分析在面向服務(wù)轉(zhuǎn)型的過(guò)程中對(duì)數(shù)據(jù)的匯聚和共 享要求極為迫切，因此需要建立統(tǒng)一的網(wǎng)管資源池 p 網(wǎng)管資源池主要負(fù)責(zé)各個(gè)垂直網(wǎng)管子系統(tǒng)信令數(shù)據(jù)、日志數(shù)據(jù)的、告警數(shù)據(jù)的統(tǒng)一管理，實(shí)現(xiàn)跨平臺(tái) 的數(shù)據(jù)整合、數(shù)據(jù)應(yīng)用和數(shù)據(jù)共享等功能， p 網(wǎng)管統(tǒng)一資源池需提供海量歷史數(shù)據(jù)的查詢(xún)功能，滿(mǎn)足運(yùn)維人員日常信息查詢(xún)和信息追溯的需要。 p 系統(tǒng)與呼叫中心

4、、工單系統(tǒng)對(duì)接，實(shí)現(xiàn)快速的數(shù)據(jù)交付（工單生成、告警觸發(fā)） p n 難點(diǎn)分析 多個(gè)垂直網(wǎng)管系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)千差萬(wàn)別，抽取后的數(shù)據(jù)無(wú)法關(guān)聯(lián)形成統(tǒng)一的數(shù)據(jù)集合，傳統(tǒng)關(guān)系型數(shù) 據(jù)庫(kù)優(yōu)勢(shì)無(wú)法體現(xiàn) p 系統(tǒng)需要滿(mǎn)足OLAP類(lèi)應(yīng)用分析，并面向上層應(yīng)用提供一致性的數(shù)據(jù)查詢(xún)，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)受限 于數(shù)據(jù)體量和數(shù)據(jù)種類(lèi)，無(wú)法滿(mǎn)足多類(lèi)型的海量數(shù)據(jù)的查詢(xún)和分析要求 p 系統(tǒng)需同時(shí)從多個(gè)數(shù)據(jù)源實(shí)現(xiàn)數(shù)據(jù)庫(kù)數(shù)據(jù)、信令數(shù)據(jù)和日志數(shù)據(jù)的采集，傳統(tǒng)的ETL工具無(wú)法滿(mǎn)足流 式數(shù)據(jù)的采集要求，導(dǎo)致進(jìn)程擁塞。 p n 建設(shè)方案 基于不同的數(shù)據(jù)源及應(yīng)用分析模式采用Flume、Sqoop等系統(tǒng)工具完成結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的導(dǎo)入 基于HDFS實(shí)現(xiàn)海量歷史數(shù)據(jù)的存儲(chǔ) Hive組件可通過(guò)SQL命令完成大數(shù)據(jù)的統(tǒng)計(jì)分析，并與傳統(tǒng)關(guān)系型數(shù)