綠網(wǎng)-基于DPI技術(shù)的大數(shù)據(jù)應(yīng)用 武漢綠網(wǎng)

1、基于基于DPI技術(shù)的大數(shù)據(jù)應(yīng)用技術(shù)的大數(shù)據(jù)應(yīng)用武漢綠色網(wǎng)絡(luò)信息服務(wù)有限責任公武漢綠色網(wǎng)絡(luò)信息服務(wù)有限責任公司司2016/4/6 DPI技術(shù)原理介紹技術(shù)原理介紹 基于DPI技術(shù)的大數(shù)據(jù)應(yīng)用目錄目錄3DPI原理介紹原理介紹DPIDPI說明說明應(yīng)用層網(wǎng)絡(luò)設(shè)備應(yīng)用層網(wǎng)絡(luò)設(shè)備 DPI除了對4層以下的基礎(chǔ)信息進 行分析外，還增加了應(yīng)用層分析， 識別各種應(yīng)用及其內(nèi)容。 DPI通過RADIUS屬性和信令屬性 及IP地址來識別用戶，通過“包分 析”和“流分析”來識別應(yīng)用， 將其進行組合，識別用戶行為并 根據(jù)策略進行控制的重要技術(shù)。 DPI(Deep Packet Inspection)深度包檢 測技術(shù)，是一種基

2、于應(yīng)用層的流量檢測和 控制技術(shù)。DPI價值體現(xiàn)價值體現(xiàn) DPI系統(tǒng)應(yīng)該作為網(wǎng)絡(luò)運營商進行IP業(yè)務(wù)流量監(jiān)控的一種 輔助手段，其主要目的是為實現(xiàn)服務(wù)差異化、計費多樣化、 營銷精細化以及為部分增值業(yè)務(wù)提供技術(shù)支持，同時也是面向大數(shù)據(jù)方向的信息采集系統(tǒng)。DPI原理-特征碼檢測2016/4/6L7按照特征字符識別報文間的邏輯關(guān)系L2-L4Get報文（字符長A個字節(jié)）http回應(yīng)報文（字符長3A）按照協(xié)議指紋FIN/PSH/URG關(guān)閉的TCP端口ACK=初始值+1打印機服務(wù) ACK=初始值其他服務(wù)信令分析類信令分析類DPI整合方案整合方案信令分析DPI功能簡述 主要對信令進行采集解析，生成信令XDR話單提

3、供給上層業(yè)務(wù)系統(tǒng)InterneteNodeBP-GWS-GWSAE-GWS8 GTP-CS8 GTP-USGIS1-UMMES1-MMEHSSS6aS11ePCFA10/A11HS-GWS2aRxGxGxc分流器數(shù)據(jù)解析和存儲鏡像/復(fù)制接口FTP接口實時接口其他系統(tǒng)手機惡意軟件監(jiān)控系統(tǒng)信令分析系統(tǒng) 現(xiàn)網(wǎng)部署位置3G信令分析DPI設(shè)備主要部署在Gn/Gb口等位置；4G網(wǎng)絡(luò)部署在UU、X2、S1-MME、S6a和SGs等位置。上網(wǎng)日志留存系統(tǒng)網(wǎng)絡(luò)狀態(tài)分析系統(tǒng)數(shù)據(jù)采集點XDR話單樣本 信令XDR摘錄2016/4/6序號字段名字段類型字段長度說明1Interfaceunsigned byte11：Gn

4、 2：reserve 3：IuPS4：Gb2IMSIstring15用戶IMSI（TBCD編碼）3IMEIstring16終端IMEI（TBCD編碼）4MSISDNstring24用戶號碼5USER_IPunsigendInt4用戶IP地址6LACint4LAC7RACint4RAC8CIDint4CI（或者SAC，ECI）9SGSN_C_IPunsigendInt4SGSN信令面IP10SGSN_U_IPunsigendInt4SGSN用戶面IP11GGSN_C_IPunsigendInt4GGSN信令面IP12GGSN_U_IPunsigendInt4GGSN用戶面IP13RATstrin

5、g321 UTRAN0-未攜帶2 GERAN3 WLAN4 GAN5 HSPA Evolution6 EUTRAN14APNstring32XDR話單樣本 HTTP XDR規(guī)范摘錄：45HOSTchar64全F46URIchar128全F47X-Online-Hostchar128全F48User-Agentchar64全F49HTTP_content_typechar64全FHTTP的內(nèi)容是文字還是圖片、視頻、應(yīng)用等50refer_URIchar128全F參考URI51Cookie字段char64全F協(xié)議中Cookie字段52Content-Length字段unsignedbyte40協(xié)議中

6、Content-Length字段53目標行為unsignedbyte1全F目標行為，0：會話是用戶主動點擊的頁面；1站點目標而產(chǎn)Th的頁面。54wtp中斷類型unsignedbyte1WTP層的失敗類型55wtp中斷原因unsignedbyte1WTP層失敗原因56titlechar256全F在上網(wǎng)內(nèi)容里解析57key wordchar256全F在上網(wǎng)內(nèi)容里解析58charge_IDunsignedInt20計費信息DPI技術(shù)原理介紹 基于基于DPI技術(shù)的大數(shù)據(jù)應(yīng)用技術(shù)的大數(shù)據(jù)應(yīng)用目錄目錄關(guān)系鏈數(shù)據(jù)構(gòu)建 對自然人在網(wǎng)絡(luò)行為中提取和關(guān)聯(lián) 幫助構(gòu)建基于自然人的網(wǎng)絡(luò)唯一ID 幫助精確追蹤自然人的網(wǎng)絡(luò)

7、行為淘寶騰訊 百度基于關(guān)系鏈數(shù)據(jù)的應(yīng)用有效區(qū)分自然人，保證畫像結(jié)果精確?？缙链蛲ǎ琍C, Pad, 手機上完整關(guān)聯(lián)用戶畫像用戶畫像基于自然人的數(shù)據(jù)更有效支撐風(fēng)控模型計算對催收業(yè)務(wù)可以支持惡意欠款用戶位置查找征信精準營銷應(yīng)用用戶畫像 通過自然人ID標識用戶 通過APP協(xié)議識別標識 用戶興趣點 通過URL知識庫標識用 戶興趣點 通過搜索關(guān)鍵字標識用戶興趣點基于畫像屬性反查用戶 輸入用戶使用APP屬性 反查用戶群 輸入用戶搜索興趣屬性反查用戶群 輸入用戶位置屬性反查 用戶群用戶觸達 通過運營商外呼平臺接觸用戶 通過運營商信息推送平 臺接觸用戶咨詢報告類應(yīng)用人流/選址數(shù)據(jù)分析 通過信令數(shù)據(jù)積累人流 統(tǒng)計信息 給出指定位置的人群畫像信息競品分析 報告和分析同類APP的 使用情況 報告和分析同類內(nèi)容網(wǎng) 站的使用情況輿情分析 分析URL中的詳細內(nèi)容 追蹤論壇中用戶的發(fā)布 內(nèi)容和用戶畫像關(guān)于數(shù)據(jù)質(zhì)量的話題數(shù)據(jù)質(zhì)量是大數(shù)據(jù)運營的核心競爭力數(shù)據(jù)質(zhì)量是大數(shù)據(jù)運營的核心競爭力如何定義和度量數(shù)據(jù)質(zhì)量？ 用戶話單的信令關(guān)聯(lián)率 （唯一ID的覆蓋率） 用戶流量的覆蓋率 （DPI鏈路覆蓋率） 用戶上行流量還是上下行流量的同時數(shù)據(jù)提取 （同源同宿問題） 能夠提取