移動廣告精準(zhǔn)用戶分析支撐系統(tǒng)解決方案

移動廣告精準(zhǔn)用戶分析支撐項(xiàng)目技術(shù)方案技術(shù)方案項(xiàng)目的綜述項(xiàng)目背景廣告產(chǎn)品作為互聯(lián)網(wǎng)業(yè)務(wù)重要的戰(zhàn)略陣地，其中商戶信息數(shù)據(jù)庫是廣告精細(xì)運(yùn)營體系分析的基礎(chǔ)。目前缺乏按行業(yè)提供精確的用戶分群方式；大量的用戶通信行為需要通過商戶的電話、短信端口及網(wǎng)址作為數(shù)據(jù)分析的基礎(chǔ)，而用戶通信原始數(shù)據(jù)在網(wǎng)絡(luò)中已經(jīng)存在，用戶價值沒有被適當(dāng)挖掘和合理利用。目前在產(chǎn)品運(yùn)營體系中缺失商戶信息的積累，同時缺乏對用戶行為有效把握。為了能更好的理解用戶群體行為，需通過合理的方式方法分析用戶行為偏好，進(jìn)行精細(xì)分群，以實(shí)現(xiàn)與廣告主目標(biāo)客戶的匹配，最終達(dá)到廣告精準(zhǔn)高效投放的目標(biāo)。項(xiàng)目目標(biāo)挖掘通信網(wǎng)絡(luò)中的商戶數(shù)據(jù)，形成本地商戶數(shù)據(jù)庫，積累行業(yè)客戶基礎(chǔ)信息；同時開展對前向用戶精準(zhǔn)分析和分群、標(biāo)識的相關(guān)工作，建立基本用戶標(biāo)簽體系。建立一套通過分析用戶和商戶的通信行為來構(gòu)建用戶基礎(chǔ)標(biāo)簽的機(jī)制和方法，并生成覆蓋相關(guān)行業(yè)的基本的用戶標(biāo)簽和用戶分群，形成用戶-商戶的精準(zhǔn)匹配，改變粗放式的營銷機(jī)制，使廣告?zhèn)鞑ジ行矢珳?zhǔn)。支撐各業(yè)務(wù)前向用戶的拓展，提升廣告效果，擴(kuò)大媒體價值。廣告客戶目標(biāo)市場細(xì)分和用戶標(biāo)簽體系建立按廣告十三個行業(yè)細(xì)分目標(biāo)客戶市場；建立面向后向市場的用戶標(biāo)簽體系結(jié)合IT系統(tǒng)架構(gòu)，并通過用戶通信行為、互聯(lián)網(wǎng)行為的分析，確定每個用戶標(biāo)簽的用戶統(tǒng)計方法及策略按廣告行業(yè)進(jìn)行各類商戶的信息搜集按類別搜集相關(guān)商戶的網(wǎng)址、電話、短信端口等建立各類別商戶數(shù)據(jù)庫并日常維護(hù)更新根據(jù)2、3結(jié)果輸出各類用戶標(biāo)簽的數(shù)據(jù)統(tǒng)計結(jié)果，并進(jìn)行簡單的數(shù)據(jù)清洗和分析比較工作項(xiàng)目總體思路實(shí)現(xiàn)精準(zhǔn)廣告投放的主要途徑是了解用戶的喜好和要求，從而投放合適的廣告。通過網(wǎng)絡(luò)爬蟲等技術(shù)手段，完善后端商戶信息庫，同時采用準(zhǔn)確的用戶分群模型，完成用戶標(biāo)簽用戶掌握用戶偏好，創(chuàng)新運(yùn)營手段，挖掘用戶數(shù)據(jù)潛在的市場規(guī)律，完善廣告精確分析運(yùn)營體系。對用戶行為特征庫提煉用戶最重要的行為和最關(guān)注的內(nèi)容點(diǎn)，對用戶進(jìn)行智能分類，以此作為向用戶推薦廣告的依據(jù)，達(dá)到精準(zhǔn)投放的目的。商戶信息分類搜集系統(tǒng)概述商戶信息分類爬取子系統(tǒng)V1.0使用爬蟲技術(shù)，對互聯(lián)網(wǎng)的海量數(shù)據(jù)進(jìn)行爬取，獲取商戶信息，按照廣告行業(yè)分類（十三類分別為：商超賣場、電商、汽車、化妝品、金融證券、房地產(chǎn)、教育培訓(xùn)、旅游、快消品、數(shù)碼IT、家電家居、餐飲、APP），對商戶進(jìn)行分類，形成廣告行業(yè)商業(yè)信息數(shù)據(jù)庫。系統(tǒng)架構(gòu)系統(tǒng)總體架構(gòu)商戶信息分類爬取子系統(tǒng)V1.0采用模塊化設(shè)計，分為監(jiān)控管理模塊、爬取模塊、驗(yàn)證模塊三部分。整體架構(gòu)如下：監(jiān)控管理模塊負(fù)責(zé)控制爬蟲的啟動以及停止、監(jiān)控爬蟲的運(yùn)行情況，并提供商戶信息維護(hù)單元，以供用戶管理商戶信息。爬取模塊使用聚焦爬蟲技術(shù)，對定向互聯(lián)網(wǎng)內(nèi)容進(jìn)行爬取，并將爬取到的信息進(jìn)行歸一化分類處理，裝載到商戶信息數(shù)據(jù)庫中。驗(yàn)證模塊驗(yàn)證模塊通過爬取商戶官方網(wǎng)頁信息、信令處理系統(tǒng)、BI、經(jīng)營分析系統(tǒng)等系統(tǒng)的數(shù)據(jù)，對爬取到的數(shù)據(jù)進(jìn)行驗(yàn)證并糾正出錯的商戶信息。開發(fā)工具和平臺操作系統(tǒng)：系統(tǒng)同時支持部署運(yùn)行在Windows或Linux操作系統(tǒng)；客戶端可通過Windows或Linux下瀏覽器訪問，支持IE/Chrome/Safari/Firefox等常見瀏覽器。數(shù)據(jù)庫系統(tǒng)：系統(tǒng)可支持Oracle、SQLServer、DB2、SybaseIQ等常見關(guān)系型數(shù)據(jù)庫系統(tǒng)應(yīng)用服務(wù)器：應(yīng)用服務(wù)器采用企業(yè)級的WebLogic/Tomcat等應(yīng)用服務(wù)器，WebLogic/Tomcat是一個基于Javaee架構(gòu)的中間件，BEAWebLogic是用于開發(fā)、集成、部署和管理大型分布式Web應(yīng)用、網(wǎng)絡(luò)應(yīng)用和數(shù)據(jù)庫應(yīng)用的Java應(yīng)用服務(wù)器。將Java的動態(tài)功能和JavaEnterprise標(biāo)準(zhǔn)的安全性引入大型網(wǎng)絡(luò)應(yīng)用的開發(fā)、集成、部署和管理之中。網(wǎng)管系統(tǒng)：系統(tǒng)所有軟硬件設(shè)備均采用標(biāo)準(zhǔn)的SNMP簡單網(wǎng)絡(luò)管理協(xié)議進(jìn)行實(shí)時的監(jiān)控，確保系統(tǒng)所有軟硬件設(shè)備的健康運(yùn)行。開發(fā)語言：系統(tǒng)主要模塊均使用java語言進(jìn)行開發(fā)。組網(wǎng)拓?fù)渖虘粜畔⑺鸭?wù)器部署爬取模塊以及驗(yàn)證模塊，實(shí)現(xiàn)對互聯(lián)網(wǎng)數(shù)據(jù)的爬取以及驗(yàn)證。該服務(wù)器可同時連接公網(wǎng)以及移動辦公網(wǎng)絡(luò)。數(shù)據(jù)庫服務(wù)器部署數(shù)據(jù)庫系統(tǒng)。監(jiān)控管理服務(wù)器部署監(jiān)控管理模塊，實(shí)現(xiàn)對爬蟲模塊/驗(yàn)證模塊的控制、監(jiān)控以及商戶系統(tǒng)維護(hù)。商戶信息搜集方法關(guān)注對象定義首先，對本系統(tǒng)關(guān)注的主要業(yè)務(wù)對象“商戶信息”作一個屬性定義，見以下列表。商戶屬性描述商戶類別記錄最小類別粒度與層級類別表關(guān)聯(lián)，可多層級的描述商戶所處行業(yè)及其類別細(xì)化商戶名稱系統(tǒng)中單一商戶一般只有一個名稱，連鎖商戶名稱唯一性以（商戶名稱+地理位置加以區(qū)分）商戶簡介同一商戶系統(tǒng)中可有多個簡介版本，但只取最優(yōu)版本（出現(xiàn)頻率高，系統(tǒng)自動判斷其為最優(yōu)版本）商戶地址如出現(xiàn)較為接近的兩個描述版本，系統(tǒng)則自動歸一（版本合并歸一算法）商戶營業(yè)時間商戶營業(yè)時間商戶交通指南交通指南商戶付款方式現(xiàn)金、刷卡、支票商戶座機(jī)固話，記錄多個版本，按版本出現(xiàn)次數(shù)排序商戶移動電話移動電話，記錄多個版本，按版本出現(xiàn)次數(shù)排序商戶網(wǎng)址在商戶存在多域名情況下，也同時存下多個網(wǎng)址商戶短信接口目前技術(shù)判斷能識別商戶移動電話與客戶的通信行為，其它群發(fā)短信接口需要進(jìn)一步分析看是否可識別商戶消費(fèi)檔次根據(jù)來源中的檔次描述信息，及用戶公布的人均消費(fèi)等各種相關(guān)信息綜合給出消費(fèi)檔次（同時需要制定檔次分級體系）商戶信息來源記錄本商戶信息搜集的來源，可再細(xì)分為主信息源，輔助判斷及糾正信息源商戶信息源的評價指數(shù)如來源于“點(diǎn)評網(wǎng)”等商戶信息聚合網(wǎng)站，該網(wǎng)站又屬于商戶質(zhì)量評估類的網(wǎng)站，改網(wǎng)站上會有網(wǎng)站的一些滿意度評價指標(biāo)：“具體打分”，評論的“好、中、差”個數(shù)；因不同抓取來源的評價體系不同，我們在保留每個來源的原始評價指數(shù)的同時，又對各個來源的評價指數(shù)結(jié)合一定的算法作統(tǒng)一評價商戶信息源的關(guān)注指數(shù)同上，“點(diǎn)評網(wǎng)”中對商戶可以作文字評論，評論條數(shù)是一個重要的人氣指標(biāo)商戶信息可信度評價指數(shù)通過本系統(tǒng)綜合各方面的算法考慮，給本條商戶信息打上一個可信度（準(zhǔn)確率）的自動判斷結(jié)果制定以上對象定義以后，可讓我們以更清晰的思路對其進(jìn)行分析。商戶分類按需求將本系統(tǒng)的商戶信息分成十三大類，分別為：商超賣場、電商、汽車、化妝品、金融證券、房地產(chǎn)、教育培訓(xùn)、旅游、快消品、數(shù)碼IT、家電家居、餐飲、APP。再參考權(quán)威網(wǎng)站結(jié)合我們對需求及業(yè)務(wù)的分析，對此十三大類的每個一個類別再進(jìn)行至少三級的分類細(xì)分，具體分類方案將根據(jù)后續(xù)分析研究后提供，提供分類方案的同時將一并提供分類思路及相關(guān)分類分析依據(jù)。商戶信息搜集方法首先，以列表形式展現(xiàn)我們的搜集方法及技術(shù)手段，詳情請見下列列表。渠道方法細(xì)化核心技術(shù)手段描述網(wǎng)絡(luò)爬取分類定向的商戶信息聚合網(wǎng)站網(wǎng)絡(luò)爬蟲版本合并歸一算法自動歸類算法自動糾錯算法信息可信度評價體系算法如：某汽車行業(yè)信息聚合網(wǎng)站；后續(xù)對該商戶的歸類則較為明確和簡便不定向的商戶信息聚合網(wǎng)站如：“點(diǎn)評網(wǎng)”、“百度身邊”等網(wǎng)站；需對該類網(wǎng)站信息的分類與本系統(tǒng)自定義分類進(jìn)行關(guān)聯(lián)分析判定分類黃頁信息搜集網(wǎng)絡(luò)黃頁如：趕集網(wǎng)黃頁信息等其它黃頁信息來源OCR文字識別ETL數(shù)據(jù)結(jié)構(gòu)化結(jié)合上面的歸類、糾錯、可信度等算法如出現(xiàn)紙質(zhì)信息來源，要進(jìn)行大數(shù)據(jù)量的錄入，可使用OCR文字識別設(shè)備來進(jìn)行錄入，錄入后再進(jìn)行ETL處理使信息結(jié)構(gòu)滿足本系統(tǒng)的數(shù)據(jù)模型存儲網(wǎng)絡(luò)爬取流程描述及相關(guān)算法在了解信息的搜集方法簡述以后，下面以流程圖的形式展現(xiàn)搜集過程的處理步驟及相關(guān)技術(shù)算法。信息抓取運(yùn)行機(jī)制整個爬取模塊是在不斷的循環(huán)上圖所示的三大工作流程、不斷循環(huán)的運(yùn)行過程中，可保證原始信息源網(wǎng)站新增商戶信息的發(fā)現(xiàn)，保證本系統(tǒng)所存商戶信息數(shù)據(jù)的時效性，在不斷新增的數(shù)據(jù)中又可根據(jù)新的信息，對同一商戶能獲得更多的數(shù)據(jù)去補(bǔ)充或者糾正現(xiàn)有的信息。重復(fù)商戶信息合并模塊重復(fù)商戶信息合并模塊使用版本合并歸一算法實(shí)現(xiàn)重復(fù)商戶信息的合并，算法主要通過通過商戶各屬性信息的模糊匹配完成。自動糾錯模塊上述的<版本合并歸一算法>也可以作部分自動糾錯方式，可通過多信息渠道獲取的同一商家信息中，保留同一屬性出現(xiàn)次數(shù)更多的信息，摒棄那些出現(xiàn)次數(shù)較低的信息，也可對信息來源的網(wǎng)站作一個可靠性評估的權(quán)數(shù)，再通過結(jié)合權(quán)數(shù)去判斷。此做法是在此前提下可實(shí)行：通常假定商戶信息在各信息聚合網(wǎng)站出現(xiàn)次數(shù)最多的版本為正確版本，首先要接受這種假定，如果不認(rèn)可這種假定，則上述糾錯方式無意義。除了上述所說，本文提到的<自動糾錯算法>簡要描述：通過爬取對比網(wǎng)站主頁信息填補(bǔ)或者修正已搜集的信息信令數(shù)據(jù)過濾失效商戶信息可通過一定時間的信令數(shù)據(jù)的統(tǒng)計，統(tǒng)計該商戶的話務(wù)及數(shù)據(jù)業(yè)務(wù)發(fā)生情況。商戶信息搜集方法特點(diǎn)我們的搜集方法考慮到了數(shù)據(jù)的去重、自動歸類、自動糾錯、并結(jié)合信息可信度評價體系對信息進(jìn)行更高的準(zhǔn)確率和有效性處理，更多的避免人工參與，并提供完整的數(shù)據(jù)驗(yàn)證方法及數(shù)據(jù)監(jiān)控，歷史追溯等處理。在細(xì)節(jié)的爬蟲處理技術(shù)上，爬蟲入口接口，及爬取規(guī)則接口將采用統(tǒng)一的接口規(guī)范，并支持靈活的自定義配置，爬取性能的考慮，爬蟲將采用多任務(wù)多線程的處理方式。最合理的利用硬件資源及技術(shù)能力提高爬蟲效率。我們現(xiàn)有在運(yùn)行項(xiàng)目中有需要接入高達(dá)每天7T的數(shù)據(jù)業(yè)務(wù)信令數(shù)據(jù)，每天大概存儲1T的數(shù)據(jù)量，并作相關(guān)的統(tǒng)計處理，文本信息提取等運(yùn)算的應(yīng)用。從本項(xiàng)目的運(yùn)算能力需求評估中，可獲知，爬蟲針對的網(wǎng)站是特定整理的列表，不是網(wǎng)絡(luò)中漫無目的的爬取，并且本爬蟲需要爬取的數(shù)據(jù)量并不多，固我們的技術(shù)架構(gòu)完全能滿足該爬蟲的性能需求。性能更多的消耗是在信令的處理和統(tǒng)計這一塊，而按之前的經(jīng)驗(yàn)，我們的實(shí)際能力也能達(dá)到本系統(tǒng)的性能要求。商戶信息的準(zhǔn)確性準(zhǔn)確性保障算法上述的信息搜集功能描述中已經(jīng)提到了，我們數(shù)據(jù)處理中考慮到了數(shù)據(jù)的去重、自動歸類、自動糾錯、并結(jié)合信息可信度評價體系對信息進(jìn)行更高的準(zhǔn)確率和有效性處理。即包含以下主要用于保障商戶信息完備性、準(zhǔn)確性的算法：算法名稱版本合并歸一算法自動歸類算法自動糾錯算法信息可信度評價體系算法版本合并歸一算法、自動歸類算法、自動糾錯算法在上述的信息搜集描述章節(jié)中已作介紹。本章節(jié)主要描述一下我們的信息可信度評價體系的主要算法理念。信息可信度分級算法自動評估的置信因子有：網(wǎng)站信息對比、話務(wù)排查（包括通話、短信及數(shù)據(jù)業(yè)務(wù)）、結(jié)合其它字段的權(quán)重打分運(yùn)算。目前簡單成以下三級個可信度級別：高級：特征舉例：網(wǎng)站信息與其它網(wǎng)站抓取的各個屬性一致，信令數(shù)據(jù)中有較多話務(wù)量，這批用戶在該話務(wù)時間前后內(nèi)有出現(xiàn)過在商家的區(qū)域中。中級：特征舉例：網(wǎng)站信息與其它網(wǎng)站抓取的各個屬性中有某些屬性不一致，標(biāo)識哪些不一致，并列舉各個信息，或者信令數(shù)據(jù)中較少出現(xiàn)該電話的話務(wù)量，或者有話務(wù)量，但較少出現(xiàn)在該商戶所在區(qū)域。低級：特征舉例：網(wǎng)站信息與其它網(wǎng)站抓取的各個屬性中出現(xiàn)較多不一致，或者信令數(shù)據(jù)中非常少出現(xiàn)該電話的話務(wù)量。應(yīng)用集：取可信度為“高級”的商戶信息結(jié)合。待修正或過濾剔除集：中級與低級數(shù)據(jù)。具體操作方式如下：商戶屬性描述屬性指標(biāo)可信度權(quán)重系數(shù)指標(biāo)評分商戶座機(jī)固話，記錄多個版本，按版本出現(xiàn)次數(shù)排序座機(jī)話務(wù)量20被叫次數(shù)商戶移動電話移動電話，記錄多個版本，按版本出現(xiàn)次數(shù)排序移動電話話務(wù)量10被叫次數(shù)商戶網(wǎng)址在商戶存在多域名情況下，也同時存下多個網(wǎng)址網(wǎng)址訪問次數(shù)2信令數(shù)據(jù)中該域名被訪問次數(shù)網(wǎng)址信息爬取與系統(tǒng)商戶信息一致程度20按爬取商戶自己網(wǎng)址的信息與現(xiàn)存的該商戶信息匹配度程序自動打分商戶短信接口目前技術(shù)判斷能識別商戶移動電話與客戶的通信行為，其它群發(fā)短信接口需要進(jìn)一步分析看是否可識別短信通信量3短信量商戶信息來源記錄本商戶信息搜集的來源，可再細(xì)分為主信息源，輔助判斷及糾正信息源來源可信度5不同的來源網(wǎng)站的信息置信度可自行調(diào)整商戶信息源的評價指數(shù)如來源于“點(diǎn)評網(wǎng)”等商戶信息聚合網(wǎng)站，該網(wǎng)站又屬于商戶質(zhì)量評估類的網(wǎng)站，改網(wǎng)站上會有網(wǎng)站的一些滿意度評價指標(biāo)：“具體打分”，評論的“好、中、差”個數(shù)；因不同抓取來源的評價體系不同，我們在保留每個來源的原始評價指數(shù)的同時，又對各個來源的評價指數(shù)結(jié)合一定的算法作統(tǒng)一評價評價次數(shù)10評價次數(shù)是否有最近時間的評價10有/否。還可以細(xì)分到最新評論的時效等級商戶信息源的關(guān)注指數(shù)同上，“點(diǎn)評網(wǎng)”中對商戶可以作文字評論，評論條數(shù)是一個重要的人氣指標(biāo)評論次數(shù)10評論數(shù)量是否有最近時間的評論10有/否可信度總分運(yùn)算公式：Sum(各指標(biāo)*各權(quán)重)再制定可信度等級的分值范圍對可信度高中低的得分范圍根據(jù)數(shù)據(jù)的驗(yàn)證制定。信息準(zhǔn)確性、有效性驗(yàn)證方式a.抽樣檢查先驗(yàn)證抓取的信息與原始網(wǎng)頁信息是否完全一致，是否有信息疏漏，此步驟可驗(yàn)證抓取的技術(shù)是否準(zhǔn)確無誤，并且不斷的監(jiān)控抓取質(zhì)量，如有異?？杉皶r發(fā)現(xiàn)，然后結(jié)合話務(wù)輸出的統(tǒng)計表說明數(shù)據(jù)的準(zhǔn)確性。再通過人工撥打號碼，登錄網(wǎng)站，網(wǎng)絡(luò)搜索等手段驗(yàn)證商戶信息，客戶最直接最直觀的驗(yàn)證體驗(yàn)。b.話務(wù)排查算法 自動抓取信息評估驗(yàn)證信息有效性、可信度的時候，由系統(tǒng)自動完成，有過濾驗(yàn)證算法。 供信息驗(yàn)證的時候則輸出高可信度的抽樣商戶的話務(wù)統(tǒng)計信息，原始信息等，供客戶檢查判斷是否判斷正確。商戶信息管理單元商戶信息管理單元具備以下功能模塊:商戶信息管理功能列表功能模塊功能描述商戶信息列表樹形分類展現(xiàn)、列表頁商戶信息查看商戶信息詳細(xì)頁面商戶信息管理增、刪、查、改商戶信息檢索模糊及精確檢索商戶信息導(dǎo)出列表導(dǎo)出、單個導(dǎo)出(支持訂制字段)商戶信息統(tǒng)計報表分類統(tǒng)計、數(shù)據(jù)源分類統(tǒng)計商戶信息列表支持樹形結(jié)構(gòu)可分類查詢商戶信息可導(dǎo)出列表商戶信息查看單個商戶的信息查看，接入各商戶網(wǎng)站整合網(wǎng)站的GIS地圖展現(xiàn)，多地圖供用戶對商戶信息的瀏覽和判斷糾正。通過精確搜索獲得。只能滿足部分展現(xiàn)需求商戶信息管理包括增、刪、查、改等功能；手動增加的商戶信息會標(biāo)注與自動抓取的信息區(qū)分，增加信息的時候會提示是夠存在同名或者類似名稱的商戶，避免重復(fù)添加.修改操作會記錄每次的修改日志，信息的歷史維護(hù)記錄一目了然。商戶信息檢索模糊及精確檢索商戶信息導(dǎo)出 大數(shù)據(jù)量數(shù)據(jù)導(dǎo)出將以后臺任務(wù)導(dǎo)出，無需前臺等待，用戶交互感受良好。商戶信息統(tǒng)計報表豐富的圖表展現(xiàn)效果、更直觀的反映統(tǒng)計數(shù)據(jù)、基于同一維度統(tǒng)計數(shù)據(jù)下可進(jìn)行不同維度粒度數(shù)據(jù)的快速鉆取。系統(tǒng)特點(diǎn)系統(tǒng)性能指標(biāo)針對系統(tǒng)的準(zhǔn)確性、實(shí)時性要求，系統(tǒng)設(shè)計性能要求如下：性能指標(biāo)名稱值（單位）說明每小時處理頁面數(shù)>20000（條）每小時處理的頁面樣本數(shù)最大頁面響應(yīng)時間小于3（秒）頁面查詢到響應(yīng)的時間并發(fā)用戶數(shù)20并發(fā)操作頁面的用戶數(shù)準(zhǔn)確性和完整性指標(biāo)名稱值說明時間同步精度小于5ms各服務(wù)器之間的時間偏差小于5ms抽樣準(zhǔn)確率大于99%抽樣檢查的商戶信息準(zhǔn)確率無效信息率小于1%與信令等用戶訪問信息比對所找到的無效商戶信息比率小于1%系統(tǒng)穩(wěn)定性指標(biāo)名稱值說明平均穩(wěn)定運(yùn)行保障可用時間（MTBF）大于1年在網(wǎng)絡(luò)穩(wěn)定的條件下，系統(tǒng)無需人工維護(hù)能正常運(yùn)行，正常運(yùn)行的時間大于1年；年不可用時長小于30分鐘因軟件系統(tǒng)重大故障每年不可用時長應(yīng)小于30分鐘系統(tǒng)設(shè)計壽命大于10年系統(tǒng)設(shè)計應(yīng)考慮網(wǎng)絡(luò)變化和延伸，具有強(qiáng)大的適應(yīng)性系統(tǒng)可用性可靠性系統(tǒng)在穩(wěn)定性方面主要通過對硬件（主機(jī)、網(wǎng)絡(luò)、存儲等）和軟件（操作系統(tǒng)、業(yè)務(wù)系統(tǒng)等）實(shí)現(xiàn)雙管齊下的策略實(shí)現(xiàn)；在硬件方面主要通過設(shè)備冗余、磁盤冗余的方式避免因硬件故障對系統(tǒng)穩(wěn)定運(yùn)行帶來的影響；在軟件方面主要通過負(fù)載均衡等集群技術(shù)來實(shí)現(xiàn)系統(tǒng)處理能力的充分發(fā)揮和平穩(wěn)接管與調(diào)度，保障系統(tǒng)的高可用性，可以確保用戶核心業(yè)務(wù)系統(tǒng)的高可用性級別達(dá)到99.99+%。穩(wěn)定性主要滿足的指標(biāo)包括：軟件系統(tǒng)能夠連續(xù)7×24小時不間斷工作；軟件系統(tǒng)中的模塊更新、加載時，不影響其它模塊的運(yùn)行（除需要更新與上下模塊的接口的情況）；軟件系統(tǒng)在硬件出現(xiàn)故障后，能保持正常運(yùn)行；軟件系統(tǒng)能平穩(wěn)處理和接管因系統(tǒng)硬件故障影響的任務(wù)。對于系統(tǒng)數(shù)據(jù)的準(zhǔn)確性方面，我們提供了多層次的核查手段，以確保數(shù)據(jù)處理過程和結(jié)果的準(zhǔn)確、完整。高性能使用分布式爬蟲架構(gòu)，將爬取任務(wù)散布到不同的爬取節(jié)點(diǎn)中，并通過自動負(fù)載均衡策略來調(diào)整爬蟲節(jié)點(diǎn)的數(shù)據(jù)以及每個爬蟲節(jié)點(diǎn)的任務(wù)，從而達(dá)到高性能海量處理。安全性系統(tǒng)的安全設(shè)計中包括四大元素，即身份驗(yàn)證、授權(quán)、訪問控制和審計，由此構(gòu)建包括了權(quán)限管理功能、數(shù)據(jù)安全管理以及安全檢測功能、網(wǎng)絡(luò)安全管理在內(nèi)的安全機(jī)制，通過這些手段保證系統(tǒng)能夠安全可靠地運(yùn)行，保障系統(tǒng)各部分的安全需要。權(quán)限管理系統(tǒng)支持提供多級密碼口令或使用硬件鑰匙對特定功能和數(shù)據(jù)區(qū)進(jìn)行權(quán)限控制，有效限制對非法登陸和訪問的攔截，同時對于所有訪問申請和權(quán)限審核情況都有詳細(xì)的日志記錄。同時，在數(shù)據(jù)接入和應(yīng)用接入方面都通過嚴(yán)格的鑒權(quán)和流程，確保將阻隔非法登陸和訪問。數(shù)據(jù)安全管理系統(tǒng)具備對數(shù)據(jù)安全性和可靠性的設(shè)計，除提供多種數(shù)據(jù)核查手段外，同時還提供原始數(shù)據(jù)校驗(yàn)碼功能，結(jié)合權(quán)限管理的功能可以保證數(shù)據(jù)不被非法盜用和修改偽造，保證數(shù)據(jù)的一致性。安全檢測功能對于數(shù)據(jù)的完整性，結(jié)合多種數(shù)據(jù)核查手段和自動故障檢查機(jī)制，保證數(shù)據(jù)不因各種意外情況丟失和損壞。通過網(wǎng)管系統(tǒng)實(shí)現(xiàn)對系統(tǒng)自身軟硬件設(shè)備的配置情況、數(shù)據(jù)端口的工作狀態(tài)、網(wǎng)絡(luò)運(yùn)行情況和操作信息等內(nèi)容的實(shí)時檢查以及性能的統(tǒng)計。對于任何的異常都會通過主動告警方式進(jìn)行提示，并執(zhí)行預(yù)定的系統(tǒng)自維護(hù)任務(wù)，盡可能減少因故障對系統(tǒng)造成的影響。網(wǎng)絡(luò)安全管理系統(tǒng)由于其數(shù)據(jù)和業(yè)務(wù)的特殊性，對其網(wǎng)絡(luò)的安全管理尤為重要。組網(wǎng)結(jié)構(gòu)上，采用雙網(wǎng)雙平面組網(wǎng)方式。在網(wǎng)絡(luò)安全管理方面，與外部系統(tǒng)的連接主要通過硬件防火墻隔離，同時結(jié)合標(biāo)準(zhǔn)嚴(yán)謹(jǐn)?shù)慕尤腓b權(quán)方案，以避免外部系統(tǒng)對平臺的非法訪問，也避免內(nèi)部對外部系統(tǒng)的不合理訪問。防火墻的策略細(xì)化到具體的IP和相關(guān)服務(wù)的端口，有效的實(shí)現(xiàn)了防火墻的隔離功能，保證了系統(tǒng)的安全。易用性業(yè)務(wù)系統(tǒng)的人機(jī)交互界面是采用直觀人性化的設(shè)計，包括完整的簡體中文圖形界面支持，標(biāo)準(zhǔn)的全菜單式和交互處理設(shè)計，以及完整的聯(lián)機(jī)幫助。在多年人機(jī)交互系統(tǒng)研發(fā)的經(jīng)驗(yàn)基礎(chǔ)上，提供多種具有特色和人機(jī)交互設(shè)計：易維護(hù)我司提供完整的網(wǎng)管系統(tǒng)，以實(shí)現(xiàn)對系統(tǒng)軟硬件資源配置、軟件升級、進(jìn)程管理、性能監(jiān)測、告警監(jiān)測、告警處理、故障恢復(fù)、監(jiān)測范圍調(diào)整等功能。系統(tǒng)支持多種遠(yuǎn)程接入方式，并能通過提供一站的管理界面集中完成對所有配置、管理和維護(hù)操作，實(shí)現(xiàn)對系統(tǒng)自身的完善的維護(hù)和管理。系統(tǒng)可擴(kuò)展性商戶信息分類爬取子系統(tǒng)V1.0采用框架化設(shè)計，其中的爬取規(guī)則、解析規(guī)則、分類規(guī)則均可通過配置文件進(jìn)行修改或者新增，可實(shí)現(xiàn)行業(yè)分類、定向樣本、頁面抓取規(guī)則的快速擴(kuò)展。用戶標(biāo)簽建模在互聯(lián)網(wǎng)技術(shù)和手段快速發(fā)展的今天，精準(zhǔn)有效的傳播是大家關(guān)注的焦點(diǎn)。精準(zhǔn)營銷是要讓合適的人看到合適的廣告。精準(zhǔn)營銷首先要抽象該人群特質(zhì)，其基礎(chǔ)就是人群定向劃分，而人群定向就是對群體的科學(xué)劃分。從行業(yè)競爭角度、用戶體驗(yàn)角度以及信息安全角度綜合考量，通過特定的興趣和表現(xiàn)，聚合出不同的人群，在聚合基礎(chǔ)上進(jìn)行行為分析和消費(fèi)路徑跟蹤，在海量的數(shù)據(jù)基礎(chǔ)上深入信息挖掘，并對人群的認(rèn)知數(shù)據(jù)廣泛分析，分配專屬人群分類廣告標(biāo)簽。本項(xiàng)目中按照不同行業(yè)的劃分形成了用戶行為的三級標(biāo)簽分類體系，在前向用戶標(biāo)簽體系及后向商戶信息分類上均采用統(tǒng)一的標(biāo)簽分類體系，使前后向的數(shù)據(jù)信息能夠在同一標(biāo)準(zhǔn)上進(jìn)行一一對應(yīng)，從而在體系上保證商戶信息對目標(biāo)客戶的精準(zhǔn)推送。在商戶信息的搜集上，由于標(biāo)簽體系的分類基礎(chǔ)是行業(yè)分類，因此商戶信息與標(biāo)簽體系的對應(yīng)關(guān)系是比較明確的，而且通過有效的爬取技術(shù)及信息集成能夠快速的實(shí)現(xiàn)標(biāo)準(zhǔn)化分類，保證后向信息庫的完整性和準(zhǔn)確性。在保證后向信息庫完整準(zhǔn)確的前提下，前向目標(biāo)用戶的分類就顯得尤為重要。由于從用戶的行為數(shù)據(jù)中無法直接找到標(biāo)簽體系的對應(yīng)關(guān)系，因此通過對用戶多種數(shù)據(jù)源的數(shù)據(jù)進(jìn)行綜合分析統(tǒng)計，建立一套有充足理論基礎(chǔ)的可實(shí)施的分類模型，將用戶按照標(biāo)簽框架對號入座就顯得尤為重要，也是本項(xiàng)目能否實(shí)現(xiàn)目標(biāo)客戶挖掘、營銷運(yùn)營支撐的關(guān)鍵。1.3.1基于最近鄰算法的用戶行為標(biāo)簽?zāi)Ｐ蛿?shù)據(jù)準(zhǔn)備移動用戶通信上網(wǎng)行為數(shù)據(jù)，包括但不限于（具體視數(shù)據(jù)源情況而定）：通話數(shù)據(jù)：商戶號碼通話時長時段次數(shù)和商戶通話方向短信數(shù)據(jù)：商戶號碼時段條數(shù)接受&發(fā)送位置軌跡分析（所處一定范圍內(nèi)商戶信息）接受鏈接數(shù)（點(diǎn)擊進(jìn)入）回復(fù)商戶短信數(shù)上網(wǎng)行為數(shù)據(jù)：網(wǎng)頁商戶信息（商戶主頁及綜合信息門戶）時間時長網(wǎng)頁流量搜索內(nèi)容數(shù)據(jù)挖掘模型算法：把用戶貼上標(biāo)簽就是一個分類問題，分類算法有很多種如決策樹，貝葉斯，聚類等。分類和聚類可用于顧客群識別和定向銷售，結(jié)合消費(fèi)能力、消費(fèi)習(xí)慣及興趣愛好特征。針對本模型輸入輸出較多的情況，先通過相關(guān)分析和因子分析，做變量分析和選取，再通過聚類算法把用戶群分到13個大類中，每一大類中幾個小類（第二級標(biāo)簽）再放回模型運(yùn)行得出結(jié)果，第三級可利用關(guān)鍵字監(jiān)測給用戶貼上標(biāo)簽。一個用戶至少一個標(biāo)簽，或更多，因此這是一個1對N的問題，N可為1。從數(shù)學(xué)角度來說，分類問題可做如下定義：已知集合：和，確定映射規(guī)則，使得任意有且僅有一個使得成立（不考慮模糊數(shù)學(xué)里的模糊集情況）其中C叫做類別集合，其中每一個元素是一個類別，而I叫做項(xiàng)集合，其中每一個元素是一個待分類項(xiàng)，f叫做分類器。分類算法的任務(wù)就是構(gòu)造分類器f。分類算法通過分析從訓(xùn)練集構(gòu)造分類器，分類過程：a)學(xué)習(xí)：用分類算法分析訓(xùn)練數(shù)據(jù)，模型或分類器以分類規(guī)則形式提供。b)分類：檢驗(yàn)數(shù)據(jù)用于評估分類規(guī)則的準(zhǔn)確率。如果準(zhǔn)確率是可以接受的，則規(guī)則用于新的數(shù)據(jù)元組分類。我們將使用分類算法中的K最近鄰分類，在所有訓(xùn)練樣本都存放的N維模式空間中搜索，找出最接近未知樣本的K個訓(xùn)練樣本?！班徑浴庇镁嚯x度量，如歐幾里得距離：d=sqrt(∑(xi1-xi2)^)這里i=1,2..nxi1表示第一個點(diǎn)的第i維坐標(biāo),xi2表示第二個點(diǎn)的第i維坐標(biāo)，n維歐氏空間是一個點(diǎn)集,它的每個點(diǎn)可以表示為(x(1),x(2),...x(n)),其中x(i)(i=1,2...n)是實(shí)數(shù),稱為x的第i個坐標(biāo),兩個點(diǎn)x和y=(y(1),y(2)...y(n))之間的距離d(x,y)定義為上面的公式.聚類分析是由若干模式組成的，模式是一個度量的向量，或者是多維空間中的一個點(diǎn)。聚類分析以相似性為基礎(chǔ)，在一個聚類中的模式之間比不在同一聚類中的模式之間具有更多的相似性。本項(xiàng)目中的聚類分析算法采取k-means算法，k-means算法是基于質(zhì)心的算法。k-means算法以k為參數(shù)，把n個對象分為k個簇，以使簇內(nèi)具有較高的相似度，而簇間的相似度最低。相似度的計算根據(jù)一個簇中對象的平均值（被看作簇的重心）來進(jìn)行。Step1任意選擇k個對象作為初始的簇中心；Step2重復(fù)；Step3根據(jù)與每個中心的距離，將每個對象賦給最近的簇；Step4重新計算每個簇的平均值；Step5直到不再發(fā)生變化。評估驗(yàn)證“分類的準(zhǔn)確率如何？”需要使用由測試元組和相關(guān)聯(lián)的類標(biāo)號組成的測試數(shù)據(jù)集進(jìn)行驗(yàn)證，我們引入誤差率和準(zhǔn)確率這兩個參數(shù)作為它的一個性能度量來對其進(jìn)行評估。誤差率R是誤差數(shù)目E和檢驗(yàn)集中的樣本數(shù)S的比值：分類器的準(zhǔn)確率A是檢驗(yàn)集中正確分類數(shù)和檢驗(yàn)集中樣本數(shù)S的比值，它的計算是：我們也可以利用ROC曲線擬合模型效果：ROC曲線的畫出以錯誤正例為水平抽，以敏感性為垂直軸，截止點(diǎn)是任意特定點(diǎn)。在模型比較方面，理想的曲線是和垂直軸一致的曲線。因此最佳曲線是最靠左邊的曲線。1.3.2基于多維度屬性的用戶畫像用戶行為標(biāo)簽體系將用戶按照行業(yè)種類進(jìn)行了標(biāo)簽屬性定義，形成了較為精細(xì)的單一標(biāo)簽用戶分群，能夠非常精準(zhǔn)地與商戶進(jìn)行一一對應(yīng)，從而有效支撐營銷信息的推送。本方案中，在用戶單一標(biāo)簽的基礎(chǔ)上，基于多個標(biāo)簽類服務(wù)項(xiàng)目的經(jīng)驗(yàn)，按照數(shù)據(jù)類型（人口統(tǒng)計學(xué)數(shù)據(jù)、行為數(shù)據(jù)等）對用戶的屬性進(jìn)行統(tǒng)一化分類，與用戶行為標(biāo)簽體系站在不同角度，完全從用戶行為數(shù)據(jù)為出發(fā)點(diǎn)，對用戶進(jìn)行多維度綜合畫像，包括社會屬性、自然屬性、業(yè)務(wù)偏好、消費(fèi)能力、生活圈以及其他屬性。其中社會屬性主要描述用戶的社會歸屬、社會分工以及社會群體屬性；自然屬性主要描述依附于用戶自身的屬性特點(diǎn)，例如年齡、收入以及學(xué)歷等，這些是與用戶自身緊密相聯(lián)系的；業(yè)務(wù)偏好及消費(fèi)能力畫像主要從用戶的通信行為屬性出發(fā)，描述用戶在使用業(yè)務(wù)上的偏好以及通信消費(fèi)能力；生活圈畫像主要從用戶的生活軌跡為出發(fā)點(diǎn)結(jié)合商戶或建筑物地理位置判斷用戶日常的生活習(xí)慣，從而進(jìn)行生活圈屬性判定。通過綜合多個維度的用戶屬性能夠較為全面的對標(biāo)簽體系中精細(xì)的用戶群體進(jìn)行畫像描述，從而建立起用戶群體的全面認(rèn)知，深刻洞悉用戶群體的行為習(xí)慣，將用戶特征顯性化。對用戶畫像進(jìn)行系統(tǒng)性劃分的另一層重要意義在于用戶的廣義分群，通過將畫像與用戶的行為標(biāo)簽相結(jié)合，形成覆蓋范圍更廣的用戶分群，并進(jìn)行固化，常態(tài)化支撐營銷運(yùn)營。用戶分群舉例：商戶信息運(yùn)營策略建立常態(tài)化的商戶數(shù)據(jù)庫數(shù)據(jù)更新機(jī)制，通過系統(tǒng)自動學(xué)習(xí)與人工撥測方式對商戶信息的完備性、準(zhǔn)確性進(jìn)行實(shí)時跟蹤，同時形成用戶分群與商戶之間的精準(zhǔn)匹配，創(chuàng)新營銷手段及推廣方式，最大化提升廣告精準(zhǔn)分析系統(tǒng)價值。 建立常態(tài)化商戶信息更新及模型優(yōu)化機(jī)制通過數(shù)據(jù)檢驗(yàn)與持續(xù)的信息管理能力，建立常態(tài)化的商戶信息更新機(jī)制，主要包含模型驗(yàn)證及商戶信息更新兩部分：商戶信息更新了解對各專業(yè)網(wǎng)站、黃頁等信息的持續(xù)跟蹤，對商家行業(yè)分類進(jìn)行月度更新，使之符合用戶群體習(xí)慣要求，符合市場發(fā)展，形成行業(yè)信息與用戶細(xì)分的雙向調(diào)整機(jī)制。整個爬取模塊是在不斷的循環(huán)上圖所示的三大工作流程、不斷循環(huán)的運(yùn)行過程，可保證原始網(wǎng)站新增商戶信息的發(fā)現(xiàn)，保證數(shù)據(jù)的時效性，在不斷新增的數(shù)據(jù)中又可根據(jù)新的信息，同一商戶得更多的數(shù)據(jù)量去補(bǔ)充或者糾正個別商戶的信息。模型驗(yàn)證根據(jù)效果監(jiān)測積極地調(diào)整投放對象側(cè)重、時間的選擇、創(chuàng)意的變化，是優(yōu)化資源、降低成本、避免盲目的有效手段。建立模型后，對用戶細(xì)分群體的廣告效果進(jìn)行月度體檢，根據(jù)廣告投放的效果監(jiān)測，檢驗(yàn)?zāi)Ｐ偷挠行耘c準(zhǔn)確性，評估用戶群體劃分的有效性，通過調(diào)整模型參數(shù)形成閉環(huán)的模型管理方式，通過機(jī)器學(xué)習(xí)+人工撥測的方式，確保模型的有效性與準(zhǔn)確性。 形成商戶-用戶精確營銷匹配方式采用基于數(shù)據(jù)挖掘的技術(shù)方法對市場進(jìn)行定位，對客戶進(jìn)行細(xì)分，在合適的時間（Righttime）、合適的地點(diǎn)（Rightplace）、通過合適的渠道（Rightchannel）、以合適的方式（Rightway）將合適的產(chǎn)品（Rightproduct）推送給合適的客戶（Rightcustomer），也稱為6R營銷。針對精確營銷，依托多年豐富的數(shù)據(jù)分析與市場運(yùn)營經(jīng)驗(yàn)進(jìn)行了深入地探究，形成了具有針對性的精確營銷體系。精確營銷體系重點(diǎn)包含兩方面精準(zhǔn)推廣策略和業(yè)務(wù)發(fā)展效果監(jiān)測。精準(zhǔn)推廣策略主要承擔(dān)整個營銷過程中潛在客戶挖掘、營銷時間地點(diǎn)渠道選擇等工作內(nèi)容，形成精確營銷閉環(huán)。業(yè)務(wù)發(fā)展效果監(jiān)測旨在評估傳播效能與營銷效果。精準(zhǔn)營銷挖掘機(jī)制主要包括潛在客戶挖掘、營銷時間建議、營銷地點(diǎn)建議、營銷內(nèi)容分析以及傳播渠道選擇等五大內(nèi)容。潛在客戶挖掘針對用戶數(shù)據(jù)進(jìn)行深入分析，從不同的維度對來對用戶的特征進(jìn)行定義，然后將行業(yè)的屬性標(biāo)簽與用戶的多維度特征進(jìn)行匹配，通過對用戶業(yè)務(wù)特征偏好以及價值級別的分析定義，對照特定行業(yè)信息的屬性標(biāo)簽即可挖掘出該商戶對應(yīng)的潛在客戶。傳播時間建議從用戶的角度出發(fā)，通過對用戶的時間使用偏好找到最適合進(jìn)行傳播的時間。傳播地點(diǎn)建議從用戶的軌跡進(jìn)行分析，通過提取用戶軌跡數(shù)據(jù)，對用戶在特定時間區(qū)間內(nèi)的軌跡進(jìn)行頻率統(tǒng)計，得出用戶經(jīng)常出入的場所，選定目標(biāo)傳播地點(diǎn)。傳播內(nèi)容分析傳播內(nèi)容的從用戶的行為過程角度進(jìn)行研究，分析用戶的興趣偏好，提供符合客戶需求的信息。傳播渠道建議傳播渠道分為電子渠道和實(shí)體渠道，電子渠道的分析需要使用用戶的上網(wǎng)行為數(shù)據(jù)，分析用戶經(jīng)常登錄的網(wǎng)站找到合適的電子營銷渠道；實(shí)體渠道的選擇則需要利用用戶軌跡分析的結(jié)果，選擇用戶出入頻繁的場點(diǎn)。方案創(chuàng)新性聚焦爬蟲技術(shù)傳統(tǒng)爬蟲技術(shù)從一個或若干初始網(wǎng)頁的URL開始，獲得初始網(wǎng)頁上的URL，在抓取網(wǎng)頁