大數(shù)據(jù)產(chǎn)品培訓(xùn)

大數(shù)據(jù)產(chǎn)品培訓(xùn)注意保密信息化事業(yè)部2015年3月目錄12位置域產(chǎn)品3沃風(fēng)云榜數(shù)據(jù)可視化4自助建模1.1產(chǎn)品介紹

1.2產(chǎn)品概述1.3技術(shù)架構(gòu)1.4產(chǎn)品價(jià)值什么是“沃·風(fēng)云榜”

“沃·風(fēng)云榜”基于廣東聯(lián)通強(qiáng)大的大數(shù)據(jù)平臺(tái)處理能力而實(shí)現(xiàn)。通過對(duì)全省用戶上網(wǎng)數(shù)據(jù)、位置數(shù)據(jù)、終端數(shù)據(jù)以及基礎(chǔ)數(shù)據(jù)的實(shí)時(shí)處理和解析，結(jié)合聚類算法以及熱度模型，計(jì)算得出全省用戶所關(guān)注的熱點(diǎn)事件以及關(guān)注熱詞，并賦予量化的熱度值進(jìn)行排列展現(xiàn)。“沃·風(fēng)云榜”的產(chǎn)品特征打破PV值：基于真實(shí)用戶的上網(wǎng)行為、真實(shí)的瀏覽數(shù)據(jù)而計(jì)算，避免了熱度可能是由機(jī)器刷PV而產(chǎn)生的弊端，使整個(gè)行業(yè)以及用戶變得可觸摸，更加權(quán)威、有序；將熱點(diǎn)從定性轉(zhuǎn)為定量：熱度模型將用戶行為進(jìn)行熱度定量轉(zhuǎn)換，其價(jià)值在于通過量化指標(biāo)充分評(píng)價(jià)一個(gè)事件在業(yè)界的反響和傳播；突破互聯(lián)網(wǎng)公司自身局限：一般互聯(lián)網(wǎng)企業(yè)的搜索排行榜或事件風(fēng)云榜是從自身單一平臺(tái)的角度來統(tǒng)計(jì)熱點(diǎn)熱詞；而“沃·風(fēng)云榜”是從用戶的角度，綜合計(jì)算熱點(diǎn)事件在受眾群體以及在不同平臺(tái)之間的瀏覽情況，更客觀真實(shí)地反映出事件傳播的范圍和用戶覆蓋程度。目錄12位置域產(chǎn)品3沃風(fēng)云榜數(shù)據(jù)可視化4自助建模1.1產(chǎn)品介紹

1.2產(chǎn)品概述1.3技術(shù)架構(gòu)1.4產(chǎn)品價(jià)值Potal頁(yè)展現(xiàn)主要包括熱點(diǎn)追蹤（熱點(diǎn)新聞/事件）、熱詞排行和電商熱詞、地域熱詞四個(gè)板塊；其中熱點(diǎn)新聞和熱詞排行是重點(diǎn)，設(shè)置簡(jiǎn)單直接的交互操作，地域熱詞以地圖形式展示。搜索熱詞板塊熱點(diǎn)板塊電商板塊地域熱詞板塊熱詞排行頁(yè)面分類熱詞展現(xiàn)，按搜索引擎分類按電商分類按搜索詞分類按地域搜索分類熱點(diǎn)追蹤頁(yè)面分地域熱點(diǎn)展現(xiàn)Top10熱點(diǎn)即時(shí)更新*設(shè)置敏感新聞/事件信息過濾功能目錄12位置域產(chǎn)品3沃風(fēng)云榜數(shù)據(jù)可視化4自助建模1.1產(chǎn)品介紹1.2產(chǎn)品概述1.3技術(shù)架構(gòu)

1.4產(chǎn)品價(jià)值沃·風(fēng)云榜的技術(shù)框架位置數(shù)據(jù)信令數(shù)據(jù)去重過濾轉(zhuǎn)換實(shí)體向量識(shí)別非實(shí)體向量命名內(nèi)容爬取數(shù)據(jù)清洗文本表述關(guān)鍵詞解析內(nèi)容分類摘要算法分類算法聚類算法詞向量模型熱度模型熱點(diǎn)事件電商熱詞搜索熱詞地域熱詞熱點(diǎn)跟蹤預(yù)測(cè)上網(wǎng)數(shù)據(jù)數(shù)據(jù)獲取數(shù)據(jù)處理關(guān)鍵技術(shù)功能應(yīng)用終端數(shù)據(jù)BSS數(shù)據(jù)廣東聯(lián)通大數(shù)據(jù)處理平臺(tái)主要的算法模型摘要算法過程：

（1）通過標(biāo)題和正文內(nèi)容，計(jì)算每個(gè)分詞的TF和IDF，得出每個(gè)分詞的權(quán)重。 （2）對(duì)正文內(nèi)容進(jìn)行分段和分句，根據(jù)段落位置和句子位置賦予不同的權(quán)重。 （3）每個(gè)句子對(duì)包含的分類的權(quán)重進(jìn)行累加并加上句子本身的權(quán)重，得出每個(gè)句子的得分。（4）挑選得分最高的TopN句子串聯(lián)起來，形成摘要。聚類算法過程：

（1）對(duì)文檔正文內(nèi)容進(jìn)行分詞，根據(jù)TF-IDF計(jì)算每個(gè)分詞權(quán)重，選擇TopN分詞，轉(zhuǎn)化為特征向量。 （2）分別計(jì)算已有的簇的質(zhì)心與該文檔的相似度。 （3）找出最大相似度，如果最大相似度達(dá)到某一個(gè)閾值，則加入此簇，并更新該簇的質(zhì)心（即聚類到已有熱點(diǎn)中）；否則該文檔就形成一個(gè)新的獨(dú)立簇，即聚成一個(gè)新的熱點(diǎn)。熱度計(jì)算模型：

事件熱度由各種因子線性疊加得出：s=a1*s1+a2*s2+a3*s3+a4*s4其中：s1為該熱點(diǎn)的網(wǎng)頁(yè)得分：s1=e^(b1/x);s2為該熱點(diǎn)的網(wǎng)站得分：s2=e^(b2/x);s3為該熱點(diǎn)的用戶點(diǎn)擊得分；s3=e^(b3/x)s4為該熱點(diǎn)發(fā)布時(shí)間的方差得分：s4=e^(b4/x)目錄12位置域產(chǎn)品3沃風(fēng)云榜數(shù)據(jù)可視化4自助建模1.1產(chǎn)品介紹1.2產(chǎn)品概述1.3技術(shù)架構(gòu)

1.4產(chǎn)品價(jià)值對(duì)聯(lián)通的價(jià)值沃·風(fēng)云榜=營(yíng)銷風(fēng)向標(biāo)基于真實(shí)的用戶、真實(shí)的數(shù)據(jù)而形成的風(fēng)云榜，通過數(shù)據(jù)還原不同用戶群體的興趣和關(guān)注點(diǎn)，能夠有效指導(dǎo)營(yíng)銷推廣。沃·風(fēng)云榜=商機(jī)挖掘器通過定量的指標(biāo)綜合評(píng)價(jià)熱點(diǎn)事件的網(wǎng)絡(luò)傳播力和用戶覆蓋度，有利于業(yè)務(wù)部門從中挖掘營(yíng)銷機(jī)會(huì)，并判斷商機(jī)價(jià)值。沃·風(fēng)云榜=財(cái)富通道形成“沃·風(fēng)云榜”的背后是聯(lián)通利用大數(shù)據(jù)能力對(duì)各類數(shù)據(jù)的加工和計(jì)算，而這些有價(jià)值的數(shù)據(jù)能夠幫助聯(lián)通的合作伙伴優(yōu)化其產(chǎn)品和服務(wù)，是增強(qiáng)與各行業(yè)合作的重要窗口。對(duì)行業(yè)的價(jià)值行業(yè)標(biāo)桿“沃·風(fēng)云榜”打破了各類搜索引擎、網(wǎng)絡(luò)媒體和資訊平臺(tái)以單一平臺(tái)數(shù)據(jù)統(tǒng)計(jì)熱點(diǎn)的局限，真實(shí)反映了熱點(diǎn)事件本身，因此“沃·風(fēng)云榜”更具備行業(yè)標(biāo)桿的參考意義?？诒裹c(diǎn)“沃·風(fēng)云榜”所采用的熱度模型，打破了唯PV值論的落后統(tǒng)計(jì)方法，充分考慮了用戶、點(diǎn)擊、網(wǎng)站等影響因子，因此對(duì)行業(yè)合作伙伴而言更客觀反映了用戶的興趣、口碑和意愿。直達(dá)用戶“沃·風(fēng)云榜”基于真實(shí)的用戶，擁有全面的用戶信息和位置、終端和消費(fèi)能力等高附加值數(shù)據(jù)，較同類型產(chǎn)品離用戶更近，蘊(yùn)含著巨大的商業(yè)價(jià)值有待發(fā)掘。目錄21位置域產(chǎn)品3沃風(fēng)云榜數(shù)據(jù)可視化4自助建模2.1產(chǎn)品概述2.2產(chǎn)品介紹2.3技術(shù)架構(gòu)2.4商業(yè)價(jià)值

位置域產(chǎn)品通過自助圈選區(qū)域，配置指標(biāo)，結(jié)合平臺(tái)用戶指標(biāo)標(biāo)簽生成該區(qū)域分析報(bào)表及明細(xì)數(shù)據(jù)。3、分析報(bào)表促銷決策支撐廣告屏投放咨詢店面選址應(yīng)用地圖圈選配置指標(biāo)報(bào)表展現(xiàn)支撐應(yīng)用用戶自定義畫圈選取商圈，并選取分析用戶出現(xiàn)在該位置的時(shí)間，選定分析用戶群。自助化指標(biāo)配置，包括人流量、b域指標(biāo)。生成分析報(bào)表，以及圖型展示。生成標(biāo)準(zhǔn)化接口，全面支撐對(duì)于精確位置用戶的用戶分析的數(shù)據(jù)應(yīng)用。位置域產(chǎn)品—產(chǎn)品概述位置域產(chǎn)品—產(chǎn)品概述隨著位置域數(shù)據(jù)的使用需求不斷增多，客戶的取數(shù)要求不斷提升，項(xiàng)目團(tuán)隊(duì)對(duì)交換側(cè)的數(shù)據(jù)逐漸支撐力不從心，人工成本越來越大。面對(duì)這樣的情況，必須將位置域信息以指標(biāo)標(biāo)簽體系的方式放入平臺(tái)中，由用戶自行選取和組合，結(jié)合位置數(shù)據(jù)、用戶域數(shù)據(jù)的實(shí)時(shí)處理和解析，達(dá)到指定位置數(shù)據(jù)的展現(xiàn)。目錄21位置域產(chǎn)品3沃風(fēng)云榜數(shù)據(jù)可視化4自助建模2.1產(chǎn)品概述2.2產(chǎn)品介紹2.3技術(shù)架構(gòu)2.4商業(yè)價(jià)值位置域產(chǎn)品--新增商圈點(diǎn)擊左側(cè)欄目最上方的+號(hào)，新增圈定的商圈位置域產(chǎn)品--新增商圈用地圖工具在地圖上圈定范圍，填寫此商圈的標(biāo)題和相關(guān)的商圈描述，點(diǎn)擊保存即成功創(chuàng)建了一個(gè)位置域商圈位置域產(chǎn)品--新增商圈在左側(cè)欄最上方會(huì)出現(xiàn)新建的商圈標(biāo)題，選中此商圈，會(huì)在下方出現(xiàn)5個(gè)功能按鈕，從左到右分別是：用戶分析，用戶數(shù)據(jù)統(tǒng)計(jì)，用戶數(shù)據(jù)明細(xì)，編輯位置域商圈，刪除位置域商圈，點(diǎn)擊功能按鈕可對(duì)商圈進(jìn)行相關(guān)操作位置域產(chǎn)品—用戶分析功能選擇此商圈需要分析的時(shí)間段，點(diǎn)擊“用戶分析”為自助報(bào)表功能，“用戶明細(xì)”為自助取數(shù)功能位置域產(chǎn)品—自助分析點(diǎn)擊新建報(bào)表模板，進(jìn)入自助報(bào)表配置板塊建立報(bào)表所屬域，支持不同域的選擇位置域產(chǎn)品—自助分析選擇報(bào)表列相關(guān)指標(biāo)標(biāo)簽選擇報(bào)表行相關(guān)指標(biāo)標(biāo)簽位置域產(chǎn)品—自助分析設(shè)置條件時(shí)間位置域產(chǎn)品—自助分析報(bào)表預(yù)覽完成報(bào)表配置位置域產(chǎn)品—自助分析查看報(bào)表展現(xiàn)位置域產(chǎn)品—用戶明細(xì)點(diǎn)擊新建取數(shù)模板，進(jìn)入自助取數(shù)配置板塊位置域產(chǎn)品—用戶明細(xì)增加取數(shù)指標(biāo)標(biāo)簽按鈕位置域產(chǎn)品—用戶明細(xì)配置取數(shù)任務(wù)過濾條件位置域產(chǎn)品—用戶明細(xì)單次任務(wù)執(zhí)行時(shí)間下載文件類型和分隔符位置域產(chǎn)品—用戶明細(xì)查看取數(shù)任務(wù)執(zhí)行情況位置域產(chǎn)品—用戶明細(xì)取數(shù)文件下載取數(shù)任務(wù)文件下載目錄21位置域產(chǎn)品3沃風(fēng)云榜數(shù)據(jù)可視化4自助建模2.1產(chǎn)品概述2.2產(chǎn)品介紹2.3技術(shù)架構(gòu)

2.4商業(yè)價(jià)值位置域產(chǎn)品—系統(tǒng)架構(gòu)PAAS數(shù)據(jù)平臺(tái)IAAS虛擬資源主機(jī)資源池存儲(chǔ)資源池網(wǎng)絡(luò)資源池管理平臺(tái)虛擬資源管理物理資源管理業(yè)務(wù)性能監(jiān)控應(yīng)用部署數(shù)據(jù)服務(wù)平臺(tái)(對(duì)內(nèi))數(shù)據(jù)計(jì)算二次實(shí)時(shí)計(jì)算實(shí)時(shí)流式匯總、分析計(jì)算統(tǒng)一數(shù)據(jù)服務(wù)平臺(tái)數(shù)據(jù)管控服務(wù)監(jiān)控?cái)?shù)據(jù)導(dǎo)出數(shù)據(jù)導(dǎo)入統(tǒng)一接口任務(wù)調(diào)度權(quán)限結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)（資源池）非結(jié)構(gòu)化/大數(shù)據(jù)存儲(chǔ)（資源池）數(shù)據(jù)服務(wù)平臺(tái)(對(duì)外)計(jì)量任務(wù)調(diào)度數(shù)據(jù)加密認(rèn)證服務(wù)監(jiān)控?cái)?shù)據(jù)推送SAAS自助應(yīng)用平臺(tái)（自助取數(shù)、自定義報(bào)表、多維分析、多層級(jí)挖掘）數(shù)據(jù)應(yīng)用（精細(xì)化營(yíng)銷、維系挽留、流量經(jīng)營(yíng)、存量經(jīng)營(yíng)、作業(yè)價(jià)值、網(wǎng)絡(luò)優(yōu)化、互聯(lián)網(wǎng)數(shù)據(jù)分析）MPP數(shù)據(jù)庫(kù)關(guān)系數(shù)據(jù)庫(kù)HADOOP、Cassandra元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)生命周期管理數(shù)據(jù)安全管理實(shí)時(shí)采集實(shí)時(shí)采集、清洗大數(shù)據(jù)匯總、挖掘離線計(jì)算ETL（數(shù)據(jù)采集、清洗、匯總、標(biāo)簽挖掘）外部合作應(yīng)用位置域產(chǎn)品—技術(shù)架構(gòu)位置數(shù)據(jù)廣東聯(lián)通數(shù)據(jù)中心平臺(tái)去重過濾轉(zhuǎn)換內(nèi)容爬取數(shù)據(jù)清洗地圖解析定點(diǎn)定位地圖測(cè)距商圈定制定點(diǎn)報(bào)表定點(diǎn)取數(shù)數(shù)據(jù)獲取數(shù)據(jù)處理關(guān)鍵技術(shù)功能應(yīng)用定點(diǎn)找基站地圖畫圈經(jīng)緯度與坐標(biāo)轉(zhuǎn)換目錄21位置域產(chǎn)品3沃風(fēng)云榜數(shù)據(jù)可視化4自助建模2.1產(chǎn)品概述2.2產(chǎn)品介紹2.3技術(shù)架構(gòu)

2.4商業(yè)價(jià)值位置域產(chǎn)品—商業(yè)價(jià)值基于圈定位置真實(shí)的人流量，用戶行為，用戶業(yè)務(wù)量分析，可以為營(yíng)銷策略做導(dǎo)向商圈用戶的行為分析，業(yè)務(wù)量情況，人流量分析，便于業(yè)務(wù)部門從中挖掘有利的商機(jī)通過商圈數(shù)據(jù)的加工和計(jì)算，利用這批有用的數(shù)據(jù)為其他合作伙伴優(yōu)化其產(chǎn)品和服務(wù)，增強(qiáng)與各行業(yè)合作的窗口位置域產(chǎn)品分析財(cái)富通道商機(jī)挖掘營(yíng)銷導(dǎo)向目錄32位置域產(chǎn)品1沃風(fēng)云榜數(shù)據(jù)可視化4自助建模3.1可視化平臺(tái)規(guī)劃劃3.2可視化平臺(tái)介紹產(chǎn)品定位可視化平臺(tái)=大數(shù)據(jù)門戶能力可視化應(yīng)用可視化模型可視化數(shù)據(jù)可視化服務(wù)可使用產(chǎn)品可交易產(chǎn)品定位能力可視化應(yīng)用可視化模型可視化數(shù)據(jù)可視化服務(wù)可使用產(chǎn)品可交易

用數(shù)據(jù)說話：廣東聯(lián)通大數(shù)據(jù)，用戶可觸摸、可到達(dá)演進(jìn)方向可看見可使用可交易數(shù)據(jù)可視化