電視用戶大數(shù)據(jù)分析報告

1、實用文檔 電視用戶數(shù)據(jù)分析 文松修改記錄 畋說VI 目錄 1 總體描述4 1. 1建設(shè)目標(biāo)4 1. 2拴體架構(gòu)4 2 功能實現(xiàn)6 2. 1致?lián)珊肫鍓K6 2. 1. 1 數(shù)據(jù)收木6 2. 1.2 數(shù)據(jù)處理6 2. 2致?lián)治? 2. 3致?lián)梢暬? 2. 4系統(tǒng)笛理9 3 初步方案10 3. 1C平臺按口日恵分析10 3. 2涼水文件分析11 4 技術(shù)實現(xiàn)11 1總體描述 1.1 理設(shè)目標(biāo) 互聯(lián)網(wǎng)電視是建立在通佶網(wǎng)絡(luò)上的互動性視頻服務(wù).可以非常靈活地實現(xiàn)電子菜單. 節(jié)目預(yù)約、實時快進(jìn)、快退等燥作。通過對OTT用戶的實時數(shù)據(jù)收集，統(tǒng)計分析. 理設(shè) 實時致?lián)治鱿到y(tǒng)，對OTT的EPG界面設(shè)計、內(nèi)容

2、運(yùn)營冇若墜要息義。 系統(tǒng)在通過對OTT業(yè)務(wù)運(yùn)營平臺數(shù)據(jù)收殺的基礎(chǔ):上，實時（定期）獲取用戶行為數(shù) 據(jù)，結(jié)合業(yè)務(wù)運(yùn)營平臺數(shù)據(jù) 日志、用戶端APK上報日志等數(shù)據(jù)，通過大致?lián)幚砥脚_（如 Hadoop）, 對 OTT 的各緯度指標(biāo)進(jìn)彳亍統(tǒng)計分析. 并提供用戶自定義分析功能，進(jìn)行數(shù)據(jù) 朕示，為EPG的界面設(shè)計和運(yùn)營建設(shè)提供決策依據(jù)。 1.2 at體架構(gòu) 外部故據(jù)涼 外部故據(jù)涼 滾水文件 其他日志文件 欽據(jù)抓取 負(fù)貴廷個互聯(lián)網(wǎng)電視運(yùn)營中，平臺或者分平臺系統(tǒng)的原始基礎(chǔ)數(shù)據(jù)的荻取.包括2 部分內(nèi)容：(1)平臺日志：結(jié)合運(yùn)營平臺的日志菅理棋塊，實現(xiàn)獲取并接收用戶的行為 數(shù)據(jù)：(2) APK B志上報。提供數(shù)據(jù)

3、接口，且支持FTP等傳輸導(dǎo)入。 致?lián)ト∮糜诮尤氪鎯?shù)據(jù).目前分為三部分： (1) C平臺各業(yè)務(wù)系統(tǒng)通過AOP方式將各搓口調(diào)用情況榆出標(biāo)準(zhǔn)日志，由FLUME進(jìn) 行抓取；再通過KAFKA將數(shù)據(jù)輸送到STORM中；STORM將元數(shù)據(jù)宜接存放到HDFS中。 (2) 各業(yè)務(wù)系統(tǒng)的諸餞日志轉(zhuǎn)換為json后直接存放到ES中，方便查找。 (3) 將流水文件(需轉(zhuǎn)換為csv格式)和波水日志(導(dǎo)出txt格式)通過文檔上傳 系統(tǒng)上傳到HDFS中，文件所在的文件夾以當(dāng)天日期命名(減少需處理的文件數(shù)提 高效卒)。 致?lián)治?基于hadoop大數(shù)據(jù)處理技術(shù)，將數(shù)據(jù)收集獲取到的基礎(chǔ)數(shù)據(jù)，進(jìn)行數(shù)據(jù)預(yù)處理、致 據(jù)統(tǒng)計計蘇，包

4、括數(shù)據(jù)排磴、數(shù)據(jù)清詵、結(jié)架展示指標(biāo)計并等，并將原始數(shù)據(jù)、結(jié)架表 數(shù)據(jù)進(jìn)行存儲利備份。根據(jù)多維度的數(shù)據(jù)展示需求.設(shè)計結(jié)架表數(shù)據(jù)，并對其進(jìn)行實時 統(tǒng)計計算.并將結(jié)架數(shù)據(jù)，推送給前端農(nóng)示平臺。另外還提供用戶口定分析功能，用于 對原始數(shù)據(jù)和結(jié)架表數(shù)據(jù)的自定義査詢和分析功能.便于非數(shù)據(jù)分析人員對系統(tǒng)進(jìn)行二 次分析。 致?lián)治鲇糜趯χ付〝?shù)據(jù)進(jìn)行切劃分解為各個維度，給展示系統(tǒng)提供數(shù)據(jù)支撐: (1) 由STORM對C平臺接口日志進(jìn)行處理.將處理后的數(shù)據(jù)存放到ELK中進(jìn)行展 力V o (2) 由SPARK離線處理HDFS上的沫水文件，將處理后的數(shù)據(jù)保存到mongodb中。 (設(shè)定時任務(wù)毎天零點(diǎn)自 動開始SPAR

5、K任務(wù)，對以前一天日期命名的文件夾下的數(shù)據(jù)進(jìn) 行處理)。 可視化系統(tǒng)(BI) BI系統(tǒng)負(fù)貴可視化致?lián)治銎鍓K建設(shè)，將數(shù)據(jù)分析的致?lián)?，在兄示終端進(jìn)行可視化 圖形展示。BI系統(tǒng)是對分析后結(jié)果進(jìn)行展示，用于圖形化展示垠終的分析結(jié)架： 初期是使用ECharts 等圖表插件繪制展示圖形； 后期由項 目 根據(jù)傳來的數(shù)據(jù)和棋型 白 動繪制 圖形。 欽據(jù)挖掘 致?lián)诰驅(qū)﹄x線數(shù)據(jù)進(jìn)行分析，形成相關(guān)棋型，并用棋型對數(shù)據(jù)進(jìn)行計蘇分析：使 用SPARK Ml lib (機(jī)貉學(xué)習(xí))訓(xùn)練棋型，來憲成楙準(zhǔn)推君利視頻打分等功能。 元數(shù)據(jù)菅理與數(shù)據(jù)質(zhì)母管理系統(tǒng) 元數(shù)據(jù)管理對接入的數(shù)據(jù)進(jìn)行菅理. 數(shù)據(jù)質(zhì)管理是對云平臺上存儲數(shù)據(jù)進(jìn)

6、行質(zhì)量 控制，保證數(shù)據(jù)真實可#。 2功能實現(xiàn) 2. 1數(shù)摒采*棋塊 2. 1. 1數(shù)摒收來 互聯(lián)網(wǎng)電視運(yùn)營大數(shù)據(jù)分析數(shù)據(jù)來源于各業(yè)務(wù)運(yùn)營平臺，數(shù)據(jù)分為APK上報數(shù)據(jù)、 業(yè)務(wù)平臺后臺日志數(shù)據(jù)。 (1) 終端首次開機(jī)上電后，主動向運(yùn)営平臺上報認(rèn)證傳息.終端經(jīng)過認(rèn)證后才能 澈活，認(rèn)證信息包含了終端的基本信息； (2) 獲取到終端開機(jī)、心跳、瀏覽訪問、直播、點(diǎn)播、回看、訂購、遙控器按筑、 停留時間等行為致?lián)?(3) 荻取到0T絳端SN/MAC、欽件版本號； (4) 獲取各終端活皈度信息：首次活販時間. 最后活飯時間，活飯總時長等活躍 詳情 (5) 獲取用戶搜索影視內(nèi)容關(guān)低詞信息.包含彩視名稱、演員名

7、稱等。 (6) 莪取用戶點(diǎn)播詳情：開始結(jié)束時間、點(diǎn)播內(nèi)容、點(diǎn)播時長等。 (7) 獲取用戶訂購佑息：訂購時間、訂購金額、退購時間、訂購次數(shù)、退購次數(shù) 等。 2. 1.2數(shù)摒處理 (1) 將運(yùn)營平臺上報提交的數(shù)據(jù)進(jìn)行收殺和預(yù)處理： (2) 用戶行為原始數(shù)據(jù)，經(jīng)由數(shù)據(jù)標(biāo)準(zhǔn)化處理，支持對日志合并、數(shù)據(jù)清洗。數(shù)據(jù) 過濾操作，形成統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)； 2. 2 數(shù)摒分析 通過對互聯(lián)網(wǎng)電視運(yùn)營平臺的數(shù)據(jù)收殺，建立OTT用戶行為數(shù)據(jù)庫，并在此基礎(chǔ)上 建立OTT用戶行為分析指標(biāo)，該指標(biāo)主要包括以下內(nèi)容： (1) 提供OTT妝“Jt標(biāo)筮計分析，包姑日(息)用戶致、B (總)訪問畳.視預(yù) 摘枚量、人坨停爾時間*。 實時

8、統(tǒng)計OTT在線用戶數(shù)、總活躍用戶數(shù)、總點(diǎn)擊用戶數(shù)、開機(jī)用戶數(shù)、視頻播放 用戶致、視頻播放轉(zhuǎn)化率、播放時長哥指標(biāo)； 針對各指標(biāo)展示，提供可視化圖表展示.以及歷史數(shù)據(jù)查詢功能 (2) 提供用戶H度分析 統(tǒng)計OTT總用戶數(shù)、當(dāng)日用戶數(shù)、祈安裝用戶數(shù)、闕存率、活甌度等健康度指標(biāo)， 并提供圖形化圖表展示，以及歷史數(shù)據(jù)查詢功能； (3) 捉供用戶tMTffr息筮計分析，包姑終播型號.MAC壇珂位JL牙析 按終端盒子廠商、型號為緯度.統(tǒng)計分析OTT的訪問用戶數(shù)、播放用戶數(shù)、播放岳、 播放轉(zhuǎn)化率號指標(biāo)，并提供可視化圖形展示和歷史數(shù)據(jù)查詢； 按絡(luò)端軟件版本，統(tǒng)計分析 OTT的訪問用戶數(shù)、播放用戶數(shù)、播放轉(zhuǎn)化率等

9、指標(biāo)， 并提供可視化圖形展示和歷史數(shù)據(jù)查詢； 按省份、運(yùn)營商為緯度，統(tǒng)計OTT的訪問用戶數(shù)、播放用戶數(shù)、播放培、播放轉(zhuǎn)化 率等指標(biāo)，并提供可視化圖形展示和歷史數(shù)據(jù)査詢； (4) 提供用戶所知rwr的訪問、人絢俗書時間分析祚 統(tǒng)計OTT的各個頁面的訪問、訪問時間、訪問時長等指標(biāo)，并提供可視化圖形展 示； 統(tǒng)計OTT各頁面的來源路徑和波出路徑的用戶愛、訪問次數(shù)苓指標(biāo)數(shù)據(jù)，并提供可 視化圖形展示； (5) 媳供予目沖容分析 按照關(guān)筑路徑分析，統(tǒng)計各核心業(yè)務(wù)的轉(zhuǎn)化率，分析用戶在標(biāo)準(zhǔn)路牲中各步驟的流 失情況，并以宜觀圖表展現(xiàn)。 (6) K供1T阿熱力BB*析 提供頁面熱力圖功能，用戶可以框選熱力圖區(qū)域，

10、頁面顯示該區(qū)域的用戶殲、磚化 率.播放內(nèi)容、次數(shù)等數(shù)據(jù)c (7) 提供予目內(nèi)牡分析，K侯換塔放典型才析，如令畑*;提供按內(nèi)容分 析，包姑電祝.電彩、絳藝、 對點(diǎn)播業(yè)務(wù)，提供從內(nèi)容分矣到節(jié)目名稱不同緯度的指標(biāo)統(tǒng)計，統(tǒng)計指標(biāo)包括訪問 培、播放兮、播放轉(zhuǎn)化卒、排名等指標(biāo)； 對其他業(yè)務(wù)類型，按照節(jié)目內(nèi)容的不同緯度，提供訪問培、播放母、播放時長、節(jié) 目排名夸指標(biāo)統(tǒng)計。 (8) 扭供用戶訂購分析，訂購處否成易.訂購來怨、訂購失JMUR因、訂購處號、 燈購時閻等分析。 針對訂購業(yè)務(wù)，統(tǒng)計產(chǎn)品的訂購量、取消訂購址、續(xù)訂、訂購總斂計費(fèi)、業(yè)務(wù)址 排名等指標(biāo)統(tǒng)計； 統(tǒng)計訂購業(yè)務(wù)的結(jié)算數(shù)據(jù)，提供地域、周期、產(chǎn)品名稱夸

11、緯度對消費(fèi)金額、訂購 次數(shù)的統(tǒng)計； 統(tǒng)計多產(chǎn)品的用戶訂購分布情況。 (9) 提供用戶興畑分析 根據(jù)用戶產(chǎn)品包訂購記錄及觀看記錄進(jìn)行用戶畫像. 并對用戶觀肴偏好進(jìn)行分析， 理立用戶興趣農(nóng)C 2. 3數(shù)掲可視化 (1) 血供大畀致TT銀化 針對大屏數(shù)據(jù)展示.進(jìn)行定制化，實時展示當(dāng)前在線用戶數(shù)、點(diǎn)播用戶數(shù)、宜播用 戶數(shù)、回考用戶數(shù)等核心指標(biāo)。 (2) 捉供多種用戶視*,多科描標(biāo)緯度4MT9PL化鹿示 針對OTT的各項數(shù)據(jù)，系統(tǒng)提供基于逑體概況、分業(yè)務(wù)、地理信息、頁面、路徑、 內(nèi)容、運(yùn)營哥多種緯度，包括訪問站、轉(zhuǎn)化平、播放呼多項指標(biāo)的統(tǒng)計，并提供可視 化履示。 (3) JC持用戶自定義析 系統(tǒng)支持用戶

12、自定義查詢，允許用戶根據(jù)自身業(yè)務(wù)需要.自定義查詢分析系統(tǒng)數(shù)據(jù)， 并支持選擇指標(biāo)，定制折線圖、餅圖等可視化圖形進(jìn)行展示，可以將分析結(jié)栗以EXCEL 形式術(shù)出。 (4)捉供敷導(dǎo)出功施 提供將統(tǒng)計結(jié)栗的數(shù)據(jù)以EXCEL文件的形式導(dǎo)出，便于相關(guān)人員對數(shù)據(jù)進(jìn)行二次分 析和EB農(nóng)制作。 2. 4系MV3K (1) 用戶權(quán)恨現(xiàn) 針對業(yè)務(wù)不同層次的需求，提供系統(tǒng)菅理員、丼通用戶等不同沖色的頁面權(quán)限菅理； (2) 提供自定義功堪任*理 針對自定義分析.提供任務(wù)菅理功能，包括任務(wù)創(chuàng)建、刪除、狀態(tài)查看、結(jié)果查看 等功能。 (3) 天理坷珂 元數(shù)據(jù)菅理對接入的數(shù)據(jù)進(jìn)行管理.數(shù)據(jù)質(zhì)牙菅理是對云平臺上存儲數(shù)據(jù)進(jìn)行質(zhì)母 控

13、制，保證數(shù)據(jù)真實可靠c 3初步方案 3. 1 C平臺揍口 B志分析 OWSVODBMS 1、通過C平臺VOD/OMS/BMS等棋塊收殺系統(tǒng)日志，F(xiàn)lume是一個分布式、可拆、和鬲歹 用的海岳日志聚合的系統(tǒng). 支拎在系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方.用于收梟數(shù)據(jù)；同 時，F(xiàn)lume提供對致?lián)M(jìn)行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。 2、采用分布式消息系統(tǒng)kafka中間件.處理用戶行為（登錄、瀏覽、點(diǎn)擊、分享、喜 歡）以及系統(tǒng)運(yùn)行日志（CPU、內(nèi)存、磁理、網(wǎng)絡(luò)、系統(tǒng)及進(jìn)程狀態(tài)）。 3、對采殺到的數(shù)據(jù)進(jìn)行實時分析，采用apache stornio 4、HDFS分布式文件系統(tǒng)完成海消息信息的存儲

14、HDFS通過一個高效的分布式蘇法， 將數(shù)據(jù)的訪問利存?zhèn)浞植荚诖骹i服務(wù)黠之中，在可靠地多備份存儲的同時還能將訪 問分布在集群中的各個服務(wù)器之上，是傳統(tǒng)存儲構(gòu)架的一個頗覆性的發(fā)展 5、采用分布式計算算法，突成數(shù)據(jù)分析、數(shù)據(jù)挖掘。 3. 2 流水文件。析 一期：完成數(shù)據(jù)抓取保存元數(shù)據(jù)。 二期：憲成數(shù)據(jù)分析，兜成BI系統(tǒng)。 三期：優(yōu)化全奈波視，提髙性能，用戶可口定義棋型，BI系統(tǒng)白動憲成對應(yīng)維度的 圖球展示。 四期：究成數(shù)據(jù)挖掘。 4技術(shù)實現(xiàn) 釆用Hadoop處理系統(tǒng)，實現(xiàn)對用戶行為數(shù)據(jù)的實時處理和統(tǒng)計分析，主耍功能如下： (1) 采用Hadoop2. X,支持多種平臺組件 Hadoop系統(tǒng)最新的版

15、本，并支持HDFS、Hbase、Map Reduce、YARN、Hive等一系列 組件 (2) 平臺菅理 可對平臺的系統(tǒng)月良務(wù)，碾件進(jìn)彳亍安裝部罟，監(jiān)控告警，方便運(yùn)維人員對系統(tǒng)進(jìn)行管 理。對所冇功能提供基于 Web的控制臺操作頁而.并支持良好的UI操作，使得管理員 能夠輕松駕馭大數(shù)據(jù)平臺。對常用的菅理功能，如軟件的啟停、砍件中某類服務(wù)的啟停、 節(jié)點(diǎn)珞色配置、高可用設(shè)置、負(fù)載均衡等，管理系統(tǒng)也將提供一筑式的操作，降低菅理 員的工作復(fù)雜度，減少管理工作量。 (3) 監(jiān)控功能 提供各組件全面的監(jiān)控功能.對平臺中各個層次的軟硬件狀態(tài)、性能夸進(jìn)行全方位 的監(jiān)炷，并以直觀的方式加以展現(xiàn)。設(shè)備監(jiān)蛙將提供各服務(wù)器節(jié)點(diǎn)、存儲設(shè)備、網(wǎng)絡(luò)訟 備的狀態(tài)和運(yùn)行性能監(jiān)控.以及設(shè)侖中各部件的基本信息監(jiān)控.如CPU、網(wǎng)卡、硬盤等 部件的傳息。 (4) 告警功能 對平臺中各軟硬件資源全面監(jiān)控的基礎(chǔ)上，提供健全的告警機(jī)制，在故障發(fā)生的第 一時間將吿警通知給管理員。管理系統(tǒng)提供多種方式的吿警探測方式，可以對各種狀態(tài) 異常宜接進(jìn)行告警.也可以基于某項監(jiān)控指標(biāo)設(shè)定閾值進(jìn)行告脅.如磁盤空間利用率到 90%船告警。 (5) 調(diào)參功能 實現(xiàn)大數(shù)據(jù)平臺內(nèi)各種軟件的參數(shù)修改.自動完成相關(guān)參數(shù)在各軟件、各服務(wù)