總體項目電視收視率

1、（一）項目總體需求分析1.項目背景本案例是國內(nèi)的一家廣電企業(yè)作為非洲的一個運營商，以用戶收視行為數(shù)據(jù)作為基礎(chǔ)數(shù)據(jù)，通過對頻道和的分析，采用度統(tǒng)計分析的方法挖掘用戶的收視行為特征。用以指導(dǎo)并輔助運營、用戶增值消費導(dǎo)向、投放及和頻道質(zhì)量的把控，提升用戶的粘度提供參考依據(jù)，盧旺達(dá)地區(qū)的收視行為做出了分析，并根據(jù)分析結(jié)果提出了一系列措施來吸引當(dāng)?shù)赜脩?，提高收視率。以下根?jù)單頻道和多頻道作為不同分析角度，利用大數(shù)據(jù)分析平臺，實時分析用戶行為數(shù)據(jù)。單頻道收視分析圖 11 TVR 頻道各收視指標(biāo)時段走勢圖圖 12 自辦頻道 STVF2 各收視指標(biāo)時段走勢圖從人均日收視時長（分鐘）、到達(dá)率、收視率和忠實度4個

2、指標(biāo)對單頻道進(jìn)行收視。全天24小時按照每隔15分鐘進(jìn)行時間段劃分，如圖 11和圖 12所示。使用大數(shù)據(jù)平臺工具，可以任意選擇一天，任意一個頻道，某個時段內(nèi)的收視走勢。圖 11和圖 12選擇了收視率最高的8月18日全天的收視情況，發(fā)現(xiàn)本地頻道TVR收視較平穩(wěn)，觀眾忠實度較高，一天之內(nèi)出現(xiàn)兩次收視，一次大的收視出現(xiàn)在19:15-20:44,一次小的出現(xiàn)在14:00-14:30，隨之以后人數(shù)（到達(dá)率衡量）和收視率呈現(xiàn)遞減的趨勢，說明盧旺達(dá)地區(qū)的用戶在中午休息和晚上期愿意收看本地相關(guān)的頻道，關(guān)注周圍發(fā)生的事情。圖 12顯示的是自辦頻道STVF2在8月18日全天的收視情況，發(fā)現(xiàn)STVF2頻道收視趨勢可以

3、和本地TVR頻道相媲美，一天之內(nèi)出現(xiàn)3次小，時間段分別是10:15-11:00,14:45-16:00,和17:00-18:00，這3個時間段主要的類型為歐美長劇，頗受盧旺達(dá)地區(qū)的用戶歡迎?？梢钥吹剑谟篮锽I在任意天的任意分鐘粒度，對任意頻道做分析，使得分析者能快速，敏銳的發(fā)現(xiàn)用戶的收視數(shù)據(jù)特征，結(jié)合頻道特點做出分析。多頻道收視競爭分析我們不僅要知道同類型頻道的收視情況，還需要了解不同類型頻道之間的競爭關(guān)系，接下來主要不同類型的頻道進(jìn)行度分析。圖 14 多頻道競爭排名分析圖 15 多頻道收視率排名柱狀圖頻道基本維度統(tǒng)計結(jié)果顯示， 收視 TOP10 的頻道分別是 TVR、KidsCo、Bol

4、lywood 盧旺達(dá)地區(qū)用戶更喜愛看本地頻道、兒童頻道和影道。自辦頻道STVF2、STV MUSIC、STVE2 和 STV Kungfu 排名都很靠前，排在前 27 名，尤其是 STVF2和 STV MUSIC 排名在前 10 左右。表明自辦的這兩個頻道很受當(dāng)?shù)赜^眾喜愛。在 TOP10頻道中只有 TVR 是清流頻道，剩下 9 個均為加密頻道。按語種來分類的話，前 10 名頻道中大多數(shù)是法語頻道，占比為 60%，英語頻道占比為 30%。根據(jù)頻道收視內(nèi)容分類的話，觀眾更青睞于頻道及綜合頻道，按照頻道來源分類的話TOP10 頻道TVR 和Citizen頻道是本地頻道，STVF2 和 STV MUS

5、IC 是自辦頻道，其它均為頻道。由此，我們建議調(diào)整自辦頻道的編排來吸引當(dāng)?shù)赜脩?，提高收視率，具體措施如下：1） 建議自辦頻道增加一些與當(dāng)?shù)赜脩絷P(guān)的類型，重點參考盧旺達(dá)當(dāng)?shù)赜脩舴浅Ｏ矏鄣腡VR頻道進(jìn)行編排。2） 盧旺達(dá)地區(qū)用戶喜歡收看英/法雙語頻道，建議加大雙語頻道的比重。3） 建議在自辦頻道STVF2晚上22:00以后增加一些綜合性提高收視率。4） 盧旺達(dá)地區(qū)周末的收視率普遍較高，可考慮調(diào)整自辦頻道編排，在周末多放一些英/法雙語類的、綜合方面的。5） 女人喜歡看纏綿悱惻的愛情劇遠(yuǎn)遠(yuǎn)大于動作劇，影視劇受盧旺達(dá)當(dāng)?shù)赜脩粝矏?，收視率和收視時長都比較高，可以考慮在包中增加影視劇類型的頻道，考慮增加英文

6、字幕翻譯。6） 法語頻道在當(dāng)?shù)赜幸慌覍嵎劢z，因此建議增語頻道在包中的比重，提高收視率。7） 盧旺達(dá)地區(qū)中文收道較差，建議增加雙語字幕，增加的可看性。8） 建議將音樂類的頻道編排在白天，調(diào)整STVE2頻道的編排。同時建議類的頻道編排在工作日的晚上。大數(shù)據(jù)工程展示：大數(shù)據(jù)技術(shù)特點：歌華有線作為商業(yè)智能平臺的前端，數(shù)據(jù)展現(xiàn)形式和圖形渲染形式比較多樣，支持比較豐富的動態(tài)，相對于一般的 Dashboard 或者Reporting，用戶可以進(jìn)一步與數(shù)據(jù)互動(Interactive) ，過濾(Filter)、鉆取(Drill) 、刷取(Brush) 、關(guān)聯(lián)(Associate)、變換(Transform)

7、等等技術(shù)，讓用戶深入分析商業(yè)信息，以找到準(zhǔn)確的?？偨Y(jié)：數(shù)據(jù)可視化分析工具幫助廣電行業(yè)頻道和收視情況，并利用分析平臺采用度統(tǒng)計分析的方法挖掘用戶的收視行為，并利用分析結(jié)果對今后的工作做出了指導(dǎo)性建議，體現(xiàn)了數(shù)據(jù)分析的價值。2.項目需求比如在中國電視中為了便于我們掌握哪個更受觀眾歡迎以及中的“笑點”和 “尿點”，我們可以通過一些用戶的收視指標(biāo)進(jìn)行監(jiān)測，比如收視人數(shù)、平均收視人數(shù)、收視率、市場份額、平均到達(dá)人數(shù)、到達(dá)率以及人均收視時長等等，我們可以將這些指標(biāo)按天統(tǒng)計，可以得出每個收視排名，從而知道那個更受歡迎；我們也可以將這些指標(biāo)按小時、甚至按分鐘進(jìn)行統(tǒng)計，可以精確的知道某個在那哪一分鐘或者某一段時

8、間收視最高，從而知道某個的最的部分，甚至還可以推斷出中收視率高是由哪個明星帶來的。當(dāng)然我們可以通過用戶的數(shù)據(jù)，還可以掌握其它維度的收視情況，比如頻道、頻道類別、欄目、欄目類別、類別、具體頻道具體等等。3.系統(tǒng)功能主要包括收視概況瀏覽、收視率走勢分析、收視指標(biāo)對比、收視數(shù)據(jù)對比查看。4.開發(fā)步驟第一步：需求：數(shù)據(jù)的輸入和數(shù)據(jù)的產(chǎn)出，大數(shù)據(jù)技術(shù)就好比一臺榨汁機(jī)，數(shù)據(jù)輸入相當(dāng)于例如蘋果、檸檬等，然后通過榨汁機(jī)產(chǎn)出果汁；第二步：數(shù)據(jù)量、處理效率、可靠性、可維護(hù)性、簡潔性；第三步：數(shù)據(jù)建模；第四步：架構(gòu)設(shè)計：數(shù)據(jù)怎么進(jìn)來，輸出怎么展示，最最重要的是處理流出數(shù)據(jù)的架構(gòu)；第五步：再次思考大數(shù)據(jù)系統(tǒng)和企業(yè) I

9、T 系統(tǒng)的交互；第六步：最終確定選擇、規(guī)范等；第七步：基于數(shù)據(jù)建模寫基礎(chǔ)服務(wù)代碼；第八步：正式編寫第一個模塊；第九步：實現(xiàn)其它的模塊，并完成測試和調(diào)試等；第十步：測試和驗收；5.項目難點分析項目需求的維度和指標(biāo)比較多而且比較復(fù)雜，這里我們抽出一個維度的幾個指標(biāo)來進(jìn)行分析，本項目我們從的維度，統(tǒng)計每個的平均收視人數(shù)、平均到達(dá)人數(shù)、收視率、到達(dá)率和市場份額。我們根據(jù)每天抽樣用戶的收視數(shù)據(jù)，統(tǒng)計出每個按天、按小時、按分鐘的上述 5 個收視指標(biāo)。（二）項目架構(gòu)設(shè)計及技術(shù)選型1.項目整體架構(gòu)設(shè)計2.軟件選型以前準(zhǔn)備考慮用 cdh 系統(tǒng)的，但是害怕牽涉一些協(xié)議，最終選擇的是 apache的系統(tǒng)。hadoo

10、p 用的是 hadoop1.0 版本,apache-flume-1.5.2-bin.tar.gz（三）項目生產(chǎn)環(huán)境及部署1 項目配置經(jīng)理（1 人）需求（3 人）項目經(jīng)理（1 人）項目（1 人）測試（5 人）開發(fā)（7 人其中大數(shù)據(jù)開發(fā) 3 個人）2.分布式集群環(huán)境搭建hadoop 安裝（4 臺）hive 安裝flume 安裝sqoop 安裝Azkaban 安裝php 搭建（四）項目開發(fā)流程1. 2.編寫 MapReduce數(shù)據(jù)、數(shù)據(jù).統(tǒng)計分析數(shù)據(jù)，結(jié)果HDFS3.使用 Hive 對每小時、每天、每月收視率數(shù)據(jù)進(jìn)行統(tǒng)計234.使用 Sqoop 將 Hive 的分析結(jié)果數(shù)據(jù)導(dǎo)入 MySQL 數(shù)據(jù)庫5

11、.打通項目的各個環(huán)節(jié)，整體聯(lián)調(diào) （Azkaban）6.開發(fā) Web 項目實現(xiàn)收視率、展示系統(tǒng)（五）簡歷指導(dǎo)1.項目名稱：歌華有線電視項目2.3.項目周期：2014-6 到 2015-24.項目介紹：歌華有線電視項目，用于建立網(wǎng)上終端、線下終端案銷售及相關(guān)輔助功能，包含類目管理、客戶管理、合作商管理、管理、支付平臺、內(nèi)容管理等，統(tǒng)計電視質(zhì)量高低好壞的衡量標(biāo)準(zhǔn)包括了收視率的高低，因為通過對收視率高低的分析能夠得出至少兩個方面非常重要的結(jié)論：第一，這檔是否受觀眾喜愛，是否造成了一定的影響力，是否為欄目組、提升了整體形象，簡單來說就是衡量觀眾緣與責(zé)任度的標(biāo)準(zhǔn)。第二，收視率直接影響了的，而商品廠商付給和

12、贊助商的數(shù)量和品質(zhì)，電視的收入是非常重要費用的依據(jù)包括了收視率的高低，收視率越高的費用就越高，反之則越低。時段和當(dāng)然5.項目所用技術(shù)：uhadoop，hive，spoop，flume，spark，AzkabanuSpringmvc,spring,mybatisuMaven,svnuOracle6.開發(fā)環(huán)境uEclipse4.3uJdk1.6umysqluMaven3.0.5uSvn測試環(huán)境：3-8 臺服務(wù)器實際環(huán)境：80-100系統(tǒng)：centos6.4內(nèi)存：64g 或者 128g集群模式：ha 模式（無 secondnamenode）測試數(shù)據(jù)：測試 600g 左右，時間：20min 左右 mr

13、，spark 的話 3-10 分鐘7.開發(fā)工具Eclipse8.項目中的職責(zé)：在項目中主要負(fù)責(zé)模塊開發(fā)，我負(fù)責(zé)的模塊如下：u數(shù)據(jù)收集通過 flumeu寫 MR 進(jìn)行數(shù)據(jù)處理u把數(shù)據(jù)綁定到 hive 上面u根據(jù)經(jīng)理提出的需求調(diào)試各種 sql 語句去實現(xiàn)目標(biāo)u工作中流程簡單，復(fù)雜是業(yè)務(wù)邏輯介紹項目的步驟項目中常遇到的問題：1.版本不一致導(dǎo)致一些報錯。2.寫出 sql 語句有時候和經(jīng)理想實現(xiàn)的不一致。3.上線的時候和在本地跑時候出現(xiàn)各種問題，一定要時間同步。4.項目中用到了曾經(jīng)沒有用過的技術(shù)，解決方式：用自己的私人時間主動學(xué)習(xí)5.在開發(fā)過程中與測試產(chǎn)生一些問題，本地環(huán)境 ok 但是測試環(huán)境有問題，環(huán)境的問題產(chǎn)生的，瀏覽器環(huán)境差異，服務(wù)器之間的差異6.比如我們以前用 flume 收集，發(fā)現(xiàn)量太大。比如我們?nèi)罩疽惶?1T，公司要求我們要保存 8，我們根據(jù)三數(shù)據(jù)做計算，5數(shù)據(jù) X3，我們研究 flume 源碼，hadoop fs -put。我們每天晚上 12 點定時上傳任務(wù)，因為白天服務(wù)器流量大，為了避免上傳，期，晚上 12 點鐘為了解決重復(fù)問題，我們模仿 flume 做了一個臨時緩存，臨時緩存把每天收集的數(shù)據(jù)保存都這個文件夾同時把保存的文件之前的。一個文件，遍歷這個的文件上傳到 hdfs，并且文件是否有 8shell：臨時變量（這個） ./upload.sh