廣電運營商大數(shù)據(jù)平臺設(shè)計和應(yīng)用

廣電運營商大數(shù)據(jù)平臺設(shè)計和應(yīng)用

本文分析了有線電視運營商大數(shù)據(jù)平臺的設(shè)計思路、功能架構(gòu)和應(yīng)用場景，并介紹了基于互動電視平臺的廣電大數(shù)據(jù)分析應(yīng)用系統(tǒng)的構(gòu)成及關(guān)鍵技術(shù)問題。通過應(yīng)用案例分析，本文探討了廣電大數(shù)據(jù)系統(tǒng)的發(fā)展前景。隨著互動媒體的發(fā)展和服務(wù)競爭的加劇，廣電運營商的互動媒體經(jīng)營理念正在向接近互聯(lián)網(wǎng)特質(zhì)的實時化、個性化服務(wù)轉(zhuǎn)變。在考慮構(gòu)建新型競爭體系時，互動媒體運營商開始引入個性化、智能、動態(tài)門戶、APP模式等新的體驗構(gòu)建思路。整個服務(wù)的過程從手動趨于自動、從經(jīng)驗化趨于智能化、從定期非實時趨于實時化。廣電行業(yè)應(yīng)抓住大數(shù)據(jù)時代來臨的機遇，以各類數(shù)據(jù)為“杠桿”，挖掘各類不同層次受眾的需求，提供更加個性化、更具互動性、更有深度的媒介體驗，走在全媒體發(fā)展的前列，以應(yīng)對互聯(lián)網(wǎng)帶來的嚴峻挑戰(zhàn)。廣電大數(shù)據(jù)平臺在具體業(yè)務(wù)開展及后續(xù)決策分析方面都將產(chǎn)生重要的作用及價值。智能內(nèi)容發(fā)現(xiàn)是廣電大數(shù)據(jù)平臺的一個重要應(yīng)用場景?；诖髷?shù)據(jù)的用戶行為分析及智能推薦系統(tǒng)對業(yè)務(wù)創(chuàng)新提供了更加有力的技術(shù)工具和手段。智能推薦系統(tǒng)可以對用戶的歷史行為進行挖掘，對用戶興趣進行建模，并對用戶未來的行為進行預(yù)測，從而建立了用戶和內(nèi)容的關(guān)系，幫助用戶更好的獲得所需內(nèi)容。過去，分析用戶需求缺乏有效手段，傳統(tǒng)方法如抽樣統(tǒng)計和定性分析難以深度分析細分人群。但是，現(xiàn)在通過用戶行為分析系統(tǒng)，可以統(tǒng)計和分析相關(guān)數(shù)據(jù)，挖掘用戶深度需求，并將這些規(guī)律結(jié)合內(nèi)容傳播和營銷策略，更好地滿足用戶需求。由于缺乏海量數(shù)據(jù)管理和分析的有效手段，過去的上層決策者難以獲得全局和實時的數(shù)據(jù)，也無法快速有效地分析海量歷史數(shù)據(jù)，導(dǎo)致難以及時有效把握發(fā)展趨勢進行決策。但是，現(xiàn)在通過大數(shù)據(jù)技術(shù)對海量歷史和實時產(chǎn)生的用戶行為數(shù)據(jù)進行快速有效分析，打破信息的孤島，激活歷史沉淀數(shù)據(jù)資源，幫助決策者更有效地基于數(shù)據(jù)進行決策。廣電大數(shù)據(jù)平臺由大數(shù)據(jù)基礎(chǔ)平臺、大數(shù)據(jù)分析系統(tǒng)和智能推薦引擎組成?；诮y(tǒng)一標準的數(shù)據(jù)接入規(guī)范，實現(xiàn)對廣電運營商用戶收視行為的廣泛采集，通過大數(shù)據(jù)分析系統(tǒng)對收視數(shù)據(jù)進行基礎(chǔ)分析和處理，利用智能推薦引擎為廣電運營商提供全面的業(yè)務(wù)精準營銷。智能推薦引擎和大數(shù)據(jù)分析系統(tǒng)都是基于大數(shù)據(jù)基礎(chǔ)平臺實現(xiàn)的。大數(shù)據(jù)基礎(chǔ)平臺提供海量數(shù)據(jù)整合、存儲和計算能力子系統(tǒng)。它針對廣電的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，提供大型并行的數(shù)據(jù)倉庫，支持海量數(shù)據(jù)分析和流計算的能力。智能推薦引擎基于海量聚合內(nèi)容數(shù)據(jù)和用戶行為數(shù)據(jù)進行采集、清洗、并集中處理和智能分析，以相關(guān)性推薦和個性化推薦為核心分析方向，提供用戶相關(guān)性和個性化的數(shù)據(jù)推薦、搜索數(shù)據(jù)推薦服務(wù)以及實時的內(nèi)容分析服務(wù)。大數(shù)據(jù)分析系統(tǒng)可處理數(shù)據(jù)量在TB到PB級別的用戶規(guī)模，并支持彈性縮容和擴容，通過針對廣電行業(yè)數(shù)據(jù)分析展現(xiàn)，達到對用戶需求洞察和產(chǎn)品決策支持的能力。基于大數(shù)據(jù)原理，大數(shù)據(jù)分析系統(tǒng)和智能推薦引擎都架構(gòu)在大數(shù)據(jù)基礎(chǔ)平臺之上，既可保證廣電大數(shù)據(jù)有效管理的高可用性，亦可在數(shù)據(jù)的存儲、計算處理等方面進行性能優(yōu)化，做到高性能。自有數(shù)據(jù)、合作數(shù)據(jù)源、公網(wǎng)數(shù)據(jù)源和其他數(shù)據(jù)源均可依托大數(shù)據(jù)基礎(chǔ)平臺的數(shù)據(jù)集成、離線計算和流式計算等數(shù)據(jù)處理方式進行數(shù)據(jù)整合、清洗和存儲。智能推薦引擎利用大數(shù)據(jù)存儲和計算能力對用戶數(shù)據(jù)、用戶行為數(shù)據(jù)和待推薦元數(shù)據(jù)進行分析和建模，從而實現(xiàn)個性化推薦、內(nèi)容相關(guān)性推薦和關(guān)鍵詞聯(lián)想詞推薦等多維推薦功能，并供應(yīng)用進行推薦服務(wù)調(diào)用。大數(shù)據(jù)分析系統(tǒng)同樣依托大數(shù)據(jù)基礎(chǔ)平臺的存儲和計算能力，對用戶數(shù)據(jù)和用戶行為數(shù)據(jù)進行分析和展示。該系統(tǒng)通過封裝常用的統(tǒng)計函數(shù)、數(shù)值計算函數(shù)和字符函數(shù)，以及數(shù)據(jù)挖掘模型和算法，形成了類似BI的分析和展示平臺，可為廣電行業(yè)提供分析模型。廣告系統(tǒng)、新聞生產(chǎn)、增值平臺和運營管理等系統(tǒng)通過集成與智能推薦和大數(shù)據(jù)分析系統(tǒng)對接，例如廣告系統(tǒng)可以利用智能推薦進行廣告的個性化推薦，運營管理可利用大數(shù)據(jù)分析平臺進行決策，并利用智能推薦的用戶畫像功能進行營銷。其他系統(tǒng)功能如熱點追蹤、輿情分析和傳播效果分析等，同樣可以依托大數(shù)據(jù)基礎(chǔ)平臺的數(shù)據(jù)存儲和計算處理能力進行研發(fā)。大數(shù)據(jù)基礎(chǔ)平臺涵蓋了基于HDFS2建立數(shù)據(jù)倉庫、通過Sqoop對結(jié)構(gòu)化數(shù)據(jù)進行轉(zhuǎn)換加載、通過Flume采集半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)進行采集轉(zhuǎn)換、在HDFS2的基礎(chǔ)之上建立Hbase查詢引擎、Hive分析引擎、通過Yarn調(diào)度實現(xiàn)MapReduce分布式離線計算、通過Storm實現(xiàn)在線流式計算、通過Spark實現(xiàn)集群的內(nèi)存計算以及通過BI提供對大數(shù)據(jù)基礎(chǔ)平臺運行狀況的監(jiān)控和分析等功能。智能推薦涵蓋了搜索推薦模型管理、推薦模型管理、內(nèi)容數(shù)據(jù)分析、用戶畫像管理、數(shù)據(jù)源管理、算法管理、推薦效果分析和系統(tǒng)管理等功能，可為應(yīng)用提供多維度的推薦服務(wù)。數(shù)據(jù)分析平臺可以根據(jù)客戶需求和實際情況進行定制性分析，其中包括直播業(yè)務(wù)分析和點播業(yè)務(wù)分析。直播業(yè)務(wù)分析主要針對傳統(tǒng)業(yè)務(wù)頻道和節(jié)目進行收視份額數(shù)據(jù)分析、用戶UV和用戶忠誠度等分析。點播業(yè)務(wù)分析則主要針對新媒體業(yè)務(wù)，包括點播、時移、回看等進行各類數(shù)據(jù)分析。關(guān)鍵技術(shù)方面，該平臺具備實時智能推薦系統(tǒng)和融合異構(gòu)推薦模型。實時智能推薦系統(tǒng)開放API，將分析和挖掘系統(tǒng)相關(guān)功能以服務(wù)API的形式封裝和打包，對外提供訪問接口。同時，該系統(tǒng)基于流計算的內(nèi)容資源分析與挖掘，為用戶提供實時響應(yīng)，及時利用數(shù)據(jù)蘊含的深層價值?；诜植际讲⑿杏嬎?，對數(shù)據(jù)做復(fù)雜的業(yè)務(wù)處理，實現(xiàn)海量內(nèi)容資源離線分析與挖掘。融合異構(gòu)推薦模型的算法模型設(shè)計參考融合推薦框架。該系統(tǒng)采用多種基礎(chǔ)算法和推薦模型的合理混合，進行推薦預(yù)測并輸出推薦列表。通過用戶反饋數(shù)據(jù)的交叉驗證，來評估推薦效果，并進一步優(yōu)化推薦模型。AUC指標表示ROC曲線下的面積，用于衡量一個推薦系統(tǒng)能夠在多大程度上將用戶喜歡的商品與不喜歡的商品區(qū)分出來。產(chǎn)品典型應(yīng)用場景包括影視劇內(nèi)容評估優(yōu)化。該平臺綜合數(shù)字電視、互聯(lián)網(wǎng)視頻網(wǎng)站、移動互聯(lián)網(wǎng)APP、社交網(wǎng)站等多個渠道形成對影視劇的收視情況的綜合評價，形成相關(guān)指導(dǎo)指數(shù)，構(gòu)成相對于收視率更加全面的收視評價數(shù)據(jù)。這些數(shù)據(jù)可以為影視制作單位提供可靠的參考依據(jù)，甚至可以采用邊播邊拍的模式，創(chuàng)作更多易為客戶接受的定制劇產(chǎn)品?？焖侔l(fā)展，大數(shù)據(jù)分析在廣電運營商中的應(yīng)用變得越來越重要。通過大數(shù)據(jù)分析，廣電運營商可以更好地了解用戶需求，優(yōu)化營銷策略和產(chǎn)品設(shè)計，提高服務(wù)質(zhì)量和網(wǎng)絡(luò)配置，從而提升用戶體驗和企業(yè)競爭力。在實施方面，采用Hadoop系統(tǒng)可以有效地處理大量數(shù)據(jù)，并保證數(shù)據(jù)的可靠性和高效性。因此，大數(shù)據(jù)分析對于廣電運營商來說是一個不可忽視的重要工具。廣電運營商在大數(shù)據(jù)運營等技術(shù)領(lǐng)域面臨愈來愈大的挑戰(zhàn)。經(jīng)營理念的演進需要數(shù)據(jù)支撐，同時也會產(chǎn)生海量的數(shù)據(jù)。用戶服務(wù)的實時化需要快速對大量行為數(shù)據(jù)進行比對分析。傳統(tǒng)的數(shù)據(jù)庫結(jié)構(gòu)化數(shù)據(jù)已經(jīng)無法滿足需求，分析的內(nèi)容從傳統(tǒng)的數(shù)據(jù)庫結(jié)構(gòu)化數(shù)據(jù)延伸到各種碎片化、非結(jié)構(gòu)化數(shù)據(jù)。因此，廣電互動媒體運營商急需解決海量內(nèi)外部數(shù)據(jù)的大整合，建立真正統(tǒng)一的數(shù)據(jù)中心。廣電運營商可以通過對收視數(shù)據(jù)的挖掘分析，對用戶進行非常具體的細分，實現(xiàn)精確地定制產(chǎn)品和服務(wù)，滿足日益?zhèn)€性化的用戶需求。這可以優(yōu)化廣電現(xiàn)有各業(yè)務(wù)的運營，同時刺激運營商從數(shù)據(jù)中獲取潛在的用戶需求和市場，創(chuàng)新服務(wù)和商業(yè)模式。參考文獻：[1]孫亮.基于大數(shù)據(jù)應(yīng)用的互動電視增強業(yè)務(wù)研究[J].電視技術(shù)