海量視頻點播系統(tǒng)的云計算技術(shù)與建模實現(xiàn)-2019年精選文檔

1、海量視頻點播系統(tǒng)的云計算技術(shù)與建模實現(xiàn)Cloud computing technology and modeling of mass VOD systemCHEN Xu?we，n HUANG Ying?ming(Department of Information Engineering， JieyangVocational & Technical College， Jieyang 522000 ， China )： With the promotion of the triple?net fusion， themass VOD emerges out some characteristics

2、such as complicating data ， multiple platforms and huge business ， which make a huge challenge to the traditional on?demand mode. By using the powerful computing ability and mass data efficient processing of cloud computation， theapplication of cloud computation in mass VOD system is discussed on th

3、e basis of analysis of the basic framework and technical characteristicsof cloud computationand incombination with the characteristics of VOD service. The framework and working principle of the cloud computing system are analyzed. Some main technologies， such asredundancy backup of data ， heartbeat

4、detection ， replacement of intelligent nodes and load balancing are elaborated. A new idea to make the mass video propagation smooth is put forward.Keywords： cloud computation ； mass VOD； Hadoop system ； modeling隨著互聯(lián)網(wǎng)技術(shù)和多媒體技術(shù)的迅猛發(fā)展， 基于網(wǎng)絡(luò)的視頻 點播（Video On Dema nd VOD業(yè)務(wù)成為了網(wǎng)絡(luò)應(yīng)用的一大熱點。 人們通過手機(jī)、 掌上電腦等簡易的終端設(shè)備隨

5、意欣賞視頻的新型 模式極大地顛覆了傳統(tǒng)的電視觀看模式， 逐步成為視頻點播的主 流。雖然流媒體及P2P技術(shù)1的應(yīng)用在一定程度上減輕了中央 服務(wù)器和骨干網(wǎng)絡(luò)的負(fù)擔(dān)， 優(yōu)化了節(jié)目流的播放質(zhì)量， 但當(dāng)面對 熱點視頻時， 海量視頻的處理傳播極大地考驗著視頻運(yùn)營商的實 力。另外，隨著電信網(wǎng)、計算機(jī)網(wǎng)和有線電視網(wǎng)三網(wǎng)融合步伐的 快速推進(jìn)，對于視頻點播業(yè)務(wù)的需求也將呈現(xiàn)出數(shù)據(jù)量劇增和多 平臺共存的局面，光靠原有的硬件基礎(chǔ)絕對無法滿足形勢的發(fā) 展，而增加投入勢必會增加企業(yè)的運(yùn)營成本， 租用第三方運(yùn)營平 臺將成為一種發(fā)展趨勢。作為一種新型的商業(yè)計算模型， 云計算提供了強(qiáng)大靈活的計 算能力和高效快捷的海量數(shù)據(jù)處理方

6、法， 其高可靠性也是普通的 第三租賃方所無法比擬的。 本文以云計算為平臺， 研究了基于云 平臺的視頻點播模式，為解決海量視頻的高效傳輸提供了新方 法。云計算技術(shù)及海量視頻點播的技術(shù)特點云計算的概念自云計算（ Cloud Computing ）概念提出以來，至今仍沒有 統(tǒng)一、公認(rèn)的定義，比較獲得業(yè)界認(rèn)可的是 2011 年由美國國家 標(biāo)準(zhǔn)和技術(shù)研究院（NIST）提出的2:云計算是一種通過網(wǎng)絡(luò) 以便利的、按需付費(fèi)的模式獲取計算資源（包括網(wǎng)絡(luò)、服務(wù)器、 存儲、應(yīng)用和服務(wù)）并提高其可用性的模式，這些資源來自一個 共享的、 可配置的資源池， 并能夠以最省力和無人干預(yù)的方式獲 取和釋放。云計算是網(wǎng)格計算、并

7、行計算、分布式計算、效用計算、網(wǎng) 絡(luò)存儲、 虛擬化、 負(fù)載均衡等傳統(tǒng)技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn) 物，它以虛擬化為核心， 通過網(wǎng)絡(luò)把多個成本較低的計算實體整 合成一個具有強(qiáng)大計算能力的資源系統(tǒng)， 以按需、易擴(kuò)展的方式 為用戶提供所需的各種資源和服務(wù)。 云是一個包含大量可用虛擬 資源的資源池， 云中的資源在使用者看來是可以無限擴(kuò)展、 隨時 獲取、按需使用、按量付費(fèi)的 3 。云模式 4 也即電廠模式，利 用電廠的規(guī)模效應(yīng)來降低電力價格， 用戶根據(jù)用電量付費(fèi)， 便可 源源不斷獲取電力資源，而無需維護(hù)和購買任何發(fā)電設(shè)備。云計算具有低成本、 高性能、超大規(guī)模、 虛擬化、高可靠性、 通用性、高可擴(kuò)展性、按需

8、服務(wù)等特點 5 。目前比較成熟的云 計算業(yè)務(wù)和應(yīng)用有： Google的AppEngine、Amazon的彈性計算 云EC2微軟的Azure云平臺和IBM的藍(lán)云等。1.2 云計算的架構(gòu) 51 )軟件即服務(wù)( Software as a Service ， SaaS)： SaaS 服務(wù)供應(yīng)商將各類應(yīng)用軟件統(tǒng)一部署在服務(wù)器上， 用戶通過簡易 的互聯(lián)網(wǎng)接入終端就能直接使用， 并按需按量付費(fèi)。 云中的軟硬 件設(shè)施由供應(yīng)商負(fù)責(zé)維護(hù)和管理， 用戶不需顧慮類似安裝、 升級 和防毒等瑣事，且免去初期高昂的硬件投入、人員配置、軟件許 可證等費(fèi)用的支出，經(jīng)濟(jì)便捷。（2）平臺即服務(wù)（ Platform as a Se

9、rvice ， PaaS）： PaaS 主要面向開發(fā)人員提供一個應(yīng)用的開發(fā)和部署平臺，包括SDK、文檔、測試環(huán)境和部署環(huán)境等。 平臺的部署和運(yùn)維均由供應(yīng)商負(fù) 責(zé)，用戶可一心一意致力于研發(fā)工作。（ 3）基礎(chǔ)設(shè)施即服務(wù) （ Infrastructure as a Service ，IaaS ）： IaaS 由底層硬件或虛擬機(jī)資源構(gòu)建而成，用戶從供應(yīng)商那里獲 取所需的計算或存儲資源來裝載相關(guān)應(yīng)用， 且僅需為所租借的那 部分資源付費(fèi)。海量視頻點播的技術(shù)特點（1）文件龐大，數(shù)據(jù)量多。單個視頻文件非常大，視頻資 源繁多，數(shù)據(jù)海量化。（2）編碼多樣，業(yè)務(wù)復(fù)雜。隨著三網(wǎng)融合的推進(jìn)及視頻播 放技術(shù)的改革， 必將

10、出現(xiàn)多編碼、 多平臺共存及多業(yè)務(wù)共享的局 面。（3）質(zhì)量至上，要求嚴(yán)格。龐大的數(shù)據(jù)量對服務(wù)器性能及 網(wǎng)絡(luò)帶寬要求甚高， 而隨著點播量的快速增長， 對于計算能力及 處理強(qiáng)度的要求也相應(yīng)劇增。海量視頻點播系統(tǒng)的云計算技術(shù)與建模實現(xiàn)系統(tǒng)架構(gòu) 根據(jù)視頻點播業(yè)務(wù)的技術(shù)特征及云計算技術(shù)的特點， 本文提 出了基于云計算的海量視頻點播平臺的基本架構(gòu)， 其拓?fù)鋱D如圖 1所示。用戶通過 Wet交互服務(wù)器向視頻點播系統(tǒng)發(fā)出業(yè)務(wù)請求， 經(jīng)We皎互服務(wù)器受理后將具體的業(yè)務(wù)要求提交給云核心服務(wù) 器，由核心服務(wù)器對整個云文件系統(tǒng)進(jìn)行控制處理， 完成視頻文 件的調(diào)用并反饋回客戶端。圖 1 系統(tǒng)架構(gòu)圖系統(tǒng)工作原理系統(tǒng)采用Had

11、oop系統(tǒng)實現(xiàn)云點播平臺SaaS層的構(gòu)建。 根據(jù)點播系統(tǒng)的功能要求及 Hadoop系統(tǒng)的基本構(gòu)成，包括以下 幾個功能組件，闡述如下：Web 交互服務(wù)器在整個點播系統(tǒng)中，Web交互服務(wù)器作為系統(tǒng)前端窗口，負(fù) 責(zé)受理用戶的點播、注冊、用戶管理等常規(guī)業(yè)務(wù)，當(dāng)涉及視頻文 件調(diào)用時，則將業(yè)務(wù)請求轉(zhuǎn)交給后臺的云核心服務(wù)器處理， Web 交互服務(wù)器僅負(fù)責(zé)點播信息的傳遞工作， 沒有涉及具體視頻文件 的傳輸內(nèi)容。云核心服務(wù)器云核心服務(wù)器位于云計算的最上層， 負(fù)責(zé)整個云系統(tǒng)的資源 管理及任務(wù)控制。(1 )資源管理。作為Hadoop系統(tǒng)的主控節(jié)點，云核心服務(wù)器負(fù)責(zé)記錄文件的數(shù)據(jù)塊分割規(guī)則及這些數(shù)據(jù)塊的具體存儲位 置

12、，對內(nèi)存及 I/O 進(jìn)行集中管理。為加快維護(hù)效率，同時減輕本 身負(fù)擔(dān)，云核心服務(wù)器通過與各集群主控服務(wù)器進(jìn)行交互控制， 對集群中的所有節(jié)點和所有虛擬機(jī)進(jìn)行實時控制， 維護(hù)系統(tǒng)的資 源狀態(tài)信息表。 為提高系統(tǒng)的運(yùn)作性能， 云核心服務(wù)器僅管理文 件系統(tǒng)的元數(shù)據(jù)，具體的數(shù)據(jù)訪問則交由下層服務(wù)器負(fù)責(zé) 7 。(2)任務(wù)控制。響應(yīng) Web交互服務(wù)器的點播請求，檢索資 源狀態(tài)信息表， 獲取資源的具體位置， 然后通過集群主控服務(wù)器 匯總節(jié)點信息， 建立客戶端與各虛擬機(jī)實例的通信， 實現(xiàn)數(shù)據(jù)傳 輸。集群主控服務(wù)器為提高云系統(tǒng)的運(yùn)作效率， 減輕核心服務(wù)器的負(fù)擔(dān)， 將云系 統(tǒng)的資源劃分成多個集群， 由集群主控服務(wù)器

13、負(fù)責(zé)管理該集群中 的所有資源。集群主控服務(wù)器主要有以下作用：集群主控服務(wù)器管理其集群中的所有節(jié)點控制器和虛 擬機(jī)，對系統(tǒng)資源進(jìn)行實時監(jiān)控，形成子資源狀態(tài)信息表，并將 結(jié)果反饋給云核心服務(wù)器，更新整個云系統(tǒng)的資源狀態(tài)信息表。響應(yīng)云核心服務(wù)器的任務(wù)要求，快速調(diào)用集群中的虛 擬機(jī)實例，建立與客戶端機(jī)器的連接，傳輸數(shù)據(jù)。擔(dān)任Hadoop系統(tǒng)的主節(jié)點，控制集群中的所有從節(jié)點，對集群中所有虛擬機(jī)實例及系統(tǒng)資源進(jìn)行統(tǒng)籌管理， 提高系統(tǒng)的 響應(yīng)效率。節(jié)點控制器節(jié)點控制器是整個云系統(tǒng)的前沿陣地， 在節(jié)點控制器上真正 運(yùn)行著虛擬機(jī)實例， 并通過虛擬機(jī)管理器進(jìn)行管理， 虛擬機(jī)實例 的數(shù)量由節(jié)點控制器的資源及計算任務(wù)

14、的類型決定，一般為3-5 臺。節(jié)點控制器的功能包括以下三方面 8 ：（1）節(jié)點控制器負(fù)責(zé)監(jiān)控節(jié)點上運(yùn)行的所有虛擬機(jī)實例的 運(yùn)行狀態(tài)及資源的使用情況， 并將監(jiān)控狀況實時返回給上層的集 群主控服務(wù)器。（2）響應(yīng)集群主控服務(wù)器的需求，啟動虛擬機(jī)實例實現(xiàn)數(shù) 據(jù)通信。 當(dāng)任務(wù)完成后或在規(guī)定時間內(nèi)客戶端無響應(yīng) （如客戶異 常退出）時，則停止虛擬機(jī)實例運(yùn)作， 釋放網(wǎng)絡(luò)帶寬及點播資源。（3）監(jiān)控和管理虛擬機(jī)實例。包括虛擬機(jī)資源的存儲備份、 虛擬機(jī)宕機(jī)的應(yīng)急處理等。系統(tǒng)設(shè)計的關(guān)鍵技術(shù)2.3.1 數(shù)據(jù)的冗余備份云系統(tǒng)的文件傳輸采用流媒體技術(shù)實現(xiàn)， 即將多媒體文件壓 縮后分解成若干大小相等的數(shù)據(jù)塊 （數(shù)據(jù)塊的大小可

15、根據(jù)實際情 況進(jìn)行配置） ，并統(tǒng)一編號， 再由服務(wù)器對客戶端進(jìn)行實時傳送。 為了容錯，文件的所有數(shù)據(jù)塊都會有副本，即冗余備份。系統(tǒng)運(yùn) 行時，節(jié)點控制器利用虛擬機(jī)管理器對虛擬機(jī)上的文件系統(tǒng)進(jìn)行 監(jiān)控，產(chǎn)生一份數(shù)據(jù)塊與本地文件對應(yīng)關(guān)系的列表， 形成塊報告返回給節(jié)點控制器， 節(jié)點控制器根據(jù)塊報告進(jìn)行完善 (如增加數(shù)據(jù)塊具體路徑等)后反饋給集群主控服務(wù)器更新資源狀態(tài)信息云系統(tǒng)的集群一般運(yùn)行在多個機(jī)架上， 不同機(jī)架上的數(shù)據(jù)通 信必須通過交換機(jī)， 通常機(jī)架內(nèi)節(jié)點之間的帶寬比跨機(jī)架節(jié)點之 間的帶寬要大， 這有可能影響云系統(tǒng)的可靠性和性能。 采用機(jī)架 感知(Rack?aware)策略9，將數(shù)據(jù)塊以多個副本形式

16、部署在 本地機(jī)架和不同機(jī)架上， 改進(jìn)數(shù)據(jù)的可靠性、 可用性和網(wǎng)絡(luò)帶寬 的利用率。 此策略可防止機(jī)架失效時的數(shù)據(jù)丟失， 也可保證系統(tǒng) 的性能。 2.3.2 心跳檢測技術(shù)在任何系統(tǒng)設(shè)計中， 硬件異常檢測總是極其重要的。 云系統(tǒng) 采用心跳檢測 10 技術(shù)來控制系統(tǒng)硬件的異常情況。 集群主控服 務(wù)器周期性地通過節(jié)點控制器接受虛擬機(jī)的心跳包和塊報告， 以 此判斷虛擬機(jī)的存活狀態(tài)： 收到心跳包說明工作正常； 若在特定 時間 t 內(nèi)沒有收到心跳包信息， 則認(rèn)為宕機(jī)， 系統(tǒng)將不會發(fā)給它 們?nèi)魏涡碌?I/O 請求。對于宕機(jī)的虛擬機(jī)， 系統(tǒng)將不斷進(jìn)行檢測 并通過虛擬機(jī)管理器進(jìn)行故障修復(fù)，若在特定時間內(nèi)仍無法恢 復(fù)，則將重新復(fù)制該數(shù)據(jù)塊， 避免該數(shù)據(jù)塊副本數(shù)減少所造成的 影響。智能節(jié)點替換技術(shù) 智能節(jié)點替換技術(shù)與心跳檢測技術(shù)聯(lián)合應(yīng)用， 當(dāng)系統(tǒng)在特定 時間內(nèi)仍無法檢測到某數(shù)據(jù)塊的心跳包時， 則將該數(shù)據(jù)包重新復(fù) 制，此時，節(jié)點控制器將更新數(shù)據(jù)包的新位置，并使用新節(jié)點替 換原來的故障節(jié)點，保證數(shù)據(jù)傳輸?shù)倪B貫性。負(fù)載均衡技術(shù) 負(fù)載均衡是很多系統(tǒng)中需要解決的重要問題。在云系統(tǒng)中， 云核心服務(wù)器根據(jù)節(jié)點控制器發(fā)送的心跳信息和存儲的數(shù)據(jù)塊 情況，掌握各節(jié)點的當(dāng)前狀態(tài)， 通過平衡資源狀態(tài)信息表中的資 源分配情況， 將數(shù)據(jù)塊分配給負(fù)載較輕