MASS4.0系統(tǒng)產(chǎn)品介紹.ppt

東方廣視MASS4.0系統(tǒng)產(chǎn)品介紹,北京東方廣視科技股份限公司,內(nèi) 容,東方廣視MASS4.0系統(tǒng)開發(fā)背景,1,東方廣視MASS4.0系統(tǒng)發(fā)展歷程,2,東方廣視MASS4.0系統(tǒng)產(chǎn)品簡介,3,東方廣視MASS4.0系統(tǒng)產(chǎn)品特點(diǎn),4,第一部分 東方廣視MASS4.0系統(tǒng)開發(fā)背景,MASS4.0系統(tǒng)開發(fā)背景,廣電行業(yè)的VOD項(xiàng)目運(yùn)營系統(tǒng)，存在視頻媒體文件數(shù)量大、單個(gè)視頻媒體文件容量大、實(shí)時(shí)并發(fā)用戶量大的特點(diǎn)，因此對(duì)存儲(chǔ)系統(tǒng)的性能要求就會(huì)很高。提高存儲(chǔ)系統(tǒng)性能的傳統(tǒng)解決方案是完全采用大的盤陣存儲(chǔ)，這樣雖然能夠存儲(chǔ)大量的視頻媒體文件，也能夠保證存儲(chǔ)系統(tǒng)特定的讀寫性能要求，但是基于盤陣存儲(chǔ)的Raid策略導(dǎo)致存儲(chǔ)系統(tǒng)的性能很難突破一定的瓶頸，同時(shí)存儲(chǔ)系統(tǒng)的安全性、可靠性也很難保證，另外每個(gè)視頻播出服務(wù)器對(duì)應(yīng)一套存儲(chǔ)系統(tǒng)也會(huì)在一定程度上增加運(yùn)營商的成本。 目前東方廣視VOD3.0視頻點(diǎn)播系統(tǒng)業(yè)務(wù)已經(jīng)在全國各地投入大規(guī)模的實(shí)際運(yùn)營，VOD視頻點(diǎn)播業(yè)務(wù)用戶量的不斷增加，運(yùn)營商對(duì)公司服務(wù)器I/O能力、帶寬、海量存儲(chǔ)、部署成本等方面都提出了更高的要求。,MASS4.0系統(tǒng)開發(fā)背景,基于存儲(chǔ)系統(tǒng)本身需求的設(shè)計(jì)理念以及大型運(yùn)營業(yè)務(wù)拓展的進(jìn)一步要求，我們需要設(shè)計(jì)一種適合自身VOD系統(tǒng)的存儲(chǔ)系統(tǒng)，不僅使存儲(chǔ)系統(tǒng)性能能夠大幅度的提高，也能保證存儲(chǔ)系統(tǒng)的安全性、可靠性，同時(shí)通過支持分布式存儲(chǔ)來節(jié)省運(yùn)營商的成本，另外能夠滿足大規(guī)模并發(fā)用戶同時(shí)在線、提供用戶實(shí)時(shí)性業(yè)務(wù)請(qǐng)求，并能滿足運(yùn)營商期望通過低成本實(shí)現(xiàn)系統(tǒng)部署、業(yè)務(wù)運(yùn)營和擴(kuò)展的要求。東方廣視專門提出了適合公司產(chǎn)品自身特點(diǎn)的高性能高可靠性媒體區(qū)域存儲(chǔ)系統(tǒng)(MASS)4.0的設(shè)計(jì)方案。該系統(tǒng)在每一個(gè)存儲(chǔ)節(jié)點(diǎn)上實(shí)現(xiàn)分布式存儲(chǔ)、動(dòng)態(tài)raid管理、自動(dòng)本地?cái)?shù)據(jù)調(diào)度、數(shù)據(jù)在線恢復(fù)、在整個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)上實(shí)現(xiàn)向中央存儲(chǔ)服務(wù)器的數(shù)據(jù)調(diào)度、系統(tǒng)對(duì)動(dòng)態(tài)擴(kuò)容提供支持。,第二部分 東方廣視MASS4.0系統(tǒng)發(fā)展歷程,MASS4.0系統(tǒng)發(fā)展歷程,東方廣視研發(fā)的本產(chǎn)品已經(jīng)3代，各版本特點(diǎn)如下 ： FAN1版本特點(diǎn)介紹： 提出FAN1的主要目的是為了解決IO訪問的優(yōu)先級(jí)管理，因?yàn)橄到y(tǒng)本身對(duì)服務(wù)讀寫的優(yōu)先級(jí)沒有考慮，在并發(fā)高峰期，會(huì)出現(xiàn)trs錄制丟包以及dbs讀取超時(shí)的情況，基于此原因設(shè)計(jì)了FAN1網(wǎng)絡(luò)文件系統(tǒng)。 目前項(xiàng)目中應(yīng)用主要是本版本。 主要采用linux系統(tǒng)自己提供的文件系統(tǒng)。 讀取性能特點(diǎn)：硬件配置15塊(硬盤數(shù)量)*750G(單硬盤容量)的盤陣組建的媒體區(qū)域存儲(chǔ)系統(tǒng)的讀取性能基本保持在300MB/s左右。 最大支持并發(fā)量性能特點(diǎn)：硬件配置為8核CPU、16G內(nèi)存的前期下，能夠穩(wěn)定支持480路并發(fā)用戶同時(shí)點(diǎn)播，最大支持并發(fā)量為300MB/s(文件系統(tǒng)讀取性能)*0.80(20%的富余帶寬)*8(轉(zhuǎn)換單位為位)/3.75Mb/s(片源碼率)=512。 優(yōu)缺點(diǎn)：優(yōu)點(diǎn)是實(shí)現(xiàn)了IO訪問的優(yōu)先級(jí)管理；缺點(diǎn)在于使用了linux自身提供的文件系統(tǒng)以及Raid策略，無法突破文件系統(tǒng)性能的瓶頸。,MASS4.0系統(tǒng)發(fā)展歷程,FAN2版本特點(diǎn)介紹： 提出FAN2的主要目的是為了解決FAN1文件系統(tǒng)由于使用了linux自身提供的文件系統(tǒng)以及Raid策略，而無法突破文件系統(tǒng)性能的瓶頸?；诖嗽?yàn)榱颂岣呶募到y(tǒng)的性能而提出了FAN2的設(shè)計(jì)以提高文件系統(tǒng)的性能。 過渡性產(chǎn)品(中途夭折)，并未投入項(xiàng)目運(yùn)營。 在linux系統(tǒng)環(huán)境下設(shè)計(jì)適合公司產(chǎn)品的文件系統(tǒng)。 讀取性能特點(diǎn)：硬件配置16塊(硬盤數(shù)量)*1T(單硬盤容量)的盤陣組建的媒體區(qū)域存儲(chǔ)系統(tǒng)的讀取性能期望達(dá)到500MB/s左右。 最大支持并發(fā)量性能特點(diǎn)：硬件配置為8核CPU、16G內(nèi)存的前期下，期望支持720路并發(fā)用戶同時(shí)點(diǎn)播，預(yù)計(jì)最大支持并發(fā)量為500MB/s(文件系統(tǒng)讀取性能)*0.80(20%的富余帶寬)*8(轉(zhuǎn)換單位為位)/3.75Mb/s(片源碼率)=853。 優(yōu)缺點(diǎn)：優(yōu)點(diǎn)是解決FAN1文件系統(tǒng)由于使用了linux自身提供的文件系統(tǒng)以及Raid策略，存在的系統(tǒng)性能的瓶頸問題，提高文件系統(tǒng)的性能。另外將片源文件分布式存儲(chǔ)，也提高了系統(tǒng)的安全性。缺點(diǎn)是FAN2文件系統(tǒng)定義的塊的大小為512K，由于塊大小比較小，讀取磁盤性能的時(shí)間大多浪費(fèi)在尋址上。,MASS4.0系統(tǒng)發(fā)展歷程,FAN3版本特點(diǎn)介紹： 提出FAN3的主要目的是為了解決FAN2文件系統(tǒng)由于塊的大小為512K，導(dǎo)致讀取磁盤性能的時(shí)間大多浪費(fèi)在尋址上?；诖嗽?yàn)榱诉M(jìn)一步優(yōu)化文件系統(tǒng)的性能而提出了FAN3的設(shè)計(jì)。 后期項(xiàng)目中準(zhǔn)備試運(yùn)營的產(chǎn)品。 在linux系統(tǒng)環(huán)境下設(shè)計(jì)適合自己產(chǎn)品的文件系統(tǒng)。 讀取性能特點(diǎn)：硬件配置24塊(硬盤數(shù)量)*1T(單硬盤容量)的盤陣組建的媒體區(qū)域存儲(chǔ)系統(tǒng)的讀取性能期望達(dá)到1000MB/s左右。 最大支持并發(fā)量性能特點(diǎn)：硬件配置為8核CPU、32G內(nèi)存的前期下，能夠穩(wěn)定支持1000路并發(fā)用戶同時(shí)點(diǎn)播，預(yù)計(jì)最大支持并發(fā)量為1000MB/s(文件系統(tǒng)讀取性能)*0.80(20%的富余帶寬)*8(轉(zhuǎn)換單位為位)/3.75Mb/s(片源碼率)=1700。 優(yōu)缺點(diǎn)：優(yōu)點(diǎn)是FAN3文件系統(tǒng)設(shè)計(jì)不再以條帶512K做Raid0，而是一個(gè)4M大小的塊做 Raid0。這樣就大大減少了磁盤性能浪費(fèi)在尋址上的情況。缺點(diǎn)是由于緩存的增大，提高了內(nèi)存的壓力。盡管FAN3文件系統(tǒng)進(jìn)一步提升了文件系統(tǒng)的性能，但是在設(shè)計(jì)的過程中沒有充分考慮系統(tǒng)的安全性、可靠性，忽略了系統(tǒng)中可能出現(xiàn)的災(zāi)難恢復(fù)、異常恢復(fù)、單點(diǎn)故障等安全可靠性問題，需要在后期的版本中考慮并解決。,第三部分 東方廣視MASS4.0系統(tǒng)產(chǎn)品簡介,MASS4.0系統(tǒng)產(chǎn)品簡介,高性能高可靠性媒體區(qū)域存儲(chǔ)系統(tǒng)4.0(簡稱為MASS4.0系統(tǒng))是在現(xiàn)有Fan3架構(gòu)基礎(chǔ)上進(jìn)行機(jī)制上的修改使網(wǎng)絡(luò)文件系統(tǒng)更具有高效性和高可靠性，主要變動(dòng)為文件存儲(chǔ)在各個(gè)存儲(chǔ)磁盤上，保證文件系統(tǒng)信息更加安全可靠；另外通過讀寫分離機(jī)制將故障影響系數(shù)降到最低，一旦寫故障，視頻服務(wù)器讀取操作不會(huì)受到任何的影響；將所有MAN（MediaAccessNode）構(gòu)建一個(gè)高速內(nèi)容交換網(wǎng)絡(luò)，當(dāng)任何一個(gè)MAN上磁盤故障或內(nèi)容丟失，均可通過這個(gè)網(wǎng)絡(luò)進(jìn)行內(nèi)容調(diào)度，提高了故障的平滑處理。,MASS4.0系統(tǒng)產(chǎn)品簡介,媒體區(qū)域存儲(chǔ)系統(tǒng)可以支持多種應(yīng)用需要，通過媒體區(qū)域存儲(chǔ)系統(tǒng)提供的libman接口庫，可以對(duì)媒體區(qū)域存儲(chǔ)系統(tǒng)中的媒體文件進(jìn)行訪問操作；通過媒體區(qū)域存儲(chǔ)系統(tǒng)提供的libmun接口庫可以將媒體內(nèi)容注入到媒體區(qū)域存儲(chǔ)系統(tǒng)中，媒體可支持靜態(tài)的VOD文件和動(dòng)態(tài)的時(shí)移節(jié)目內(nèi)容等。 媒體注入時(shí)各種應(yīng)用服務(wù)使用媒體區(qū)域存儲(chǔ)系統(tǒng)提供的libmun接口庫時(shí)，可以配置文件格式為動(dòng)態(tài)還是靜態(tài)格式，以及存儲(chǔ)的RAID策略，媒體區(qū)域存儲(chǔ)系統(tǒng)中的MUN根據(jù)不同端口接收兩種類型的媒體內(nèi)容，進(jìn)行區(qū)別化處理。 媒體區(qū)域存儲(chǔ)系統(tǒng)通過libman接口庫對(duì)外提供媒體的訪問，應(yīng)用服務(wù)通過libman與MAN進(jìn)行媒體訪問交互，當(dāng)所請(qǐng)求的MAN不存在應(yīng)用所請(qǐng)求的媒體內(nèi)容、或存儲(chǔ)的內(nèi)容故障時(shí)，MAN可以通過與其他MAN構(gòu)成的高速交換網(wǎng)絡(luò)向其他存儲(chǔ)該媒體內(nèi)容的MAN進(jìn)行索取，索取后通過libman返回給應(yīng)用服務(wù)，進(jìn)而屏蔽了應(yīng)用服務(wù)對(duì)媒體諸多因素的關(guān)心。,MASS4.0系統(tǒng)產(chǎn)品簡介,媒體區(qū)域存儲(chǔ)系統(tǒng)主要由三部分組成，首先是由libman提供的媒體區(qū)域存儲(chǔ)系統(tǒng)內(nèi)容訪問的接口層；再者就是由MAN組成的集群構(gòu)架了媒體區(qū)域存儲(chǔ)系統(tǒng)的內(nèi)容存儲(chǔ)調(diào)度層；最后就是由MMN提供的媒體區(qū)域存儲(chǔ)系統(tǒng)的設(shè)備、內(nèi)容等的管理層。,MASS4.0系統(tǒng)產(chǎn)品簡介,高性能高可靠性媒體區(qū)域存儲(chǔ)系統(tǒng)主要由MAN(Media Access Node媒體訪問節(jié)點(diǎn))、CSS(Center Store Server 中央存儲(chǔ))、MMN(Media ManagerNode媒體管理模板)、MUN(Media Update Node媒體更新節(jié)點(diǎn))、MRN(Media Recovery Node 媒體恢復(fù)節(jié)點(diǎn))、RSN(Remote Scheduling Node 遠(yuǎn)程調(diào)度節(jié)點(diǎn))、libMan(為其他應(yīng)用程序提供的訪問組件)幾個(gè)組件組成。,MASS4.0系統(tǒng)產(chǎn)品簡介,各個(gè)模塊完成的主要職責(zé)功能如下： 1、媒體管理節(jié)點(diǎn)MMN主要職責(zé)功能 管理各個(gè)媒體訪問節(jié)點(diǎn)MAN的磁盤管理。 管理文件，包括文件創(chuàng)建，文件塊分配策略，文件刪除等。 負(fù)責(zé)媒體訪問節(jié)點(diǎn)MAN上的磁盤恢復(fù)。 負(fù)責(zé)媒體區(qū)域存儲(chǔ)系統(tǒng)的媒體訪問節(jié)點(diǎn)MAN的動(dòng)態(tài)擴(kuò)容。 2、媒體訪問節(jié)點(diǎn)MAN主要職責(zé)功能 負(fù)責(zé)磁盤管理，包括磁盤故障監(jiān)控，新增磁盤自動(dòng)識(shí)別。 負(fù)責(zé)磁盤格式化處理。 負(fù)責(zé)磁盤恢復(fù)。 提供TCP文件訪問接口，主要與LIBMAN和LIBMUN進(jìn)行交互，完成文件內(nèi)容的訪問與注入。 提供與其他MAN內(nèi)容共享接口，可相互進(jìn)行內(nèi)容調(diào)度。 負(fù)責(zé)本地文件塊管理，包括文件塊添加、更新、刪除等。 3、媒體更新節(jié)點(diǎn)MUN主要職責(zé)功能 負(fù)責(zé)接收來自各種應(yīng)用(如CDN、TRS、PVR等)通過LIBMAN接口集對(duì)媒體區(qū)域存儲(chǔ)系統(tǒng)的媒體訪問，包括打開文件、更新指定文件塊內(nèi)容、獲取文件信息等。 負(fù)責(zé)通過對(duì)媒體訪問節(jié)點(diǎn)MAN的訪問完成各種應(yīng)用對(duì)媒體區(qū)域存儲(chǔ)系統(tǒng)的訪問。,MASS4.0系統(tǒng)產(chǎn)品簡介,4、媒體恢復(fù)節(jié)點(diǎn)MRN主要職責(zé)功能 負(fù)責(zé)接收媒體管理節(jié)點(diǎn)發(fā)起的磁盤恢復(fù)任務(wù)。 負(fù)責(zé)根據(jù)磁盤上文件列表進(jìn)行文件塊的恢復(fù)。 5、遠(yuǎn)程調(diào)度節(jié)點(diǎn)RSN主要職責(zé)功能 媒體區(qū)域存儲(chǔ)系統(tǒng)對(duì)外的文件塊訪問接口。 媒體區(qū)域存儲(chǔ)系統(tǒng)中其它的媒體訪問節(jié)點(diǎn)MAN可以通過遠(yuǎn)程調(diào)度節(jié)點(diǎn)RSN對(duì)媒體區(qū)域存儲(chǔ)系統(tǒng)中的文件塊進(jìn)行讀取操作。 6、中央存儲(chǔ)CSS主要職責(zé)功能 使用其它文件系統(tǒng)存儲(chǔ)所有數(shù)據(jù)(如可以使用安全性很高的Raid5)。 接受各個(gè)媒體訪問節(jié)點(diǎn)MAN的訪問請(qǐng)求。 7、LIBMAN主要職責(zé)功能 為其它應(yīng)用程序提供的訪問組件。,第四部分 東方廣視MASS4.0系統(tǒng)產(chǎn)品特點(diǎn),MASS4.0系統(tǒng)產(chǎn)品特點(diǎn)-高性能,硬件環(huán)境配置為24塊(硬盤數(shù)量)*1T(單硬盤容量)的雙Raid卡連接的盤陣、8核INTEL XEON 55XX系列的CPU處理器、DDR3 1066MHZ的32G內(nèi)存組建的單機(jī)版媒體區(qū)域存儲(chǔ)系統(tǒng)，且順序?qū)懭氪疟P數(shù)據(jù)約50MB/s的情況下(滿足40路時(shí)移電視注入需求)，即可實(shí)現(xiàn)隨機(jī)并發(fā)讀、寫的高性能特點(diǎn)。,MASS4.0系統(tǒng)產(chǎn)品特點(diǎn)-高性能,1、媒體區(qū)域存儲(chǔ)系統(tǒng)MASS4.0的高寫入性能 使用媒體區(qū)域存儲(chǔ)系統(tǒng)MASS4.0的視頻服務(wù)器需要在滿足推流存儲(chǔ)IO需求的同時(shí)，還要滿足40路以上3.75Mbps碼率時(shí)移電視內(nèi)容的實(shí)時(shí)注入以及完成內(nèi)容分發(fā)部署等操作，由于時(shí)移電視是實(shí)時(shí)錄制，因此需要在保證推流IO需求同時(shí)還需要同時(shí)對(duì)存儲(chǔ)IO寫入有著性能需求，至少需要3.75Mbps （每路時(shí)移電視碼率）40（時(shí)移電視總路數(shù)）（位到字節(jié)）18.75MByte/s（存儲(chǔ)子系統(tǒng)實(shí)際IO同步寫入能力）的寫入能力。 考慮到系統(tǒng)還需要其他如VOD內(nèi)容分發(fā)注入以及其他需求，因此視頻服務(wù)器應(yīng)該至少要保證在滿負(fù)荷播發(fā)并碼流的同時(shí)具備超過50MByte/s的存儲(chǔ)IO寫入性能。 通過測試，MASS4.0系統(tǒng)的磁盤文件寫入速度基本能夠穩(wěn)定保持在470MB/s左右到540MB/s左右，相比較以前xfs文件系統(tǒng)的磁盤文件寫入速度(一般在80MB/s左右)有了非常明顯的性能提高。這樣我們的媒體區(qū)域存儲(chǔ)系統(tǒng)更加能有利于VOD片源分發(fā)等其它業(yè)務(wù)的需求。,MASS4.0系統(tǒng)產(chǎn)品特點(diǎn)-高性能,2、媒體區(qū)域存儲(chǔ)系統(tǒng)MASS4.0的高讀取性能 視頻服務(wù)器如果想要對(duì)2000路并發(fā)推流支持，并需要考慮極端情況下（如所有用戶點(diǎn)播內(nèi)容均分布在不同的文件并隨機(jī)訪問）保證用戶觀看質(zhì)量，視頻服務(wù)器的存儲(chǔ)系統(tǒng)就必須實(shí)現(xiàn)對(duì)存儲(chǔ)IO的高效訪問，并使用隨機(jī)的讀取模型來達(dá)到對(duì)2000路并發(fā)的IO讀取需求，這樣我們理論上需要的讀取速度為3.5Mbps(每碼流碼率)2000（并發(fā)數(shù)量）8（位到字節(jié)） = 875MByte/s。 通過測試，MASS4.0系統(tǒng)的讀取參數(shù)配置50線程的情況下，并且有35套時(shí)移節(jié)目的寫入操作時(shí)，磁盤文件讀取速度基本能夠穩(wěn)定保持在970MB/s左右，最高能夠達(dá)到1010MB/s的讀取性能，綜合上面的測試數(shù)據(jù)已經(jīng)基本符合2000路并發(fā)點(diǎn)播的性能要求。,MASS4.0系統(tǒng)產(chǎn)品特點(diǎn)-高性能,3、媒體區(qū)域存儲(chǔ)系統(tǒng)MASS4.0的高并發(fā)用戶性能 通過測試單機(jī)版的MASS4.0系統(tǒng)支持1500路并發(fā)用戶點(diǎn)播(6個(gè)千兆輸出網(wǎng)卡推流)，相比較之前每個(gè)DBS最多支持1000路并發(fā)用戶點(diǎn)播性能有了明顯的提升。,MASS4.0系統(tǒng)產(chǎn)品特點(diǎn)-安全性,MASS4.0系統(tǒng)的硬件服務(wù)器的某個(gè)硬盤如果損壞，在不關(guān)閉服務(wù)器且不影響用戶正常使用的情況下，可以直接將壞的硬盤拔掉用新的硬盤替換，同時(shí)可以使用管理界面將壞硬盤的所有數(shù)據(jù)都自動(dòng)恢復(fù)到新硬盤上，從而保證整個(gè)系統(tǒng)安全穩(wěn)定的運(yùn)行。 用戶正在訪問的數(shù)據(jù)內(nèi)容所對(duì)應(yīng)的磁盤出現(xiàn)故障時(shí)，媒體區(qū)域存儲(chǔ)系統(tǒng)能夠正常提供故障磁盤所對(duì)應(yīng)的數(shù)據(jù)內(nèi)容。 媒體區(qū)域存儲(chǔ)系統(tǒng)一定數(shù)量的磁盤被異常拔出時(shí)，媒體區(qū)域存儲(chǔ)系統(tǒng)能夠正常提供被拔出磁盤所對(duì)應(yīng)的數(shù)據(jù)內(nèi)容。 替換或增加新的硬盤時(shí)，媒體區(qū)域存儲(chǔ)系統(tǒng)能夠按照具體的負(fù)載均衡情況和Raid策略將相關(guān)的數(shù)據(jù)遷移到新硬盤中。,MASS4.0系統(tǒng)產(chǎn)品特點(diǎn)-可靠性,在媒體區(qū)域存儲(chǔ)系統(tǒng)中，當(dāng)出現(xiàn)磁