網(wǎng)易視頻云：淺談視頻云直播：場(chǎng)景、技術(shù)及優(yōu)化

1、網(wǎng)易視頻云：淺談視頻云直播：場(chǎng)景、技術(shù)及優(yōu)化1. 簡(jiǎn)介隨著互聯(lián)網(wǎng)視頻化的發(fā)展，各類網(wǎng)絡(luò)直播產(chǎn)品層出不窮，涌現(xiàn)出了秀場(chǎng)直播、游戲直播、教育直播、演唱會(huì)直播和監(jiān)控直播等多個(gè)直播生態(tài)圈。這些生態(tài)圈形成的背后，是視頻直播相關(guān)技術(shù)的不斷發(fā)展，例如互聯(lián)網(wǎng)帶寬的日益增加，視頻壓縮標(biāo)準(zhǔn)的日漸完善，視頻云技術(shù)的出現(xiàn)等。特別是視頻云技術(shù)的出現(xiàn)，它降低了開(kāi)發(fā)者的準(zhǔn)入門檻，解決了視頻企業(yè)的“三高”之痛，即技術(shù)門檻高、成本高、卡頓延時(shí)率高，為未來(lái)幾年視頻直播的大爆發(fā)奠定了堅(jiān)實(shí)的技術(shù)基礎(chǔ)。所謂視頻云直播技術(shù)，就是用云端模式，提供視頻直播解決方案的技術(shù)，它涉及視頻直播的各個(gè)環(huán)節(jié)，例如直播視頻采樣、編碼、推流、轉(zhuǎn)碼、分發(fā)、拉

2、流、解碼和播放等。使用Iaas、Paas和Saas三種形式，視頻云直播能為各種場(chǎng)景的直播應(yīng)用提供接口級(jí)服務(wù)、平臺(tái)級(jí)服務(wù)和產(chǎn)品級(jí)服務(wù)。依托視頻云，直播開(kāi)發(fā)者不在關(guān)心視頻和網(wǎng)絡(luò)的細(xì)節(jié)，他們只要把精力集中于產(chǎn)品應(yīng)用層面即可。未來(lái)，網(wǎng)絡(luò)直播產(chǎn)品將會(huì)表現(xiàn)為如下一種形態(tài)：上層多樣化的直播模式 + 下層組件化的視頻云模式。深入視頻云直播內(nèi)部，會(huì)發(fā)現(xiàn)其具有復(fù)雜化、多樣化和組件化的特點(diǎn)。所謂復(fù)雜化，是指音視頻技術(shù)復(fù)雜和互聯(lián)網(wǎng)環(huán)境復(fù)雜；所謂多樣化，是指直播應(yīng)用場(chǎng)景具有多樣性；所謂組件化，是指直播技術(shù)各個(gè)環(huán)節(jié)的模塊化和獨(dú)立性。在視頻云直播中，技術(shù)主線永遠(yuǎn)是音視頻流的輸入、傳輸和輸出。但針對(duì)每一類直播場(chǎng)景，使用的具體

3、技術(shù)和實(shí)現(xiàn)手段都不一樣。隨著直播量級(jí)的變化，必須對(duì)視頻云各個(gè)環(huán)節(jié)進(jìn)行優(yōu)化，以化解流量暴增帶來(lái)的壓力。因此，視頻云直播的構(gòu)建是一項(xiàng)艱巨的任務(wù)。接下來(lái)，本文將從場(chǎng)景、技術(shù)和優(yōu)化三個(gè)角度，詳細(xì)闡述視頻云直播。2. 一對(duì)多直播場(chǎng)景考慮如下一種場(chǎng)景：一個(gè)主播者坐在電腦前，通過(guò)前置攝像頭和麥克風(fēng)，把自己的音視頻信息輸出到網(wǎng)絡(luò)上，多人在各地通過(guò)互聯(lián)網(wǎng)實(shí)時(shí)觀看主播者的表演。這就是經(jīng)典的秀場(chǎng)直播。這里存在幾個(gè)關(guān)鍵點(diǎn)：一. 音視頻傳輸；二. 實(shí)時(shí)；三. 一對(duì)多。首先講音視頻傳輸，它又細(xì)分為三點(diǎn)：源端的音視頻輸出、網(wǎng)絡(luò)端的流傳輸和播放端的音視頻獲取。第一點(diǎn)音視頻輸出，首先必須收集主播的聲音和圖像，就是所謂的音視頻采

4、集；采集后的聲音和圖像，需要轉(zhuǎn)換成字節(jié)碼、混合并壓縮，最后封裝成某種音視頻格式，就是所謂的音視頻編碼；編碼后的音視頻格式，還不能在網(wǎng)絡(luò)傳輸，需要轉(zhuǎn)換成某種碼流，如RTMP，然后推送到網(wǎng)上，即上傳碼流到服務(wù)器，就是所謂的推流。上述“采樣-編碼-推流”，構(gòu)成了視頻云直播端的核心功能。第二點(diǎn)音視頻碼流的網(wǎng)絡(luò)傳輸，把主播者的音視頻流分發(fā)傳輸給所有觀看者；對(duì)于無(wú)法適配源端碼流的觀看者，在網(wǎng)絡(luò)端轉(zhuǎn)換碼流，使其也能正常觀看。上述“分發(fā)-轉(zhuǎn)碼”，構(gòu)成了視頻云服務(wù)端VDN(Video Delivery Network視頻分發(fā)網(wǎng)絡(luò))的核心功能。第三點(diǎn)播放端的音視頻獲取，首先從網(wǎng)絡(luò)獲取合適的音視頻碼流，就是所謂的拉

5、流；然后對(duì)流進(jìn)行解析，其中的音視頻格式進(jìn)行解封，就是所謂的解碼；最后提取出單獨(dú)的音頻和視頻，進(jìn)行播放。上述“拉流-解碼-播放”，構(gòu)成了視頻云播放端的核心功能。因此，如圖1所示，僅秀場(chǎng)直播場(chǎng)景的音視頻傳輸，就涵蓋了視頻云三個(gè)核心點(diǎn): 直播端、播放端和視頻分發(fā)網(wǎng)絡(luò)，實(shí)現(xiàn)技術(shù)門檻很高。圖1. 視頻直播流程接著講實(shí)時(shí)這一點(diǎn)，在直播場(chǎng)景中，延時(shí)性要求很高，基本不超過(guò)10秒。因此，傳統(tǒng)的文件上傳/下載模式，對(duì)于直播不可行。傳統(tǒng)的內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)也不適用直播。視頻云必須開(kāi)發(fā)獨(dú)特的流分發(fā)網(wǎng)絡(luò)，應(yīng)對(duì)直播場(chǎng)景實(shí)時(shí)性。同時(shí)，經(jīng)典秀場(chǎng)直播無(wú)實(shí)時(shí)交互需求，延時(shí)性不要求1秒之內(nèi)。因此流媒體傳輸，一般選用基于TCP的

6、RTMP協(xié)議，無(wú)需選擇實(shí)現(xiàn)難度更大但延時(shí)更低的RTP類協(xié)議。最后講一對(duì)多模式，就是一人講，多人聽(tīng)。這是一種視頻云直播最擅長(zhǎng)解決的模式。在互聯(lián)網(wǎng)現(xiàn)實(shí)應(yīng)用中，還有很多種其他模式，例如多對(duì)多模式，就是多人互動(dòng)直播，即視頻會(huì)議；二對(duì)多模式，就是兩人互動(dòng)，然后多人聽(tīng)，即連麥；一對(duì)一模式，就是兩人視頻互動(dòng)，即實(shí)時(shí)視頻聊天。各種模式，由于實(shí)時(shí)性要求不同，參與人數(shù)不同，實(shí)現(xiàn)難度各不相同。本文圍繞的場(chǎng)景是一對(duì)多模式，該模式最常用。3. 直播關(guān)鍵技術(shù)如圖2所示，視頻云直播的總體框架分為三層：最上層是直播SDK、中間為API接口層、最下面為云端服務(wù)層。各層都有一些關(guān)鍵技術(shù)點(diǎn)，例如直播SDK層主要包含直播端推流和播放

7、端拉流兩個(gè)關(guān)鍵技術(shù)；API接口層主要涉及安全控制這一關(guān)鍵技術(shù)；云端服務(wù)層主要涉及VDN流分發(fā)這一關(guān)鍵技術(shù)。接下來(lái)，我們?cè)敿?xì)描述這些技術(shù)點(diǎn)。圖2. 視頻云直播總框架3.1直播端/播放端直播端和播放端是視頻云直播SDK的核心。直播端是直播應(yīng)用的起點(diǎn)，負(fù)責(zé)采樣、編碼和推流。播放端是直播應(yīng)用的終點(diǎn)，負(fù)責(zé)拉流、解碼和同步播放。如圖3所示，播放端的處理基本上是直播端的一個(gè)逆過(guò)程。接下來(lái)，簡(jiǎn)單描述其中每個(gè)流程。圖3. 視頻云直播客戶端流程采樣直播SDK從設(shè)備驅(qū)動(dòng)獲取音頻采樣數(shù)據(jù)和視頻采樣數(shù)據(jù)。其中，音頻采樣數(shù)據(jù)一般采用PCM格式、視頻采樣數(shù)據(jù)一般采用RGB或YUV格式。音視頻采樣數(shù)據(jù)體積非常大，因此需要經(jīng)過(guò)

8、壓縮處理，來(lái)降低數(shù)據(jù)量。編碼編碼包含音頻編碼和視頻編碼。其中，音頻編碼負(fù)責(zé)壓縮音頻采樣；視頻編碼負(fù)責(zé)壓縮視頻采樣。常用的音頻壓縮編碼算法有AAC、MP3、WMA等，其中AAC最常用。常用的視頻壓縮編碼算法有H.264，H.265和VP8，其中H.264最常用。封裝獨(dú)立的音頻壓縮數(shù)據(jù)和視頻壓縮數(shù)據(jù)，需要經(jīng)過(guò)封裝處理，放到一個(gè)統(tǒng)一格式的文件中。常用的分裝格式有：MP4、TS、FLV、RMVB、AVI等，視頻云中，常用的有MP4、TS和FLV。推流分裝后的音視頻數(shù)據(jù)，還需要再次進(jìn)行傳輸協(xié)議封裝，變成流數(shù)據(jù)，用于網(wǎng)絡(luò)傳輸。常用的流傳輸協(xié)議有RTSP、RTMP、HLS等。生成的音視頻流數(shù)據(jù)，也稱碼流，首

9、先放到流緩沖隊(duì)列中，然后按照一定的Qos算法發(fā)送到網(wǎng)絡(luò)端。關(guān)于Qos，我們將在下文中描述。自此，整個(gè)直播端的流程已描述完畢。接下來(lái)，講述播放端。拉流拉流是推流的逆過(guò)程。首先，從網(wǎng)絡(luò)端獲取碼流，并把數(shù)據(jù)放到緩存隊(duì)列。然后，按照一定的速率，從緩存獲取碼流，解傳輸協(xié)議，獲取其中分裝數(shù)據(jù)。解封解封裝過(guò)程，從封裝格式中提取音頻壓縮數(shù)據(jù)和視頻壓縮數(shù)據(jù)。為封裝過(guò)程的逆過(guò)程。解碼解碼過(guò)程，各種從音頻壓縮數(shù)據(jù)和視頻壓縮數(shù)據(jù)中，提取原始數(shù)據(jù)。由于編碼算法一般為有損壓縮算法，提取后的原始數(shù)據(jù)，并非原始采樣數(shù)據(jù)，存在一定的信息丟失。同步播放各種獲取的音視頻數(shù)據(jù)，必須經(jīng)過(guò)同步處理，才能播放。上述，就是直播音視頻在客戶端

10、的整個(gè)流程，其技術(shù)基本分為兩塊：一塊為傳統(tǒng)音視頻處理技術(shù)；第二塊是碼流處理技術(shù)。傳統(tǒng)音視頻處理已經(jīng)很成熟，作為視頻云直播一般會(huì)選用通用框架實(shí)現(xiàn)這部分功能，例如ffmpeg、vlc、gstreamer等。音視頻處理中，唯一重點(diǎn)需要考慮的是視頻編碼選擇。在音視頻流中，視頻大小占據(jù)90%以上空間，視頻編解碼算法的好壞，直接決定直播碼流大小，因此是視頻云直播的一個(gè)性能瓶頸點(diǎn)。當(dāng)前，業(yè)界一般會(huì)選擇H.264作為視頻編解碼算法。接著講碼流處理。碼流處理就是音視頻碼流在客戶端的處理和控制技術(shù)，主要包括碼流算法實(shí)現(xiàn)和Qos服務(wù)。常用的碼流算法有RTSP和RTMP，其中RTSP基于UDP或TCP，在視頻會(huì)議領(lǐng)域

11、廣泛采用；RTMP基于TCP，在直播中廣泛采用。這些碼流算法協(xié)議公開(kāi)，存在各種版本的lib庫(kù)，因此在客戶端實(shí)現(xiàn)難度較小。Qos服務(wù)是用來(lái)解決網(wǎng)絡(luò)延遲和擁塞等問(wèn)題的技術(shù)，通俗的講就是用來(lái)解決網(wǎng)絡(luò)不穩(wěn)定的一項(xiàng)安全機(jī)制。在直播場(chǎng)景中，Qos需要保證網(wǎng)絡(luò)不穩(wěn)定情況下，觀看者仍能觀看直播內(nèi)容，基本無(wú)卡頓。這需要客戶端提供一系列的功能保證Qos，其中最主要的功能如下：一. 直播/播放兩端設(shè)置緩存，使碼流處理勻速，以避免播放抖動(dòng)；二. 在播放端根據(jù)場(chǎng)景或網(wǎng)絡(luò)情況，動(dòng)態(tài)選擇碼率、幀率等參數(shù)；三. 選擇一定的丟棄或重傳算法，以應(yīng)對(duì)網(wǎng)絡(luò)極差情況；四. 按照一定的延時(shí)性/流暢性要求，選擇緩存大小等。Qos服務(wù)無(wú)固定

12、算法，視頻云根據(jù)特定的場(chǎng)景提供特定的Qos保證，需完全自主開(kāi)發(fā)設(shè)計(jì)。3.2流分發(fā)圖4. 視頻流分發(fā)網(wǎng)絡(luò)視頻云直播服務(wù)端的核心是流分發(fā)，由流分發(fā)網(wǎng)絡(luò)VDN負(fù)責(zé)實(shí)現(xiàn)。整個(gè)VDN的框架如圖4所示，包含：流媒體服務(wù)集群、邊緣服務(wù)器集群、轉(zhuǎn)碼服務(wù)器集群和智能負(fù)載均衡系統(tǒng)。與靜態(tài)文件分發(fā)網(wǎng)絡(luò)CDN類似，VDN系統(tǒng)分為中心和邊緣兩層，邊緣層直接跟用戶連接，中心層負(fù)責(zé)服務(wù)器間的內(nèi)容轉(zhuǎn)發(fā)。邊緣層的核心是邊緣服務(wù)器，它部署于全國(guó)各地及橫跨各大運(yùn)營(yíng)商，例如北上廣、移動(dòng)聯(lián)通電信等。負(fù)載均衡系統(tǒng)，根據(jù)用戶的地理位置信息，就近選擇邊緣服務(wù)器，為用戶提供推/拉流服務(wù)。中心層的核心是流媒體服務(wù)集群，該集群接收來(lái)自邊緣服務(wù)器的

13、碼流數(shù)據(jù)，并轉(zhuǎn)發(fā)給需要該碼流的其他邊緣服務(wù)器。同時(shí)，中心層也負(fù)責(zé)轉(zhuǎn)碼服務(wù)，例如把RTMP協(xié)議的碼流轉(zhuǎn)換為HLS/TS碼率等。負(fù)載均衡系統(tǒng)負(fù)責(zé)中心層和邊緣層的路由。整個(gè)VDN的設(shè)計(jì)非常復(fù)雜，本文不具體展開(kāi)，接下來(lái)只是簡(jiǎn)單介紹一下上/下行加速、低延時(shí)設(shè)置等機(jī)制。有興趣的朋友可以查閱SRS（Simple Rtmp Server）開(kāi)源文檔，了解VDN詳情。上行加速上行推流加速，又稱上行邊緣加速?？蛻舳烁鶕?jù)VDN智能路由系統(tǒng)，選擇最近的邊緣服務(wù)器。然后，客戶端推流到該服務(wù)器，邊緣服務(wù)器把流轉(zhuǎn)發(fā)給中心服務(wù)器。由于上行推流和下行拉流可能在同一臺(tái)服務(wù)器，因此上行邊緣服務(wù)器只會(huì)做簡(jiǎn)單的代理轉(zhuǎn)發(fā)，把流轉(zhuǎn)發(fā)給中心服

14、務(wù)器或上層。下行加速下行拉流加速，又稱下行邊緣加速。客戶端首先向邊緣服務(wù)器取流，邊緣服務(wù)器存在流，則直接給用戶；如果不存在流，就執(zhí)行回源模式，向相應(yīng)的中心服務(wù)器取流。對(duì)于非原始格式流，則進(jìn)行轉(zhuǎn)碼操作。轉(zhuǎn)碼可在中心層，或邊緣層執(zhí)行。低延時(shí)機(jī)制對(duì)于直播場(chǎng)景，特別是交互直播場(chǎng)景，需要低延時(shí)，一般為1-3秒。對(duì)于RTMP流分發(fā)，可以通過(guò)如下幾個(gè)機(jī)制來(lái)降低延時(shí)：一. 降低讀/寫合并時(shí)間；二. 降低GOP；三. 減少累計(jì)延時(shí)隊(duì)列。跟磁盤flush策略一樣，VDN也通過(guò)一次性讀/寫幾毫秒流數(shù)據(jù)，來(lái)提高吞吐量，但增加了延時(shí)性。通過(guò)關(guān)閉讀/寫合并，或者降低讀寫合/并時(shí)間，可以降低延時(shí)性。GOP是音視頻術(shù)語(yǔ)，指兩

15、個(gè)I幀之間的時(shí)間距離。I幀就是關(guān)鍵幀。GOP的大小，決定了延時(shí)性。GOP設(shè)置越小，延時(shí)性越低，但壓縮率也越低。VDN提供累計(jì)延時(shí)隊(duì)列，避免流數(shù)據(jù)丟失。如果減少隊(duì)列長(zhǎng)度，會(huì)增加數(shù)據(jù)丟失概率，但降低了延時(shí)性。3.3安全機(jī)制視頻云直播在API層提供了一整套的安全機(jī)制，避免非法訪問(wèn)，盜鏈等安全問(wèn)題。如圖5所示，視頻云安全機(jī)制的原理比較簡(jiǎn)單，利用一對(duì)公私鑰，對(duì)訪問(wèn)請(qǐng)求進(jìn)行簽名加密，生成簽名令牌TOKEN。在云端通過(guò)相同的算法，驗(yàn)證TOKEN的有效性，從而達(dá)到安全保護(hù)的目的。圖5. 視頻云安全機(jī)制在視頻云場(chǎng)景中，請(qǐng)求認(rèn)證來(lái)自于兩端：用戶服務(wù)器端和用戶客戶端。這兩端的安全認(rèn)證邏輯略有不同。對(duì)于用戶服務(wù)器端，

16、本身保存有公私鑰對(duì)，根據(jù)簽名算法，能自動(dòng)產(chǎn)生TOKEN。對(duì)于用戶客戶端，因?yàn)闊o(wú)法獲取公私鑰對(duì)，TOKEN必須由用戶服務(wù)器產(chǎn)生，并下發(fā)給客戶端。因而，每次客戶端訪問(wèn)視頻云，必須首先向服務(wù)器獲取TOKEN。這是最為安全的做法。該安全策略，客戶端一次訪問(wèn)云服務(wù)，需要兩次交互，較為繁瑣。有些視頻云實(shí)現(xiàn)，降低安全性，為每個(gè)客戶端下發(fā)一個(gè)帶時(shí)效性的TOKEN，甚至是一個(gè)永久有效的TOKEN。這樣交互流程更加便捷，但極大的降低了安全性。直播推拉流也采用了TOKEN簽名算法機(jī)制，以實(shí)現(xiàn)防盜鏈。根據(jù)應(yīng)用的需要，我們可以設(shè)置推拉流加防盜鏈?？紤]如下一種場(chǎng)景，演唱會(huì)直播，觀看者必須買電子門票，這種應(yīng)用拉流必須加防盜

17、鏈。再考慮一種情況，秀場(chǎng)，希望觀看者越多越好，這樣應(yīng)用拉流無(wú)須加防盜鏈。視頻云直播中，安全認(rèn)證算法一般采用SHA1或者M(jìn)D5這樣的數(shù)字簽名算法，第一這些數(shù)字簽名算法很難被逆向破解攻擊；第二相比非對(duì)稱加密算法，數(shù)字簽名算法執(zhí)行效率更高。對(duì)于一些安全性要求特別高的應(yīng)用場(chǎng)景，視頻云還可提供頻道粒度的流加密，用對(duì)稱加密算法，例如RC4之類的，把整個(gè)流進(jìn)行加密，從而達(dá)到了絕對(duì)的安全。4. 技術(shù)優(yōu)化前一節(jié)描述的視頻云直播技術(shù)，能滿足基本的一對(duì)多直播場(chǎng)景需求。但隨著人們對(duì)音視頻需求的不斷提升，以及直播場(chǎng)景的不斷豐富，單純基于RTMP的直播方案已不能滿足所有需求。因此需要在技術(shù)上提出一些變革性的優(yōu)化，以適應(yīng)場(chǎng)

18、景變更。本節(jié)提出了五個(gè)優(yōu)化點(diǎn)：一. 視頻壓縮技術(shù)優(yōu)化；二. WEBRTC技術(shù)普及化；三. 基于UDP的VDN構(gòu)建；四. 多碼流合并優(yōu)化；五. 終端多樣化；?？梢哉f(shuō)，這五點(diǎn)也是視頻云技術(shù)未來(lái)的發(fā)展方向。視頻壓縮技術(shù)優(yōu)化視頻壓縮技術(shù)一直是音視頻領(lǐng)域的核心，視頻直播也不例外。一個(gè)好的視頻壓縮算法，能極大的降低視頻內(nèi)容大小，從而減少音視頻流碼率。當(dāng)前，視頻云廠商基本使用H.264(AVC) 視頻壓縮算法。但該算法對(duì)高清晰度和高幀率場(chǎng)景，以越來(lái)越力不從心。一些行業(yè)聯(lián)盟提出了一些替代方案，例如H.265(HEVC)和谷歌正在研發(fā)的VP10。特別是H.265，以得到了眾多廠商的支持，其壓縮率比H.264高4

19、0%左右。使用x265編解碼庫(kù)替換現(xiàn)有的x264庫(kù)，以支持H.265，成為了視頻云發(fā)展的一個(gè)重要方向。WEBRTC技術(shù)普及化WEBRTC是谷歌公司提出的純WEB端實(shí)時(shí)交互框架。視頻云直播集成WEBRTC，能解決實(shí)時(shí)交互問(wèn)題，例如網(wǎng)絡(luò)視頻會(huì)議交互和二對(duì)多連麥交互等。同時(shí)，WEBRTC和HTML5天然集成，是純WEB視頻場(chǎng)景的最佳候選項(xiàng)。但視頻云集成WEBRTC必須解決一系列難題：一. WEBRTC流媒體服務(wù)器搭建；二.多路碼流合并；三. RTMP流傳輸協(xié)議和基于RTP的WEBRTC流傳輸協(xié)議互轉(zhuǎn)等。解決難題一，能夠構(gòu)建出多人網(wǎng)絡(luò)視頻會(huì)議；解決難題二，能夠降低帶寬流量消耗，對(duì)于交互場(chǎng)景節(jié)省成本；解決難題三，能夠?qū)崿F(xiàn)視頻會(huì)議直播化，或者互動(dòng)場(chǎng)景直播化?；赨DP的VDN構(gòu)建現(xiàn)有的VDN基本采用RTMP流傳輸協(xié)議，延時(shí)基本超過(guò)1秒，無(wú)法應(yīng)對(duì)低延時(shí)交互場(chǎng)景，例如視頻會(huì)議。而基于UDP的RTP流傳輸協(xié)議，能夠解決低延時(shí)問(wèn)題。要構(gòu)建