流媒體技術(shù)介紹

流媒體技術(shù)介紹第一頁，共33頁。壓縮編碼視頻編碼解碼渲染視頻存儲視頻技術(shù)體系第二頁，共33頁。視頻編解碼1媒體傳輸技術(shù)2媒體存儲3第三頁，共33頁。圖像與視頻圖像：是人對視覺感知的物質(zhì)再現(xiàn)。三維自然場景：對象包括深度，紋理和亮度信息二維圖像：紋理和亮度信息第四頁，共33頁。圖像與視頻圖像：是人對視覺感知的物質(zhì)再現(xiàn)。三維自然場景對象包括深度，紋理和亮度信息；二維圖像包括紋理和亮度信息視頻：連續(xù)的圖像。視頻由多幅圖像構(gòu)成，包含對象的運動信息，又稱為運動圖像。第五頁，共33頁。數(shù)字視頻數(shù)字視頻：自然場景空間和時間的數(shù)字采樣表示?？臻g采樣解析度（Resolution）時間采樣幀率：幀/秒第六頁，共33頁?？臻g采樣第七頁，共33頁。人類視覺系統(tǒng)HVSHVS：眼睛、神經(jīng)、大腦HVS特點：對高頻信息不敏感對高對比度更敏感對亮度信息比色度信息更敏感對運動的信息更敏感數(shù)字視頻系統(tǒng)的設(shè)計應(yīng)該考慮HVS的特點：丟棄高頻信息，只編碼低頻信息提高邊緣信息的主觀質(zhì)量降低色度的解析度對感興趣區(qū)域（RegionofInteresting，ROI）進行特殊處理第八頁，共33頁。色彩空間RGB色彩空間三原色：紅（R），綠（G），藍（B）。任何顏色都可以通過按一定比例混合三原色產(chǎn)生。RGB色度空間由RGB三原色組成廣泛用于BMP，TIFF，PPM等每個色度成分通常用8bit表示[0,255]YUV色彩空間YUV色彩空間：Y：亮度分量UV：兩個色度分量YUV更好的反映HVS特點RGB轉(zhuǎn)化到Y(jié)UV空間亮度分量Y與三原色有如下關(guān)系：經(jīng)過大量實驗后ITU-R給出了，第九頁，共33頁。YUV圖像分量采樣和圖像格式Y(jié)UV圖像分量采樣YUV圖像可以根據(jù)HVS的特點，對色度分量下采樣，可以降低視頻數(shù)據(jù)量。根據(jù)亮度和色度分量的采樣比率，YUV圖像通常有以下幾種格式：通用的YUV圖像格式根據(jù)YUV圖像的亮度分辨率定義圖像格式Y(jié)UV444是完全未刪減最逼真的格式,即每4個Y,配4個U,4個V

YUV422則是在UV上減半之格式,即每4個Y,配2個U,2個V

YUV420則是在UV上減1/4之格式,即每4個Y,配1個U,1個V第十頁，共33頁。幀和場圖像一幀圖像包括兩場——頂場，底場第十一頁，共33頁。逐行與隔行圖像逐行圖像：一幀圖像的兩場在同一時間得到，ttop=tbot。隔行圖像：一幀圖像的兩場在不同時間得到，

ttop≠tbot。第十二頁，共33頁。視頻質(zhì)量評價視頻質(zhì)量評價有損視頻壓縮使編解碼圖像不同，需要一種手段來評價解碼圖像的質(zhì)量。質(zhì)量評價：客觀質(zhì)量評價主觀質(zhì)量評價主觀質(zhì)量評價：用人的主觀感知直接測量的方式。優(yōu)點：符合人的主觀感知缺點：不容易量化受不確定因素影響，測量結(jié)果一般不可重復(fù)測量代價高客觀質(zhì)量評價：通過數(shù)學方法測量圖像質(zhì)量評價的方式。優(yōu)點：可量化測量結(jié)果可重復(fù)測量簡單缺點：不完全符合人的主觀感知

第十三頁，共33頁。為什么要進行視頻壓縮？未經(jīng)壓縮的數(shù)字視頻的數(shù)據(jù)量巨大存儲困難:一張DVD只能存儲幾秒鐘的未壓縮數(shù)字視頻。傳輸困難:1兆的帶寬傳輸一秒的數(shù)字電視視頻需要大約4分鐘FrameRateFrameSizeBits/pixelBit-Rate(bps)(Byte)30fps176X144pixels129,123,840一分鐘的視頻數(shù)據(jù)第十四頁，共33頁。為什么可以壓縮？去除冗余信息空間冗余：圖像相鄰像素之間有較強的相關(guān)性時間冗余：視頻序列的相鄰圖像之間內(nèi)容相似編碼冗余：不同像素值出現(xiàn)的概率不同視覺冗余：人的視覺系統(tǒng)對某些細節(jié)不敏感知識冗余：規(guī)律性的結(jié)構(gòu)可由先驗知識和背景知識得到第十五頁，共33頁。數(shù)據(jù)壓縮分類無損壓縮（Lossless）壓縮前解壓縮后圖像完全一致X=X'壓縮比低(2:1~3:1)例如：Winzip，JPEG-LS有損壓縮（Lossy）壓縮前解壓縮后圖像不一致X≠X'壓縮比高(10:1~20:1)利用人的視覺系統(tǒng)的特性例如：MPEG-2，H.264/AVC，AVS第十六頁，共33頁。壓縮系統(tǒng)的組成編碼器中的關(guān)鍵技術(shù)

編解碼中的關(guān)鍵技術(shù)第十七頁，共33頁。編解碼器實現(xiàn)編解碼器的實現(xiàn)平臺：超大規(guī)模集成電路VLSIASIC，F(xiàn)PGA數(shù)字信號處理器DSP軟件編解碼器產(chǎn)品：機頂盒數(shù)字電視攝像機監(jiān)控器第十八頁，共33頁。編解碼器實現(xiàn)編解碼器的實現(xiàn)平臺：超大規(guī)模集成電路VLSIASIC，F(xiàn)PGA數(shù)字信號處理器DSP軟件編解碼器產(chǎn)品：機頂盒數(shù)字電視攝像機監(jiān)控器第十九頁，共33頁。視頻編碼標準編碼標準作用：兼容：不同廠家生產(chǎn)的編碼器壓縮的碼流能夠被不同廠家的解碼器解碼高效：標準編解碼器可以進行批量生產(chǎn)，節(jié)約成本。主流的視頻編碼標準：MPEG-2MPEG-4SimpleProfileH.264/AVCH.265/HEVCAVSVC-1標準化組織：ITU：InternationalTelecommunicationsUnionVECG：VideoCodingExpertsGroupISO：InternationalStandardsOrganizationMPEG：MotionPictureExpertsGroup第二十頁，共33頁。視頻編解碼1媒體傳輸技術(shù)2媒體存儲3第二十一頁，共33頁。視頻傳輸視頻傳輸：通過傳輸系統(tǒng)將壓縮的視頻碼流從編碼端傳輸?shù)浇獯a端傳輸系統(tǒng)：互聯(lián)網(wǎng)，地面無線廣播，衛(wèi)星視頻傳輸面臨的問題傳輸系統(tǒng)不可靠：帶寬限制、信號衰減、噪聲干擾、傳輸延遲視頻傳輸出現(xiàn)的問題：不能解碼出正確的視頻、視頻播放延遲視頻傳輸差錯控制差錯控制（ErrorControl）解決視頻傳輸過程中由于數(shù)據(jù)丟失或延遲導致的問題差錯控制技術(shù)：信道編碼差錯控制技術(shù)、編碼器差錯恢復(fù)、解碼器差錯隱藏視頻傳輸?shù)腝oS數(shù)據(jù)包的端到端的延遲帶寬：比特/秒數(shù)據(jù)包的流失率數(shù)據(jù)包的延遲時間的波動第二十二頁，共33頁。流媒體傳輸協(xié)議RTSP方法方向?qū)ο笠蠛xDESCRIBEC->SP,S推薦檢查演示或媒體對象的描述，也允許使用接收頭指定用戶理解的描述格式。DESCRIBE的答復(fù)-響應(yīng)組成媒體RTSP初始階段ANNOUNCEC->SS->CP,S可選當從用戶發(fā)往服務(wù)器時，ANNOUNCE將請求URL識別的演示或媒體對象描述發(fā)送給服務(wù)器；反之，ANNOUNCE實時更新連接描述。如新媒體流加入演示，整個演示描述再次發(fā)送，而不僅僅是附加組件，使組件能被刪除GET_PARAMETERC->SS->CP,S可選GET_PARAMETER請求檢查RUL指定的演示與媒體的參數(shù)值。沒有實體體時，GET_PARAMETER也許能用來測試用戶與服務(wù)器的連通情況OPTIONSC->SS->CP,S要求可在任意時刻發(fā)出OPTIONS請求，如用戶打算嘗試非標準請求，并不影響服務(wù)器狀態(tài)PAUSEC->SP,S推薦PAUSE請求引起流發(fā)送臨時中斷。如請求URL命名一個流，僅回放和記錄被停止；如請求URL命名一個演示或流組，演示或組中所有當前活動的流發(fā)送都停止?；謴?fù)回放或記錄后，必須維持同步。在SETUP消息中連接頭超時參數(shù)所指定時段期間被暫停后，盡管服務(wù)器可能關(guān)閉連接并釋放資源，但服務(wù)器資源會被預(yù)訂PLAYC->SP,S要求PLAY告訴服務(wù)器以SETUP指定的機制開始發(fā)送數(shù)據(jù)；直到一些SETUP請求被成功響應(yīng)，客戶端才可發(fā)布PLAY請求。PLAY請求將正常播放時間設(shè)置在所指定范圍的起始處，發(fā)送流數(shù)據(jù)直到范圍的結(jié)束處。PLAY請求可排成隊列，服務(wù)器將PLAY請求排成隊列，順序執(zhí)行RECORDC->SP,S可選該方法根據(jù)演示描述初始化媒體數(shù)據(jù)記錄范圍，時標反映開始和結(jié)束時間；如沒有給出時間范圍，使用演示描述提供的開始和結(jié)束時間。如連接已經(jīng)啟動，立即開始記錄，服務(wù)器數(shù)據(jù)請求URL或其他URL決定是否存儲記錄的數(shù)據(jù)；如服務(wù)器沒有使用URL請求，響應(yīng)應(yīng)為201（創(chuàng)建），并包含描述請求狀態(tài)和參考新資源的實體與位置頭。支持現(xiàn)場演示記錄的媒體服務(wù)器必須支持時鐘范圍格式，smpte格式?jīng)]有意義REDIRECTS->CP,S可選重定向請求通知客戶端連接到另一服務(wù)器地址。它包含強制頭地址，指示客戶端發(fā)布URL請求；也可能包括參數(shù)范圍，以指明重定向何時生效。若客戶端要繼續(xù)發(fā)送或接收URL媒體，客戶端必須對當前連接發(fā)送TEARDOWN請求，而對指定主執(zhí)新連接發(fā)送SETUP請求SETUPC->SS要求對URL的SETUP請求指定用于流媒體的傳輸機制。客戶端對正播放的流發(fā)布一個SETUP請求，以改變服務(wù)器允許的傳輸參數(shù)。如不允許這樣做，響應(yīng)錯誤為"455MethodNotValidInThisState”。為了透過防火墻，客戶端必須指明傳輸參數(shù)，即使對這些參數(shù)沒有影響SET_PARAMETERC->SS->CP,S可選這個方法請求設(shè)置演示或URL指定流的參數(shù)值。請求僅應(yīng)包含單個參數(shù)，允許客戶端決定某個特殊請求為何失敗。如請求包含多個參數(shù)，所有參數(shù)可成功設(shè)置，服務(wù)器必須只對該請求起作用。服務(wù)器必須允許參數(shù)可重復(fù)設(shè)置成同一值，但不讓改變參數(shù)值。注意：媒體流傳輸參數(shù)必須用SETUP命令設(shè)置。將設(shè)置傳輸參數(shù)限制為SETUP有利于防火墻。將參數(shù)劃分成規(guī)則排列形式，結(jié)果有更多有意義的錯誤指示TEARDOWNC->SP,S要求TEARDOWN請求停止給定URL流發(fā)送，釋放相關(guān)資源。如URL是此演示URL，任何RTSP連接標識不再有效。除非全部傳輸參數(shù)是連接描述定義的，SETUP請求必須在連接可再次播放前發(fā)布特點：具備媒體回話協(xié)商，結(jié)合RTP具備實時傳送能力，集合RTCP具備媒體動態(tài)調(diào)整，QOS保證能力適用：適用于單向的實時直播和點播場景缺點：需要專業(yè)的播放器，協(xié)議在互聯(lián)應(yīng)用場景中不夠廣泛第二十三頁，共33頁。流媒體傳輸協(xié)議RTMP在PC時代伴隨FlashPlayer幾乎同時整個互聯(lián)網(wǎng)在線播放場景，但移動互聯(lián)網(wǎng)基本被拋棄。特點：利用flashplayer插件形式快速推廣，具備實時傳輸能力。場景：PC瀏覽器兼容flashplayer播放場景缺點：瀏覽器插件形式所帶來的安全問題逐步被瀏覽器廠商拋棄。HTML5重新定義media標簽瀏覽器廠商解決視頻播放問題。移動互聯(lián)網(wǎng)時代以Apple為首的廠商抵制flashplayer第二十四頁，共33頁。HTTP流媒體傳輸協(xié)議HLSClientServer①獲取播放文件段列表（M3U8）②返回播放文件段列表（M3U8）⑥播放ts文件短片④下載列表對應(yīng)ts文件⑤返回ts文件流⑦更新播放文件段列表（M3U8）⑧返回播放文件段列表（M3U8）③分析播放文件段列表視頻被切分為TS短文件,以HTTP形式承載.優(yōu)點：利用http協(xié)議傳輸具備很好的網(wǎng)絡(luò)穿透能力

結(jié)合CDN網(wǎng)絡(luò)具備非常強的分發(fā)和網(wǎng)絡(luò)加速優(yōu)勢更合適于點播場景。HTML5瀏覽器天然支持播放，無需插件

分片技術(shù)更適合移動互聯(lián)網(wǎng)的應(yīng)用場景缺點：需要緩沖至少3個segment，直播應(yīng)用延遲巨大，視頻加載速度慢。第二十五頁，共33頁。SIP/RTP協(xié)議傳統(tǒng)CT技術(shù)場景，廣泛應(yīng)用于視頻通話、視頻會議等場景。特點：具備用戶回話協(xié)商能力和媒體協(xié)商能力，具備很強的實時傳輸、QOS保證等特點，整體技術(shù)完備。場景：視頻通話、視頻會議等需要雙通的場景。缺點：協(xié)議形式較重，開發(fā)復(fù)雜；SIP協(xié)議在互聯(lián)網(wǎng)下的傳輸表現(xiàn)出很多不適應(yīng)性，如設(shè)備阻止，網(wǎng)絡(luò)穿透性不強等。第二十六頁，共33頁。流媒體分發(fā)技術(shù)（直播）內(nèi)存復(fù)制緩存流量控制IO平滑特點：對媒體數(shù)據(jù)內(nèi)存復(fù)制分發(fā)保證數(shù)據(jù)的實時性和資源在分發(fā)通道間的合理分配技術(shù)難點：內(nèi)存調(diào)度和合理分配防止單通道傳輸問題引起的連鎖反應(yīng)CPU（線程）隨業(yè)務(wù)輸入輸出路數(shù)變化調(diào)度方案大并發(fā)的網(wǎng)絡(luò)IO處理能力第二十七頁，共33頁。流媒體分發(fā)技術(shù)（點播）RTP/RTSPRTP/XMPPHLSRTMP單機IO無法支撐點播訪問CDN加速用戶播放進度，開始時間，片源隨機性大特點：媒體數(shù)據(jù)訪問隨機性大：開始時間、進度、片源播放終端形式多樣技術(shù)難點：降低磁盤IO和CDN加速命中率技術(shù)終端適配第二十八頁，共33頁。4G無線傳輸智能重傳ARQ向前糾錯FEC多隧道冗余動態(tài)編碼213442135562X1234123412