RTP承載Mpeg4介紹

1、1 rtp承載承載mpeg-2/mpeg-4介紹介紹 2006-6-23 2 iptv媒體流簡介媒體流簡介 兩種傳輸方式兩種傳輸方式 mpeg2的編碼格式及流程的編碼格式及流程 rtp承載承載mpeg4音視頻的格式介紹音視頻的格式介紹 rtp承載承載mpeg4視頻流視頻流 rtp承載承載mpeg4音頻流音頻流 rtp承載承載mpeg-2/mpeg-4介紹介紹 3 mpeg-4視覺是一種視覺編碼標(biāo)準(zhǔn)，它具有如下新特 征：高編碼效率；高錯誤恢復(fù)性；基于多樣的，任意形的 對象編碼；等等。其速率范圍介于數(shù)kbps到幾mbps。并 且它能適應(yīng)從無差錯網(wǎng)絡(luò)到高錯誤率的移動網(wǎng)絡(luò)等多種網(wǎng) 絡(luò)類型。 rtp承載

2、承載mpeg-2/mpeg-4介紹介紹 4 iptv傳輸技術(shù)框架傳輸技術(shù)框架 實現(xiàn)實現(xiàn)“邊下載邊下載 邊播放邊播放”的功能的功能 rtp承載承載mpeg-2/mpeg-4介紹介紹 5 iptv媒體流簡介媒體流簡介 兩種傳輸方式兩種傳輸方式 mpeg2的編碼格式及流程的編碼格式及流程 rtp承載承載mpeg4音視頻的格式介紹音視頻的格式介紹 rtp承載承載mpeg4視頻流視頻流 rtp承載承載mpeg4音頻流音頻流 rtp承載承載mpeg-2/mpeg-4介紹介紹 6 rtp承載承載mpeg-2/mpeg-4介紹介紹 1、isma方式方式 2、mpeg-2 ts over ip方式方式 iptv

3、流傳輸技術(shù)分析與比較：流傳輸技術(shù)分析與比較： 7 isma的流傳輸基本過程的流傳輸基本過程 isma通過服務(wù)器通過服務(wù)器/客戶端的結(jié)構(gòu)實現(xiàn)流數(shù)據(jù)的傳輸，在應(yīng)用層采用了客戶端的結(jié)構(gòu)實現(xiàn)流數(shù)據(jù)的傳輸，在應(yīng)用層采用了 rtsp控制協(xié)議，媒體數(shù)據(jù)采用控制協(xié)議，媒體數(shù)據(jù)采用rtp封裝后承載在封裝后承載在tcp或或udp上，并通過上，并通過 rtp/rtcp協(xié)議進行傳輸質(zhì)量的監(jiān)測。協(xié)議進行傳輸質(zhì)量的監(jiān)測。 rtp承載承載mpeg-2/mpeg-4介紹介紹 8 isma協(xié)議棧協(xié)議棧 isma協(xié)議棧中，媒體數(shù)據(jù)需要經(jīng)過流化處理協(xié)議棧中，媒體數(shù)據(jù)需要經(jīng)過流化處理 rtp承載承載mpeg-2/mpeg-4介紹介紹

4、 9 mpeg-2 ts over ip 方式的流傳輸基本過程方式的流傳輸基本過程 媒體數(shù)據(jù)經(jīng)過媒體數(shù)據(jù)經(jīng)過mpeg-2 ts封裝后，再通過封裝后，再通過tcp/ip 協(xié)議棧，封裝成協(xié)議棧，封裝成ip數(shù)據(jù)包數(shù)據(jù)包 rtp承載承載mpeg-2/mpeg-4介紹介紹 10 mpeg-2 ts over ip 方式的流傳輸協(xié)議棧方式的流傳輸協(xié)議棧 rtp承載承載mpeg-2/mpeg-4介紹介紹 11 iptv媒體流簡介媒體流簡介 兩種傳輸方式兩種傳輸方式 mpeg2的編碼格式及流程的編碼格式及流程 rtp承載承載mpeg4音視頻的格式介紹音視頻的格式介紹 rtp承載承載mpeg4視頻流視頻流 rt

5、p承載承載mpeg4音頻流音頻流 rtp承載承載mpeg-2/mpeg-4介紹介紹 12 mpeg-4編碼的五個層次：編碼的五個層次： 視頻段視頻段vs（video session） 視頻對象視頻對象vo（video object） 視頻對象層視頻對象層vol（video object layer） 視頻對象組層視頻對象組層gov（group of video object plane） 視頻對象平面視頻對象平面vop（video object plane） rtp承載承載mpeg-2/mpeg-4介紹介紹 13 rtp承載承載mpeg-2/mpeg-4介紹介紹 mpeg4壓縮媒體后形成的壓縮

6、媒體后形成的i、p 、b幀數(shù)據(jù)流幀數(shù)據(jù)流 14 rtp承載承載mpeg-2/mpeg-4介紹介紹 15 rtp承載承載mpeg-2/mpeg-4介紹介紹 16 rtp承載承載mpeg-2/mpeg-4介紹介紹 17 rtp承載承載mpeg-2/mpeg-4介紹介紹 18 iptv媒體流簡介媒體流簡介 兩種傳輸方式兩種傳輸方式 mpeg2的編碼格式及流程的編碼格式及流程 rtp承載承載mpeg4音視頻的格式介紹音視頻的格式介紹 rtp承載承載mpeg4視頻流視頻流 rtp承載承載mpeg4音頻流音頻流 rtp承載承載mpeg-2/mpeg-4介紹介紹 19 為了增強錯誤恢復(fù)能力，在為了增強錯誤恢

7、復(fù)能力，在mpeg-4視頻流內(nèi)部提供錯誤恢復(fù)工具，視頻流內(nèi)部提供錯誤恢復(fù)工具， 最好能為最好能為mpeg-4視頻流定義好視頻流定義好rtp包的分片規(guī)則。包的分片規(guī)則。 由于由于mpeg-4視覺將用于多種網(wǎng)絡(luò)類型，因此在分片方面不應(yīng)有太多視覺將用于多種網(wǎng)絡(luò)類型，因此在分片方面不應(yīng)有太多 的限制。諸如的限制。諸如“單個視頻包需映射到單個單個視頻包需映射到單個rtp包包”這樣的分片規(guī)則這樣的分片規(guī)則 是不合理的。是不合理的。 另一方面，對未知媒體分片也可能導(dǎo)致錯誤恢復(fù)率和帶寬利用率的另一方面，對未知媒體分片也可能導(dǎo)致錯誤恢復(fù)率和帶寬利用率的 下降。下降。 rtp承載承載mpeg-2/mpeg-4介紹

8、介紹 20 rtp承載承載mpeg-2/mpeg-4介紹介紹 rtp承載mpeg1/2的數(shù)據(jù)需要添加下面的承載首部： 承載視頻 承載音頻 21 iptv媒體流簡介媒體流簡介 兩種傳輸方式兩種傳輸方式 mpeg2的編碼格式及流程的編碼格式及流程 rtp承載承載mpeg4音視頻的格式介紹音視頻的格式介紹 rtp承載承載mpeg4視頻流視頻流 rtp承載承載mpeg4音頻流音頻流 rtp承載承載mpeg-2/mpeg-4介紹介紹 22 一個一個mpeg-4視覺碼流可直接映射到視覺碼流可直接映射到rtp包而不需要包而不需要 增加額外的頭字段或者刪除任何視覺語法元素增加額外的頭字段或者刪除任何視覺語法元

9、素 為了將基本流的配置信息在相同的為了將基本流的配置信息在相同的rtp端口上傳送，端口上傳送， 必須使用合并配置必須使用合并配置/基本流模式基本流模式 比如使用比如使用sip和和rtsp，則必須用可選參數(shù)，則必須用可選參數(shù)config來來 規(guī)定配置信息規(guī)定配置信息 rtp承載承載mpeg-2/mpeg-4介紹介紹 23 rtp承載承載mpeg-2/mpeg-4介紹介紹 24 標(biāo)志位（標(biāo)志位（marker-m） bit: 標(biāo)志位設(shè)為標(biāo)志位設(shè)為1標(biāo)志這是標(biāo)志這是vop的最后一個（或僅有一個）的最后一個（或僅有一個） rtp包。若一個包。若一個rtp包中攜帶有多個包中攜帶有多個vop則標(biāo)志位也設(shè)為則

10、標(biāo)志位也設(shè)為1 時間戳（時間戳（timestamp）: 時間戳表示時間戳表示rtp包中的包中的vop采樣時間。為了安全，加上采樣時間。為了安全，加上 了一個隨機常數(shù)偏移了一個隨機常數(shù)偏移 當(dāng)一個當(dāng)一個rtp包攜帶多個包攜帶多個vop時，時間戳表示其中最早的一個時，時間戳表示其中最早的一個vop的時間。其它的時間。其它vop的時間戳的時間戳 信息通過信息通過vop頭的時間戳字段可得（頭的時間戳字段可得（modulo_time_base和和vop_time_increment） 如果如果rtp包只含有配置信息或包只含有配置信息或group_of_videoobjectplane()字段，使用編碼隊

11、列中下一個字段，使用編碼隊列中下一個 vop的時間戳的時間戳 - 如果如果rtp包僅含有包僅含有visual_object_sequence_end_code信息，使用編碼隊列中信息，使用編碼隊列中 前一個前一個vop的時間戳的時間戳 除非由帶外方式規(guī)定，時間戳分辨率設(shè)為缺省值除非由帶外方式規(guī)定，時間戳分辨率設(shè)為缺省值90khz rtp承載承載mpeg-2/mpeg-4介紹介紹 25 配置信息和配置信息和group_of_videoobjectplane()字段應(yīng)位于字段應(yīng)位于rtp負載的開始位置負載的開始位置 或在語法上的上層函數(shù)頭之后或在語法上的上層函數(shù)頭之后 如果如果rtp負載中存在一個

12、或多個頭，則負載中存在一個或多個頭，則rtp負載應(yīng)從語法上的最高函數(shù)頭開負載應(yīng)從語法上的最高函數(shù)頭開 始始 一個頭不應(yīng)分到多個一個頭不應(yīng)分到多個rtp包中包中 不同的不同的vop應(yīng)該分片為不同的應(yīng)該分片為不同的rtp包，一個包，一個rtp包只包括與唯一包只包括與唯一vop的時間的時間 相關(guān)的數(shù)據(jù)（在相關(guān)的數(shù)據(jù)（在rtp包頭的時間戳字段中指出）。例外情況是如果包頭的時間戳字段中指出）。例外情況是如果vop很小，很小， 則單個則單個rtp包攜帶多個按解碼順序連續(xù)的包攜帶多個按解碼順序連續(xù)的vop 當(dāng)一個當(dāng)一個rtp負載攜帶了多個負載攜帶了多個vop時，第一個時，第一個vop后的后的vop時間戳在解

13、碼時通過計算得時間戳在解碼時通過計算得 到到 該操作僅當(dāng)該操作僅當(dāng)rtp包標(biāo)志位為包標(biāo)志位為1且且rtp負載開始符合起始碼時才是必須的負載開始符合起始碼時才是必須的 建議一個視頻包組成一個建議一個視頻包組成一個rtp包進行發(fā)送。視頻包的大小應(yīng)該按如下方式來包進行發(fā)送。視頻包的大小應(yīng)該按如下方式來 決定，即，結(jié)果決定，即，結(jié)果rtp包的大小不得超過路徑包的大小不得超過路徑mtu的大小的大小 rtp承載承載mpeg-2/mpeg-4介紹介紹 26 rtp承載承載mpeg-2/mpeg-4介紹介紹 27 iptv媒體流簡介媒體流簡介 兩種傳輸方式兩種傳輸方式 mpeg2的編碼格式及流程的編碼格式及流

14、程 rtp承載承載mpeg4音視頻的格式介紹音視頻的格式介紹 rtp承載承載mpeg4視頻流視頻流 rtp承載承載mpeg4音頻流音頻流 rtp承載承載mpeg-2/mpeg-4介紹介紹 28 latm有如下幾項復(fù)用特性：有如下幾項復(fù)用特性： 在音頻數(shù)據(jù)中攜帶配置信息在音頻數(shù)據(jù)中攜帶配置信息 將多個音頻幀連接到一個音頻流中將多個音頻幀連接到一個音頻流中 多對象（程序）復(fù)用多對象（程序）復(fù)用 可伸縮層的復(fù)用可伸縮層的復(fù)用 mpeg-4音頻是一種集成了多種類型音頻編碼工具的新型音頻標(biāo)準(zhǔn)。latm(低負 擔(dān)mpeg-4音頻傳輸復(fù)用)通過相當(dāng)小的耗費來管理音頻數(shù)據(jù)序列。對那些僅有音頻 的應(yīng)用，不使用m

15、peg-4系統(tǒng)而采用直接將基于latm的mpeg-4音頻碼流映射到 rtp包的方式是可行的。 在在rtp傳輸中不需要最后兩項性質(zhì)傳輸中不需要最后兩項性質(zhì) rtp承載承載mpeg-2/mpeg-4介紹介紹 29 對于mpeg-4音頻編碼工具而言，如果負載為單個 音頻幀，則包的丟失不會影響鄰近包的解碼。這同樣也 適用于其它音頻編碼器。因此mpeg-4音頻不需要附加 的用于錯誤恢復(fù)的媒體特定頭。 可采用已經(jīng)存在的一些rtp保護機制來提高錯誤恢 復(fù)率，如通用前向糾錯(rfc 2733)和冗余音頻數(shù)據(jù) (rfc 2198)。 rtp承載承載mpeg-2/mpeg-4介紹介紹 30 rtp承載承載mpeg-2/mpeg-4介紹介紹 31 標(biāo)志位標(biāo)志位(m): 標(biāo)志位指出了標(biāo)志位指出了audiomuxelement范圍。置為范圍。置為1說明說明 rtp包包含有完整的包包含有完整的audiomuxelement或或audiomuxelement分分 片的最后一片片的最后一片 時間戳?xí)r間戳: 時間戳表示時間戳表示rtp包中第一個音頻幀的采樣時