MPEG2TS碼流編輯的原理與應(yīng)用

1、 MPEG-2 TS 碼流編輯的原理與應(yīng)用在當(dāng)今數(shù)字媒體不斷發(fā)展、新媒體業(yè)務(wù)不斷涌現(xiàn) 的前提下，實(shí)踐證明襁褓中的新媒體只有兩種經(jīng)營(yíng)方略可供選擇：或是購(gòu)買(mǎi)并集成整套節(jié)目，或是低成本深加工新節(jié)目，再不可能去按照傳統(tǒng)生產(chǎn)模式去自采自編。 低成本的節(jié)目生產(chǎn)制作與發(fā)布，不僅成為數(shù)字媒體經(jīng)營(yíng)的主要手段，也成為傳統(tǒng)媒體“改革工作流程”的重要舉措，進(jìn)而促成了對(duì)新型工作母機(jī)和簡(jiǎn)捷快速流程的迫 切需求。     在遼寧新媒體多業(yè)務(wù)綜合服務(wù)平臺(tái)上，先于國(guó)際和國(guó)內(nèi)應(yīng)用了MPEG-2傳輸流快速剪輯編輯系統(tǒng)（以下簡(jiǎn)稱(chēng)碼流快編）。這項(xiàng)由遼 寧電視臺(tái)與深圳奧維迅公司在2003年10月聯(lián)

2、合開(kāi)發(fā)的新技術(shù)，為數(shù)字媒體低成本節(jié)目的制作、推廣和運(yùn)營(yíng)提供了高效生產(chǎn)工作母機(jī)。盡管擔(dān)負(fù)此項(xiàng)目源代碼開(kāi) 發(fā)的奧維迅公司出現(xiàn)了經(jīng)營(yíng)問(wèn)題，在技術(shù)推廣的中間環(huán)節(jié)發(fā)生梗塞，但并不能說(shuō)明此項(xiàng)技術(shù)走到了盡頭?；仡?年的應(yīng)用實(shí)踐及研發(fā)成果，需要的不是揚(yáng)棄，而是演 進(jìn)的升級(jí)，否則就是對(duì)可調(diào)控資源的莫大浪費(fèi)。特別是針對(duì)第二代信源編解碼國(guó)標(biāo)AVS-P2的更新?lián)Q代，很可能成為多業(yè)務(wù)內(nèi)容整合的新一代產(chǎn)品的突破口。     一 工作原理     1. 功能目標(biāo)     碼流快編的應(yīng)用目標(biāo)是，通過(guò)對(duì)開(kāi)放視

3、頻的采集，將DVB-S或C的傳輸流（Transport Stream，TS）節(jié)目作為信源，直接進(jìn)行剪輯處理，再經(jīng)過(guò)人工創(chuàng)意后，整合為新主題內(nèi)容的新節(jié)目，以便直接進(jìn)入頻道集成或編輯頻道節(jié)目播出，快速實(shí)現(xiàn) 數(shù)據(jù)層的內(nèi)容整合，不僅簡(jiǎn)捷了采集制作的工作流程，而且為豐富媒體內(nèi)容資產(chǎn)開(kāi)辟了一條捷徑。因?yàn)榇a流快編的工作流程無(wú)需先以解碼后的視頻記錄于磁帶，再以 磁帶上載編輯機(jī)，經(jīng)編輯后再下載成為磁帶，再編碼復(fù)用成為新內(nèi)容的新節(jié)目。即便數(shù)字化完成以后，視頻數(shù)據(jù)流仍不能用于經(jīng)復(fù)用的數(shù)字傳輸，還需編碼、轉(zhuǎn)碼、 打包等傳輸格式化以后，才能在數(shù)字信道上傳輸。而采用碼流快編以后，不僅避免了解碼后再采樣編碼所形成的視頻損耗

4、，還避免了在11時(shí)間的上下載中所造成 的效率損耗。更重要的是在視頻內(nèi)容整合中，一次性完成音/視頻同步剪切、字幕處理和音/視頻數(shù)據(jù)打包復(fù)用等連續(xù)作業(yè)。所以，它能夠提高生產(chǎn)效率60%以 上。必要時(shí)還可進(jìn)行節(jié)目包裝的特技編輯，直接創(chuàng)建數(shù)據(jù)級(jí)和文件級(jí)的互聯(lián)互通內(nèi)容交換平臺(tái)，在媒體資產(chǎn)管理下，順利實(shí)現(xiàn)網(wǎng)絡(luò)化與智能化的節(jié)目配送與發(fā)布。     由于碼流快編是針對(duì)以TS為信源的再編輯系統(tǒng)，所以實(shí)行“高來(lái)高走，低來(lái)低走”，或是“高來(lái)低走”的應(yīng)用策略，即高碼率對(duì)應(yīng)高 碼率（包括兼容高清），低碼率對(duì)應(yīng)低碼率，但碼率連續(xù)可調(diào)，以適應(yīng)高碼率對(duì)應(yīng)低碼率的應(yīng)用。理論和應(yīng)用都說(shuō)明，對(duì)

5、比源節(jié)目和成品節(jié)目，經(jīng)剪切和編輯處理的 圖像保持了同等的視頻質(zhì)量，成為不劣化圖像的創(chuàng)新工作流程和新型工作母機(jī)。     2. 設(shè)計(jì)特征     碼流快編的低成本與高效率來(lái)自它的主要特征。常規(guī)的非線(xiàn)性編輯機(jī)是在編碼一側(cè)做文章，通過(guò)采集編碼卡實(shí)現(xiàn)視頻圖像多層多軌的非線(xiàn) 性編輯；而碼流快編則是在解碼一側(cè)下功夫，通過(guò)對(duì)TS拆包還原為基本碼流（Elementary Stream，ES），而后經(jīng)編輯再封包成為T(mén)S，快速實(shí)現(xiàn)視頻內(nèi)容整合的業(yè)務(wù)應(yīng)用。因而，碼流快編除了運(yùn)用非線(xiàn)性圖像處理技術(shù)外，最大的特點(diǎn)是運(yùn)用了 MPEG-2和DV

6、B的系統(tǒng)原理，在此基礎(chǔ)上進(jìn)行圖像處理的應(yīng)用開(kāi)發(fā)。     通過(guò)圖1的系統(tǒng)概念，可以看出碼流快編運(yùn)用了一個(gè)逆向思維的方法，利用DVB系統(tǒng)傳輸?shù)陌l(fā)/收互逆關(guān)系，將收端的單節(jié)目傳輸流 （SPTS）作為信源，通過(guò)ES實(shí)現(xiàn)以視頻非線(xiàn)性處理的目標(biāo)功能。這時(shí)的解決方案有兩個(gè)：一是在TS基礎(chǔ)上直接進(jìn)行圖像處理的基礎(chǔ)開(kāi)發(fā)，實(shí)現(xiàn)與常規(guī)非編一 樣的操作界面和編輯習(xí)慣，這樣雖好，但是沒(méi)有參照模型以及可利用的技術(shù)資源，必須從零開(kāi)始的重寫(xiě)源代碼；二是將TS轉(zhuǎn)碼為ES，以ES幀結(jié)構(gòu)和句法格式還 原成為符合ITU-R.601建議的原始視頻幀，就可以很方便地利用或附加現(xiàn)有的常規(guī)非編技術(shù)，

7、以無(wú)卡站形式實(shí)現(xiàn)編輯。碼流快編同時(shí)采用了兩種方案，一方 面獨(dú)立開(kāi)發(fā)新產(chǎn)品系列，以適應(yīng)于快速發(fā)展的數(shù)字電視業(yè)務(wù)需求，另一方面提高系統(tǒng)的兼容性，向后兼容傳統(tǒng)非編，有利于在媒體資產(chǎn)管理下實(shí)現(xiàn)互聯(lián)互通和投資保 護(hù)。圖2說(shuō)明了方案二的ES還原并顯示原始視頻的GOP幀結(jié)構(gòu)。     通過(guò)圖2可以認(rèn)為，既然能夠形成IBBP的句法幀，再轉(zhuǎn)換成為全I(xiàn)幀格式并不難。這樣一來(lái)，就可以利用原有的非線(xiàn)性編輯技術(shù)， 連續(xù)處理長(zhǎng)與短GOP、全I(xiàn)幀與IBP幀結(jié)構(gòu)、可變與固定碼流的節(jié)目素材，實(shí)現(xiàn)不同節(jié)目格式的快編與混編。由此可見(jiàn)，碼流快編的開(kāi)發(fā)技術(shù)難點(diǎn)，是結(jié)合 DVB系統(tǒng)與MPEG-2標(biāo)

8、準(zhǔn)，從譯碼過(guò)程中讀出元數(shù)據(jù)，實(shí)現(xiàn)基于解碼器的圖像處理技術(shù)，并能兼容以編碼卡為基礎(chǔ)的非線(xiàn)性編輯技術(shù)。因而被業(yè)內(nèi)稱(chēng)為“第一 個(gè)吃螃蟹者”。         3. 數(shù)據(jù)變換     既然要把TS作為節(jié)目源進(jìn)行編輯，就需要將TS包中的數(shù)據(jù)變換為非線(xiàn)性編輯所能使用的元數(shù)據(jù)和視頻流。它們是以碼流快編作為工作母機(jī)進(jìn)行生產(chǎn)的真正原料。     數(shù)據(jù)變換的第一個(gè)過(guò)程是拆DVB復(fù)用包。如圖3所示，DVB的解碼流程中分層譯出了許多數(shù)據(jù)信息，如同步字節(jié)（Syn

9、c Byte）、節(jié)目特定信息（Program Specific Information，PSI）中PAT、PMT、NIT等列表、包識(shí)別（Packet Identification，PID）、節(jié)目時(shí)鐘基準(zhǔn)（Program Clock Reference，PCR）及PTS/DTS（后詳解）和業(yè)務(wù)信息（Service Information，SI）等部分。這些信息不僅與DVB PSI/SI直接相關(guān)，與MPEG-2的句法結(jié)構(gòu)也直接相關(guān)，它規(guī)范地傳遞了再生碼流中音/視頻所需的MPEG-2列表數(shù)據(jù)，通過(guò)這些信息的引導(dǎo)，準(zhǔn)確進(jìn) 入MPEG-2系統(tǒng)層的進(jìn)一步譯碼。    

10、0;第二個(gè)過(guò)程是拆MPEG-2系統(tǒng)復(fù)用包。MPEG-2系統(tǒng)定義了一個(gè)的碼流層次化結(jié)構(gòu)句法規(guī)則，以便于誤碼處理、隨機(jī)搜索以及 內(nèi)容編輯。它自上而下依次分為圖像序列層（Video Sequence Layer，VSL）、圖像組層（Group of Pictures Layer，GOPL）、圖像層（Picture Layer，PL）、像素條層（Slice Layer，SL）、宏塊層（Macro block Layer，ML）、像塊層（Block Layer，BL）等6個(gè)層次，分別賦予每個(gè)層次不同的功能。圖4說(shuō)明了MPEG-2 體系的句法結(jié)構(gòu)，通過(guò)這種分層排列的結(jié)構(gòu)特征，MPEG-2提高了系統(tǒng)的靈活性

11、和管理效率，使得每一層都可以用來(lái)支持一個(gè)特定的功能。碼流快編大部分應(yīng)用 于VSL、GOPL、PL層，特別是在GOPL，需要在還原時(shí)規(guī)范翻譯PID、PCR、PTS/DTS等信息，將同步信息、閉合標(biāo)記、斷鏈標(biāo)記等數(shù)據(jù)準(zhǔn)確 插入GOP圖像組，以形成每組GOP數(shù)據(jù)流的起點(diǎn)，才能保證圖像幀的精確和連續(xù)幀的同步接續(xù)。     第三個(gè)過(guò)程是將拆包后所得數(shù)據(jù)信息，以規(guī)范的裝填還原MPEG-2 ES以及元數(shù)據(jù)，因而裝填數(shù)據(jù)是碼流快編的重要技術(shù)環(huán)節(jié)。     （1）裝填復(fù)用的基本碼流包     

12、依據(jù)MPEG-2 TS規(guī)范結(jié)構(gòu)（如圖5所示），復(fù)用的基本碼流包（Packetized Elementary Stream，PES）是由包頭、自適應(yīng)區(qū)的ES特有信息和包數(shù)據(jù)3部分所組成。由于包頭和ES特有信息二者可合成1個(gè)數(shù)據(jù)頭，因而可認(rèn)為1個(gè)PES包是 由包頭和包數(shù)據(jù)（有效載荷）2個(gè)部分所組成。對(duì)有線(xiàn)、衛(wèi)星、地面廣播網(wǎng)接收的TS，經(jīng)過(guò)解調(diào)和解擾處理后選取包長(zhǎng)為188B的SPTS，并從包頭中提取相 關(guān)信息，以PID區(qū)別不同SPTS包，以連續(xù)計(jì)數(shù)器的順序計(jì)對(duì)標(biāo)注PID的TS包重建一個(gè)獨(dú)立分組的PES。根據(jù)自適應(yīng)區(qū)中的填充數(shù)據(jù)，裝填到不為T(mén)S包 整數(shù)倍的PES包中，以保證PES變長(zhǎng)包的完整性。同時(shí)，

13、依據(jù)包頭及自適應(yīng)區(qū)內(nèi)的同步字節(jié)、原始程序參考時(shí)鐘（Original Program Clock Reference，OPCR）、PCR等同步和識(shí)別信息，提供27MHz的解碼同步時(shí)鐘，裝填共同時(shí)間基準(zhǔn)、獨(dú)立時(shí)間基準(zhǔn)、可變包長(zhǎng)和有效載荷等數(shù)據(jù)。     裝填成為PES對(duì)碼流快編具有格外重要的意義，因?yàn)镻ES包內(nèi)含音/視頻的ES以及包括PID的12個(gè)包頭識(shí)別標(biāo)志，當(dāng)對(duì) PES包的起點(diǎn)不能精確定位、對(duì)PES包頭標(biāo)志符不能準(zhǔn)確識(shí)別時(shí)，就不能保證拆包后再打包的圖像無(wú)縫接續(xù)和聲畫(huà)同步。這是在初期研發(fā)過(guò)程中遇到并獲得突破 的技術(shù)難點(diǎn)。    

14、; （2）裝填基本碼流     根據(jù)MPEG-2規(guī)范的PES包結(jié)構(gòu)（如圖6），還需進(jìn)一步裝填為連續(xù)ES流。ES是指只包含1個(gè)信源的數(shù)據(jù)流，即視頻數(shù)據(jù)流或 音頻數(shù)據(jù)流。每個(gè)ES由若干個(gè)緩存器的特定存取單元（Access Unit，AU）所組成，而每個(gè)視頻AU或音頻AU都是由頭部和編碼數(shù)據(jù)的2部分。1個(gè)AU相當(dāng)于編碼的1幀視頻圖像或1個(gè)音頻幀的取樣。PES的包頭為 恢復(fù)ES提供了向?qū)А?    對(duì)于PES包頭，具有ES特有信息的顯示時(shí)間標(biāo)記（Presentation Time Stamp，PTS）、解碼時(shí)間標(biāo)

15、記（Decode Time Stamp，DTS）標(biāo)志、基本流時(shí)鐘基準(zhǔn)（Elementary Stream Clock Reference，ESCR）信息標(biāo)志、基本流速率信息標(biāo)志、數(shù)字存儲(chǔ)媒體（Digital Storage Media，DSM）的特技信息標(biāo)志等等，其中，唯有PTS/DTS標(biāo)志，是解決視音頻同步顯示，防止輸入緩存器上溢或下溢的關(guān)鍵所在。     在裝填過(guò)程中，數(shù)據(jù)定位指示符引導(dǎo)PES還原所包含的視頻、音頻及所屬其它數(shù)據(jù)流（如同步、數(shù)據(jù)和數(shù)據(jù)通道等），包頭識(shí)別標(biāo)志 的PTS/DTS指示了可變長(zhǎng)度包數(shù)據(jù)的幀同步時(shí)間，當(dāng)區(qū)分音/視頻和其它數(shù)據(jù)以后

16、，依據(jù)PTS/DTS對(duì)視頻幀分配給特定的AU。其中尤以獨(dú)立時(shí)間基準(zhǔn) 是還原ES的同步基礎(chǔ)。對(duì)于PES包數(shù)據(jù)，一方面通過(guò)擴(kuò)展標(biāo)志的數(shù)據(jù)包計(jì)數(shù)器，引導(dǎo)恢復(fù)數(shù)據(jù)流，另一方面利用循環(huán)冗余校驗(yàn)（Cyclic Redundancy Check，CRC）輔助檢測(cè)并糾正可能存在的數(shù)據(jù)包丟失。         4. 精確幀定位     幀定位是精確編輯的基礎(chǔ)，而精確的幀定位來(lái)自于精確的幀同步。在ES上實(shí)現(xiàn)逐幀精確的編輯，首要問(wèn)題是實(shí)現(xiàn)精確幀的同步。    

17、0;如前所述，裝填后的ES變成僅含有1種性質(zhì)的PES包，或視頻ES，或音頻ES。以視頻為例，圖7表明了在PTS/DTS標(biāo)示的 獨(dú)立同步時(shí)間基準(zhǔn)指示下，順序裝填再順序讀出，形成連續(xù)ES的I1P4B2B3P7B5B6（N=7）GOP組幀順序。由于PES的數(shù)據(jù)分組是可變長(zhǎng)度的 數(shù)據(jù)包，但它的最大包數(shù)據(jù)容量為65526Byte。因此，在碼流快編中必須為每個(gè)AU準(zhǔn)備必不可少的緩存空間。     如圖7所示，PTS表明圖像幀出現(xiàn)在目標(biāo)解碼器（System Target Decoder，STD）的時(shí)間，DTS表明將存取單元全部字節(jié)從STD的ES解碼緩存器移出的時(shí)刻。當(dāng)

18、以PTS/DTS為獨(dú)立時(shí)間基準(zhǔn)，定位和標(biāo)志 PES的AU起始點(diǎn)后，對(duì)UA依次組成圖像幀序?yàn)镮1P4B2B3P7B5B6 I10B8B9的ES。對(duì)于I、P幀而言，PES的圖像幀序?yàn)镮1P4B2B3P7B5B6I10B8B9，應(yīng)該P(yáng)4比B2、B3在先，但顯示時(shí)P4一定 要比B2、B3在后，這就必須重新排序。在PTS/DTS時(shí)間標(biāo)志指引下，將P4提前插入數(shù)據(jù)流，經(jīng)過(guò)緩存器重新排序，重建視頻幀序 I1B2B3P4B5B6P7B8B9I10。顯然，PTS/DTS是表明確定事件或確定信息，并以專(zhuān)用時(shí)標(biāo)形態(tài)確定事件或信息的開(kāi)始時(shí)刻。     值得注意的是，雖然在PES

19、中應(yīng)該每個(gè)I、P、B幀的包頭都具有一個(gè)PTS和DTS，但由于B幀的解碼時(shí)間和顯示時(shí)間存在一致 性，因而對(duì)B幀而言，PTS與DTS具有相同作用，無(wú)須DTS，只須PTS。音頻數(shù)據(jù)包也很有特點(diǎn)，雖然它可以含有多個(gè)存取單元，但由于它必須按照時(shí)間順 序傳送，所以音頻包頭中也不含DTS，只有1個(gè)PTS。     由此可見(jiàn)，PTS/DTS不僅直接關(guān)聯(lián)幀定位，而且直接關(guān)系到碼流快編的幀精確編輯。為此，碼流快編的幀定位著重處理以下幾個(gè)幀序特征：     * 當(dāng)處理某個(gè)含有1個(gè)I幀的存取單元時(shí)，在其包頭文件中應(yīng)有DTS和PTS，且2個(gè)

20、標(biāo)記之間的時(shí)間間隔為1個(gè)圖像周期，那么在雙向編碼時(shí)的P幀應(yīng)在I幀之 后，在包頭文件中就應(yīng)有1個(gè)DTS和1個(gè)PTS，而這2個(gè)標(biāo)記之間應(yīng)存在3個(gè)圖像周期的間隔，這樣才能插入2個(gè)B幀。     * 當(dāng)前處理IPBB時(shí)，I幀應(yīng)延遲1個(gè)圖像周期，P幀應(yīng)延遲3個(gè)圖像周期，而2個(gè)B幀則無(wú)需延遲，于是，最后的顯示順序就成為了IBBP幀序。     * 若需要改變GOP結(jié)構(gòu)時(shí)，例如在I與P幀之間需要存在更多的B幀，則需調(diào)整B幀DTS與PTS之間的時(shí)間間隔。     * 當(dāng)處理IPBB序列后，必

21、在第1個(gè)B幀之前先對(duì)I和P幀進(jìn)行解碼，但每次只能對(duì)一幀圖像進(jìn)行解碼，因此需要先解I幀并暫存后，待P幀被解碼時(shí)，隨即讀出I幀，而后再讀B幀。     * 在處理包頭時(shí)，對(duì)PTS/DTS指示的某圖像幀，特殊關(guān)注是否只有1個(gè)PTS時(shí)間標(biāo)記，是否含有PTS和DTS的2個(gè)時(shí)間標(biāo)記，以便快速確認(rèn)I、P與B幀，以及音頻包。     當(dāng)作為編輯節(jié)目源的MPEG-2 TS被拆包以后，以PTS/DTS實(shí)現(xiàn)視頻幀的精確定位，就能以幀精確的剪切編輯實(shí)現(xiàn)碼流快編功能，同時(shí)，也能以 I1P4B2B3P7B5B6I10B8B9幀序顯示I1B2B

22、3P4B5B6P7B8B9I10幀序。那么，在此基礎(chǔ)上嫁接現(xiàn)成的MPEG-2 IBP非線(xiàn)性編輯的成熟技術(shù)，既不需要高價(jià)的采集編碼卡，也不需要上下載的轉(zhuǎn)碼，從采集、轉(zhuǎn)碼、拆包剪切，到特技處理、打包上傳，一氣呵成地構(gòu)成了碼流快 編系統(tǒng)。         二 實(shí)際應(yīng)用     考慮到碼流快編的兼容性和通用性，以及互聯(lián)互通網(wǎng)絡(luò)平臺(tái)內(nèi)容交換的需要，系統(tǒng)是在Windows平臺(tái)上開(kāi)發(fā)應(yīng)用，系統(tǒng)流程詳見(jiàn)圖8。     事實(shí)上就應(yīng)用層而言，看不出碼流快編

23、與常規(guī)非編究竟有什么區(qū)別。只是對(duì)照?qǐng)D8，才能看出常規(guī)應(yīng)用時(shí)是以傳統(tǒng)磁帶記錄的內(nèi)容為節(jié)目 源，這就需要圍繞采集編碼卡，設(shè)立上下載工作站，通過(guò)將模擬節(jié)目采集編碼為數(shù)據(jù)流以后，再進(jìn)行剪切等編輯。因而，目前還需對(duì)廣泛應(yīng)用的模擬視頻提供接口選 項(xiàng)，附加上下載工作站。它的應(yīng)用界面及其采集參數(shù)選項(xiàng)參見(jiàn)圖9。圖9、10表示數(shù)據(jù)輸入的采集操作界面，顯示目標(biāo)文件格式初始化選項(xiàng)與合成屬性，以維系連 續(xù)應(yīng)用的工作流程。     經(jīng)采集所合成的碼流格式文件，可以同時(shí)轉(zhuǎn)換成為可供交換的各種流格式和連續(xù)可調(diào)的速率，以適應(yīng)各種內(nèi)容編輯的整合策略需求，并可利用網(wǎng)絡(luò)，對(duì)連續(xù)生產(chǎn)的其它工作站

24、輸送和交換素材，直至包括特技的特殊內(nèi)容加工。這些交換文件的合成屬性以及應(yīng)用格式選項(xiàng)參見(jiàn)圖10。     雖然在碼流快編上進(jìn)行快速編輯并合成文件時(shí)，與常規(guī)操作不無(wú)不同，但是通過(guò)對(duì)TS文件的快速正、反向搜索，以每一幀的入點(diǎn)、出點(diǎn) 的精確定位，進(jìn)行非線(xiàn)性編輯的剪切操作，制作成為新內(nèi)容體裁的新文件，卻被廣電總局主管節(jié)目的領(lǐng)導(dǎo)所認(rèn)可，被稱(chēng)之為“海量空中節(jié)目的過(guò)濾器”。同時(shí)，它還 可以根據(jù)內(nèi)容的需要，通過(guò)內(nèi)置的迭加臺(tái)標(biāo)、欄目、字幕等字幕軟件，直接參與編輯節(jié)目?jī)?nèi)容信息編輯或局部遮蓋，并可聯(lián)立采集工作站，形成生產(chǎn)流水線(xiàn)，進(jìn)行不 同任務(wù)種類(lèi)的專(zhuān)項(xiàng)加工。如圖11所示，在時(shí)間軌上的不同視頻、音頻、字幕等，均可按幀精確的快速