基于嵌入式DSP的流媒體編解碼器

1、基于嵌入式DSP的流媒體編解碼器可編程的DSP可用于實(shí)現(xiàn)各種現(xiàn)有的編解碼器和將來的編解碼標(biāo)準(zhǔn)。目前的趨勢是每兩年就會發(fā)布新的編解碼標(biāo)準(zhǔn)，每個(gè)新標(biāo)準(zhǔn)會需要更多的DSP周期。因此，選擇具有兼容性發(fā)展藍(lán)圖的DSP平臺(如ZSP)非常重要，這樣通過系統(tǒng)升級而不是重新設(shè)計(jì)即可滿足未來的系統(tǒng)要求。 多媒體將選定的所有元素(包括文字、音頻、靜態(tài)圖像、視頻和圖形)集成到單一媒體對象中。流技術(shù)(Streaming technology)可在媒體對象被讀取、收聽或者觀看的同時(shí)實(shí)時(shí)傳輸這些對象。在RealAudio公司1995年提供首個(gè)商用流媒體產(chǎn)品之前，絕大部分的互聯(lián)網(wǎng)媒體文件需要完整下載后才能播放。而現(xiàn)在，不必

2、等到流音頻剪片(clip)下載完成才能播放，而是在傳輸?shù)倪^程中就可以回放。 圖1：aacPlus系列編解碼器。流媒體數(shù)據(jù)由服務(wù)器端發(fā)送，并由客戶端接收和實(shí)時(shí)顯示。當(dāng)接收緩沖器包含足以避免數(shù)據(jù)遺失的足夠多信息時(shí)，客戶端就可以開始播放音頻/視頻，以避免信息遺失。專用的多媒體服務(wù)器通常用于實(shí)施基于網(wǎng)絡(luò)的流傳輸。多媒體服務(wù)器可以連續(xù)地傳輸數(shù)據(jù)，而不會出現(xiàn)爆發(fā)式傳輸和長時(shí)間的停滯，所以在回放開始之前，客戶端只需要很少的緩沖數(shù)據(jù)。 業(yè)已出現(xiàn)在嵌入式DSP上的音頻/視頻壓縮算法是提供流傳輸所需實(shí)時(shí)性能的關(guān)鍵。由于它們具有對數(shù)字?jǐn)?shù)據(jù)進(jìn)行編碼和解碼的能力，此類算法被稱為編解碼器。 雖然流傳輸通常與分布式計(jì)算機(jī)網(wǎng)

3、絡(luò)的關(guān)系最為密切，但是其它形式的數(shù)字通訊同樣需要流傳輸。數(shù)字音頻廣播(如DRM、XMSR、Sirius Satellite Radio)、數(shù)字廣播電視(如Direct TV、韓國的T-DMB)、3GPP手機(jī)和藍(lán)牙手機(jī)等均需要使用編解碼器，以滿足流傳輸要求。此外，編解碼器在存儲壓縮等非流傳輸應(yīng)用中也是非常有用的。 標(biāo)準(zhǔn)化的編解碼器提供最高度的互通性。流傳輸音頻標(biāo)準(zhǔn)有：MPEG1/2、Layer 3(MP3)、數(shù)字杜比AC-3、MPEG2 AAC、WMA和Ogg Vorbis。通用的視頻壓縮標(biāo)準(zhǔn)包括MPEG2、MPEG4 SP/ASP、MPEG4 AVC/H.264和WMV。 標(biāo)準(zhǔn)音頻編解碼器 M

4、P3：MP3原本用于表述MPEG1 Layer 3，但是日常應(yīng)用中已經(jīng)發(fā)展至包含Layer 1, Layer 2以及Fraunhofer Institute所擴(kuò)展的MPEG 2.5。MP3是得到最高認(rèn)知度的編解碼器之一，在互聯(lián)網(wǎng)編解碼器中具有最大的用戶群。但是為達(dá)到近CD品質(zhì)音頻，對某些難應(yīng)付的內(nèi)容需要高于192kbps速率。 MPEG1、Part 3 (ISO/IEC 11172-3)：定義了雙聲道，采樣率為32、44.1或者48KHz，編碼率從32 到 384kbps的編解碼方法。此標(biāo)準(zhǔn)描述了三個(gè)相關(guān)方法：Layers I、II、和 III。Layer III提供最高的壓縮率，但是復(fù)雜度也

5、最高。 圖2：標(biāo)準(zhǔn)視頻編解碼器的發(fā)展時(shí)間表。MPEG2、Part 3 (ISO/IEC 13818-3)：對MPEG1標(biāo)準(zhǔn)提供了兩個(gè)重要的改進(jìn)。首先，低比特率需求通過使“低采樣率(LSF)”擴(kuò)展標(biāo)準(zhǔn)化而得到滿足。該編解碼器提供了16、22.05、和24kHz采樣率編碼方法；其次，MPEG1模式被擴(kuò)展為支持上至12聲道的音頻數(shù)據(jù)。Fraunhofer的低頻率擴(kuò)展，即MPEG2.5，提供了MPEG2一半的采樣頻率選擇：8、11.025和12kHz。 數(shù)字杜比(AC-3)：目前，數(shù)字杜比具有最大的多聲道編解碼用戶群。通過將多聲道整合至單一編碼對象中，數(shù)字杜比實(shí)現(xiàn)了高品質(zhì)、低復(fù)雜度音頻壓縮。盡管該算法

6、與編碼聲道的數(shù)量無關(guān)，目前的實(shí)現(xiàn)方案已經(jīng)接受了SMPTE的建議，即采用了由5個(gè)全帶寬音頻聲道和1個(gè)用于低音的分帶寬聲道組成5.1聲道：分別為左、中、右、左環(huán)繞、右環(huán)繞和低頻擴(kuò)展(LFE)。 數(shù)字杜比支持靈活的播放方式：1聲道到5.1聲道，32、44.1或者48KHz采樣率，比特率從32 到640kbps。解碼后的音頻可自動匹配播放系統(tǒng)以提供與音響配置無關(guān)的最佳品質(zhì)的音效。 aacPlus系列編解碼器：Coding Technologies公司已經(jīng)開發(fā)了一系列得到國際標(biāo)準(zhǔn)組織廣泛采用的編解碼器。MPEG2采用了AAC，以128kbps提供接近CD的品質(zhì)，即使對于特別復(fù)雜的內(nèi)容也如此。aacPlu

7、s v1被DVD論壇、DVB、Digital Radio Mondiale、3GPP2和ISMA等組織定為標(biāo)準(zhǔn)。aacPlus v2在2004年末開始商用，已被指定為3GPP中的高品質(zhì)音頻編解碼器，aacPlus v 2的所有組件都是MPEG-4音頻規(guī)范的組成部分。 AAC：aacPlus系列編解碼器均是圍繞MPEG2、Part 7(ISO/IEC 13818-7)所描述的AAC核心而建立。AAC提供8、11、12、16、22、24、32、44、 48、63、88或者96kHz的采樣率，以及高達(dá)48聲道的音頻，每個(gè)聲道比特率可高達(dá)288kbps。其定義了三個(gè)緊密相關(guān)的方案：低復(fù)雜度(Low C

8、omplexity)、Main和可伸縮采樣率(SSR)。低復(fù)雜度的AAC-LC需要非常少的處理器資源，因此通常用于嵌入式應(yīng)用中。 MPEG4、Part 3(ISO/IEC 14496-3)：為MPEG2 AAC增加了知覺噪音替代(PNS)工具，因此定義為MPEG4 AAC。PNS通過對類噪聲信號的參數(shù)化編碼，從而簡化這些信號的表達(dá)方法。不能將PNS與MPEG2、MPEG4中的時(shí)域噪聲整形(TNS)相混淆。 aacPlus V1：該編解碼器有時(shí)被稱為“高效AAC”(HE-AAC)。它整合了基本的AAC編解碼器和頻帶復(fù)制(SBR)技術(shù)。SBR是一種頻帶擴(kuò)展技術(shù)，可使幾乎任何音頻編解碼器在比特率下降

9、30時(shí)仍能保證音質(zhì)。SBR通過使用頻帶低半部分信息加上一些編碼參數(shù)來表達(dá)頻帶的高半部分信息。SBR技術(shù)也可用于其他編解碼器，例如結(jié)合帶MP3的SBR構(gòu)成了MP3Pro編解碼器。 圖3：各種視頻呈現(xiàn)格式的典型帶寬。aacPlus V2：在aacPlus V1中增加參數(shù)化立體聲(PS)技術(shù)，形成了aacPlus V2編解碼器。PS技術(shù)使用左聲道和一些額外的編碼參數(shù)，生成右聲道，進(jìn)一步降低了比特率。aacPlus V2在160 Kbps下可達(dá)到DVD5.1聲道品質(zhì)，在48Kbps可達(dá)到近CD立體聲品質(zhì)，在32 Kbps下可達(dá)到極佳立體聲效果，在24Kbps下可達(dá)到娛樂品質(zhì)立體聲效果，在低于16Kbp

10、s時(shí)可達(dá)到高品質(zhì)單聲道效果。aacPlus V2的效率使移動數(shù)字廣播新應(yīng)用成為可能。 WMA：WMA是微軟授權(quán)的Windows Media Series中一系列廣泛使用的音頻編解碼器。此系列中最新版本是WMA9、WMA9 Professional、WMA9 Lossless、WMA9 Voice 和WMA9 Variable Bit Rate(VBR)。在嵌入式應(yīng)用中，WMA9是此系列中最常見的編解碼器；提供16位/320kbps雙通道，采樣率高達(dá)48KHz?！癙rofessional”支持24位、96KHz采樣率和高達(dá)128到768kbps的7.1聲道。與數(shù)字杜比相同，解碼后的音頻可自動匹配

11、播放系統(tǒng)，以提供和音響配置無關(guān)最佳品質(zhì)的音效。“Lossless”用于CD存檔，壓縮率在2:1和3:1之間?！癡oice”用于壓縮語音至20kbps。盡管VBR對于大部分的流應(yīng)用并不理想，但WMA9和“Professional”都能以可變比特率編碼?！癓ossless”則總是使用VBR功能。 Ogg Vorbis：為無需專利費(fèi)用的開放資源，具有近似于MP3的音質(zhì)?！皁gg”是容器格式，而“Vorbis”為音頻編解碼器。由于它免除了與MP3游戲音樂相關(guān)的按每游戲收取的許可費(fèi)用，因此Ogg Vorbis在電腦游戲廠商中使用率日益上升。 標(biāo)準(zhǔn)視頻編解碼器 聯(lián)合視頻組(JVT)由ITU的視頻編碼專家組

12、(VCEG)和ISO/IEC運(yùn)動圖像專家組(MPEG)組成。VCEG開發(fā)自愿性標(biāo)準(zhǔn)，用于會話和非會話類音/視頻應(yīng)用的先進(jìn)移動圖像編碼。MPEG開發(fā)國際標(biāo)準(zhǔn)，用于移動圖像、音頻及兩者組合內(nèi)容的壓縮、編碼、解壓縮、處理和編碼表達(dá)等，以滿足各種應(yīng)用?？傊?，JVT已經(jīng)開發(fā)了包括ITU H.262/MPEG2和H.264/MPEG4 AVC在內(nèi)的最流行的視頻標(biāo)準(zhǔn)。 PEG2 Video/H.262：MPEG2(ISO/IEC 13818-2)，也被稱為ITU-T H.262，是目前消費(fèi)類電子視頻設(shè)備中使用最廣泛的視頻編碼標(biāo)準(zhǔn)。MPE2視頻用于數(shù)字電視廣播：包括陸地，海底電纜和直接衛(wèi)星廣播。它能在25fp

13、s(PAL)或者30fps(NTSC)的固定幀率下達(dá)到720x576像素成像。此外，它也是DVD-V中必需的編解碼器。 MPEG4-SP/ASP：ISO/IEC 14496-2描述了MPEG4 Simple Profile(SP)/Advanced Simple Profile(ASP)。其中，SP用于下一代便攜式終端和窄帶互聯(lián)網(wǎng)。而ASP增加若干工具，編碼效率提高了1.5到2倍。他們兩個(gè)均在市場上獲得越來越多的接受。 MPEG4-AVC/ITU-T H.264：AVC是由ISO/MPEG和ITU-T聯(lián)合技術(shù)委員會開發(fā)的多媒體標(biāo)準(zhǔn)。AVC提供更高的壓縮率、更好的視頻質(zhì)量和比MPEG2更高的容錯

14、性，有望用于互聯(lián)網(wǎng)廣播和移動通訊。 WVM/SMPTE VC-1：WMV9是微軟的多媒體標(biāo)準(zhǔn)，其特性包括支持流處理、變比特率以及與MPEG4-AVC/H.264相媲美的容錯工具。除了用于家庭電腦，WMV9目前也在電影院用于數(shù)字投影。電影中使用的編碼可以是7-12Mbps的恒定比特率CBR或變比特率VBR，并達(dá)到DVE分辨率(720x480) 圖4：ZSP流媒體解決方案。嵌入式DSP流媒體解決方案 由于一系列原因，DSP成為流媒體編解碼器的理想選擇。首先，各種不同的編解碼器和不斷變革的標(biāo)準(zhǔn)要求解決方案必須是可編程的；其次，大部分的編解碼器是運(yùn)算密集型，而DSP就是設(shè)計(jì)用于高效數(shù)學(xué)運(yùn)算；另外，功耗

15、和成本是移動流傳輸中的重要考慮，而DSP內(nèi)核提供了低功耗、低成本的最佳組合。 典型的音頻/視頻流媒體系統(tǒng)通常同時(shí)使用內(nèi)部存儲器和外部存儲器。內(nèi)部存儲器是以DSP內(nèi)核時(shí)鐘速度運(yùn)行的快速存儲器；外部存儲器比較慢，價(jià)格也較便宜。編解碼指令存儲于外部存儲器，但下載到內(nèi)部存儲器中執(zhí)行。由于視頻流數(shù)據(jù)量巨大，除非必須，其通常放在片外，而音頻流數(shù)據(jù)則可片內(nèi)外任意放置，還可以根據(jù)需要將一些IP模塊掛在系統(tǒng)SoC總線上。 前后兼容的DSP平臺 目前的趨勢是每兩年就會發(fā)布新的編解碼標(biāo)準(zhǔn)，每個(gè)新標(biāo)準(zhǔn)會需要更多的DSP周期。因此，選擇可按兼容性發(fā)展藍(lán)圖來演變的DSP平臺非常重要，這樣通過系統(tǒng)升級而不是重新設(shè)計(jì)即可滿足未來的系統(tǒng)要求。ZSP則提供了適應(yīng)多媒體標(biāo)準(zhǔn)不斷變革所必需的靈活性和性能。 LSI邏輯公司的ZSP產(chǎn)品部門提供全系列可綜合的軟件兼容DSP內(nèi)核，并提供廣泛的音/視頻標(biāo)準(zhǔn)代碼，產(chǎn)品發(fā)展藍(lán)圖內(nèi)的內(nèi)核是代碼兼容的。廣泛的第三方合作伙伴網(wǎng)絡(luò)確保新的標(biāo)準(zhǔn)將迅速可用?；赯SP的音/視頻系統(tǒng)可輕松地與新興的音/視頻標(biāo)準(zhǔn)相適應(yīng)。 各代(G1/G2/G3)的ZSP都基于易編程的架構(gòu)。