嵌入式DSP上的視頻編解碼

1、嵌入式dsp上的視頻編解碼用于數(shù)字投影。電影中用法的編碼可以是712mbps的恒定比特率cbr或可變比特率vbr，并達(dá)到dve解析度 (720x480)。應(yīng)用計劃特定的目標(biāo)應(yīng)用打算了系統(tǒng)要求，因而帶動了系統(tǒng)設(shè)計的挑選。個人媒體播放器(pmp)：個人媒體播放器是帶大容量存儲器的便攜式設(shè)備，通過對存儲的文件舉行解碼，可以觀察視頻、聽音樂或者掃瞄數(shù)碼照片。因為是便攜式播 放器，因此功耗至關(guān)重要。既然編碼和流處理功能都不需要，并且屏幕尺寸通常是比較小的qvga或者cif格式，其可通過基于的 計劃很好的解決。采納dsp的優(yōu)勢還在于可輕松支持多種視頻和音頻標(biāo)準(zhǔn)。例如：lsi針對高性能嵌入式系統(tǒng)的可授權(quán)ds

2、p核zsp500，可為此類應(yīng)用提 供充沛的視頻處理能力。此外，zsp500還可以提供杰出的音頻解碼能力，使dsp可在較低的頻率下運行；從而使音頻/視頻子系統(tǒng)功耗很低。而存儲器、鍵 盤、顯示和文件系統(tǒng)可通過微控制器執(zhí)行。圖：標(biāo)準(zhǔn)視頻編解碼器的時光表。固然，某些pmp具備把播放器銜接到一般電視機(jī)的視頻輸出功能。雖然pmp集成的顯示屏幕相對較小，但現(xiàn)在的視頻解碼尺寸通常達(dá)到d1格式。依據(jù)播放器的功 能列表要求，設(shè)備需要集成1個或者多個視頻解碼標(biāo)準(zhǔn)；對于在電視幀率(25-30幀/秒)下d1格式視頻解碼，硬件視頻解碼器是最佳挑選。多個視頻解碼標(biāo) 準(zhǔn)可能需要多個硬件模塊。采取多個解碼標(biāo)準(zhǔn)會提高系統(tǒng)成本，但

3、不會提高功耗，由于同一時光惟獨一個模塊會被激活。多標(biāo)準(zhǔn)音頻解碼可在小而高效的嵌入式 dsp核中實現(xiàn)，而無需增強(qiáng)額外的硬件成本(存儲解碼器的空間除外)。而微控制器將用于控制dsp和視頻硬件解碼器。當(dāng)僅用于播放音頻時 如典型的mp3播放器，也可用法單dsp解決計劃。此系統(tǒng)中dsp舉行音頻解碼、文件/流數(shù)據(jù)處理，還同時控制鍵盤、顯示屏和存儲器等。因為dsp處理音 頻解碼更為高效，因此用法如zsp400 dsp而非微控制器可以顯著降低功耗。此外，基于dsp的解決計劃可舉行軟件升級，以支持運算更為密集的音頻標(biāo)準(zhǔn)(比如aac plus)，此時微控制器可能無法處理額外增強(qiáng)的負(fù)荷。視頻移動電話：該類應(yīng)用的視頻

4、尺寸是qcif或者cif，幀率從10到30幀每秒。 是否需要支持多種視頻/音頻解碼標(biāo)準(zhǔn)取決于電話的功能要求。視頻將是流視頻或者短的視頻序列回放。通過軟件解碼而無需額外硬件，既可滿足這些設(shè)備的性能要 求。而且大多數(shù)的電話集成了微控制器和dsp，因此視頻解碼可通過dsp實現(xiàn)，這也使得低功耗精巧系統(tǒng)成為可能。另外一些電話可能包含pmp或者數(shù)碼攝像 機(jī)的一些功能，單純的dsp設(shè)計計劃無法滿足要求，這就需要額外的硬件加速。視頻桌面電話：該設(shè)備提供視頻會議功能，需要在強(qiáng)實時限制下完 成編解碼。假如幀尺寸和幀率有限，單dsp解決計劃仍然可行。然而，大部分桌面電話具備qvga或者更大的顯示屏；此外，用戶通常期

5、望有比無線移動設(shè)備更 佳的語音/視頻質(zhì)量。這意味幀率應(yīng)該更高，掉幀率/卡幀率應(yīng)該盡可能低，此時可能需要采納硬件解決計劃完成視頻編解碼。語音編解碼可通過低成本的dsp (如zspneo)或者系統(tǒng)中的微控制器實現(xiàn)。移動數(shù)碼攝像機(jī)(dvr)：對于該類設(shè)備，多標(biāo)準(zhǔn)編解碼沒有須要，大多數(shù)僅用法單一視頻編解碼標(biāo)準(zhǔn)。因為大尺寸，高幀率和低功耗的苛刻要求，純硬件解決計劃通常是首選。而不需要dsp，此時系統(tǒng)微控制器用于驅(qū)動視頻和音頻硬件模塊。：機(jī)頂盒需要完成高質(zhì)量視頻流的處理和已錄制的視頻文件的解碼。同dvr一樣，視頻質(zhì)量的要求(幀尺寸，幀率，比特率和容錯能力)使其幾乎只能通過硬 件解碼來舉行。固然，由于不像移

6、動設(shè)備對功耗要求那樣苛刻，也可采納多dsp核協(xié)作一些基本的硬件加速的計劃來設(shè)計可處理各種視頻編解碼器的系統(tǒng)。按照功 能要求，機(jī)頂盒可能需要一定的靈便性：尤其是將其用于媒體播放器、數(shù)字vcr或網(wǎng)絡(luò)流媒體領(lǐng)域。這時可用dsp中的軟件處理音頻。為了實現(xiàn)這種靈便性，要 挑選不同的編解碼器完成回放、編碼、譯碼等功能，此時用于音頻處理的dsp將會是如zsp500這樣的高性能處理器，以實現(xiàn)迎合家庭影院最新潮流的環(huán)抱 聲、聲音處理等功能要求?；驹O(shè)計配置針對本文宗旨，我們可以考慮以下4種基本設(shè)計配置：第一種設(shè)計包含1個 微控制器和1個dsp(mc+dsp)；其次種設(shè)計包括1個微控制器和1個dsp，但是dsp同

7、時也控制1個視頻編碼/解碼硬件模塊(mc+dsp+ vhw)；第三種設(shè)計用法1個微控制器，dsp和視頻編碼/解碼硬件模塊(mc+dsp+vhw)，在該設(shè)計中微控制器控制dsp和視頻硬件模塊；最后 一種設(shè)計包含1個微控制器，1個視頻編碼/解碼硬件模塊，1個音頻編碼/解碼硬件模塊(mc+vhw+ahw)。在上述各類設(shè)計中，微控制器負(fù)責(zé)典型的嵌 入式控制任務(wù)：包括用戶控制銜接(如操縱桿控制)，/uart/以太網(wǎng)驅(qū)動，協(xié)議層(如tcp/ip, http)等。表：各種視頻格式的典型帶寬。mc+dsp微控制器和dsp用于低視頻解析度(cif)，軟件可升級，支持多種音、視頻標(biāo)準(zhǔn)的系統(tǒng)。dsp用于音頻解碼，視

8、頻解碼和音/視頻同步。雖然性能有限，但系統(tǒng)十分靈便，此平臺可輕松實現(xiàn)多種音頻和視頻解碼格式支持。mc +dsp+vhw該視頻硬件模塊用于高解析度視頻編/解碼。dsp管理音頻編/解碼，也負(fù)責(zé)音/視頻同步，同時也能用于畫中畫或者其他視頻疊加功 能。該系統(tǒng)的一個優(yōu)勢是音頻/視頻子系統(tǒng)可設(shè)計為一個標(biāo)準(zhǔn)的多媒體編/解碼器，可輕松植入系統(tǒng)而不會增強(qiáng)太多的復(fù)雜性。dsp是系統(tǒng)多媒體部分的控制器。 因為多媒體編/解碼系統(tǒng)與微控制系統(tǒng)的銜接很松散，因此其能夠被輕松整合進(jìn)眾多現(xiàn)有微控制器系統(tǒng)中，從而使這個計劃具備相當(dāng)吸引力。該編/解碼系統(tǒng)可被當(dāng) 作一個具有標(biāo)準(zhǔn)本地接口的assp產(chǎn)品。mc+dsp+vhw-在該配置

9、中，dsp用于音頻編/解碼，而微控制器用于實現(xiàn)音/視頻同 步。這就需要更復(fù)雜的微控制器設(shè)計，但可采納與mc+dsp+vhw系統(tǒng)相比功耗、成本都更低的dsp。因為微控制器必需協(xié)調(diào)dsp和vhw，同時還 要執(zhí)行其它的控制任務(wù)以及全部的協(xié)調(diào)操作，因此該計劃實現(xiàn)困難無數(shù)。該配置的一個變種是由dsp執(zhí)行視頻解碼、音頻編/解碼，而視頻編碼仍然由硬件執(zhí)行，這需要一共性能強(qiáng)大的dsp，但會使系統(tǒng)靈便性更強(qiáng)，并支持多種視頻解碼標(biāo)準(zhǔn)。mc +vhw+ahw-在該配置中，微控制器執(zhí)行除音、視頻編/解碼外的全部任務(wù)。音/視頻同步也由微控制器執(zhí)行。該解決計劃除音頻子系統(tǒng)靈便性較差(僅能執(zhí) 行原始設(shè)計中的音頻編解碼器而不

10、能軟件升級)外，和mc+dsp+vhw很相象。其益處在于它能與特定應(yīng)用協(xié)作，與各種前述計劃相比具有最佳的功耗。視頻移動電話：該類應(yīng)用的視頻尺寸是qcif或者cif，幀率從10到30幀每秒。 是否需要支持多種視頻/音頻解碼標(biāo)準(zhǔn)取決于電話的功能要求。視頻將是流視頻或者短的視頻序列回放。通過軟件解碼而無需額外硬件，既可滿足這些設(shè)備的性能要 求。而且大多數(shù)的電話集成了微控制器和dsp，因此視頻解碼可通過dsp實現(xiàn)，這也使得低功耗精巧系統(tǒng)成為可能。另外一些電話可能包含pmp或者數(shù)碼攝像 機(jī)的一些功能，單純的dsp設(shè)計計劃無法滿足要求，這就需要額外的硬件加速。視頻桌面電話：該設(shè)備提供視頻會議功能，需要在強(qiáng)

11、實時限制下完 成編解碼。假如幀尺寸和幀率有限，單dsp解決計劃仍然可行。然而，大部分桌面電話具備qvga或者更大的顯示屏；此外，用戶通常期望有比無線移動設(shè)備更 佳的語音/視頻質(zhì)量。這意味幀率應(yīng)該更高，掉幀率/卡幀率應(yīng)該盡可能低，此時可能需要采納硬件解決計劃完成視頻編解碼。語音編解碼可通過低成本的dsp (如zspneo)或者系統(tǒng)中的微控制器實現(xiàn)。移動數(shù)碼攝像機(jī)(dvr)：對于該類設(shè)備，多標(biāo)準(zhǔn)編解碼沒有須要，大多數(shù)僅用法單一視頻編解碼標(biāo)準(zhǔn)。因為大尺寸，高幀率和低功耗的苛刻要求 ，純硬件解決計劃通常是首選。而不需要dsp，此時系統(tǒng)微控制器用于驅(qū)動視頻和音頻硬件模塊。機(jī)頂盒：機(jī)頂盒需要完成高質(zhì)量視頻

12、流的處理和已錄制的視頻文件的解碼。同dvr一樣，視頻質(zhì)量的要求(幀尺寸，幀率，比特率和容錯能力)使其幾乎只能通過硬 件解碼來舉行。固然，由于不像移動設(shè)備對功耗要求那樣苛刻，也可采納多dsp核協(xié)作一些基本的硬件加速的計劃來設(shè)計可處理各種視頻編解碼器的系統(tǒng)。按照功 能要求，機(jī)頂盒可能需要一定的靈便性：尤其是將其用于媒體播放器、數(shù)字vcr或網(wǎng)絡(luò)流媒體領(lǐng)域。這時可用dsp中的軟件處理音頻。為了實現(xiàn)這種靈便性，要 挑選不同的編解碼器完成回放、編碼、譯碼等功能，此時用于音頻處理的dsp將會是如zsp500這樣的高性能處理器，以實現(xiàn)迎合家庭影院最新潮流的環(huán)抱 聲、聲音處理等功能要求?；驹O(shè)計配置針對本文宗旨

13、，我們可以考慮以下4種基本設(shè)計配置：第一種設(shè)計包含1個 微控制器和1個dsp(mc+dsp)；其次種設(shè)計包括1個微控制器和1個dsp，但是dsp同時也控制1個視頻編碼/解碼硬件模塊(mc+dsp+ vhw)；第三種設(shè)計用法1個微控制器，dsp和視頻編碼/解碼硬件模塊(mc+dsp+vhw)，在該設(shè)計中微控制器控制dsp和視頻硬件模塊；最后 一種設(shè)計包含1個微控制器，1個視頻編碼/解碼硬件模塊，1個音頻編碼/解碼硬件模塊(mc+vhw+ahw)。在上述各類設(shè)計中，微控制器負(fù)責(zé)典型的嵌 入式控制任務(wù)：包括用戶控制銜接(如操縱桿控制)，usb/uart/以太網(wǎng)驅(qū)動，協(xié)議層(如tcp/ip, http

14、)等。表：各種視頻格式的典型帶寬。mc+dsp微控制器和dsp用于低視頻解析度(cif)，軟件可升級，支持多種音、視頻標(biāo)準(zhǔn)的系統(tǒng)。dsp用于音頻解碼，視頻解碼和音/視頻同步。雖然性能有限，但系統(tǒng)十分靈便，此平臺可輕松實現(xiàn)多種音頻和視頻解碼格式支持。mc +dsp+vhw該視頻硬件模塊用于高解析度視頻編/解碼。dsp管理音頻編/解碼，也負(fù)責(zé)音/視頻同步，同時也能用于畫中畫或者其他視頻疊加功 能。該系統(tǒng)的一個優(yōu)勢是音頻/視頻子系統(tǒng)可設(shè)計為一個標(biāo)準(zhǔn)的多媒體編/解碼器，可輕松植入系統(tǒng)而不會增強(qiáng)太多的復(fù)雜性。dsp是系統(tǒng)多媒體部分的控制器。 因為多媒體編/解碼系統(tǒng)與微控制系統(tǒng)的銜接很松散，因此其能夠被輕松整合進(jìn)眾多現(xiàn)有微控制器系統(tǒng)中，從而使這個計劃具備相當(dāng)吸引力。該編/解碼系統(tǒng)可被當(dāng) 作一個具有標(biāo)準(zhǔn)本地總線接口的assp產(chǎn)品。mc+dsp+vhw-在該配置中，dsp用于音頻編/解碼，而微控制器用于實現(xiàn)音/視頻同 步。這就需要更復(fù)雜的微控制器設(shè)計，但可采納與mc+dsp+vhw系統(tǒng)相比功耗、成本都更低的dsp。因為微控制器必需協(xié)調(diào)dsp和vhw，同時還 要執(zhí)行其它的控制任務(wù)以及全部的協(xié)調(diào)操作，因此該計劃實現(xiàn)困難無數(shù)。該配