多媒體課件數(shù)字音頻處理技術(shù)資料

1、第2章 數(shù)字音頻處理(chl)技術(shù)共三十九頁 本章主要(zhyo)講解數(shù)字音頻的基礎(chǔ)知識、音頻卡的功能及音頻的制作方法。 學(xué)習(xí)內(nèi)容： 音頻信號基本概念 音頻信號數(shù)字化的基本原理 數(shù)字音頻的編碼標(biāo)準(zhǔn) 音頻文件的常用格式 音樂合成和MIDI規(guī)范 聲卡的功能 用CE Pro編輯音頻文件的基本方法共三十九頁聲音是攜帶信息的極其重要的媒體是多媒體技術(shù)研究中的一個重要內(nèi)容在多媒體應(yīng)用中，很多方面都需要(xyo)使用到聲音，這樣多媒體才會有聲有色共三十九頁2.1 數(shù)字音頻基礎(chǔ)(jch)聲音是通過空氣傳播的一種(y zhn)連續(xù)的波聲音信號可以用一條連續(xù)的曲線來表示，在任一時刻都可以分解為一系列正弦波的線性疊

2、加。思考：為什么樂隊合奏時能分辨是什么樂器在演奏？為什么幾個人同時講話時，我們能分辨出各自的聲音？共三十九頁2.1.1 音頻(ynpn)信號 1.音頻信號的分類音頻信號(Audio)可分為兩類：語音信號和非語音信號。語音是語言的物質(zhì)載體，是社會交際工具的符號, 它包含了豐富的語言內(nèi)涵，是人類進(jìn)行信息交流所特有的形式。非語音信號主要包括音樂和自然界存在的其他聲音(shngyn)形式。非語音信號的特點是不具有復(fù)雜的語義和語法信息，信息量低、識別簡單。 共三十九頁2.模擬音頻信號(xnho)的三個特性模擬音頻信號有三個重要特性：頻率、幅度、周期。一個聲源每秒鐘可產(chǎn)生成百上千個波，我們把每秒鐘波峰所發(fā)

3、生的數(shù)目稱之為信號的頻率，單位用赫茲(Hz)或千赫茲(kHz)表示。信號的幅度是從信號的基線到當(dāng)前波峰的距離。幅度決定了信號音量的強(qiáng)弱程度。幅度越大，聲音越強(qiáng)。周期是兩個相鄰波之間的時間長度。對音頻信號，聲音強(qiáng)度用分貝(fnbi)(dB)表示，分貝的幅度就是音量。聲音的頻率體現(xiàn)音調(diào)的高低，聲波幅度的大小體現(xiàn)聲音的強(qiáng)弱。 幅度限周期 基線小知識：具有不同頻率和不同振幅的混合聲音稱為“復(fù)音”，自然界中大部分是復(fù)音。復(fù)音中，最低頻率的聲音稱為“基音”，其他頻率的聲音稱為“泛音”，也叫“諧音”。 共三十九頁3. 聲音(shngyn)的A/D(Analog/Digital)與D/A轉(zhuǎn)換 A/D轉(zhuǎn)換就是把

4、模擬信號轉(zhuǎn)換成數(shù)字信號的過程，模擬電信號變?yōu)榱擞伞?”和“1”組成的Bit信號。這樣做的好處是顯而易見的，聲音存儲質(zhì)量得到了加強(qiáng)，數(shù)字化的聲音信息使計算機(jī)能夠進(jìn)行識別(shbi)、處理和壓縮 。A/D轉(zhuǎn)換的一個關(guān)鍵步驟是聲音的采樣和量化，得到數(shù)字音頻信號，它在時間上是不連續(xù)的離散信號。 借助于A/D或D/A轉(zhuǎn)換器，模擬信號和數(shù)字信號可以互相轉(zhuǎn)換。 共三十九頁 1）音調(diào)：代表了聲音的高低。音調(diào)與頻率有關(guān)，頻率越高，音調(diào)越高，反之亦然。 并不是所有頻率發(fā)出的聲音信號都能夠被人感覺到，人的聽覺范圍大約為20Hz20KHz，這個頻率范圍內(nèi)的信號稱為音頻信號，多媒體技術(shù)中處理的信號主要是該信號（高頻測試

5、） 我們也許有這樣的經(jīng)驗，當(dāng)提高磁帶錄音機(jī)的轉(zhuǎn)速時，其旋轉(zhuǎn)(xunzhun)加快，聲音信號的頻率提高，其喇叭放出來聲音的音調(diào)提高了。同樣，在使用音頻處理軟件對聲音的頻率進(jìn)行調(diào)整時，也可明顯感到音調(diào)隨之而產(chǎn)生的變化。各種不同的聲源具有自己特定的音調(diào)，如果改變了某種聲源的音調(diào)，則聲音會發(fā)生質(zhì)的轉(zhuǎn)變，使人們無法辨別聲源本來的面目。 聲音(shngyn)試聽4. 聲音的三要素 共三十九頁2）音色：即特色的聲音。聲音分純音和復(fù)音兩種類型。所謂純音，是指振幅和周期均為常數(shù)的聲音；復(fù)音則是具有不同(b tn)頻率和不同(b tn)振幅的混合聲音。大自然中的聲音絕大部分是復(fù)音。各種聲源都具有自己獨特的音色，例

6、如各種樂器的聲音、每個人的聲音、各種生物的聲音等，人們就是依據(jù)音色來辨別聲源種類的。音色與聲音的頻率范圍有關(guān)，即頻率范圍越寬，聲音的質(zhì)量就越好(試聽各種人聲音色和樂器音色,對其進(jìn)行描述)3）音強(qiáng)：聲音的強(qiáng)度，也被稱為聲音的響度，常說的“音量”也是指音強(qiáng)。音強(qiáng)與聲波的振幅成正比，振幅越大，強(qiáng)度越大。唱盤、CD激光盤以及其他(qt)形式聲音載體中的聲音強(qiáng)度是一定的，通過播放設(shè)備的音量控制，可改變聆聽時的響度。 4. 聲音的三要素 共三十九頁聲音的三個要素(yo s)（總結(jié)）代表聲音的高低，與頻率有關(guān)；使用音頻(ynpn)處理軟件對聲音的頻率進(jìn)行調(diào)整時，其音調(diào)也會隨之發(fā)生變化 音調(diào) (高低) 音量

7、(強(qiáng)弱) 音色 (特質(zhì))代表聲音的強(qiáng)度，與聲波的振幅成正比；振幅越大則音量越強(qiáng)，反之音量越弱。音量也稱為聲音的響度 代表聲音的特色，影響聲音特色的主要因素是復(fù)音。各種聲源均有自己的音色，依據(jù)音色辨別聲源種類 共三十九頁使用話筒或電聲設(shè)備將聲音轉(zhuǎn)化為電壓(diny)幅度，表示聲音強(qiáng)弱的電信號 模擬音頻 波形音頻 壓縮音頻通過采樣和量化將模擬信號轉(zhuǎn)換成二進(jìn)制數(shù)字(shz)組成的數(shù)字(shz)化音頻文件 經(jīng)過數(shù)字音頻技術(shù)，以及各種數(shù)字化工具對獲取的波形音頻進(jìn)行處理 5. 聲音的基本分類（表現(xiàn)方法） 共三十九頁次聲波人耳可聽域超聲波 20,000 Hz5. 聲音的基本分類 （根據(jù)頻率分）試聽Minni

8、e和Vitas的海豚音共三十九頁2.1.2 模擬音頻的數(shù)字化過程 如果要用計算機(jī)對音頻信息進(jìn)行處理，則首先要通過A/D（模/數(shù)）轉(zhuǎn)換將模擬音頻信號變成數(shù)字信號，實現(xiàn)音頻信號的數(shù)字化。數(shù)字化的聲音易于用計算機(jī)軟件處理，現(xiàn)在(xinzi)幾乎所有的專業(yè)化聲音錄制器、編輯器都是數(shù)字的。對模擬音頻的數(shù)字化過程涉及到音頻的采樣、量化和編碼。 采樣(ci yn)量化編碼共三十九頁 1采樣 為實現(xiàn)A/D轉(zhuǎn)換，把模擬音頻信號波形進(jìn)行分割，以轉(zhuǎn)換成數(shù)字信號，這種方法稱為采樣（Sampling）。采樣結(jié)果所獲得的值就稱為樣本值。 采樣的過程是每隔一個時間間隔在模擬聲音的波形上取一個幅度值，把時間上的連續(xù)信號變成時

9、間上的離散信號。該時間間隔稱為采樣周期(zhuq)，其倒數(shù)為采樣頻率。 采樣頻率是指計算機(jī)每秒鐘采集多少個聲音樣本。采樣頻率越高，對聲音波形的表示也越精確。 采樣頻率的選擇與聲音信號本身的頻率之間有關(guān)，信息論的奠基者香農(nóng)（Shannon）指出：在一定條件下，用離散的序列可以完全代表一個連續(xù)函數(shù)，這是采樣定理的基本內(nèi)容。采樣結(jié)果按固定時間間隔采樣輸入波形共三十九頁根據(jù)奈奎斯特（Nyquist）理論(lln)，只有采樣頻率高于聲音信號最高頻率的兩倍時，也就是當(dāng)信號是最高頻率時每個周期至少采樣兩個點，才能把數(shù)字信號表示的聲音較好地還原為原來的聲音。根據(jù)該采樣理論，CD激光唱盤采樣頻率為44KHz，可

10、記錄的最高音頻為22KHz，這樣的音質(zhì)與原始聲音相差無幾，也就是我們常說的超級高保真音質(zhì)（Super High Fidelity-HiFi）。最常用的采樣頻率有： 11.025kHz、22.05kHz、44.1kHz等。共三十九頁 2量化 采樣只解決了音頻波形信號在時間坐標(biāo)(即橫軸)上把一個波形切成若干個等分的數(shù)字化問題，但是還需要用某種數(shù)字化的方法來反映某一瞬間聲波幅度的電壓值大小。該值的大小影響音量的高低。通常把對聲波波形幅度的數(shù)字化表示稱之為量化（quantization）。 量化的過程是先將采樣后的信號按整個聲波的幅度劃分成有限個區(qū)段的集合，把落入某個區(qū)段內(nèi)的采樣值歸為一類(y li)

11、，并賦于相同的量化值。采樣信號的量化值采用二進(jìn)制表示，表示樣信號的幅度二進(jìn)制的位數(shù)稱量化位數(shù)。 在相同的采樣頻率之下，量化位數(shù)愈高，聲音的質(zhì)量越好。同樣，在相同量化位數(shù)的情況下，采樣頻率越高，聲音效果也就越好。采樣結(jié)果連續(xù)信號的采樣與量化共三十九頁如以8位量化，其波形的幅度值可分為256份；而當(dāng)用 16 位量化時，則共有 65536 個值?？梢娫黾?zngji)量化位數(shù)有利于細(xì)膩地表示聲音信號的變化程度，從而減小量化失真；但同時也使相應(yīng)的數(shù)據(jù)量大大增加(zngji)了。同樣，也需要在聲音質(zhì)量與數(shù)據(jù)量之間作出恰當(dāng)?shù)倪x擇。量化分為均勻量化和非均勻量化。均勻量化：幅度的劃分是等間隔的。非均勻量化：大

12、的輸入信號采用大的量化間隔，小的輸入信號采用小的量化間隔在滿足精度要求的情況下用較小的位數(shù)表示。共三十九頁 3編碼 所謂編碼，就是按照一定的格式把經(jīng)過采樣和量化得到的離散數(shù)據(jù)記錄下來，并在有效的數(shù)據(jù)中加入一些用于糾錯同步和控制的數(shù)據(jù)。在數(shù)據(jù)回放時，可以(ky)根據(jù)所記錄的糾錯數(shù)據(jù)判別讀出的聲音數(shù)據(jù)是否有錯，如果有錯，可加以糾正。 音頻信號編碼常用的是波形編碼方法，它是直接對波形采樣、量化和編碼，算法簡單，易于實現(xiàn)。而且，聲音恢復(fù)時能保持原有的特點，因此被廣泛應(yīng)用。共三十九頁3、編碼：將量化后的信號編碼形成一個(y )二進(jìn)制碼組輸出（把聲音數(shù)據(jù)寫成計算機(jī)的數(shù)據(jù)格式無壓縮編碼，如PCM(Pulse

13、 Code Modulation)，編碼后的保真度高，但數(shù)據(jù)量大，需要很高的傳輸速率。在MPC中，聲卡都具有PCM編碼和解碼的功能。激光唱盤（CD-DA）記錄聲音時就采用這種方法，存儲未經(jīng)壓縮的數(shù)字音頻信號。壓縮編碼，如ADPCM(Adaptive Differential PCM)，數(shù)據(jù)量是PCM的四分之一。 因為音頻信號一般不會發(fā)生突然變化，相鄰的語音采樣值之間存在很大的相關(guān)性，從一個采樣值到相鄰的另一個采樣值的差值要比樣值本身小得多。利用預(yù)測編碼方法建立預(yù)測模型，通過預(yù)測器對未來的樣本進(jìn)行預(yù)測，然后對樣本值與預(yù)測器得到的預(yù)測值之差進(jìn)行量化和傳輸。由于這個差值的幅度遠(yuǎn)遠(yuǎn)小于樣本值本身，需要

14、較少的比特數(shù)來表示，這樣可以降低數(shù)據(jù)的編碼率，從而使編碼數(shù)據(jù)得到壓縮。共三十九頁聲道數(shù) ：指所使用的聲音通道的個數(shù)它表明聲音記錄是產(chǎn)生一個波形（即單音或單聲道）還是兩個波形（即立體聲或雙聲道）。采樣、量化和編碼技術(shù)是音頻數(shù)字化的關(guān)鍵技術(shù)。采樣頻率、每個采樣值的量化位數(shù)以及音頻信息的聲道數(shù)目(shm)，是影響數(shù)字化音頻信息質(zhì)量和容量的三個重要因素共三十九頁 以下圖所示的原始模擬波形為例進(jìn)行采樣和量化。假設(shè)采樣頻率為1000次/秒，即每1/1000秒A/D轉(zhuǎn)換器采樣一次。這里(zhl)，幅度被劃分成0到9共10個量化等級，并將其采樣的幅度值取最接近0 9之間的一個數(shù)來表示，如下圖所示。圖中每個正方

15、形表示一次采樣。 失真的(zhn de)產(chǎn)生共三十九頁 D/A轉(zhuǎn)換器從上圖得到的數(shù)值中重構(gòu)原來信號時，得到下圖中藍(lán)色(直線(zhxin)段)線段所示的波形。從圖中可以看出，藍(lán)色線與原波形(紅色線)相比，其波形的細(xì)節(jié)部分丟失了很多。這意味著重構(gòu)后的信號波形有較大的失真。 共三十九頁采用更高的采樣頻率。同時，增加量化精度，以得到更高的量化等級，即可減少失真的程度。左圖中，采樣率和量化等級均提高了一倍，分別為2000次/秒和20個量化等級。右圖中，采樣率和量化等級再提高了一倍，分別達(dá)到4000次/秒和40個量化等級。從圖中可以(ky)看出，當(dāng)用D/A轉(zhuǎn)換器重構(gòu)原來信號時（圖中的輪廓線），信號的失真明

16、顯減少，信號質(zhì)量得到了提高。如何減少(jinsho)失真？共三十九頁2.1.3 數(shù)字音頻信息的質(zhì)量與存儲量 1音頻質(zhì)量的評價1）客觀質(zhì)量的度量 包括評價值的測量（響度和響度級，感覺噪音級，清晰度指數(shù)，噪音評價數(shù)等）、聲源的測量和音質(zhì)的測量（混響時間，隔音量，吸音量）。其測量與分析工作(gngzu)，是使用帶計算機(jī)處理系統(tǒng)的高級聲學(xué)測量儀器來完成（聲級計）?？陀^質(zhì)量度量的一個主要指標(biāo)是SNR(Signal to Noise Ration)，單位是分貝，信噪比（信號強(qiáng)度/噪音強(qiáng)度）越大，聲音質(zhì)量越好。（如卡拉OK廳評分系統(tǒng)）2）主觀質(zhì)量的度量 這種方法更合理，通常是對某編碼器的輸出的聲音質(zhì)量進(jìn)行評

17、價。如，播放一段音樂、記錄一段話，然后重放給一批實驗者聽，由實驗者進(jìn)行綜合評定，得出MOS（Means Opinion Scores)3）常用的數(shù)字化聲音技術(shù)指標(biāo)及音質(zhì)共三十九頁原始數(shù)字音頻數(shù)據(jù)傳輸率的計算:傳輸率（bytes/s）=RrN/8 R 表示采樣頻率，單位是Hz； r 表示量化位數(shù)，單位是bit； N 表示聲道數(shù)；占用存儲空間的計算: 聲音信號數(shù)據(jù)量S=數(shù)據(jù)傳輸率D(持續(xù)時間,Byte) 在制作多媒體或其他作品時，經(jīng)常要在聲音質(zhì)量與內(nèi)存需要或網(wǎng)絡(luò)速度等諸多(zhdu)因素之間妥協(xié)在多媒體開發(fā)與制作中，聲音文件一般推薦質(zhì)量是22.050 kHz、16-bit 。2. 音頻(ynpn)

18、信息的存儲量共三十九頁【例】雙聲道立體聲音樂采樣頻率為44.1KHz,量化精度為16位,計算1小時的數(shù)據(jù)量. 數(shù)據(jù)傳輸率:44100*2*2=1411.2kb/s=176.4KB/s 1小時數(shù)據(jù)量:176.4*3600/1024605.62MB. 數(shù)字(shz)波形聲音數(shù)據(jù)量非常大,需要壓縮以減少存儲空間,提高傳輸效率. 共三十九頁音頻信號壓縮(y su)技術(shù) 音頻信號壓縮編碼的主要依據(jù)(yj)是人耳的聽覺特性，主要有兩點： 1.人的聽覺系統(tǒng)中存在一個聽覺閾值電平，低于這個電平的聲音信號人耳聽不到 .2.人的聽覺存在屏蔽效應(yīng)。當(dāng)幾個強(qiáng)弱不同的聲音同時存在時，強(qiáng)聲使弱聲難以聽到，并且兩者之間的關(guān)

19、系與其相對頻率的大小有關(guān). 聲音編碼算法就是通過這些特性來去掉更多的冗余數(shù)據(jù)，來達(dá)到壓縮數(shù)據(jù)的目的。 共三十九頁數(shù)據(jù)壓縮算法應(yīng)能滿足下列(xili)需求: 1、壓縮倍數(shù)高,壓縮后的數(shù)據(jù)量低; 2、解碼后的信號失真小,質(zhì)量高; 3、算法(sun f)簡單,執(zhí)行速度快,延遲時間短;4、編碼器/解碼器的成本低. 共三十九頁 定義：一種(y zhn)最直接的表達(dá)聲音波形的數(shù)字音頻文件，主要用于自然聲 音的保存與重放。 特點：聲音層次豐富、還原性好、表現(xiàn)力強(qiáng)；如果采樣率高，其音質(zhì) 極佳；但數(shù)據(jù)量大，與采樣(ci yn)頻率、量化位數(shù)、聲道數(shù)成正比。 使用：電子幻燈片 PowerPoint 軟件、各種算法

20、語言及多媒體平臺軟 件可直接使用，適合多媒體系統(tǒng)、音樂光盤制作等。 波形音頻文件WAV文件擴(kuò)展名 .WAV2.1.5 聲音文件的存儲格式共三十九頁 定義：一種計算機(jī)數(shù)字音樂接口(ji ku)生成的數(shù)字描述音頻文件，主要用于計 算機(jī)聲音的重放和處理。 特點：文件不記載聲音本身(bnshn)波形數(shù)據(jù)，用數(shù)字形式記錄聲音特征，演奏 MIDI 樂器或重放時，將數(shù)字描述與聲音對位處理；數(shù)據(jù)量小。 使用：適合應(yīng)用在對資源占用要求苛刻的場合，比如多媒體光盤、游戲 制作等；適合作為背景音樂。 MIDI 音頻文件MID文件擴(kuò)展名 .MID2.1.5 聲音文件的存儲格式試聽一段midi共三十九頁 定義(dngy)

21、：標(biāo)準(zhǔn)激光盤文件。 特點：音質(zhì)(ynzh)好，但數(shù)據(jù)量大；在 Windows 環(huán)境中，用 CD 播放器播放。 使用：某些計算機(jī)算法語言支持該格式，比如 Visual Basic 語言。 CD-DA 音頻文件CDA文件擴(kuò)展名 .CDA2.1.5 聲音文件的存儲格式共三十九頁 定義：采用 MPEG 標(biāo)準(zhǔn)(biozhn)音頻數(shù)據(jù)壓縮編碼中層 技術(shù)壓縮之后的數(shù)字 音頻文件。 特點：壓縮比高、文件數(shù)據(jù)量小、音質(zhì)好，能夠(nnggu)在個人計算機(jī)、MP3 半 導(dǎo)體播放機(jī)和 MP3 激光播放機(jī)上進(jìn)行播放。 使用：某些多媒體平臺軟件和算法語言支持該格式，適合用在國際互聯(lián) 網(wǎng)和各個領(lǐng)域。 波形音頻文件MP3文件

22、擴(kuò)展名 .MP32.1.5 聲音文件的存儲格式共三十九頁2.3 聲卡的應(yīng)用(yngyng)Line-in：音頻輸入端口，連接外部設(shè)備的輸出端Microphone(MIC)：用來與話筒連接Line-out：用于連接外部音頻設(shè)備的輸入，如CD唱機(jī)。Speaker：用于連接耳機(jī)、無源喇叭(l b)或有源立體音箱。Game Port/MIDI：用于連接游戲操作桿或具有MIDI接口的電子樂器。共三十九頁聲卡的基本功能 （1）錄制、編輯和回放數(shù)字聲音文件；（2）在錄制和回放聲音文件時進(jìn)行壓縮和解壓縮，以節(jié)省存儲空間；（3）采用語音合成技術(shù)，使計算機(jī)能夠(nnggu)朗讀書面文字；（4）有樂器數(shù)字接口(MI

23、DI)，使得計算機(jī)可以控制多臺帶MIDI接口的電子樂器；（5）初步的語音識別。 共三十九頁2.4 音頻(ynpn)數(shù)據(jù)制作 2.4.1 音頻的獲取 聲音文件的獲取就是為音頻的編輯進(jìn)行素材的積累和準(zhǔn)備。 獲得聲音文件的途徑很多： 可以(ky)從CD唱盤、 VCD上獲得； 可以從網(wǎng)上下載； 也可以自己動手用Windows自帶的錄音機(jī)或用專業(yè)的數(shù)字聲音處理軟件錄制。 共三十九頁4.聲音數(shù)字化分為(fn wi)哪兩個步驟？采樣就是每隔一段時間就讀一次聲音信號的幅度，記錄下來的原始模擬聲波(shn b)在某一時刻的狀態(tài)，稱之為樣本；每秒鐘抽取聲波(shn b)幅度樣本的次數(shù)，稱為采樣頻率，采樣頻率的高低由奈奎斯特采樣訂立和聲音信號本身的最 高頻率決定 ；常用的有8kHz , 11.025kHz, 22.05, kHz 16kHz, 44.1kHz, 48kHz等。量化：把采樣得到的聲波幅度轉(zhuǎn)化為數(shù)字值，也就是把某一幅度范圍內(nèi)的電壓用用一個數(shù)字表示。量化位數(shù) 是每個采樣點能夠表示的數(shù)據(jù)范圍，有8/12/16/32位。量化有很多種方法，可歸