多媒體技術(shù)課件：第2章多媒體音頻技術(shù)

1、第2章 多媒體音頻技術(shù)聲音與聽覺特性聲音信號數(shù)字化采樣定理數(shù)字音頻的文件格式音頻信號的特點(diǎn)電子樂器數(shù)字接口（MIDI）聲卡主要學(xué)習(xí)內(nèi)容：一、聲音信號兩個(gè)基本參數(shù)1、聲音與聽覺器官 聲音是通過空氣傳播的一種連續(xù)的波，叫聲波。聲音是縱波，其基本形式是正弦波。它是隨時(shí)間連續(xù)變化的物理量。聲音的強(qiáng)弱體現(xiàn)在聲波壓力的大小上，音調(diào)的高低體現(xiàn)在聲音的頻率上。聲波具有普通波的所有特性，如反射、折射和衍射等。如圖2-1所示。 圖2-1聲音是一種連續(xù)的波2.1 聲音與聽覺特性2、聲音信號的兩個(gè)基本參數(shù) 聲音信號的兩個(gè)基本參數(shù)是頻率和振幅。振幅：波的高低幅度，表示聲音的大小。頻率：每秒鐘振動的次數(shù)，以Hz為單位，表

2、示音調(diào)的高低。注：周期：兩個(gè)相鄰波之間的時(shí)間長度，為頻率的倒數(shù)。 聲音信號由許多頻率不同的信號組成，這類聲音信號稱為復(fù)合信號，用來描述組成復(fù)合信號的頻率范圍稱為帶寬，也叫頻帶寬度。一般而言，聲源的頻帶越寬表現(xiàn)力越好、層次越豐富。語音帶寬：3003400Hz女高音： 22011000Hz電話聲音：2003400Hz電臺調(diào)幅廣播：2015000Hz高級音響： 2020000Hz寬帶音響：10 40000Hz二、頻率信號的分類與聽覺系統(tǒng)的感知特性1、頻率信號的分類 次聲波：0 20Hz 人耳能聽到的聲音：20Hz 20KHz 超聲波：20KHz 1GHz 高超聲波：1GHz 10THz2、聲音媒體的

3、種類 凡是通過聲音形式以聽覺傳遞信息的媒體都屬于聽覺媒體，主要有波形聲音、語音和音樂。 （1）波形聲音 包含了所有的聲音形式，它可以把任何聲音都進(jìn)行采樣量化，并恰當(dāng)?shù)鼗謴?fù)出來。 （2）語音 構(gòu)成人類語言信號的各種聲音。人的說話聲雖是一種特殊的媒體，但也是一種波形，所以和波形聲音的文件格式相同。 （3）音樂 可以用符號來表示，可看作符號化的聲音媒體，比較規(guī)范的是MIDI。3、聽覺系統(tǒng)的感知特性 （1）方位感： （2) 響度感 （3）音調(diào)感 記憶力 分辨力 音色感 （4）聚焦效應(yīng) 4、聲音三要素： 音調(diào) 音強(qiáng) 音色 5、聲音的連續(xù)性 聲音是一種彈性波，聲音信號可以分成周期信號與非周期信號兩類。 周

4、期信號是單一頻率音調(diào)的信號，其頻率是線性譜； 非周期信號包含一定頻帶的所有頻率分量，其頻譜是連續(xù)譜。 6、聲音的方向性 聲音的傳播是以聲波形式進(jìn)行的。 根據(jù)聲音的方向性可判斷聲音來源；也可造成聲音的特殊效果。一、從模擬過渡到數(shù)字優(yōu)點(diǎn)： 數(shù)字信號計(jì)算是一種精確的運(yùn)算方法，它不受時(shí)間和環(huán)境變化的影響； 表示部件功能的數(shù)學(xué)運(yùn)算不是物理上實(shí)現(xiàn)的功能部件，而是僅用數(shù)學(xué)運(yùn)算去模擬，其中的數(shù)學(xué)運(yùn)算也相對容易實(shí)現(xiàn)； 可以對數(shù)字運(yùn)算部件進(jìn)行編程。二、模擬信號與數(shù)字信號 把在時(shí)間和幅度上都是連續(xù)的信號稱為模擬信號。 把在時(shí)間和幅度上都用離散的數(shù)字表示的信號稱為數(shù)字信號。 2.2聲音信號數(shù)字化三、聲音信號數(shù)字化1、

5、什么是數(shù)字音頻 聲音是機(jī)械振動，振動越強(qiáng)，聲音越大。話筒把機(jī)械振動轉(zhuǎn)換成電信號，模擬音頻技術(shù)中以模擬電壓的幅度表示聲音強(qiáng)弱。 在數(shù)字音頻技術(shù)中，把表示聲音強(qiáng)弱的模擬電壓用數(shù)字表示，如0 .5V 電壓用數(shù)字20表示，2V電壓用80表示。模擬電壓的幅度，即使在某電平范圍內(nèi)，仍然可以有無窮多個(gè)，如1.2V 、1.21V、1.215V、。而用數(shù)字來表示音頻幅度時(shí)，只能把無窮多個(gè)電壓幅度用有限個(gè)數(shù)字表示。即把某一幅度方位內(nèi)的電壓用一個(gè)數(shù)字表示，這稱之為量化。 計(jì)算機(jī)內(nèi)的基本數(shù)制是二進(jìn)制，為此我們也要把聲音數(shù)據(jù)寫成計(jì)算機(jī)的數(shù)據(jù)格式，這稱之為編碼。模擬聲音在時(shí)間上是連續(xù)的，而以數(shù)字表示的聲音是一個(gè)數(shù)據(jù)系列。

6、模擬電壓幅度、量化、編碼的關(guān)系如表2-22、音頻數(shù)字化 計(jì)算機(jī)內(nèi)的音頻必須是數(shù)字形式的，因此必須把模擬音頻信號轉(zhuǎn)換成有限個(gè)數(shù)字表示的離散序列，即實(shí)現(xiàn)音頻數(shù)字化。在這一處理技術(shù)中，涉及到音頻的采樣、量化和編碼。 計(jì)算機(jī)處理聲音的第一步，是將自然轉(zhuǎn)換成數(shù)字音頻信號，這就是聲音的數(shù)字化過程，也叫做音頻數(shù)據(jù)采樣過程。數(shù)字化實(shí)際上就是采樣和量化。 如前所述，連續(xù)時(shí)間的離散化通過采樣來實(shí)現(xiàn)，就是每隔相等的一小段時(shí)間采樣一次，這種采樣稱為均勻采樣（uniform sampling）；連續(xù)幅度的離散化通過量化（quantization）來實(shí)現(xiàn)，就是把信號的強(qiáng)度劃分成一小段一小段，如果幅度的劃分是等間隔的，就稱

7、為線性量化，否則就稱為非線性量化。圖2-2表示了聲音數(shù)字化的概念。 圖2-2聲音的采樣和量化 聲音數(shù)字化需要回答兩個(gè)問題：（1）：每秒鐘需要采集多少個(gè)聲音樣本，也就是采樣頻率（fs）是多少？（2）每個(gè)聲音樣本的位數(shù)應(yīng)該是多少，也就是量化精度。2.3、采樣定理 聲音采樣的基本原理是：把自然界中模擬聲音轉(zhuǎn)換成計(jì)算機(jī)能夠處理的數(shù)字化聲音，該過程稱為“A/D轉(zhuǎn)換（模/數(shù)轉(zhuǎn)換）”。 一、數(shù)字采樣 聲音采樣的基本原理是：首先輸入模擬聲音信號，然后按照固定的時(shí)間間隔截取該信號的振幅值，每個(gè)波形周期內(nèi)截取兩次，以取得正、負(fù)向的振幅值。該振幅值采用若干位二進(jìn)制數(shù)表示，從而將模擬聲音信號變成數(shù)字音頻信號。模擬聲音

8、信號是連續(xù)變化的振動波，而數(shù)字音頻信號是階躍變化的離散信號。 截取模擬聲音信號振幅值的過程叫做“采樣”，得到的振幅值叫做“采樣值”，采樣值用二進(jìn)制數(shù)的形式表示，該表示形式叫做“量化編碼”。 二、采樣頻率 在一定的時(shí)間間隔內(nèi)采集的樣本數(shù)叫做采樣頻率，即一秒鐘采樣的次數(shù)。 采樣頻率越高，在一定的時(shí)間間隔內(nèi)采集的樣本數(shù)越多，音質(zhì)就越好，同時(shí)數(shù)字化聲音的數(shù)據(jù)量也越大。 奈奎斯特理論： 采樣頻率不應(yīng)低于聲音信號最高頻率的兩倍，這樣就能把以數(shù)字表達(dá)的聲音還成原來的聲音，這叫做無損數(shù)字化（lossless digitization）。 采樣定律用公式表示為： fs 2f 或者T T/2 其中f為被采樣信號的

9、最高頻率。 采樣過程所應(yīng)遵循的規(guī)律，又稱取樣定理、抽樣定理。采樣定理說明采樣頻率與信號頻譜之間的關(guān)系，是連續(xù)信號離散化的基本依據(jù). 采樣定理是1928年由美國電信工程師H.奈奎斯特首先提出來的，因此稱為奈奎斯特采樣定理。1933年由蘇聯(lián)工程師科捷利尼科夫首次用公式嚴(yán)格地表述這一定理，因此在蘇聯(lián)文獻(xiàn)中稱為科捷利尼科夫采樣定理。1948年信息論的創(chuàng)始人C.E.香農(nóng)對這一定理加以明確地說明并正式作為定理引用，因此在許多文獻(xiàn)中又稱為香農(nóng)采樣定理。 采樣定理在數(shù)字式遙測系統(tǒng)、時(shí)分制遙測系統(tǒng)、信息處理、數(shù)字通信和采樣控制理論等領(lǐng)域得到廣泛的應(yīng)用。三、采樣定理四、采樣精度 樣本大小是用每個(gè)聲音樣本的位數(shù)（b

10、it/s或b/s）表示的，它反映度量聲音波形幅度的精度。例如，每個(gè)聲音樣本用16位（2字節(jié)）表示，測得的聲音樣本值是在065536的范圍里，它的精度就是輸入信號的1/65536。樣本位數(shù)的大小影響到聲音的質(zhì)量，位數(shù)越多，聲音的質(zhì)量越高，而需要的存儲空間也越多；位數(shù)越少，聲音的質(zhì)量越低，需要的存儲空間越少。 采樣精度的另一種表示方法是信號噪聲比，簡稱為信噪比并用下式計(jì)算：其中： 表示信號電壓， 表示噪聲電壓；SNR的單位為分貝（db） 例1 假設(shè)Vnoise=1 ，采樣精度為1位, ，它的信噪比SNR=6db。 例2 假設(shè)Vnoise=1 ，采樣精度為16位, ，它的信噪比SNR=96db。 一

11、般來說，信噪比越大，說明混在信號里的噪聲越小，聲音回放的音質(zhì)量越高，否則相反。信噪比一般不應(yīng)該低于70dB，高保真音箱的信噪比應(yīng)達(dá)到110dB以上。五、聲音質(zhì)量與數(shù)據(jù)率 根據(jù)聲音的頻帶，通常把聲音的質(zhì)量分成5個(gè)等級，由低到高分別是電話（telephone）、調(diào)幅（amplitude modulation，AM）廣播、調(diào)頻（frequency modulation，F(xiàn)M）、光盤（compact disc，CD）和數(shù)字錄音帶（digital audio tape，DAT）的聲音。在這5個(gè)等級中，使用的采樣頻率、樣本精度、通道數(shù)和數(shù)據(jù)率列于表2-3. 表2-3 聲音質(zhì)量和數(shù)據(jù)率質(zhì)量 采樣頻率/kHz

12、 采樣精度b/s 單聲道/ 立體聲 數(shù)據(jù)率（未壓縮） kB/s 頻率范圍/Hz電話 8 8 單聲道 8 2003 400 AM 11.025 8 單聲道 11.0 507 000 FM 22.050 16 立體聲 88.2 2015 000 CD 44.1 16 立體聲 2020 000 DAT 48 16 立體聲 2020 000 數(shù)據(jù)率=采樣頻率*采樣精度*聲道數(shù)/8176.4192.0四、數(shù)字音頻文件格式 聲音文件的格式很多，如同存儲文本文件一樣，存儲聲音數(shù)據(jù)也需要有存儲格式，在多媒體技術(shù)中存儲聲音信息的文件格式主要有： WAV文件，VOC文件，MIDI文件，AIF文件，SND文件、RM

13、I文件、mp3文件等。1.WAV文件 波形文件格式：一種直接的表達(dá)聲波的數(shù)字形式，用.wav為擴(kuò)展名的文件格式稱為波形文件格式（wave file format）。 Wav文件是由采樣數(shù)據(jù)組成的，所以它所需要的存儲容量很大。 用下列公式可以簡單地推算出wav文件所需的存儲空間的大小。Wav文件的字節(jié)數(shù)/每秒采樣頻率（Hz）量化位數(shù)（位）聲道數(shù)/8例如：用44.1kHz的采樣頻率對聲波進(jìn)行采樣，每個(gè)采樣點(diǎn)的量化位數(shù)選用16位，則錄制1秒的立體聲節(jié)目，其波形文件所需的存儲容量為： 44 100162/8176 400（字節(jié)）2.VOC文件 VOC文件是Creative公司波形音頻文件格式，也是聲霸

14、卡（sound blaster）使用的音頻文件格式。 每個(gè)VOC文件由文件頭塊（header block）和音頻數(shù)據(jù)塊（data block）組成。文件頭包含一個(gè)標(biāo)識、版本號和一個(gè)指向數(shù)據(jù)塊起始的指針。數(shù)據(jù)塊分成各種類型的子塊，如聲音數(shù)據(jù)、靜音、標(biāo)記、ASCII碼文件，重復(fù)的結(jié)束，重復(fù)以及終止標(biāo)志，擴(kuò)展塊等。 利用聲霸卡提供的軟件可以實(shí)現(xiàn)VOC和WAV文件的轉(zhuǎn)換。 注：Sound Blaster（聲霸卡）是一個(gè)電腦聲卡系列產(chǎn)品，曾經(jīng)是IBM個(gè)人電腦聲效的非正式標(biāo)準(zhǔn)，由新加坡創(chuàng)新科技（Creative）開發(fā)。現(xiàn)時(shí)Sound Blaster主要生產(chǎn)較高價(jià)的聲卡產(chǎn)品，提供3D立體聲等特殊音效。3.

15、MIDI文件 MIDI（masical instrument digitat intantace）音頻文件一種計(jì)算機(jī)數(shù)字音樂接口生成的數(shù)字描述音頻文件，擴(kuò)展名是“.mid”。4. RMI、SND 文件擴(kuò)展名.RMI是Microsoft公司MIDI文件格式，它可以包括圖片、標(biāo)記和文本。 其他音頻文件最重要的是PCM（pulse code modulation）格式，它是模擬的音頻信號經(jīng)模數(shù)轉(zhuǎn)換（A/D變換）直接形成的二進(jìn)制序列，該文件沒有附加的文件頭和文件結(jié)束標(biāo)志。 SND是另一種計(jì)算機(jī)的波形音頻文件格式。5.AIF AIF是Apple計(jì)算機(jī)的音頻文件格式。Windows的Convert工具可以

16、把AIF格式的文件轉(zhuǎn)換成Microsoft的WAV格式的文件。6.MP3 利用MPEG Audio的Layer-3壓縮方案，壓縮比達(dá)到14-12：1，用一張mp3 CD可以容納十張唱片的歌曲，是目前網(wǎng)上常用的音樂格式。5.RA格式 是Real Network 公司的RealAudio格式，壓縮比很大，適合在網(wǎng)上實(shí)時(shí)播放，是現(xiàn)在網(wǎng)絡(luò)實(shí)時(shí)播放的主要格式之一。2.5 音頻編碼與音頻信號的特點(diǎn)一、音頻編碼 音頻編碼的目的在于壓縮數(shù)據(jù)。但是數(shù)據(jù)壓縮會導(dǎo)致音頻質(zhì)量的下降、計(jì)算量的增加。因此，要在音頻質(zhì)量、數(shù)據(jù)量和計(jì)算復(fù)雜度三方面在綜合考慮。 1、音頻的波形編碼 基于音頻數(shù)據(jù)的統(tǒng)計(jì)特性進(jìn)行編碼，其典型技術(shù)是

17、波形編碼。 波形編碼是指經(jīng)過數(shù)學(xué)編碼和解碼過程后重建的模擬信號波形與原始的模擬信號波形盡可能一致的編碼方法。其目標(biāo)是使重建語音波形保持原波形的形狀。 波形編碼有脈沖編碼調(diào)制（PCM）、自適應(yīng)增量調(diào)制（ADM）、自適應(yīng)差分ADPCM、子帶編碼等，其中PCM和ADPCM應(yīng)用最為普遍。（1）PCM（脈沖編碼調(diào)制） 脈沖編碼調(diào)制PCM（Pulse Code Modulation）是一種模數(shù)轉(zhuǎn)換（A/D轉(zhuǎn)換）的最基本編碼方法，這是一種最通用的無壓縮編碼。它直接賦予抽樣點(diǎn)一個(gè)代碼，沒有進(jìn)行壓縮，因而所需的存儲空間較大。特點(diǎn)是保真度高，解碼速度快，但編碼后的數(shù)據(jù)量大。在數(shù)字音頻表示中，采用二進(jìn)制編碼是方便的

18、，全部數(shù)據(jù)由一組二進(jìn)制編碼表示。 上述這種簡單地把語音經(jīng)模/數(shù)轉(zhuǎn)換得到數(shù)字表示方法示意的是一種瞬時(shí)均勻量化器。它采用的編碼方法稱作脈沖編碼調(diào)制PCM）。在MPC中就是用這種方法存儲未壓縮的音頻數(shù)據(jù)。 在量化中，將量化表示成 其中 x(n)是未量化的樣值，e(n)是量化誤差（量化噪聲）。 （2）、自適應(yīng)差分脈沖調(diào)制編碼（Adaptive Differential Pulse Code Modulation簡稱 ADPCM） 為了減少存儲空間，人們尋找壓縮編碼技術(shù)。利用音頻抽樣的幅度分布規(guī)律和相鄰樣值具有相關(guān)性的特點(diǎn)，提出了差值量化（DPCM）、自適應(yīng)量化（APCM）和自適應(yīng)差值量化(ADPCM）

19、等算法，實(shí)現(xiàn)了數(shù)據(jù)的壓縮。 ADPCM是一種有損壓縮，它丟掉了部分信息。由于人耳對聲音的不敏感性，適當(dāng)?shù)挠袚p壓縮對視聽播放效果影響不大。ADPCM記錄的量化值不是每個(gè)采樣點(diǎn)的幅值，而是該點(diǎn)的幅值與前一個(gè)采樣點(diǎn)幅值之差。這樣，每個(gè)采樣點(diǎn)的量化位就不需要16 bit，由此可減少信號的容量。可選的幅度差的量化比特位為8 bit、4 bit和2 bit。SB16的ADPCM編碼采用4 bit 量化位，對 CD音質(zhì)信號壓縮，其壓縮比為1：4，壓縮后基本上分辨不出失真。 2、基于音頻的聲學(xué)參數(shù)，進(jìn)行參數(shù)編碼，可進(jìn)一步降低數(shù)據(jù)率。其目標(biāo)是使重建音頻保持原音頻的特性。常用的音頻參數(shù)有共振峰、線性預(yù)測系數(shù)、濾波

20、器組等。這種編碼技術(shù)的優(yōu)點(diǎn)是數(shù)據(jù)率低，但還原信號的質(zhì)量較差，清晰度低。 將上述兩種編碼算法很好地結(jié)合起來，采用混合編碼的方法。這樣就能在較低的碼率上得到較高的音質(zhì)。如碼本激勵(lì)線性預(yù)測（CELP）、多脈沖激勵(lì)線性預(yù)測編碼（MPLPC）等。3、基于人的聽覺特性進(jìn)行編碼。從人的聽覺系統(tǒng)出發(fā)，利用掩蔽效應(yīng)（聲音的響度不僅取決于自身的強(qiáng)度和頻率，而且也依賴于同時(shí)出現(xiàn)的其它聲音。各種聲音可以互相掩蔽，也就是說一種聲音的出現(xiàn)可能使得另一種聲音難于聽清。由于聲音的掩蔽效果，可以欺騙人的聽覺。例如，本來是多種頻率的聲音的復(fù)合，但聽眾以為是另一種聲音。），設(shè)計(jì)心理聲學(xué)模型，從而實(shí)現(xiàn)更高效率的數(shù)字音頻的壓縮。其中以

21、MPEG標(biāo)準(zhǔn)中的高頻編碼和Dolby AC-3最有影響。4、 編碼算法：編碼的作用其一是采用一定的格式來記錄數(shù)字?jǐn)?shù)據(jù)，其二是采用一定的算法來壓縮數(shù)字?jǐn)?shù)據(jù)以減少存儲空間和提高傳輸效率。壓縮算法包括有損壓縮和無損壓縮；有損壓縮指解壓后數(shù)據(jù)不能完全復(fù)原，要丟失一部分信息。壓縮編碼的基本指標(biāo)之一就是壓縮比，它通常小于1。壓縮越多，信息丟失越多、信號還原后失真越大。 根據(jù)不同的應(yīng)用，應(yīng)該選用不同的壓縮編碼算法。音頻數(shù)據(jù)壓縮比可用下式表示：二、音頻信號的特點(diǎn) 在多媒體系統(tǒng)中，音頻信號要分為兩類：語音信號和非語音信號。非語音信號又可分為樂音和雜音。非語音信號的特點(diǎn)是不具有復(fù)雜的語意和語法信息，信息量低，識別

22、簡單。語音是語言的物質(zhì)外殼（載體）。語言是人類社會特有的一種信息系統(tǒng)，是社會交際工具的符號。音頻信號處理的特點(diǎn)如下：（1）音頻信號是時(shí)間依賴的連續(xù)媒體。因此音頻處理的時(shí)序性要求很高。如果在時(shí)間上有25ms的延遲，人就會感到斷續(xù)。（2）由于人接收聲音有兩個(gè)通道（左耳、右耳），因此為使計(jì)算機(jī)模擬自然聲音，也應(yīng)有兩個(gè)聲道，即理想的合成聲音應(yīng)是立體聲。（3）由于語言信號不僅僅是聲音的載體，同時(shí)還攜帶了情感的意向，故對語音信號的處理，不僅是信號處理問題，還要抽取語意等其他信息。因此可能會涉及到語言學(xué)、社會學(xué)、聲學(xué)等。從人與計(jì)算機(jī)交互的角度來看音頻信號相應(yīng)的處理如下：（1）人與計(jì)算機(jī)通信（計(jì)算機(jī)接收音頻信

23、號） 音頻獲取、語音識別與理解。（2）計(jì)算機(jī)與人通信（計(jì)算機(jī)輸出音頻） 包括音樂合成、語音合成、 聲音定位、音頻/視頻同步等，目的是讓計(jì)算機(jī)產(chǎn)生真實(shí)感聲音。（3）人計(jì)算機(jī)人 通信 人通過網(wǎng)絡(luò)，與處于異地的人進(jìn)行語音通信，相關(guān)的音頻處理有語音采集、音頻的編碼和解碼、音頻的存儲、音頻的傳輸、基于內(nèi)容的檢索等。2.6電子樂器數(shù)字接口（MIDI）一、MIDI概述 MIDI(Musical Instrument Digtal Interface)是指樂器數(shù)字接口的國際標(biāo)準(zhǔn)，1983年它是由世界上主要電子樂器制造商，Yamaha、Roland等公司聯(lián)合建立起來的一個(gè)通用標(biāo)準(zhǔn)，是多媒體計(jì)算機(jī)所支持的又一種聲

24、音產(chǎn)生方法。 MIDI接口兩個(gè)不同的成分硬件設(shè)備的連接（接口和MIDI電纜）數(shù)據(jù)格式（主要包括MIDI消息）MIDI消息是指樂譜的數(shù)字描述。任何電子樂器，只要有處理MIDI消息的微處理器和合適的硬件接口，就構(gòu)成了一個(gè)MIDI設(shè)備。當(dāng)一組MIDI消息通過音樂合成芯片處理時(shí)，合成器能解釋這些符號并且產(chǎn)生音樂。MIDI的關(guān)鍵是作為媒體能夠記錄這些音樂的符號，相應(yīng)的設(shè)備能夠產(chǎn)生和解釋這些符號。它給出了一種得到音樂聲音的方法。二、MIDI的特點(diǎn) （1）與波形聲音相比：MIDI數(shù)據(jù)不是聲音而是指令，所以它的數(shù)據(jù)量要比波形聲音少得多。半小時(shí)的立體聲16位高品質(zhì)音樂，如果用波形文件無壓縮錄制約需300MB的存

25、儲空間。而同樣時(shí)間的MIDI數(shù)據(jù)大約只需200KB，兩者相差1500倍之多。在播放較長的音樂時(shí)，MIDI的效果就更為突出。（2）MIDI的另一個(gè)特點(diǎn)：由于數(shù)據(jù)量小，故可以在多媒體應(yīng)用中與其他波形聲音配合使用，形成伴樂的效果。 對MIDI的編輯也很靈活，在音序器的幫助下，用戶可以自由地改變音調(diào)、音色等屬性，直到自已想要的效果，波形文件就很難做到這一點(diǎn)。 MIDI也無法模擬出自然界中其他非樂曲類聲音。但MIDI確實(shí)給多媒體應(yīng)用增色不少。三、MIDI發(fā)聲原理 產(chǎn)生MIDI樂音的方法很多，現(xiàn)在用得較多的方法有兩種： 一種是頻率調(diào)制（frequency modulation, FM）合成法。另一種是樂音

26、樣本合成法，也稱為波形表（wavetable）合成法。 1、 FM合成法 原理：根據(jù)傅立葉級數(shù)理論，任何一種波形信號都可被分解成若干個(gè)頻率不同的正弦波。 FM合成法是把幾種樂音的波形用數(shù)字來表達(dá)，并且用數(shù)字計(jì)算機(jī)而不是用模擬電子器件把它們組合起來，通過數(shù)模轉(zhuǎn)換器DAC來生成樂音，優(yōu)點(diǎn)是簡單便宜，缺點(diǎn)是產(chǎn)生各種逼真的樂音是相當(dāng)困難的，有些樂音幾乎不能產(chǎn)生。 在樂音合成器中，數(shù)字載波波形和調(diào)制波形有很多種，不同型號的FM合成器所選用的波形也不同。下圖是Yamaha OPL-數(shù)字式FM合成器采用的波形。 聲音合成器的波形 2、樂音樣本合成法（波形表合成法） 波形表合成法就是把真實(shí)樂器發(fā)出的聲音以數(shù)字

27、的形式記錄下來，播放時(shí)改變播放速度，從而改變音調(diào)周期，生成各種音階的音符。 樂音樣本的采集相對比較直觀。音樂家在真實(shí)樂器上演奏不同的音符，選擇4.1kHz的采樣頻率、16位的樂音樣本，這相當(dāng)于CDDA的質(zhì)量，把不同音符的真實(shí)聲音記錄下來，這就完成了樂音樣本的采集。 原理：先記錄各種樂器的真實(shí)聲音，并進(jìn)行數(shù)字化處理，形成波形數(shù)據(jù)，通常存儲在ROM中。 發(fā)音時(shí)通過查表找到所選樂器的波形數(shù)據(jù)，再經(jīng)過調(diào)制、濾波、再合成等處理形成立體聲回放。 優(yōu)點(diǎn)：直觀、真實(shí)，更接近自然的聲音。 波形表合成技術(shù)又分為軟件波形表技術(shù)和硬件波形表技術(shù)。 四、MIDI的術(shù)語 1、MIDI文件 存放MIDI信息的標(biāo)準(zhǔn)文件格式。

28、MIDI文件中包含音符、定時(shí)和多達(dá)16個(gè)通道的演奏定義。文件包括每個(gè)通道的演奏音符信息：鍵、通道號、音長、音量和力度（擊鍵時(shí)，鍵達(dá)到最低位置的速度）。 2、通道 MIDI可為16個(gè)通道提供數(shù)據(jù)。每個(gè)通道訪問一個(gè)獨(dú)立的邏輯合成器。3、合成器 利用數(shù)字信號處理器或其他芯片來產(chǎn)生音樂或聲音的電子裝置。數(shù)字信號處理器產(chǎn)生并修改波形，然后通過聲音產(chǎn)生器和揚(yáng)聲器發(fā)出聲音。合成器發(fā)聲的質(zhì)量和聲部取決于以下因素：合成器能夠同時(shí)播放的獨(dú)立波形的個(gè)數(shù)，控制軟件的能力，合成器電路中的存儲空間。4、樂器 能產(chǎn)生特定聲音的合成器。不同的合成器，樂器音色號不同，聲音質(zhì)量也不同。如，多數(shù)樂器都能合成鋼琴的聲音，不同樂器使用

29、的音色號不同，它們輸出的聲音是有差異的。5、復(fù)音 這里指的是合成器同時(shí)支持的最多音符數(shù)。如一個(gè)能以六個(gè)復(fù)音合成四種樂器聲音的合成器，可同時(shí)演奏分布于四種樂器的六個(gè)音符。它可能是四個(gè)音符的鋼琴和弦、一個(gè)長笛和一個(gè)小提琴的音。6、音色 音色指的是聲音的音質(zhì)。音色取決于聲音頻率的組成。在非正式的用法中，它指的是與特定樂器相關(guān)的特定聲音，如低音提琴、鋼琴、小提琴的聲音均有各自的音色。7、音序器 是為MIDI作曲而設(shè)計(jì)的計(jì)算機(jī)程序或電子裝置。音序器能夠用來記錄、播放、編輯MIDI事件。大多數(shù)音序器能輸入、輸出MIDI文件。如cakewalk。五、MIDI和多媒體PC MIDI規(guī)范允許MIDI裝置以預(yù)先說

30、明的方式通信。為了提供單電纜連接和通信端口標(biāo)準(zhǔn)，關(guān)鍵之一是物理連接的標(biāo)準(zhǔn)化。MIDI標(biāo)準(zhǔn)中規(guī)定MPC（多媒本個(gè)人計(jì)算機(jī)）包括一個(gè)內(nèi)部合成器和標(biāo)準(zhǔn)MIDI端口： MIDI裝置應(yīng)有一個(gè)或多個(gè)下列端口：MIDI In，MIDI Out和MIDI Thru。每種端口有特定的用處，如發(fā)送、接收或在MIDI裝置間轉(zhuǎn)發(fā)MIDI消息。這種設(shè)計(jì)允許你同時(shí)控制所連接的多個(gè)MIDI裝置。各端口的功能簡述如下： MIDI In（輸入口）：接收從其他MIDI裝置傳來的消息。 MIDI Out（輸出口）：發(fā)送某裝置生成的原始MIDI消息。向其他設(shè)備發(fā)送MIDI消息。 MIDI Thru（出發(fā)口）：傳送從輸入口接收的消息到

31、其他MIDI裝置。向其他設(shè)備發(fā)關(guān)MIDI消息。 上述MIDI端口都支持標(biāo)準(zhǔn)的MIDI電纜連接。MIDI電纜由屏蔽的雙絞線及連接纜兩端的五針DIN插關(guān)組成。MIDI樂器間的連接如圖所示。 MIDI樂器音的連接六、MIDI系統(tǒng) MIDI協(xié)議提供了一種標(biāo)準(zhǔn)的和有效的方法，用來把演奏信息換成電子數(shù)據(jù)。MIDI信息傳輸，可以被認(rèn)為是告訴音樂合成器如何演奏一小段音樂的一種指令，而合成器把接收到的MIDI數(shù)據(jù)轉(zhuǎn)換成聲音。 MIDI樂器上的MIDI接口通常包含3種不同的MIDI連接器，用IN（輸入），OUT（輸出）和THRU（穿越）。MIDI數(shù)據(jù)流通常由MIDI控制器產(chǎn)生，如樂器鍵盤，或者由MIDI音序器產(chǎn)生

32、。來自MIDI控制器或者音序的MIDI數(shù)據(jù)輸出通過該裝置的MIDI OUT連接器傳輸。MIDI數(shù)據(jù)流的接收設(shè)備是MIDI聲音發(fā)生器或者M(jìn)IDI聲音模塊，它們在MIDIIN端口接收MIDI信息，然后播放聲音。下圖表示的是一個(gè)簡單的MIDI系統(tǒng)，它由一個(gè)MIDI鍵盤控制器和一個(gè)MIDI聲音模塊組成。 在一個(gè)MIDI設(shè)備上的MIDI IN連接器接收到的信息可通過MIDI THRU連接順輸出到另一個(gè)MIDI設(shè)備，并可以菊花鏈的方式連接多個(gè)MIDI設(shè)備，這樣就組成了一個(gè)復(fù)雜的MIDI系統(tǒng)。 使用安裝在PC機(jī)上的高級的MIDI音序器軟件，用戶可把MIDI鍵盤控制器（MIDI keyboard contro

33、ller）連接到MIDI接口卡的MIDI IN端口，也可以有相同的音樂創(chuàng)作功能。 七、MIDI消息 MIDI文件的內(nèi)容被稱為MIDI消息。簡單說MIDI消息，是指樂譜的數(shù)字描述。 MIDI消息=狀態(tài)字節(jié)+數(shù)據(jù)字節(jié)狀 態(tài) 字 節(jié)通道消息系統(tǒng)消息通道模式消息通道聲音消息系統(tǒng)獨(dú)有消息系統(tǒng)公共消息系統(tǒng)實(shí)時(shí)消息音符序列八、MIDI軟件1、錄制和表演2、樂譜打印3、同步裝置片段編輯器和庫管理程序4、音樂教育應(yīng)用2.7 聲卡(sound card) 聲卡，又叫音頻卡(audio card)是一種在計(jì)算機(jī)上處理音頻信號的插卡 。是多媒體技術(shù)中最基本的組成部分，是實(shí)現(xiàn)聲波數(shù)字信號相互轉(zhuǎn)換的一種硬件。聲卡的基本功

34、能是把來自話筒、磁帶、光盤的原始聲音信號加以轉(zhuǎn)換，輸出到耳機(jī)、揚(yáng)聲器、擴(kuò)音機(jī)、錄音機(jī)等聲響設(shè)備，或通過音樂設(shè)備數(shù)字接口(MIDI)使樂器發(fā)出美妙的聲音。 聲卡處理的音頻媒體有數(shù)字化聲音（Wave）、合成音樂（MIDI）、CD音頻。 聲音是怎樣工作的？從模擬到數(shù)字聲源聲波傳聲器模擬電信號數(shù)字聲音 聲卡工作原理：聲卡的工作原理其實(shí)很簡單，我們知道，麥克風(fēng)和喇叭所用的都是模擬信號，而電腦所能處理的都是數(shù)字信號，兩者不能混用，聲卡的作用就是實(shí)現(xiàn)兩者的轉(zhuǎn)換。從結(jié)構(gòu)上分，聲卡可分為模數(shù)轉(zhuǎn)換電路和數(shù)模轉(zhuǎn)換電路兩部分,模數(shù)轉(zhuǎn)換電路負(fù)責(zé)將麥克風(fēng)等聲音輸入設(shè)備采到的模擬聲音信號轉(zhuǎn)換為電腦能處理的數(shù)字信號；而數(shù)模轉(zhuǎn)

35、換電路負(fù)責(zé)將電腦使用的數(shù)字聲音信號轉(zhuǎn)換為喇叭等設(shè)備能使用的模擬信號。聲卡的功能： 1、錄制與播放：聲卡可從話筒（mic）或線路輸入(line in)，將外部的模擬聲音信號轉(zhuǎn)換成數(shù)字信號錄入計(jì)算機(jī)，并以文件的形式保存下來編輯與處理；將計(jì)算機(jī)中的表示聲音的數(shù)字信號轉(zhuǎn)換成模擬信號，通過聲音輸出設(shè)備輸出。 2、聲卡可對音頻數(shù)據(jù)進(jìn)行多種特效處理；MIDI音樂合成；文語轉(zhuǎn)換與語音識別等 。聲卡主要組成部件：MIDI輸入/輸出電路；MIDI合成器芯片；用來把CD音頻輸入與線輸入相混合電路；帶有脈沖編碼調(diào)制（PCM）電路的模數(shù)轉(zhuǎn)換器、數(shù)模轉(zhuǎn)換器；用來壓縮和解壓音頻文件的壓縮芯片；用來合成語音輸出的語音合成器；用來識別語音輸入的語音識別電路；輸出立體聲的音頻輸出或線路輸出的輸出電路等。 音箱2、Microphone（麥克風(fēng)輸入）3、Speaker（揚(yáng)聲器輸出）4、MIDI/Game Port（MIDI/操縱桿端口）7、CD-ROM音頻信號接口6、CD-ROM的接口8、跳接器音頻輸出IDE接口CD-ROM外部音頻設(shè)備麥克風(fēng)操縱桿MIDI聲音裝置1、Line in（線性輸入）5、Volume Control（音量調(diào)節(jié)旋鈕）電源跳接線音頻卡的連接方式聲卡的主要工作有：1、數(shù)字化聲音處理：聲卡使用數(shù)字信號處理器（DSP） 來處理所有的音頻I/O和MIDI操作，其主要任務(wù)是完成音