音頻處理(一)

1、【教學目的與要求【教學目的與要求】 理解：數(shù)字音頻采集和量化的基本原理理解：數(shù)字音頻采集和量化的基本原理 掌握：數(shù)字音頻的文件格式掌握：數(shù)字音頻的文件格式 了解：音頻編碼的原理、音樂合成和了解：音頻編碼的原理、音樂合成和 MIDIMIDI規(guī)范規(guī)范 了解：多媒體計算機音頻技術的應用了解：多媒體計算機音頻技術的應用 數(shù)字音頻的采集和量化、數(shù)據(jù)量計算公式；數(shù)字音頻的采集和量化、數(shù)據(jù)量計算公式； 聲卡的構成、分類、主要性能指標；聲卡的構成、分類、主要性能指標； 常用的壓縮編碼算法；常用的壓縮編碼算法；【難重點【難重點】Sampling rate: 采樣頻率采樣頻率Audio Compression:

2、音頻壓縮音頻壓縮MIDI ( Musical Instrument Digital Interface ): 音樂設備數(shù)字接口音樂設備數(shù)字接口【外語詞匯【外語詞匯】2.1 數(shù)字音頻基礎數(shù)字音頻基礎2.2 聲卡的組成與工作原理聲卡的組成與工作原理2.3 音樂合成與音樂合成與MIDI規(guī)范規(guī)范2.4 音頻編碼基礎音頻編碼基礎2.5 多媒體音頻技術的應用多媒體音頻技術的應用一、一、 聲音心理學聲音心理學二、二、 音頻的數(shù)字化音頻的數(shù)字化三、三、 數(shù)字音頻的文件格式數(shù)字音頻的文件格式一、聲音心理學一、聲音心理學 1.聲音的量綱 聲音的振動是一種正弦波，聲音的變化必須確定三件事：頻率（變化的速度）、幅度（

3、產(chǎn)生的壓力）、相位（何時開始）。 另外一方面，人們可以感覺到聲音的強弱，可以感覺到歌唱家音調(diào)的高低。 因此，聲音的量綱分為聲音的物理量綱和心理量綱。一、聲音心理學一、聲音心理學 物理量綱可以用精確的值來描述，但對某一具體聲音得來的心理印象卻不容易說明白，因為心理印象要由被測者的經(jīng)驗而定。 聲音的心理屬性和物理屬性不可等同，首先，這些關系不是線性的；其次這些關系不是孤立的；第三這些關系不是不變的。一、聲音心理學一、聲音心理學2.聽覺特性等響曲線 由于響度與頻率和強度有關，所以在不同頻率上的強度是不同的。先設一個音為標準音，給予固定的頻率、強度和持續(xù)時間，例如1000Hz、40分貝、持續(xù)0.5秒；

4、再給一個音也持續(xù)0.5秒，但頻率不同，通過調(diào)整使其響度聽起來一樣，得到的這樣一組曲線稱之為等響曲線。 一、聲音心理學一、聲音心理學掩蔽（masking） 聲音的響度不僅取決于自身的強度和頻率，而且也依賴于同時出現(xiàn)的其它聲音。 各種聲音可以互相掩蔽，也就是說一種聲音的出現(xiàn)可能使得另一種聲音難于聽清。由于聲音的掩蔽效果，可以欺騙人的聽覺。例如，本來是多種頻率的聲音的復合，但聽眾以為是另一種聲音。 一、聲音心理學一、聲音心理學相位 從聲音的波形來看，聲音的起點和方向也要反映聲音的特性，這就是聲音的相位。當兩個聲音相同相位完全相反時，它們將相互抵消；當兩個聲音相同而且相位也相同時，聲音就會得到加強。

5、相位的確定對于多聲道聲音系統(tǒng)的設計非常重要，其可以應用在回聲的消除、會議系統(tǒng)的聲音設計上。 一、聲音心理學一、聲音心理學聽覺空間 人耳可聽到來自各個方向的聲音，并用不同的因素來判定聲源的位置。聲源的位置不論對于增進人們的感受還是增進對聲音的理解，都是非常重要的。通過聲音的精確再現(xiàn)，就可以構造出聽覺空間。 方位的線索是各種聲音到達兩耳的精確時間和強度。一、聲音心理學一、聲音心理學聲音的心理模擬 通過人工真實的方法，可以對視覺空間的景物進行再造或虛構，同樣也可以對聽覺空間的聲音進行心理的模擬，這就是所謂的可聽化（audiolization）。利用聲音屬性可以表達出一些聲音的效果。 如以虛擬的湍流為

6、例，用聲音的高低可以表示流體的粘度，低音表示流體很粘，高音則不粘。二、音頻的數(shù)字化二、音頻的數(shù)字化聲音的基本概念: 聲音是通過一定介質(zhì)傳播的一種連續(xù)波。t振幅周期A二、音頻的數(shù)字化二、音頻的數(shù)字化聲音按頻率分類：次聲波次聲波可聽聲波可聽聲波 超聲波超聲波20Hz20kHzf(Hz)人類說話聲音頻率范圍：人類說話聲音頻率范圍：300Hz-3kHz300Hz-3kHz10 20 50 200 3.4k 7k 15k 20kCD-DAFM廣播廣播AM廣播廣播電話電話f(Hz)（亞音信號）（亞音信號）（音頻信號）（音頻信號）（超音頻信號）（超音頻信號）聲音質(zhì)量的頻率范圍：聲音質(zhì)量的頻率范圍：二、音頻的

7、數(shù)字化二、音頻的數(shù)字化聲音信號的類型 模擬信號(自然界、物理) 數(shù)字信號(計算機)二、音頻的數(shù)字化二、音頻的數(shù)字化編碼模擬信號模擬信號數(shù)字信號數(shù)字信號模擬信號模擬信號數(shù)字信號數(shù)字信號A/D ADCD/A DAC聲音信號的數(shù)字化過程二、音頻的數(shù)字化二、音頻的數(shù)字化聲音數(shù)字化過程圖示:連續(xù)的模擬聲音信號連續(xù)的模擬聲音信號聲音信號的采樣聲音信號的采樣離散的音頻信號離散的音頻信號二、音頻的數(shù)字化二、音頻的數(shù)字化聲音數(shù)字化的兩個步驟：采樣量化 采樣是每隔一段時間讀一次聲音信號的幅度。 量化是把采樣得到的聲音信號幅度轉換為數(shù)字值。 聲音的采樣以及量化圖聲音的采樣以及量化圖二、音頻的數(shù)字化二、音頻的數(shù)字化二

8、、音頻的數(shù)字化二、音頻的數(shù)字化與音頻數(shù)字化相關的重要特性：與音頻數(shù)字化相關的重要特性： 指每秒鐘所抽取聲波幅度樣本的次數(shù)。采樣頻率的計算單位是kHz。 采樣頻率與聲音的質(zhì)量關系最為緊密。采樣頻率越高，聲音質(zhì)量越接近原始聲音，所需的存儲量便越多。標準的采樣頻率有三個：44.1KHz，22.05kHz，和11.025kHz。二、音頻的數(shù)字化二、音頻的數(shù)字化二、音頻的數(shù)字化二、音頻的數(shù)字化 存放一個采樣點所需的比特數(shù)。它反映了每個采樣點能夠表示的數(shù)據(jù)范圍。 一般的采樣位數(shù)為8位或16位，即把聲音采集為256等份或65536等分。量化位數(shù)越高音質(zhì)越好，但數(shù)據(jù)量也大二、二、 音頻的數(shù)字化音頻的數(shù)字化 紀

9、錄聲音時，如果每次生成 1個聲波數(shù)據(jù)，稱為單聲道；每次生成 2個聲波數(shù)據(jù)，稱為立體聲（雙聲道），立體聲更能反映人的聽覺感受。 有單聲道、雙聲道和多聲道。如多種語言音頻混存時，需要多聲道。二、二、 音頻的數(shù)字化音頻的數(shù)字化 可以用下面的公式估算聲音數(shù)字化后每秒所需的存儲量： ( (采樣頻率采樣頻率每點采樣位數(shù)每點采樣位數(shù)聲道數(shù)聲道數(shù)) )數(shù)據(jù)量數(shù)據(jù)量 8( (字節(jié)字節(jié)/ /秒秒) )二、二、 音頻的數(shù)字化音頻的數(shù)字化 數(shù)字激光唱盤（CD-DA，紅皮書標準）的標準采樣頻率為44.1kHz，量化位數(shù)為16位，立體聲（這就是所謂的CD音質(zhì)），可以幾乎無失真地播出頻率高達22kHz的聲音，這也是人耳所能

10、聽到的最高聲音頻率。1分鐘CD-DA音樂所需要的存儲量為多少？(44.1(44.1* *10001000* *1616* *2 2* *60)/8=10584000 B60)/8=10584000 B二、二、 音頻的數(shù)字化音頻的數(shù)字化聲音數(shù)字化三要素:采樣頻率采樣頻率量化位數(shù)量化位數(shù)聲道數(shù)聲道數(shù)每秒鐘抽取聲波每秒鐘抽取聲波幅度樣本的次數(shù)幅度樣本的次數(shù)每個采樣點用多少二每個采樣點用多少二進制位表示數(shù)據(jù)范圍進制位表示數(shù)據(jù)范圍使用聲音通道的使用聲音通道的個數(shù)個數(shù)采樣頻率越高采樣頻率越高聲音質(zhì)量越好聲音質(zhì)量越好數(shù)據(jù)量也越大數(shù)據(jù)量也越大量化位數(shù)越多量化位數(shù)越多音質(zhì)越好音質(zhì)越好數(shù)據(jù)量也越大數(shù)據(jù)量也越大立體

11、聲比單聲道立體聲比單聲道的表現(xiàn)力豐富，的表現(xiàn)力豐富，但數(shù)據(jù)量翻倍但數(shù)據(jù)量翻倍11.025kHz11.025kHz22.05 kHz22.05 kHz44.1 kHz44.1 kHz 8 8位位256 256 個值個值1616位位6553665536個值個值單聲道單聲道立體聲立體聲三、數(shù)字音頻的文件格式三、數(shù)字音頻的文件格式三、數(shù)字音頻的文件格式三、數(shù)字音頻的文件格式 MP3(MPEG Audio layer 3)是一種按是一種按MPEG標準的音頻壓縮技術制作的音頻文件。標準的音頻壓縮技術制作的音頻文件。 特點：高壓縮比特點：高壓縮比(11:1)，優(yōu)美音質(zhì)，優(yōu)美音質(zhì)三、三、 數(shù)字音頻的文件格式數(shù)

12、字音頻的文件格式 WMA( Windows Media Audio)是是WindowsMedia 特點：壓縮到特點：壓縮到MP3一半一半 MIDI( (樂器數(shù)字接口樂器數(shù)字接口) )是由一組聲音或樂器符號是由一組聲音或樂器符號的集合。的集合。 特點：數(shù)據(jù)量很小，缺乏重現(xiàn)自然音特點：數(shù)據(jù)量很小，缺乏重現(xiàn)自然音四、音頻信號的特點四、音頻信號的特點 1、音頻信號是時間依賴的連續(xù)媒體。具有很強的連續(xù)性和時變性； 2、 計算機模擬自然聲音時，理想的合成聲音應是立體聲。 3、語音信號的處理 四、音頻信號的特點四、音頻信號的特點 從人與計算機交互的角度看，音頻信號的處理包括下述3點：v計算機與人通信，也就是

13、計算機輸出音頻。包括音樂合成、語音合成、聲音的定位以及音頻視頻的同步。v人-計算機-人通信。人通過網(wǎng)絡與異地的人進行語音通信，相關的音頻處理有語音采集、音頻的編碼和解碼、音頻的存儲、音頻的傳輸、基于內(nèi)容的檢索等。v人與計算機通信，也就是計算機接收音頻信號。包括音頻獲取、語音的識別和理解。一、一、 聲卡的構成原理聲卡的構成原理二、二、 聲卡的性能指標聲卡的性能指標三、三、 音箱音箱 聲卡是負責錄音、播音和聲音合成的聲卡是負責錄音、播音和聲音合成的一種多媒體板卡。一種多媒體板卡。一、 聲卡(又稱聲音卡、音頻卡) 錄制、編輯和回放數(shù)字音頻文件錄制、編輯和回放數(shù)字音頻文件 控制和混合各聲源的音量控制和

14、混合各聲源的音量 記錄和回放音頻時進行壓縮和解壓縮記錄和回放音頻時進行壓縮和解壓縮 語音合成技術語音合成技術( (朗讀文本朗讀文本) ) 具有具有MIDIMIDI接口接口( (樂器數(shù)字接口樂器數(shù)字接口) ) 線性輸出線性輸出總線接口芯片總線接口芯片數(shù)字音頻處理芯片數(shù)字音頻處理芯片音樂合成器音樂合成器A/DA/D和和D/AD/AMIDIMIDI接口接口混音器混音器CDCD接口接口計算機總線計算機總線話筒輸入話筒輸入線性輸入線性輸入揚聲器輸出揚聲器輸出 采樣頻率采樣頻率：11.025kHz (11.025kHz (語音效果語音效果) ) 22.05 kHz ( 22.05 kHz (音樂效果音樂效

15、果) ) 44.1 kHz ( 44.1 kHz (高保真效果高保真效果) ) 量化等級量化等級： 8 8位位/256/256級級 ( (語音質(zhì)量語音質(zhì)量) ) 16 16位位/65536/65536級級( (高保真質(zhì)量高保真質(zhì)量) )多媒體音頻技術 大多數(shù)普及型聲卡采用大多數(shù)普及型聲卡采用FMFM合成法（與家用電合成法（與家用電子琴類似），即通過正弦波相互調(diào)制來模擬真實子琴類似），即通過正弦波相互調(diào)制來模擬真實的樂器聲音。的樂器聲音。 較好的聲卡采用的是波形表合成技術來實現(xiàn)較好的聲卡采用的是波形表合成技術來實現(xiàn)音樂合成音樂合成( (即所謂的即所謂的波表卡波表卡) )。波形表包含有真實。波形表包含有真實樂器聲音波形的數(shù)字記錄，在演奏時將相應樂器樂器聲音波形的數(shù)字記錄，在演奏時將相應樂器的波形記錄播放出來。的波形記錄播放出來。CODECCODEC芯片芯片( (依賴依賴CPUCPU，價格便宜，價格便宜) ) - - 數(shù)字信號處理器數(shù)字信號處理器DSP(DSP(不依賴不依賴CPU)CPU)- - ISAISA總線、總線、PCIPCI總線、總線、USBUSB接口接口信噪比越高信噪比越高, ,聲音聽起來就越清晰聲音聽起來就越清晰二、 音箱 音箱是一種電聲轉換的發(fā)音設備，它由音箱是一種電聲轉換的發(fā)音設備，它由箱體、揚聲器、電源和信號放大器等組成。箱體、揚聲器、電源和信號放大