第二章音頻信息的獲取與處理

第二章音頻信息的獲取與處理1第1頁，共36頁，2023年，2月20日，星期三

考核目的：考核學生對數字音頻獲取與處理的基本原理、采樣量化的基本原理、音頻卡的組成及工作原理、音頻編碼標準以及音樂合成原理的理解和掌握。第2頁，共36頁，2023年，2月20日，星期三

考核的知識點：什么是數字音頻、數字音頻采樣和量化的基本原理、音頻卡的工作原理、音頻編碼標準和音樂合成的原理。第3頁，共36頁，2023年，2月20日，星期三

考核要求：掌握：數字音頻信息的獲取與處理的原理過程、音頻卡的工作原理。

理解：數字音頻采樣量化的原理過程、音樂合成的原理。了解：數字音頻編碼的標準。第4頁，共36頁，2023年，2月20日，星期三2-1數字音頻：在計算機內，所有的信息均以數字表示。各種命令是不同的數字，各種幅度的物理量也是不同的數字。音頻信號也用一系列數字表示，稱之為數字音頻。數字音頻的特點是保真度好，動態(tài)范圍大。第5頁，共36頁，2023年，2月20日，星期三2-2采樣：模擬聲音在時間上是連續(xù)的，而數字音頻是一個數字序列，在時間上只能是斷續(xù)的。因此當把模擬聲音變成數字聲音時，需要每隔一個時間間隔在模擬聲音波形上取一個幅度值，稱之為采樣，采樣的時間間隔稱為采樣周期。第6頁，共36頁，2023年，2月20日，星期三2-3量化：在數字音頻技術中，把采樣得到的表示聲音強弱的模擬電壓用數字表示。模擬電壓的幅值仍然是連續(xù)的，而用數字表示音頻幅度時，只能把無窮多個電壓幅度用有限個數字表示，即把某一幅度范圍內的電壓用一個數字表示，這稱之為量化。第7頁，共36頁，2023年，2月20日，星期三2-4．奈奎斯特采樣定理

1927年，奈奎斯特確定了如果對某一帶寬的有限時間連續(xù)信號（模擬信號）進行抽樣，且在抽樣率達到一定數值時，根據這些抽樣值可以在接收端準確地恢復原信號。為不使原波形產生“半波損失”，采樣率至少應為信號最高頻率的兩倍，這就是著名的奈奎斯特采樣定理。奈奎斯特1928年發(fā)表了《電報傳輸理論的一定論題》。

常用的音頻采樣率有：8kHz、11.025kHz、22.05kHz、16kHz、37.8kHz、44.1kHz、48kHz。第8頁，共36頁，2023年，2月20日，星期三均勻量化：就是將輸入數據的振幅進行等值均分，優(yōu)點是計算處理簡單，缺點是量化誤差大；非均勻量化：就是將輸入數據的振幅，按照其變化曲線的曲率大小進行不等值劃分。優(yōu)點是量化誤差大，缺點是計算處理復雜，需要較多的比特數。自適應量化：就是按照輸入數據的變化曲線的局部區(qū)域的特點，自適應地修改和調整量化器的箱寬。優(yōu)點是量化誤差小，缺點是計算處理復雜。第9頁，共36頁，2023年，2月20日，星期三2-5數字音頻的文件格式.WAVMicrosoft公司的波形音頻文件格式。.MIDMIDI文件格式。.VOCCreative公司的波形音頻文件格式。.SNDNeXT計算機的波形音頻文件格式。.AIFApple計算機的波形音頻文件格式。.RMIMicrosoft公司的MIDI文件格式。它可以包括圖片、標記和文本。第10頁，共36頁，2023年，2月20日，星期三2-6WAV文件儲存容量計算（教材24）WAV文件的字節(jié)數/每秒=采樣頻率（Hz）×量化位數（位）×聲道數/8第11頁，共36頁，2023年，2月20日，星期三2-7MIDI文件由于MIDI文件記錄的是一系列的計算指令而不是數據化后的波形數據，因此占用的存儲空間比WAV文件要小很多。所以預裝MIDI文件比裝入WAV文件要容易很多。這為設計多媒體應用系統(tǒng)和指何時播放音樂帶來很大的靈活性。但是MIDI文件的錄制比較復雜，這要學習一些使用MIDI創(chuàng)作并改編作品的專業(yè)知識，并且還必須有專門工具，如鍵盤合成器等。第12頁，共36頁，2023年，2月20日，星期三2-8音頻信號處理的特點（教材P26）(1)音頻信號是時間依賴的連續(xù)媒體。(2)理想的合成聲音應是立體聲。(3)對語音信號的處理，要抽取語意等其它信息，如可能會涉及到語言學、社會學、聲學等。第13頁，共36頁，2023年，2月20日，星期三2-9從人與計算機交互的角度來看音頻信號相應的處理如下:

(1)人與計算機通信(接收音頻信號)音頻獲?。徽Z音識別與理解。(2)計算機與人通信(輸出音頻)音頻合成；聲音定位；音頻/視頻同步。(3)人—計算機—別人通信第14頁，共36頁，2023年，2月20日，星期三2-10音頻卡的主要功能（教材P28）音頻的錄制與播放、編輯與合成、MIDI接口、文語轉換、CD-ROM接口及游戲接口等。第15頁，共36頁，2023年，2月20日，星期三2-11音頻卡的分類音頻卡的分類主要根據數據采樣量化的位數來分，通常分為8位、16位和32位等幾類。位數越高，量化精度越高，音質就越好。第16頁，共36頁，2023年，2月20日，星期三2-12音頻卡的工作原理（教材P33-55）音頻卡的組成平面圖(圖2.2)音頻卡的工作原理框圖(圖2.5)（1）聲音的合成與處理：這部分是音頻卡的核心，一般由數字聲音處理器、FM音樂合成器及MIDI控制器組成。它的主要任務是完成聲波信號的模/數、數/模轉換，利用調頻技術控制聲音的音調、音色、和幅度。第17頁，共36頁，2023年，2月20日，星期三（2）混合信號處理器及功率放大器：內置數字/模擬混音器，混音器的聲源可以是MIDI信號、CD音頻、線輸入、話筒和PC的揚聲器等，可以選擇輸入一個聲源或將幾個不同的聲源進行混合錄音。（3）計算機總線接口和控制器：總線接口和控制器是由數據總線雙向驅動器、總線接口控制邏輯、總線中斷邏輯及DMA（直接存儲器存?。┛刂七壿嫿M成。第18頁，共36頁，2023年，2月20日，星期三2-13音頻卡硬件的安裝步驟:（1）將電腦電源關閉，拔下供電電源和所有外接線插頭；（2）打開機箱外殼，選擇一個空閑的16位擴展槽并將聲卡插入擴展槽，聲卡一般應盡可能遠離顯示卡，以防兩者互相干擾；（3）連接來自CD-ROM驅動器的音頻線及聲卡的輸入/輸出線和游戲棒等；（4）如果需要，將CD-ROM驅動器的接口電纜插在卡上相應的接口上，并將CD-ROM的音頻輸出線接到聲卡的針形輸入線上；（5）連接諸如麥克風、外部音源和游戲棒等其它設備；（6）蓋上機箱外殼，并將電源插頭插回，待全部調試通過后再將固定螺絲擰緊。第19頁，共36頁，2023年，2月20日，星期三2-14音頻編碼基礎從信息保持的角度講,只有當信源本身具有冗余度,才能對其進行壓縮。根據統(tǒng)計分析結果，語音信號存在著多種冗余度，其最主要部分可以分別從時域和頻域來考慮。另外由于語音主要是給人聽的，所以考慮了人的聽覺機理，也能對語音信號實行壓縮。（教材P41）第20頁，共36頁，2023年，2月20日，星期三2-15音頻編碼的分類（教材P44）（1）基于音頻數據的統(tǒng)計特性進行編碼,其典型技術是波形編碼。（2）基于音頻的聲學參數，進行參數編碼,可進一步降低數據率。其目標是使重建音頻保持原音頻的特性。（3）基于人的聽覺特性進行編碼：從人的聽覺系統(tǒng)出發(fā)，利用掩蔽效應，設計心理聲學模型，從而實現更高效率的數字音頻的壓縮。其中以MPEG標準中的高頻編碼和DoldyAC-3最有影響。第21頁，共36頁，2023年，2月20日，星期三音頻編碼的分類如下：1）基于音頻數據的統(tǒng)計特性進行編碼典型技術是波形編碼：PCM（脈沖編碼調制）DPCM（線性預測或差值脈沖編碼調制）APCM（自適應量化編碼）ADPCM（自適應差分脈沖編碼調制）2）基于音頻的聲學參數，進行參數編碼3）基于人的聽覺特性進行編碼第22頁，共36頁，2023年，2月20日，星期三2-16音頻編碼算法和標準（表2.2）CCITT,ISO（1）G.711、G.721、G.722、G.728（2）MPEG中的音頻編碼（3）AC-3編碼和解碼第23頁，共36頁，2023年，2月20日，星期三μ律μ律壓擴的數學解析式：

其中：x為輸入信號的歸一化值；y為壓擴后的信號。對話音信號編碼，常采用μ=255，這樣適量化信噪比改善約24dB。2、A律其特性可表示為：

很明顯，小信號時為線性特性，大信號時近似為對數特性。這種壓擴特性常把壓縮、量化和編碼合為一體。A律可用13段折線逼近（相當于A=87.6），便于用數字電路實現。第24頁，共36頁，2023年，2月20日，星期三2-17AC-3編碼和解碼（教材P49-53）(1)AC-3編碼(2)AC-3解碼第25頁，共36頁，2023年，2月20日，星期三AC-3可編程解碼器（圖2.15）AC-3編碼器框圖（圖2.16）AC-3編碼流程圖（圖2.17）同步幀結構圖（圖2.18）AC-3解碼器框圖（圖2.19）

第26頁，共36頁，2023年，2月20日，星期三2-18音樂合成音的分類:樂音、噪音根據音振動狀態(tài)的規(guī)則與不規(guī)則，音被分為樂音與噪音兩類。音樂中使用的主要是樂音，但噪音在是音樂表現中必不可少。如架子鼓發(fā)出的聲響就是一種噪音，不過，這種噪音有一定的規(guī)律。一個樂音，包括必備的三要素：音高、音色和響度。若把一個樂音放在運動的旋律中，它還應具備時值—持續(xù)時間。這些要素的理想配合是產生優(yōu)美動聽的旋律的必要條件。第27頁，共36頁，2023年，2月20日，星期三

音高：音高指聲波的基頻?；l越低，給人的感覺越低沉。音階與頻率的對應關系音色：聲音的音質。由聲音的頻譜決定的：各階諧波的比例不同，隨時間衰減的程度不同，音色就不同。響度：響度是對聲音強度的衡量，它是聽判樂音的基礎。第28頁，共36頁，2023年，2月20日，星期三音樂合成技術的種類：

調頻(FM)音樂合成技術。FM是使高頻震蕩波的頻率按調制信號規(guī)律變化的一種調制方式。第29頁，共36頁，2023年，2月20日，星期三

波形表(Wavetable)音樂合成技術。樂器發(fā)出的聲音進行采樣后，將數字音頻信號存儲在ROM芯片或硬盤中，進行合成時將再將相應樂器的波形記錄播放出來，即波形表音樂合成技術。音樂系統(tǒng)框圖（P55－圖2.21）第30頁，共36頁，2023年，2月20日，星期三2-19MIDI規(guī)范（教材P55）MIDI(MusicalInstrumentDigitalInterface)是樂器數字接口的縮寫，泛指數字音樂的國際標準。MIDI標準規(guī)定了不同廠家的電子樂器與計算機連接的電纜和硬件。它還指定從一個裝置傳送數據到另一個裝置的通信協(xié)議。這樣，任何電子樂器，只要有處理MIDI信息的處理器和適當的硬件接口都能變成MIDI裝置。MIDI間靠這個接口傳遞消息而進行彼此通信。第31頁，共36頁，2023年，2月20日，星期三MIDI是音樂與計算機結合的產物。什么時候使用MIDI？長時間高質量音樂以音樂做背景音響效果，同時從CD—ROM中裝載其他數據以音樂做背景音響效果，同時播放波形音頻或實現文語轉換，以實現音樂和語音同時輸出。第32頁，共36頁，2023年，2月20日，星期三2-20MIDI的技術規(guī)范1988年，MIDI制造商協(xié)會正式公布MIDI技術規(guī)范第一版（MIDI1.0），作為數字式音樂的國際標準。

MIDI是由軟件和硬件兩部分共同組成的系統(tǒng)規(guī)范，它定義了電子合成器、定序器、節(jié)拍器、個人計算機和其他電子樂器的相互連接性和通信協(xié)議。相互連接性定義了使這些不同的MIDI儀器能夠相互連接的接線方式、連接器類型，和輸入輸出線路。通信協(xié)議定義了能夠控制樂器聲音和消息(包括：發(fā)出反應，發(fā)出狀態(tài)，及發(fā)出系統(tǒng)獨有)的標準多字節(jié)消息。第33頁，共36頁，2023年，2月