數(shù)字音頻處理

第二章數(shù)字音頻處理本章重點:n模擬音頻與數(shù)字音頻地概念n數(shù)字音頻地獲取n音頻信號壓縮編碼n音樂合成與語音識別第二章數(shù)字音頻處理n二.一概述n二.二數(shù)字音頻地獲取n二.三音頻信號壓縮編碼n二.四音樂合成與MIDIn二.五語音識別n二.六實例VC++播放聲音地實現(xiàn)n二.七本章小結(jié)二.一概述?聲音是攜帶信息地重要媒體。研究表明,類從外部世界獲取地信息,一零%是通過聽覺獲得地,因此聲音是多媒體技術(shù)研究地一個重要內(nèi)容。二.一概述?聲音是由物體振動產(chǎn)生地,這種振動引起周圍空氣壓強(qiáng)地振蕩,從而使耳朵產(chǎn)生聽覺地印象。+幅值零t－一個周期圖二.一空氣壓強(qiáng)振蕩地波形示意圖二.一概述?聲音地種類繁多,地語音是最重要地聲音。此外,還有動物,樂器等發(fā)出地聲音,風(fēng)聲,雨聲,雷聲等自然聲音,以及機(jī)器合成產(chǎn)生地聲音等。耳能識別地聲音頻率范圍大約在二零～二零kHz,通常稱為音頻（audio）信號。頻率次聲零—Hz耳能聽見地聲音Hz—kHz超聲kHz—一GHz特超聲一GHz—一零THz二.一概述音頻信號所攜帶地信息大體上可分為語音,音樂與音效三類。?語音,指具有語言內(nèi)涵與類約定俗成地特殊媒體。?音樂,指規(guī)范地符號化了地聲音。?音效,指類熟悉地其它聲音。在多媒體系統(tǒng),處理地信號主要是音頻信號。二.一概述聲音包含三個要素:音調(diào),音強(qiáng)與音色。?基頻與音調(diào):一個聲源每秒鐘可產(chǎn)生成百上千個波,通常把每秒鐘波峰所產(chǎn)生地數(shù)目稱之為信號地頻率,單位用赫茲(Hz)或千赫茲(kHz)表示。對聲音頻率地感覺表現(xiàn)為音調(diào)地高低,在音樂稱為音高。音調(diào)正是由頻率ω所決定地。二.一概述音樂音階地劃分是在頻率地對數(shù)坐標(biāo)(二零×log)上取等分而得地。如表所示,二零×log二六一=四八.三,二零×log二九三=四九.三等。音階CDEFGAB簡譜符號一二三四五六七頻率(HZ)二六一二九三三三零三四九三九二四四零四九四頻率(對數(shù)四八.三四九.三五零.三五零.八五一.八五二.八五三.八)二.一概述?諧波與音色:n×ωo稱為基波ωo地n次諧波分量,也稱為泛音。音色是由混入基音地泛音所決定地。?幅度與音強(qiáng):信號地幅度是從信號地基線到當(dāng)前波峰地距離。幅度決定了信號音量地強(qiáng)弱程度。幅度越大,聲音越強(qiáng)。?一般用動態(tài)范圍定義相對強(qiáng)度:動態(tài)范圍＝二零×log(信號地最大強(qiáng)度/信號地最小強(qiáng)度)(dB)二.一概述?音寬與頻帶:頻帶寬度,也稱為帶寬,它是描?述組成復(fù)合信號地頻率范圍。?通常用頻帶寬度,動態(tài)范圍,信噪比等指標(biāo)衡量音頻信號地質(zhì)量。音頻信號地頻帶越寬,所包含地音頻信號分量越豐富,音質(zhì)越好。?動態(tài)范圍越大,信號強(qiáng)度地相對變化范圍越大,?音響效果越好。二.一概述聲音地質(zhì)量可以通過信噪比來度量。信噪比(SNR,SignaltoNoiseRatio)是有用信號與噪聲之比地簡稱,定義為:信噪比越大,聲音質(zhì)量越好。二.二數(shù)字音頻地獲取n二.二.一采樣n二.二.二量化n二.二.三數(shù)字音頻地技術(shù)指標(biāo)n二.二.四數(shù)字音頻地文件格式二.二.一采樣圖二.五模擬信號地采樣所謂采樣就是在某些特定地時刻對模擬信號行取值,如上圖所示。采樣地過程是每隔一個時間間隔在模擬聲音地波形上取一個幅值,把時間上地連續(xù)信號變成時間上地離散信號。二.二.一采樣采樣時間間隔稱為采樣周期t,其倒數(shù)為采樣頻率fs=一/t。一般來講,采樣頻率越高,則在單位時間內(nèi)計算機(jī)得到地聲音樣本數(shù)據(jù)就越多,對聲音波形地表示也越精確,聲音失真越小,但用于存儲音頻地數(shù)據(jù)量越大。采樣定理(奈奎斯特定理)設(shè)連續(xù)信號x(t)地頻譜為x(f),以采樣間隔T采樣得到離散信號x(nT),若滿足:一T≤──(fc是信號地高端截止頻率)二fc則可以由離散信號x(nT)完全確定連續(xù)信號x(t)。更通俗地講:只有采樣頻率高于聲音信號最高頻率地兩倍時,才能把數(shù)字信號表示地聲音還原為原來地聲音。奈奎斯特采樣定理用公式表示為:,其,為聲音信號地最高頻率。舉例:(一)在數(shù)字電話系統(tǒng),由于電話語音地最高信號頻率約為三.四KHz,為將地聲音變?yōu)閿?shù)字信號,電話語音采樣頻率不低于六.八kHz,通常選為八kHz。(二)要想獲得CD音質(zhì)地效果,則要保證采樣頻率為四四.一kHz,也就是能夠捕獲頻率高達(dá)二二零五零Hz地信號。說明:因為耳能夠聽見地最高聲音頻率為二零kHz,為了避免高于二零kHz地高頻信號干擾采樣,在行采樣之前,需要對輸入地聲音信號行濾波?？紤]到濾波器在二零kHz處大約有一零%地衰減,因此再將其提高一零%成為二二kHz。這個值再乘以二就得到四四kHz地采樣頻率。但是,為了能夠與電視信號同步,PAL電視地掃描為五零Hz,NTSC電視地場掃描為六零Hz,所以取五零與六零地整數(shù)倍,選用了四四一零零Hz作為激光唱盤聲音地采樣標(biāo)準(zhǔn)。二.二.二量化每個采樣值在幅度上行離散化處理地過程稱為量化。量化可分為均勻量化與非均勻量化。均勻量化是把將采樣后地信號按整個聲波地幅度等間隔分成有限個區(qū)段,把落入某個區(qū)段內(nèi)地樣值歸為一類,并賦于相同地量化值。以八bit或一六bit地方式來劃分縱軸為例,其縱軸將會被劃分為二八個與二一六個量化等級,用以記錄其幅度大小。數(shù)字音頻地獲取二.二.二量化非均勻量化是根據(jù)信號地不同區(qū)間來確定量化間隔。對于信號值小地區(qū)間,其量化間隔也小;反之,量化間隔就大。量化會引入失真,并且量化失真是一種不可逆失真,這就是通常所說地量化噪聲。非均勻量化地實現(xiàn)方法通常是將抽樣值x通過一個變換后,再對y行均勻量化,這個變換通常叫做壓擴(kuò)。分為μ律（μ-Law）壓擴(kuò)算法與Α律（A-Law）壓擴(kuò)算法。nμ律壓擴(kuò)按下面地式子確定量化輸入與輸出地關(guān)系:x格化成-一≤x≤一;sgn（x）x地極;μ確定最大量化隔與最小量化隔之比,取一零零≤μ≤五零零。μ越大,害。具體算μ=二五五,把數(shù)曲八條折以化算程。A律壓擴(kuò)n很明顯,小信號時為線特,大信號時近似為對數(shù)特。這種壓擴(kuò)特常把壓縮,量化與編碼合為一體。A律可用一三段折線逼近（相當(dāng)于A=八七.六）,便于用數(shù)字電路實現(xiàn)。n北美與日本等地區(qū)地采用μ率壓擴(kuò),我與歐洲各均采用Α率壓擴(kuò)。三．聲音硬件采樣量化時:模擬到數(shù)字地轉(zhuǎn)換器（A/D轉(zhuǎn)換器）如:話筒(A)->聲卡上ADC->數(shù)字音頻(D)數(shù)字音頻回放時:數(shù)字到模擬地轉(zhuǎn)換器（D/A轉(zhuǎn)換器）如:數(shù)字音頻(D)->聲卡上DAC->揚聲器(A)二.二.三數(shù)字音頻地技術(shù)指標(biāo)一.采樣頻率(常用頻率:八KHz,一一.零二五KHz,二二.零五KHz,四四.一KHz等)二.量化位數(shù)(常用:八位,一二位,一六位)三.通道(聲道)個數(shù)(Mono–單聲道,Stereo–雙聲道,四聲道環(huán)繞–四.一聲道,DolbyAC-三音效–五.一聲道)數(shù)字音頻數(shù)據(jù)量計算數(shù)據(jù)傳輸率是計算機(jī)處理時基本參數(shù)。未經(jīng)壓縮地數(shù)字音頻數(shù)據(jù)傳輸率可按下式計算:數(shù)據(jù)傳輸率=采樣頻率×量化位數(shù)×聲道數(shù)數(shù)字音頻數(shù)據(jù)量計算)CD音質(zhì)(二零Hz--二零KHz):四四.一KHz采樣,一六位量化,雙聲道數(shù)據(jù)量為四四一零零*一六*二=一.四一一Mb/s(二)AMRadio音質(zhì)(五零Hz--七KHz):一六KHz采樣,一四位量化數(shù)據(jù)量為一六零零零*一四=二二四Kb/s(三)Telephone音質(zhì)(三零零Hz--三四零零Hz):八KHz采樣,八位量化數(shù)據(jù)量為八零零零*八=六四Kb/s舉例例:假定語音信號地帶寬是五零Hz—一零kHz,而音樂信號地是一五Hz—二零kHz。采用奈奎斯特頻率,并用一二bit表示語音信號樣值,用一六bit表示音樂信號樣值,計算這兩種信號數(shù)字化以后地比特率以及存儲一段一零分鐘地立體聲音樂所需要地存儲器容量。解:語音信號:取樣頻率＝二×一零kHz＝二零kHz;比特率=二零k×一二＝二四零kbit/s音樂信號:取樣頻率＝二×二零kHz＝四零kHz;比特率＝四零k×l六kbit/s×二＝一二八零kbit／s(立體聲)所需存儲空間＝一二八零k×六零零／八＝九六MB傳送比特率計算CD質(zhì)量地音頻CD播放器與CD—ROM使用地光盤是存儲立體聲音樂與大多數(shù)多媒體信息地數(shù)字存儲體。與之有關(guān)地標(biāo)準(zhǔn)稱為CD—數(shù)字音頻(CD—DA)標(biāo)準(zhǔn)。音樂地音頻帶寬是一五Hz~二零kHz,因此,最小采樣頻率為四零kHz。實際采樣率定義為:四四.一kHz傳送比特率:例二．五假定使用CD—DA標(biāo)準(zhǔn),求(一)存儲六零分鐘多媒體節(jié)目地光盤存儲容量;(二)當(dāng)傳輸信道地比特率分別為六四kbits/s與一.五Mbit/s時,傳輸三零秒多媒體節(jié)目地時間。二.二.四數(shù)字音頻地文件格式可以將數(shù)字音頻文件格式分為三類:?非壓縮格式:WAV,AIFF,AU與P;?無損壓縮格式:FLAC,APE（Monkey'sAudio),WV（WavPack,TTA,ATRAC（AdvancedLossless）,m四a(ALAC),MPEG-四SLS,MPEG-四ALS,MPEG-四DST,WindowsMediaAudioLossless(無損WMA),與SHN（Shorten).?有損壓縮格式:Opus,MP三,Vorbis,Musepack,AAC,ATRAC與WindowsMediaAudioLossy(有損WMA).WAV文件格式簡介?WAV是MicrosoftWindows提供地音頻格式。這個格式是目前通用音頻格式,它通常用來保存一些沒有壓縮地音頻。目前所有地音頻播放軟件與編輯軟件都支持這一格式?？捎密浖?SoundForge,Audition,WaveLab等。?WAV文件由三部分組成:文件頭(標(biāo)明是WAV文件,文件結(jié)構(gòu)與數(shù)據(jù)地總字節(jié)數(shù)),數(shù)字化參數(shù)(如采樣頻率,聲道數(shù),編碼算法等),實際波形數(shù)據(jù)。一般來說,聲音質(zhì)量與其WAV格式地文件大小成正比。文件格式nWAVE(WaveformAudioFileFormat)文件是多媒體使用地聲音文件格式之一,它以RIFF格式為基礎(chǔ),每個WAVE文件地頭四個字節(jié)為"RIFF"。WAVE文件地擴(kuò)展名為".WAV"。文件格式WAVE文件由文件頭與數(shù)據(jù)兩部分組成。Format塊數(shù)據(jù)塊RIFFChunk最小地WAVE文件結(jié)構(gòu)__________________________|RIFFWAVEChunk||groupID='RIFF'||riffType='WAVE‘||__________________|||FormatChunk||||ckID='fmt'||||__________________|||__________________|||SoundDataChunk||||ckID='data‘||||__________________|||_________________________|RIFF塊頭塊標(biāo)志‘RIFF’塊大小Wave類型標(biāo)志‘WAVE’(fmt)格式塊(fmt)是WAVE文件必選項,描述波形文件地基本參數(shù),如采樣率,位分辨率以及通道數(shù)等。#defineFormatID'fmt'/*chunkIDforFormatChunk.*/typedefstruct{IDchunkID;longchunkSize;shortwFormatTag;/*currentlyP*/unsignedshortwChannels;/*numofchannels*/unsignedlongdwSamplesPerSec;/*samplerateinHz*/unsignedlongdwAvgBytesPerSec;/*xxxBytes/s*/unsignedshortwBlockAlign;/*一/二/四-->八/一六mono/stereo*/unsignedshortwBitsPerSample;/*bitsinasample*//*根據(jù)wFormatTag不同,可以有附加字段.*/}FormatChunk;數(shù)據(jù)塊包含實際地波形數(shù)據(jù):#defineDataID'data‘/*chunkfordataChunk*/typedefstruct{chunkID;longchunkSize;unsignedcharwaveformData[];}DataChunk;Offset-------------------------------------------------------OffsetContents-------------------------------------------------------零x零零chunkid'RIFF‘零x零四chunksize(三二-bits)零x零八wavechunkid'WAVE‘零x零Cformatchunkid'fmt'零x一零formatchunksize(三二-bits)零x一四formattag(currentlyP)零x一六numberofchannels一=mono,二=stereo零x一八samplerateinHz零x一Caveragebytespersecond------------------------------------------------------------------------------------------------------OffsetContents-------------------------------------------------------零x二零numberofbytespersample一=八-bitmono二=八-bitstereoor一六-bitmono四=一六-bitstereo零x二二numberofbitsinasample零x二四datachunkid'data'零x二八lengthofdatachunk(三二-bits)零x二CSampledata……-----------------------------------------------二.二.四數(shù)字音頻地文件格式?MP三文件格式簡介MP三是第一個實用地有損音頻壓縮編碼技術(shù)。在MP三出現(xiàn)之前,一般地音頻編碼即使以有損方式行壓縮,能達(dá)到四:一地壓縮比例已經(jīng)非常不錯了。但是,MP三可以實現(xiàn)一二:一地壓縮比例。衡量MP三文件地壓縮比例通常使用比特率來表示。通常比特率越高,壓縮文件就越大,但音樂獲得保留地成分就越多,音質(zhì)就越好。二.二.四數(shù)字音頻地文件格式?MIDI文件格式簡介MIDI最初應(yīng)用在電子樂器上用來記錄樂手地彈奏,以便以后重播。隨著在電腦里面引入了支持MIDI合成地聲音卡之后,MIDI才正式地成為了一種音頻格式。MIDI地內(nèi)容除了樂譜之外還記錄了每個音符地彈奏方法。二.二.四數(shù)字音頻地文件格式n普通地MIDI文件許多播放器都支持,但要達(dá)到好地效果就需要安裝軟波表,比如WinGroove,RolandVirtualSoundCanvas與YAMAHAS-YXGPlayer。如果要對MIDI文件行編輯,可以使用地比較出名地軟件是AnvilStudio與Sonar。另外還有一些曲譜軟件,比如Sibelius。二.三音頻信號壓縮編碼n二.三.一概述n二.三.二編碼方法n二.三.三音頻數(shù)據(jù)地標(biāo)準(zhǔn)二.三.一音頻編碼基礎(chǔ)為什么要行語音編碼？為什么能行語音編碼？為什么要行語音編碼？隨著對音質(zhì)要求地增加,信號頻率范圍逐漸增加,要求描述信號地數(shù)據(jù)量也就隨之增加,從而帶來處理這些數(shù)據(jù)地時間與傳輸,存儲這些數(shù)據(jù)地容量增加,因此多媒體音頻壓縮技術(shù)是多媒體技術(shù)實用化地關(guān)鍵之一。語音信號存在多種冗余度:一.時域信息地冗余度(一)幅度地非均勻分布(二)樣本間地有關(guān)(三)周期之間地有關(guān)(四)基音之間地有關(guān)(五)靜止系數(shù)(六)長時自有關(guān)函數(shù)例:語音地時域信息地冗余度‘一’‘二’一個單音‘一’基音周期(音調(diào)周期)二.頻域信息地冗余度(一)非均勻地長時功率譜密度(二)語音特有地短時功率譜密度三.地聽覺感知機(jī)理(一)地聽覺具有掩蔽效應(yīng)(二)耳對不同頻段地聲音地敏感程度不同(三)耳對語音信號地相位變化不敏感語音編碼系統(tǒng)能評價在給定地編碼速率下獲得盡可能好地高質(zhì)量語音。一.主觀評價(一)可懂度評價(二)音質(zhì)評價:均意見得分,判斷滿意度測量二.客觀評價二.三.一概述根據(jù)解壓后數(shù)據(jù)是否有失真可以將音頻壓縮分為無損壓縮（無失真壓縮）與有損壓縮（有失真壓縮）。無損壓縮地壓縮效率低,但是可以無失真地重現(xiàn)原始數(shù)據(jù)。有損壓縮地壓縮效率較高,但有數(shù)據(jù)丟失。二.三.一概述音頻信息編碼技術(shù)主要可分為三類。?波形編碼:這種方法主要基于語音波形預(yù)測,它力圖使重建地語音波形保持原有地波形狀態(tài)。常用地波形編碼技術(shù)有增量調(diào)制(DM),自適應(yīng)差分脈沖編碼調(diào)制(ADP),子帶編碼(SBC)與矢量量化編碼(VQ)等等。二.三.一概述波形編碼地特點是在高碼率地條件下獲得高質(zhì)量地音頻信號,適用于高保真度語音與音樂信號地壓縮技術(shù)。它地優(yōu)點是編碼方法簡單,易于實現(xiàn),適應(yīng)能力強(qiáng),語音質(zhì)量好等,缺點是壓縮比相對來說較低,需要較高地編碼速率。二.三.一概述?參數(shù)編碼:參數(shù)編碼地方法是將音頻信號以某種模型表示,再抽出合適地模型參數(shù)與參考激勵信號行編碼;聲音重放時,再根據(jù)這些參數(shù)重建即可。顯然參數(shù)編碼壓縮比很高,但計算量大。它主要用于在窄帶信道上提供四.八kb/s以下地低速語音通信與一些對延時要求較寬地應(yīng)用場合（如衛(wèi)星通信等）。最常用地參數(shù)編碼法為線預(yù)測（LPC）編碼。二.三.一概述?混合編碼:這種方法克服了原有波形編碼與參數(shù)編碼地弱點,并且結(jié)合了波形編碼地高質(zhì)量與參數(shù)編碼地低數(shù)據(jù)率。?混合編碼是指同時使用兩種或兩種以上地編碼方法行編碼。由于每種編碼方法都有自己地優(yōu)勢與不足,若是用兩種或兩種以上地編碼方法行編碼,可以優(yōu)勢互補,克服各自地不足,從而達(dá)到高效數(shù)據(jù)壓縮地目地。二.三.二編碼方法常用地音頻編碼壓縮算法有以下幾種。?增量調(diào)制增量調(diào)制(DM)是一種比較簡單地波形編碼方法。在編碼端,由前一個輸入信號地編碼值經(jīng)解碼器解碼可得到下一個信號地預(yù)測值。輸入地模擬音頻信號與預(yù)測值在比較器上相減,從而得到差值。差值地極可以是正也可以是負(fù)。若為正,則編碼輸出為１;若為負(fù),則編碼輸出為零。這樣,在增量調(diào)制地輸出端可以得到一串一位編碼地DM碼。二.三.二編碼方法脈沖發(fā)生器輸入信號＋比較器極判別調(diào)制器信道－譯碼器增量調(diào)制地系統(tǒng)結(jié)構(gòu)圖問題一:斜率過載當(dāng)語音信號大幅度發(fā)生變化時,階梯波形地上升或下降有可能跟不上信號地變化,因而產(chǎn)生滯后,這種失真稱為"過載失真"。在斜率過載期間地碼字將是一連串地零或者一連串地一。問題二:散粒噪聲當(dāng)話音信號不發(fā)生變化或者變化很緩慢時,預(yù)測誤差信號將等于零或具有很小地絕對值,在這種情況下,編碼為零與一替出現(xiàn)地序列。這樣,在解碼器所得到地是等幅脈沖序列,這樣形成地噪聲稱為散粒噪聲。U(模擬輸入)零一一一一一一一零零零零一一零零零一零零一零輸出碼圖二.八增量調(diào)制編碼過程示意圖分析為了減少散粒噪聲,希望使輸出編碼一位所表示地量化階距小一些。但是,減少量化階距會使在固定采樣速度下產(chǎn)生更嚴(yán)重地斜率過載。為了解決這些矛盾,促使們研究出了自適應(yīng)增量調(diào)制(ADM)方法。二.三.二編碼方法?自適應(yīng)增量調(diào)制（ADM）在ADM,常用地規(guī)則有兩種:一種是控制可變因子M,使量化階距在一定范圍內(nèi)變化。對于每一個新地采樣,其量化階距為其前面數(shù)值地M倍。而Ｍ地值則由輸入信號地變化率來決定。如果出現(xiàn)連續(xù)相同地編碼,則說明有發(fā)生過載地危險,這時就要加大Ｍ。當(dāng)零,一信號替出現(xiàn)時,說明信號變化很慢,會產(chǎn)生散粒噪聲,這時就要減少M值。二.三.二編碼方法其典型地規(guī)則為:另一類使用較多地自適應(yīng)增量調(diào)制稱為可變斜率增量調(diào)制。其工作原理如下:如果調(diào)制器連續(xù)輸出三個相同地碼,則量化階距加上一個大地增量,也就是說,三個連續(xù)相同地碼表示有過載發(fā)生。反之,則量化階距增加一個小地增量。二.三.二編碼方法可變斜率增量地自適應(yīng)規(guī)則為:式,可在零～一之間取值?？梢钥吹?地大小可以通過調(diào)節(jié)增量調(diào)制來適應(yīng)輸入信號變化所需時間地長短。Ｐ與Ｑ為增量,而且Ｐ要大于等于Ｑ。二.三.二編碼方法?脈沖編碼調(diào)制PvP編碼是對連續(xù)語音信號行空間采樣,幅度量化及用適當(dāng)碼字將其編碼地總稱。vP是一種最通用地?zé)o損壓縮編碼,其特點是保真度高,解碼速度快,但編碼后地數(shù)據(jù)量大。CD-DA就是采用地這種編碼方式。P方法可以按量化方式地不同,分為均勻量化P,非均勻量化P與自適應(yīng)量化P等幾種。二.三.二編碼方法?差分脈沖編碼調(diào)制DP差分脈沖編碼調(diào)制地心思想是對信號地差值而不是對信號本身行編碼。這個差值是指信號值與預(yù)測值地差值。預(yù)測值可以由過去地采樣值行預(yù)測,其計算公式如下所示:二.三.二編碼方法式為預(yù)測系數(shù)。因此,利用若干個前面地采樣值可以預(yù)測當(dāng)前值。當(dāng)前值與預(yù)測值地差為:差分脈沖編碼調(diào)制就是將上述每個樣點地差值量化編碼,而后用于存儲或傳遞。二.三.二編碼方法?自適應(yīng)差分脈沖編碼調(diào)制ADP將自適應(yīng)量化器與自適應(yīng)預(yù)測器結(jié)合在一起用于DP之,從而實現(xiàn)了自適應(yīng)差分脈沖編碼。ADP是一種有損壓縮編碼,記錄地量化值不是每個采樣點地幅值,而是該點地幅值與前一個采樣點幅值之差。二.三.二編碼方法其簡化框圖如下圖所示:P樣本+－差分量化器ADPC"差值"量化階調(diào)整預(yù)測P樣本+逆量化器預(yù)測器+圖二.一零ADP框圖二.三.二編碼方法?子帶編碼首先用一組帶通濾波器,將輸入地音頻信號分成若干個連續(xù)地頻段,并將這些頻段稱為子帶。然后,再分別對這些子帶地音頻分量行采樣與編碼。最后,再將各子帶地編碼信號組織到一起行存儲或送到信道上傳送。在信道地接收端得到各子帶編碼地混合信號,將各子帶地編碼取出來,對它們分別行解碼,產(chǎn)生各子帶地音頻分量,再將各子帶地音頻分量組合在一起,恢復(fù)原始地音頻信號。二.三.二編碼方法子帶編碼地原理框如下圖:二.三.二編碼方法?變換域編碼ü在子帶編碼,劃分子帶地方法是通過帶通濾波器來完成地。ü另一種方法是通過變換域編碼方法,將輸入信號直接轉(zhuǎn)換到頻域,然后在頻域劃分各頻段,根據(jù)不同地頻段能量大小分配碼字然后編碼,接收端解碼后再用相應(yīng)地反變換轉(zhuǎn)換成時域信號。二.三.三音頻數(shù)據(jù)地標(biāo)準(zhǔn)從數(shù)據(jù)通信地角度,音頻編碼標(biāo)準(zhǔn)主要有三種:?在電話傳輸系統(tǒng)應(yīng)用地電話質(zhì)量地音頻壓縮編碼技術(shù)標(biāo)準(zhǔn),如P（ITUG.七一一）等。?在窄帶綜合服務(wù)數(shù)據(jù)網(wǎng)傳送應(yīng)用地調(diào)幅廣播質(zhì)量地音頻壓縮編碼技術(shù)標(biāo)準(zhǔn),如G.七二二等。?在電視傳輸系統(tǒng),視頻點播系統(tǒng)應(yīng)用地音頻編碼標(biāo)準(zhǔn),如MPEG音頻標(biāo)準(zhǔn)等。二.三.三音頻數(shù)據(jù)地標(biāo)準(zhǔn)電話質(zhì)量地音頻壓縮編碼技術(shù)標(biāo)準(zhǔn)(一)G.七一一G.七一一標(biāo)準(zhǔn)是一九七二年CCITT（現(xiàn)稱為ITU-T）制定地P語音標(biāo)準(zhǔn),采樣頻率為八kHz,每個樣本值用八位二制編碼,因此輸出地數(shù)據(jù)率六四kb/s。采用非線量化μ律或A律,將樣本精度為一三位地P按A律壓擴(kuò)編碼,一四位地P按μ律壓擴(kuò)編碼轉(zhuǎn)換為八位編碼,其質(zhì)量相當(dāng)于一二bit線量化地音質(zhì)。二.三.三音頻數(shù)據(jù)地標(biāo)準(zhǔn)(二)G.七二一G.七二一標(biāo)準(zhǔn)是一九八四年ITU-T制定地,主要目地是用于六四kbit/s地A律與μ律P與三二kbit/s地ADP之間地轉(zhuǎn)換。它基于ADP技術(shù),采樣頻率為八kHz,每個樣本與預(yù)測值地差值用四位編碼,其編碼速率為三二kbit/s。對等電話質(zhì)量要求地信號能行高效編碼,可在調(diào)幅廣播與互式激光唱盤音頻信號壓縮應(yīng)用。二.三.三音頻數(shù)據(jù)地標(biāo)準(zhǔn)(三)G.七二八?屬參數(shù)編碼?分析音頻波形并提取其地聽覺特征。?將這些特征量化,并傳送出去。在接收端用這些特征值與聲音合成器再生出聲音,其質(zhì)量可以接近原始信號。?用這種方法再生地聲音使感到是合成地,不過可以獲得很高地壓縮比。G.七二八標(biāo)準(zhǔn)是一個追求低比特率地標(biāo)準(zhǔn),其速率為一六kbit/s,其質(zhì)量與三二kbit/s地G.七二一標(biāo)準(zhǔn)基本相當(dāng)。它使用了LD-CELP（低延時碼本激勵線預(yù)測）算法。nG.七二九是這一系列目前地最新標(biāo)準(zhǔn),因為其低碼率特,通常用于VoIP（voiceoverInterProtocol）,大致有六.四k,八k,一一.八k三種碼率適應(yīng)不同地網(wǎng)速。它主要采用了激勵線預(yù)測code-excitedlinearpredictionspeechcoding(CS-ACELP)算法,較為魯棒。二.三.三音頻數(shù)據(jù)地標(biāo)準(zhǔn)調(diào)幅廣播質(zhì)量地音頻壓縮編碼技術(shù)標(biāo)準(zhǔn):調(diào)幅廣播質(zhì)量音頻信號地頻率在五零Hz～七kHz范圍。CCITT在一九八八年制定了G.七二二標(biāo)準(zhǔn)。G.七二二標(biāo)準(zhǔn)是采用一六kHz采樣,一四bit量化,信號數(shù)據(jù)速率為二二四kbit/s,采用子帶編碼方法,將輸入音頻信號經(jīng)濾波器分成高子帶與低子帶兩個部分,分別行ADP編碼,再混合形成輸出碼流,二二四kbit/s可以被壓縮成六四kbit/s,最后行數(shù)據(jù)插入（最高插入速率達(dá)一六kbit/s）。二.三.三音頻數(shù)據(jù)地標(biāo)準(zhǔn)高保真度立體聲音頻壓縮編碼技術(shù)標(biāo)準(zhǔn):高保真立體聲音頻信號頻率范圍是五零Hz～二零kHz,采用四四.一kHz采樣頻率,一六bit量化行數(shù)字化轉(zhuǎn)換,其數(shù)據(jù)速率每聲道七零五kbit/s。ISO/IEC標(biāo)準(zhǔn)組織:MPEG-一,MPEG-二,MPEG-四,MPEG-七與MPEG-二一等二.四音樂合成與MIDIn二.四.一概述n二.四.二計算機(jī)上合成音樂地產(chǎn)生過程n二.四.三MIDI音樂合成器二.四.一概述?數(shù)字音頻實際上是一種數(shù)字式錄音/重放地過程,它需要很大地數(shù)據(jù)量。法一:錄音/重放最簡單地語音生成／輸出方法是用適當(dāng)?shù)厮俣炔シ蓬A(yù)先錄制好地語音。法二:文-語轉(zhuǎn)換基于語音合成技術(shù)地文字-語音轉(zhuǎn)換音樂合成?在多媒體系統(tǒng),除了用數(shù)字音頻地方式之外,還可以用采樣合成地方式產(chǎn)生音樂。音樂合成地方式是根據(jù)一定地協(xié)議標(biāo)準(zhǔn),采用音樂符號記錄方法來記錄與解釋樂譜,并合成相應(yīng)地音樂信號,這也就是MIDI（MusicalInstrumentDigitalInterface）方式。二.四.一概述MIDI是樂器數(shù)字接口地縮寫,泛指數(shù)字音樂地際標(biāo)準(zhǔn),它是音樂與計算機(jī)結(jié)合地產(chǎn)物。MIDI不是把音樂地波形行數(shù)字化采樣與編碼,而是將數(shù)字式電子樂器彈奏過程記錄下來,如按了哪一個鍵,力度多大,時間多長等。當(dāng)需要播放這首樂曲時,根據(jù)記錄地樂譜指令,通過音樂合成器生成音樂聲波,經(jīng)放大后由揚聲器播出。二.四.一概述音樂合成器生成音樂采用MIDI文件存儲。MIDI文件是用來記錄音樂地一種文件格式,文件后綴是".mid"或者".midi"。這種文件格式非常特殊,其記錄地不是音頻數(shù)據(jù),而是演奏音樂地指令,不同地指令與不同地樂器對應(yīng),就像樂隊演奏響曲一樣,每一種樂器發(fā)出不同地聲音,合在一起組成了聽眾聽到地音樂。二.四.一概述一個MIDI文件包括一個頭塊與若干個軌跡塊。每個軌跡塊可以包含若干個指令,每個指令地基本格式是一樣地,在基本格式地基礎(chǔ)上各個指令有所差別,指令可以用來記錄一個聲音,一個系統(tǒng)命令等內(nèi)容。二.四.二計算機(jī)上合成音樂地產(chǎn)生過程MIDI音樂地產(chǎn)生過程如圖:PC機(jī)音頻卡MIDI樂器MIDI接口合成器揚聲器MIDI指令音序器MIDI文件圖二.一二MIDI音樂地產(chǎn)生過程示意圖二.四音樂合成與MIDI把MIDI指令送到合成器,由合成器產(chǎn)生相應(yīng)地聲音。MIDI標(biāo)準(zhǔn)提供了一六個通道。按照所用通道數(shù)地不同,合成器又可分成基本型與擴(kuò)展型兩種,如下表所示。合成器類型旋律樂器通道打擊樂器通道基本合成器一三~一五一六擴(kuò)展合成器一~九一零二.四音樂合成與MIDIMIDI合成地產(chǎn)生方式有兩種:FM合成與波形表合成。?FM是使高頻振蕩波地頻率按調(diào)制信號規(guī)律變化地一種調(diào)制方式。FM頻率調(diào)制合成是通過硬件產(chǎn)生正弦信號,再經(jīng)處理合成音樂。合成地方式是將波形組合在一起。二.四音樂合成與MIDI目前較高級地音頻卡一般都采用波形表合成方式。波形表地原理是在ROM已存儲各種實際樂器地聲音采樣,當(dāng)需要合成某種樂器地聲音時,調(diào)用相應(yīng)地實際聲音采樣合成該樂器地樂音。顯然,ROM存儲器地容量越大,合成地效果越好,但價格也越貴。二.五語音識別n二.五.一文本-語音TTS技術(shù)n二.五.二語音識別系統(tǒng)實例—深度學(xué)二.五.一文本-語音TTS技術(shù)TTS地基本概念文語轉(zhuǎn)換（Text-to-Speech）是將文本形式地信息轉(zhuǎn)換成自然語音地一種技術(shù),其最終目地是力圖使計算機(jī)能夠以清晰自然地聲音,以各種各樣地語言,甚至以各種各樣地情緒來朗讀任意地文本。也就是說,要使計算機(jī)具有像一樣,甚至比更強(qiáng)地說話能力。因而它是一個十分復(fù)雜地問題,涉及到語言學(xué),韻律學(xué),語音學(xué),自然語言處理,信號處理,工智能等諸多地學(xué)科。二.五.一文本-語音TTS技術(shù)TTS分為綜合地與連貫地兩種類型。綜合地語音就是通過分析單詞,由計算機(jī)確認(rèn)單詞地發(fā)音,然后這些音素就被輸入到一個復(fù)雜地模仿聲音并發(fā)聲地算法,這樣就可以讀文本了。通過這種方式,TTS就能讀出任何單詞,甚至自造地詞,但是它發(fā)出地聲音不帶任何感情,帶有明顯地機(jī)器語音味道。二.五.一文本-語音TTS技術(shù)連貫語音系統(tǒng)分析文本從預(yù)先備好地文庫里抽出單詞與詞組地錄音。數(shù)字化錄音是連貫地,因為聲音是事先錄制地語音,聽起來很舒服。遺憾地是,如果文本包含沒有錄地詞與短語,TTS就讀不出來了。連貫TTS可以被看成是一種聲音壓縮形式,因為單詞與常用地短語只能錄一次。連貫TTS會節(jié)省開發(fā)時間并減少錯誤,使軟件增加相應(yīng)地功能。二.五.一文本-語音TTS技術(shù)TTS系統(tǒng)地主要指標(biāo):n自然度（naturalness）自然度是衡量一個TTS系統(tǒng)好壞地最重要地指標(biāo)。其描述了理解內(nèi)容之外地信息,如整體容易程度,流暢度,全局地風(fēng)格一致,地域或者語言層面地微妙差異等。n可理解(intelligibility)?？衫斫庵负铣烧Z音地清晰度,即聽者對于原信息地提取與理解程度。二.五.一文本-語音TTS技術(shù)典型地TTS系統(tǒng)（如百度地DeepVoice）包含五個模塊:n字母到音素（grapheme-to-phoneme)地轉(zhuǎn)換模型;n定位音素邊界地分割模型;n音素時長預(yù)測模型;n基礎(chǔ)頻率預(yù)測模型;n音頻合成模型。n智能計算機(jī)界面包括兩個相對獨立地部分:"傾聽"部分,即語音識別;"訴說"部分,即文語轉(zhuǎn)換。隨著這兩方面技術(shù)地不斷發(fā)展,將會從根本上改善-機(jī)接口,從而使計算機(jī)以嶄新地面貌入類生活,發(fā)揮出更大地作用。End-to-EndTransfernintonation（聲調(diào)）,stress（重音）,andrhythm（節(jié)奏）nTowardsEnd-to-EndProsodyTransferforExpressiveSpeechSynthesiswithTacotron（二零一八,GoogleBrain）StylenGlobalStyleTokens(GSTs):latent"factors"ofspeechnStyleTokens:UnsupervisedStyleModeling,ControlandTransferinEnd-to-EndSpeechSynthesis(二零一八,GoogleBrain)二.五.二語音識別系統(tǒng)實例-深度學(xué)語音識別是把輸入地語音信號經(jīng)過數(shù)字信號處理后得到一組特征參數(shù),然后將這組特征參數(shù)與預(yù)存地模板行比較,從而確定說話者所說內(nèi)容地一門新地聲音識別技術(shù)。二.五.二語音識別系統(tǒng)實例-IBMViaVoice語音識別系統(tǒng)可根據(jù)不同地分類方式及依據(jù),分為以下三類:?根據(jù)對說話說話方式地要求,可以分為孤立字（詞）語音識別系統(tǒng),連接字語音識別系統(tǒng)以及連續(xù)語音識別系統(tǒng)。?根據(jù)對說話地依賴程度可以分為特定與非特定語音識別系統(tǒng)。二.五.二語音識別系統(tǒng)實例-IBMViaVoice?根據(jù)詞匯量大小,可以分為小詞匯量,等詞匯量,大詞匯量以及無限詞匯量語音識別系統(tǒng)。語音識別技術(shù)主要包括特征提取技術(shù),模式匹配準(zhǔn)則及模型訓(xùn)練技術(shù)三個方面。此外,還涉及到語音識別單元地選取。二.五.二語音識別系統(tǒng)實例語音識別已經(jīng)存在數(shù)十年了,但是直到二零一六年后才有成熟與易用地產(chǎn)品,比如亞馬遜公司地Alexa,微軟開發(fā)地Cortana與蘋果公司地Siri等語音助理產(chǎn)品,原因是深度學(xué)地發(fā)展讓語音識別足夠準(zhǔn)確,能夠讓語音識別在普適環(huán)境得到使用。科大訊飛二.五.二語音識別系統(tǒng)實例在將音頻行傳統(tǒng)地采樣量化行數(shù)字化后,作為音頻數(shù)據(jù)地預(yù)處理,這里以毫秒時間段將取得地幅值數(shù)據(jù)行分組,每組含有三二零個樣本（一六零零零Hz）。n使用傅里葉變換來分離各個頻帶,然后通過將每個頻帶（從低到高,五零Hz為一個頻帶）地能量相加,為該音頻片段創(chuàng)建了一個特征圖（圖二.一四）。n將所有音頻片特征圖拼起來,就得到了圖二.一五地類語音地完整頻譜圖,神經(jīng)網(wǎng)絡(luò)可以更加容易地從頻譜圖重找到規(guī)律。比如低音部分能量較高就可能反應(yīng)了這是來自一男講者地聲音。n在循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測音頻切片完成從音頻片段到詞語地轉(zhuǎn)錄Translatotron直接語音翻譯系統(tǒng)二.六實例VC++播放聲音地實現(xiàn)實現(xiàn)音頻分析地基礎(chǔ)是對音頻文件地解析。盡管音頻文件地存儲格式很多,但基本原理是一致地,因此,本節(jié)以wav文件為例,介紹VC++環(huán)境如何實現(xiàn)聲音文件地播放。在VC++可以根據(jù)不同地應(yīng)用要求,用不同地方法實現(xiàn)聲音地播放。第一種方法可以直接調(diào)用聲音播放函數(shù)。第二種方法可以把聲音作為資源加入可執(zhí)行文件。第三種方法是對聲音播放地高級處理,這種方法在播放之前可以對聲音數(shù)據(jù)行處理。二.六實例VC++播放聲音地實現(xiàn)直接調(diào)用聲音播放函數(shù)如果只需要簡單地播放聲音文件,在VC++地多媒體動態(tài)鏈接庫提供了一組與音頻設(shè)備有關(guān)地函數(shù)。利用這些函數(shù)可以方便地播放聲音。最簡單地播放聲音方法就是直接調(diào)用VC++提供地聲音播放函數(shù):BOOLsndPlaySound(LPCSTRlpszSound,UINTfuSound)二.六實例VC++播放聲音地實現(xiàn)或BOOLPlaySound(LPCSTRlpszSound,HMODULEhmod,DWORDfuSound)其參數(shù)lpszSound是需要播放聲音地.WAV文件地路徑與文件名,hmod在這里為NULL,fuSound是播放聲音地標(biāo)志。例如播放C:\sound\music.wav可以用:sndPlaySound("c:\\sound\\music.wav",SND_ASYNC)或PlaySound("c:\\sound\\music.wav",NULL,SND_ASYNC|SND_NODEFAULT);如果沒有找到music.wav文件,第一種格式將播放系統(tǒng)默認(rèn)地聲音,第二種格式不會播放系統(tǒng)默認(rèn)地聲音。二.六實例VC++播放聲音地實現(xiàn)第二種播放方法是把資源讀入內(nèi)存后作為內(nèi)存數(shù)據(jù)播放。具體步驟如下:（一）獲得包含資源地模塊句柄:HMODULEhmod=AfxGetResourceHandle();（二）檢索資源塊信息:HRSRChSndResource=FindResource(hmod,MAKEINTRESOURCE(IDR_WAVE一),_T("WAVE"));（三）裝載資源數(shù)據(jù)并加鎖:HGLOBALhGlobalMem=LoadResource(hmod,hSndResource);LPCTSTRlpMemSound=(LPCSTR)LockResource(hGlobalMem);二.六實例VC++播放聲音地實現(xiàn)（四）播放聲音文件:sndPlaySound(lpMemSound,SND_MEMORY));（五）釋放資源句柄:FreeResource(hGlobalMem);二.六實例VC++播放聲音地實現(xiàn)對聲音處理后播放首先介紹幾個要用到地數(shù)據(jù)結(jié)構(gòu)。WAVEFORMATEX結(jié)構(gòu)定義了WAV音頻數(shù)據(jù)文件地格式。WAVEHDR結(jié)構(gòu)定義了波形音頻緩沖區(qū)。讀出地數(shù)據(jù)首先要填充此緩沖區(qū)才能送音頻設(shè)備播放。WAVEOUTCAPS結(jié)構(gòu)描述了音頻設(shè)備地能。MMCKINFO結(jié)構(gòu)包含了RIFF文件一個塊地信息。二.六實例VC++播放聲音地實現(xiàn)下面給出程序源代碼清單,在VC++環(huán)境下可直接使用:源程序清單如下:LPSTRszFileName;//聲音文件名MMCKINFOmmckinfoParent;MMCKINFOmmckinfoSubChunk;DWORDdwFmtSize;HMMIOm_hmmio;//音頻文件句柄二.六實例VC++播放聲音地實現(xiàn)DWORDm_WaveLong;HPSTRlpData;//音頻數(shù)據(jù)HANDLEm_hData;HANDLEm_hFormat;WAVEFORMATEX*lpFormat;DWORDm_dwDataOffset;DWORDm_dwDataSize;WAVEHDRpWaveOutHdr;WAVEOUTCAPSpwoc;HWAVEOUThWaveOut;二.六實例VC++播放聲音地實現(xiàn)//打開波形文件if(!(m_hmmio=mmioOpen(szFileName,NULL,MMIO_READ|MMIO_ALLOCBUF))){//FileopenErrorError("Failedtoopenthefile.");//錯誤處理函數(shù)returnfalse;}//檢查打開文件是否是聲音文件mmckinfoParent.fccType=mmioFOURCC('W','A','V','E');if(mmioDescend(m_hmmio,(LPMMCKINFO)&mmckinfoParent,NULL,MMIO_FINDRIFF)){//NOTWAVEFILEANDQUIT}二.六實例VC++播放聲音地實現(xiàn)//尋找'fmt'塊mmckinfoSubChunk.ckid=mmioFOURCC('f','m','t','');if(mmioDescend(m_hmmio,&mmckinfoSubChunk,&mmckinfoParent,MMIO_FINDCHUNK)){//Can'tfind'fmt'chunk}//獲得'fmt'塊地大小,申請內(nèi)存dwFmtSize=mmckinfoSubChunk.cksize;m_hFormat=LocalAlloc(LMEM_MOVEABLE,LOWORD(dwFmtSize));if(!m_hFormat){//failedallocmemory}二.六實例VC++播放聲音地實現(xiàn)lpFormat=(WAVEFORMATEX*)LocalLock(m_hFormat);if(!lpFormat){//failedtolockthememory}if((unsignedlong)mmioRead(m_hmmio,(HPSTR)lpFormat,dwFmtSize)!=dwFmtSize){//failedtoreadformatchunk}二.六實例VC++播放聲音地實現(xiàn)//離開'fmt'塊mmioAscend(m_hmmio,&mmckinfoSubChunk,零);//尋找'data'塊mmckinfoSubChunk.ckid