語音信號(hào)處理

1、Speech Signal Processing 中國(guó)礦業(yè)大學(xué)中國(guó)礦業(yè)大學(xué) 信息工程系信息工程系全書三篇，全書三篇，16章（講章（講15章）章）第一篇第一篇 語音信號(hào)處理基礎(chǔ)語音信號(hào)處理基礎(chǔ)第二章第二章 語音信號(hào)處理的基礎(chǔ)知識(shí)語音信號(hào)處理的基礎(chǔ)知識(shí)第一章第一章 緒論緒論第二篇第二篇 語音信號(hào)分析語音信號(hào)分析第三章第三章 語音信號(hào)的時(shí)域分析語音信號(hào)的時(shí)域分析第四章第四章 語音信號(hào)的短時(shí)傅里葉分析語音信號(hào)的短時(shí)傅里葉分析第五章第五章 語音信號(hào)的同態(tài)濾波及倒譜分析語音信號(hào)的同態(tài)濾波及倒譜分析第六章第六章 語音信號(hào)的線性預(yù)測(cè)分析語音信號(hào)的線性預(yù)測(cè)分析第七章第七章 語音信號(hào)的矢量量化語音信號(hào)的矢量量化第

2、八章第八章 隱馬爾可夫模型（隱馬爾可夫模型（HMMHMM）第九章第九章 語音檢測(cè)分析語音檢測(cè)分析第三篇第三篇 語音信號(hào)處理技術(shù)與應(yīng)用語音信號(hào)處理技術(shù)與應(yīng)用第第 十十 章章 語音編碼（一）語音編碼（一） 波形編碼波形編碼 第十一章第十一章 語音編碼（二）語音編碼（二） 聲碼器技術(shù)與混合編碼聲碼器技術(shù)與混合編碼第十二章第十二章 語音合成語音合成第十三章第十三章 語音識(shí)別語音識(shí)別第十四章第十四章 說話人識(shí)別說話人識(shí)別第十五章第十五章 語音增強(qiáng)語音增強(qiáng)第二章第二章 語音信號(hào)處理的基礎(chǔ)知識(shí)語音信號(hào)處理的基礎(chǔ)知識(shí)語音的產(chǎn)生語音的產(chǎn)生語音的分類語音的分類語音的基本特性語音的基本特性語音的時(shí)間波形和頻譜特性語

3、音的時(shí)間波形和頻譜特性語音信號(hào)的統(tǒng)計(jì)特性語音信號(hào)的統(tǒng)計(jì)特性聲道模型聲道模型語音信號(hào)語音信號(hào)的產(chǎn)生模型的產(chǎn)生模型激勵(lì)模型激勵(lì)模型輻射模型輻射模型聲管模型聲管模型共振峰模型共振峰模型級(jí)聯(lián)型級(jí)聯(lián)型并聯(lián)型并聯(lián)型混合型混合型語音感知語音感知定義定義人耳的聽力范圍人耳的聽力范圍聲音的三要素聲音的三要素掩蔽效應(yīng)掩蔽效應(yīng)第二章第二章思考題：思考題：什么叫語言？什么叫語音？什么叫語言？什么叫語音？人類的發(fā)音器官包括哪些？在發(fā)音時(shí)各起了人類的發(fā)音器官包括哪些？在發(fā)音時(shí)各起了什么作用？什么作用？解釋以下概念：基音頻率、共振峰、濁音、解釋以下概念：基音頻率、共振峰、濁音、清音。清音。1. 語音信號(hào)模型包括哪些子模型？

4、激勵(lì)模型和語音信號(hào)模型包括哪些子模型？激勵(lì)模型和輻射模型各屬于什么性質(zhì)的濾波器？輻射模型各屬于什么性質(zhì)的濾波器？第三章語音信號(hào)的時(shí)域分析第三章語音信號(hào)的時(shí)域分析語音處理的目的語音處理的目的語音信號(hào)分析方法語音信號(hào)分析方法短時(shí)分析技術(shù)短時(shí)分析技術(shù)語音信號(hào)的語音信號(hào)的數(shù)字化和預(yù)處理數(shù)字化和預(yù)處理取樣率的選擇取樣率的選擇量化字長(zhǎng)的選擇量化字長(zhǎng)的選擇預(yù)處理預(yù)處理短時(shí)能量分析短時(shí)能量分析短時(shí)平均能量的定義短時(shí)平均能量的定義窗口形狀的選擇窗口形狀的選擇窗口的長(zhǎng)度窗口的長(zhǎng)度主要用途主要用途直角窗和海明窗直角窗和海明窗的頻率特性比較的頻率特性比較短時(shí)平均幅度短時(shí)平均幅度短時(shí)過零分析短時(shí)過零分析過零分析的概念過

5、零分析的概念短時(shí)平均過零數(shù)的實(shí)現(xiàn)短時(shí)平均過零數(shù)的實(shí)現(xiàn)短時(shí)平均過零數(shù)的應(yīng)用短時(shí)平均過零數(shù)的應(yīng)用短時(shí)相關(guān)分析短時(shí)相關(guān)分析自相關(guān)函數(shù)的定義自相關(guān)函數(shù)的定義自相關(guān)函數(shù)的性質(zhì)自相關(guān)函數(shù)的性質(zhì)短時(shí)自相關(guān)函數(shù)的定義短時(shí)自相關(guān)函數(shù)的定義修正的短時(shí)自相關(guān)函數(shù)修正的短時(shí)自相關(guān)函數(shù)短時(shí)平均幅度差函數(shù)短時(shí)平均幅度差函數(shù)(AMDF)相關(guān)分析相關(guān)分析第三章第三章思考題：思考題：1. 在語音信號(hào)參數(shù)分析前為什么要進(jìn)行預(yù)處在語音信號(hào)參數(shù)分析前為什么要進(jìn)行預(yù)處理，有哪些預(yù)處理過程？理，有哪些預(yù)處理過程？2. 短時(shí)平均能量（平均幅度）和短時(shí)平均過短時(shí)平均能量（平均幅度）和短時(shí)平均過零率的定義。這兩種時(shí)域參數(shù)的用途。窗口零率的定義

6、。這兩種時(shí)域參數(shù)的用途。窗口函數(shù)的長(zhǎng)度和形狀對(duì)它們有什么影響？函數(shù)的長(zhǎng)度和形狀對(duì)它們有什么影響？3. 短時(shí)自相關(guān)函數(shù)和短時(shí)平均幅度差函數(shù)定短時(shí)自相關(guān)函數(shù)和短時(shí)平均幅度差函數(shù)定義和用途，它們間有什么差異？義和用途，它們間有什么差異？第四章第四章 語音信號(hào)的短時(shí)傅里葉分析語音信號(hào)的短時(shí)傅里葉分析 短時(shí)傅里葉變換的定義短時(shí)傅里葉變換的定義短時(shí)傅里葉變換的取樣率短時(shí)傅里葉變換的取樣率標(biāo)準(zhǔn)傅里葉變換的解釋標(biāo)準(zhǔn)傅里葉變換的解釋濾波器的解釋濾波器的解釋語音信號(hào)的短時(shí)綜合語音信號(hào)的短時(shí)綜合濾波器組求和法濾波器組求和法語譜圖可同時(shí)在時(shí)間和頻率上顯示語音頻譜隨可同時(shí)在時(shí)間和頻率上顯示語音頻譜隨時(shí)間的變化時(shí)間的變化

7、。第四章第四章思考題思考題：語音信號(hào)的短時(shí)譜的定義。如何提高短語音信號(hào)的短時(shí)譜的定義。如何提高短時(shí)譜的頻率分辨率？時(shí)譜的頻率分辨率？在求語音信號(hào)的短時(shí)譜時(shí)，對(duì)窗函數(shù)有在求語音信號(hào)的短時(shí)譜時(shí)，對(duì)窗函數(shù)有什么要求？什么要求？ 對(duì)語音信號(hào)頻譜分析采用海對(duì)語音信號(hào)頻譜分析采用海明窗和矩形窗各有什么特點(diǎn)？明窗和矩形窗各有什么特點(diǎn)？3. 3. 什么是語譜圖？它有什么特性？什么是語譜圖？它有什么特性？第五章第五章 語音信號(hào)的同態(tài)濾波及倒譜分析語音信號(hào)的同態(tài)濾波及倒譜分析 同態(tài)信號(hào)處理也叫同態(tài)濾波，它實(shí)現(xiàn)了將同態(tài)信號(hào)處理也叫同態(tài)濾波，它實(shí)現(xiàn)了將卷積關(guān)系卷積關(guān)系變換為求和關(guān)系變換為求和關(guān)系的分離處理。的分離處理

8、。復(fù)倒譜和倒譜復(fù)倒譜和倒譜同態(tài)信號(hào)處理的基本原理同態(tài)信號(hào)處理的基本原理 卷積同態(tài)系統(tǒng)模型卷積同態(tài)系統(tǒng)模型特征系統(tǒng)特征系統(tǒng)D D* * 和和D D* *-1-1 的三步數(shù)學(xué)運(yùn)算的三步數(shù)學(xué)運(yùn)算語音信號(hào)兩個(gè)卷積分量的復(fù)倒譜語音信號(hào)兩個(gè)卷積分量的復(fù)倒譜避免相位卷繞的算法避免相位卷繞的算法最小相位信號(hào)序列：最小相位信號(hào)序列：信號(hào)的零極點(diǎn)全部在信號(hào)的零極點(diǎn)全部在z z平面單位圓內(nèi)。平面單位圓內(nèi)。1.卷積同態(tài)系統(tǒng)的組成及意義？特征系統(tǒng)卷積同態(tài)系統(tǒng)的組成及意義？特征系統(tǒng)D* 和逆特征和逆特征系統(tǒng)系統(tǒng)D*-1 運(yùn)算的三個(gè)步驟是什么？運(yùn)算的三個(gè)步驟是什么？2. 什么是復(fù)倒譜？什么是倒譜？清、濁音的復(fù)倒譜或倒什么是

9、復(fù)倒譜？什么是倒譜？清、濁音的復(fù)倒譜或倒譜各有什么特點(diǎn)？譜各有什么特點(diǎn)？第五章第五章思考題：思考題：主要內(nèi)容主要內(nèi)容6.16.1概述概述6.26.2線性預(yù)測(cè)分析的基本原理線性預(yù)測(cè)分析的基本原理6.36.3線性預(yù)測(cè)分析的解法線性預(yù)測(cè)分析的解法自相關(guān)法自相關(guān)法6.46.4格型法格型法6.56.5線性預(yù)測(cè)分析應(yīng)用線性預(yù)測(cè)分析應(yīng)用 -LPC-LPC譜估計(jì)和譜估計(jì)和LPCLPC復(fù)倒譜復(fù)倒譜線性預(yù)測(cè)分析就是根據(jù)已知信號(hào)線性預(yù)測(cè)分析就是根據(jù)已知信號(hào)s(n)s(n)對(duì)各對(duì)各參數(shù)參數(shù) 和增益和增益G G進(jìn)行估計(jì)。在這里進(jìn)行估計(jì)。在這里 為線性預(yù)測(cè)系數(shù)為線性預(yù)測(cè)系數(shù) ia ia F（z）s(n)圖圖6-3 6-3

10、 線性預(yù)測(cè)器線性預(yù)測(cè)器)( ns piiizazF1)( piiizazFzA11)(1)(A(z)s(n)e(n) H（z）u(n)s(n)圖圖6-1 6-1 信號(hào)信號(hào)s(n)s(n)的模型化的模型化為實(shí)數(shù)為實(shí)數(shù)，ipiiiazazH 11G)(1.1.如何將信號(hào)模型化為模型參數(shù)？最常用的是如何將信號(hào)模型化為模型參數(shù)？最常用的是什么模型？什么叫線性預(yù)測(cè)？什么叫逆濾波器？什么模型？什么叫線性預(yù)測(cè)？什么叫逆濾波器？2. 2. 什么叫什么叫LPCLPC參數(shù)？參數(shù)？PARCORPARCOR參數(shù)？參數(shù)？LSPLSP參數(shù)？參數(shù)？3.3.什么是什么是LPCLPC譜？譜？LPCLPC譜估計(jì)的特點(diǎn)。譜估計(jì)的特

11、點(diǎn)。第六章第六章思考題：思考題：7.17.1概述概述7.27.2矢量量化的基本原理矢量量化的基本原理7.37.3失真測(cè)度失真測(cè)度7.47.4最佳矢量量化器和碼本設(shè)計(jì)最佳矢量量化器和碼本設(shè)計(jì)7.57.5降低復(fù)雜度的矢量量化系統(tǒng)降低復(fù)雜度的矢量量化系統(tǒng)7.67.6語音參數(shù)的矢量量化語音參數(shù)的矢量量化 矢量量化的定義矢量量化的定義2.2.什么是失真測(cè)度？常用的失真測(cè)度有哪什么是失真測(cè)度？常用的失真測(cè)度有哪些？些？3. 3. 矢量量化器最佳設(shè)計(jì)的兩個(gè)條件？矢量量化器最佳設(shè)計(jì)的兩個(gè)條件？4. LBG算法算法 第七章第七章思考題：思考題：8.1 8.1 概述概述8.2 8.2 隱馬爾可夫模型的引入隱馬爾可

12、夫模型的引入8.3 8.3 隱馬爾可夫模型的定義隱馬爾可夫模型的定義8.4 8.4 隱馬爾可夫模型三項(xiàng)問題的求解隱馬爾可夫模型三項(xiàng)問題的求解 1. 1.什么叫做隱馬爾可夫過程？為什什么叫做隱馬爾可夫過程？為什么說語音信號(hào)可以看成隱馬爾可夫過么說語音信號(hào)可以看成隱馬爾可夫過程？隱馬爾可夫模型有哪些模型參數(shù)？程？隱馬爾可夫模型有哪些模型參數(shù)？請(qǐng)敘述這些參數(shù)的含義和定義式。請(qǐng)敘述這些參數(shù)的含義和定義式。 2. HMM2. HMM模型的結(jié)構(gòu)主要有哪兩種？模型的結(jié)構(gòu)主要有哪兩種？主要用在什么場(chǎng)合？主要用在什么場(chǎng)合？ 3.3.轉(zhuǎn)移概率矩陣的計(jì)算。轉(zhuǎn)移概率矩陣的計(jì)算。第八章第八章思考題思考題語音檢測(cè)分析語音

13、檢測(cè)分析語音特征參數(shù)的提取和分析。語音特征參數(shù)的提取和分析。主要包括：基音檢測(cè)和共振峰參數(shù)的估值。主要包括：基音檢測(cè)和共振峰參數(shù)的估值。簡(jiǎn)化逆濾波法（簡(jiǎn)化逆濾波法（SIFTSIFT）基音檢測(cè)基音檢測(cè)倒譜法倒譜法自相關(guān)法自相關(guān)法共振峰估值共振峰估值 帶通濾波器法帶通濾波器法 DFT法法 倒譜法倒譜法 LPC法法1.1.基音檢測(cè)的自相關(guān)法中的中心削波處理的思基音檢測(cè)的自相關(guān)法中的中心削波處理的思路及實(shí)現(xiàn)過程？路及實(shí)現(xiàn)過程？2.2.用倒譜法實(shí)現(xiàn)基音檢測(cè)和共振峰檢測(cè)的原理？用倒譜法實(shí)現(xiàn)基音檢測(cè)和共振峰檢測(cè)的原理？第九章第九章思考題思考題語音編碼的概念、應(yīng)用和分類等語音編碼的概念、應(yīng)用和分類等語音信號(hào)的

14、壓縮編碼原理語音信號(hào)的壓縮編碼原理 對(duì)語音進(jìn)行壓縮編碼的兩個(gè)基本依據(jù)等對(duì)語音進(jìn)行壓縮編碼的兩個(gè)基本依據(jù)等 語音通信中的語音質(zhì)量語音通信中的語音質(zhì)量 脈沖編碼調(diào)制脈沖編碼調(diào)制(PCM)及其自適應(yīng)及其自適應(yīng) 自適應(yīng)量化分為前饋或反饋兩種自適應(yīng)量化分為前饋或反饋兩種預(yù)測(cè)編碼及其自適應(yīng)預(yù)測(cè)編碼及其自適應(yīng)APC 自適應(yīng)預(yù)測(cè)編碼自適應(yīng)預(yù)測(cè)編碼APC系統(tǒng)框圖、總量化誤差系統(tǒng)框圖、總量化誤差 預(yù)測(cè)編碼可以改善信噪比的原因預(yù)測(cè)編碼可以改善信噪比的原因 短時(shí)預(yù)測(cè)和長(zhǎng)時(shí)預(yù)測(cè)短時(shí)預(yù)測(cè)和長(zhǎng)時(shí)預(yù)測(cè)自適應(yīng)差分編碼調(diào)制（自適應(yīng)差分編碼調(diào)制（ADPCM）1.1.在語音通信中，常將語音質(zhì)量分為哪四等？在語音通信中，常將語音質(zhì)量分

15、為哪四等？2.2.語音信號(hào)能進(jìn)行壓縮編碼的依據(jù)是什么？語語音信號(hào)能進(jìn)行壓縮編碼的依據(jù)是什么？語音編碼的分類？音編碼的分類？3.3.自適應(yīng)的控制量有幾個(gè)？控制方式有幾種，自適應(yīng)的控制量有幾個(gè)？控制方式有幾種，其特點(diǎn)是什么？其特點(diǎn)是什么？4.4.預(yù)測(cè)編碼可以改善信噪比的原因是什么？預(yù)測(cè)編碼可以改善信噪比的原因是什么？5.5.什么是短時(shí)預(yù)測(cè)和長(zhǎng)時(shí)預(yù)測(cè)什么是短時(shí)預(yù)測(cè)和長(zhǎng)時(shí)預(yù)測(cè) ？第十章思考題第十章思考題 參數(shù)編碼概念、與波形編碼的不同參數(shù)編碼概念、與波形編碼的不同聲碼器的基本結(jié)構(gòu)聲碼器的基本結(jié)構(gòu)相位聲碼器和通道聲碼器相位聲碼器和通道聲碼器同態(tài)聲碼器同態(tài)聲碼器線性預(yù)測(cè)聲碼器線性預(yù)測(cè)聲碼器混合編碼：混合編

16、碼： MPLPC 、CELP原理、原理、傳輸碼率計(jì)算等傳輸碼率計(jì)算等第十一章第十一章 語音編碼聲碼器技術(shù)及混合編碼語音編碼聲碼器技術(shù)及混合編碼 語音合成的方法：語音合成的方法：波形合成法波形合成法 、參數(shù)合成法參數(shù)合成法規(guī)則合成法規(guī)則合成法 語音合成系統(tǒng)的特性語音合成系統(tǒng)的特性：形式有兩種形式有兩種 用預(yù)測(cè)器系數(shù)用預(yù)測(cè)器系數(shù)ai直接構(gòu)成的遞歸型合成濾波器直接構(gòu)成的遞歸型合成濾波器 采用反射系數(shù)構(gòu)成的格型合成濾波器采用反射系數(shù)構(gòu)成的格型合成濾波器第十三章第十三章 語音識(shí)別語音識(shí)別 語音識(shí)別的概念、目的和分類語音識(shí)別的概念、目的和分類 語音識(shí)別原理：語音識(shí)別原理：模式匹配原理、語音識(shí)別的步驟模式匹

17、配原理、語音識(shí)別的步驟 框圖理解框圖理解動(dòng)態(tài)時(shí)間規(guī)整（動(dòng)態(tài)時(shí)間規(guī)整（DTW）：）：目的、原理目的、原理孤立詞識(shí)別系統(tǒng)：孤立詞識(shí)別系統(tǒng)：原理和框圖理解原理和框圖理解 端點(diǎn)檢測(cè)的作用端點(diǎn)檢測(cè)的作用1.什么是語音識(shí)別什么是語音識(shí)別?語音識(shí)別系統(tǒng)如何分類語音識(shí)別系統(tǒng)如何分類?當(dāng)前當(dāng)前,語音語音識(shí)別的主流方法是什么識(shí)別的主流方法是什么?2.語音識(shí)別系統(tǒng)由哪幾個(gè)部分組成語音識(shí)別系統(tǒng)由哪幾個(gè)部分組成?語音識(shí)別中常用的語音識(shí)別中常用的語音特征參數(shù)有哪些語音特征參數(shù)有哪些?3.什么是動(dòng)態(tài)時(shí)間規(guī)整什么是動(dòng)態(tài)時(shí)間規(guī)整?實(shí)際中實(shí)際中,它解決了什么問題它解決了什么問題?4.孤立詞識(shí)別系統(tǒng)框圖孤立詞識(shí)別系統(tǒng)框圖?框圖中框

18、圖中,參考模式庫和模式識(shí)別參考模式庫和模式識(shí)別的作用是什么的作用是什么?第十三章思考題第十三章思考題第十四章 說話人識(shí)別 說話人識(shí)別定義、目的和關(guān)鍵問題說話人識(shí)別定義、目的和關(guān)鍵問題說話人識(shí)別分類、應(yīng)用說話人識(shí)別分類、應(yīng)用特征提取特征提取 說話人識(shí)別所用的特征說話人識(shí)別所用的特征 特征類型的優(yōu)選準(zhǔn)則：特征類型的優(yōu)選準(zhǔn)則： F比作為有效性準(zhǔn)則比作為有效性準(zhǔn)則 說話人識(shí)別系統(tǒng)的結(jié)構(gòu)：說話人識(shí)別系統(tǒng)的結(jié)構(gòu)： 組成、基本結(jié)構(gòu)、說話人識(shí)別系統(tǒng)的性能評(píng)組成、基本結(jié)構(gòu)、說話人識(shí)別系統(tǒng)的性能評(píng)價(jià)價(jià) 如：說話人確認(rèn)系統(tǒng)最重要的兩個(gè)性能指標(biāo)：如：說話人確認(rèn)系統(tǒng)最重要的兩個(gè)性能指標(biāo)： 錯(cuò)誤拒絕率（錯(cuò)誤拒絕率（FR）

19、、錯(cuò)誤接受率（）、錯(cuò)誤接受率（FA） 說話人識(shí)別中的識(shí)別方法說話人識(shí)別中的識(shí)別方法 DTW型說話人識(shí)別系統(tǒng)：說話人確認(rèn)系統(tǒng)型說話人識(shí)別系統(tǒng)：說話人確認(rèn)系統(tǒng) 應(yīng)用應(yīng)用VQ的說話人識(shí)別系統(tǒng)：說話人辨認(rèn)系統(tǒng)的說話人識(shí)別系統(tǒng)：說話人辨認(rèn)系統(tǒng)1.說話人識(shí)別和語音識(shí)別的區(qū)別在什么地方說話人識(shí)別和語音識(shí)別的區(qū)別在什么地方? 2.說話人確認(rèn)和說話人辨認(rèn)有什么不同？說話人確認(rèn)和說話人辨認(rèn)有什么不同？3.在說話人識(shí)別中，應(yīng)選擇哪些可以表征個(gè)人特征在說話人識(shí)別中，應(yīng)選擇哪些可以表征個(gè)人特征的識(shí)別參數(shù)？的識(shí)別參數(shù)？4.怎樣評(píng)價(jià)說話人識(shí)別特征參數(shù)選取的好壞？即怎樣評(píng)價(jià)說話人識(shí)別特征參數(shù)選取的好壞？即F比的物理意義？比的

20、物理意義？5.說話人確認(rèn)系統(tǒng)最重要的兩個(gè)性能指標(biāo)是什么？說話人確認(rèn)系統(tǒng)最重要的兩個(gè)性能指標(biāo)是什么？含義為什么？含義為什么？6.基于基于DTW和和VQ算法的系統(tǒng)框圖理解。算法的系統(tǒng)框圖理解。第十四章思考題第十四章思考題人類的語音是由人體發(fā)音器官在大腦控制下的人類的語音是由人體發(fā)音器官在大腦控制下的生理運(yùn)動(dòng)產(chǎn)生的；生理運(yùn)動(dòng)產(chǎn)生的；人的發(fā)音器官包括：肺、氣管、喉、咽、鼻、人的發(fā)音器官包括：肺、氣管、喉、咽、鼻、口等。口等。聲帶開啟和閉合使氣流形成一系列脈沖。聲帶開啟和閉合使氣流形成一系列脈沖。 每開啟和閉合一次的時(shí)間即振動(dòng)周期稱為每開啟和閉合一次的時(shí)間即振動(dòng)周期稱為基音周期基音周期，其倒數(shù)為，其倒數(shù)

21、為基音頻率基音頻率，簡(jiǎn)稱，簡(jiǎn)稱基頻?；l?；l決定了聲音頻率的高低，頻率快則音調(diào)高，頻決定了聲音頻率的高低，頻率快則音調(diào)高，頻率慢則音調(diào)低。頻率慢則音調(diào)低。 基音的范圍約為基音的范圍約為70 - 350Hz70 - 350Hz, ,與說話人與說話人的性別、年齡等情況有關(guān)。的性別、年齡等情況有關(guān)。 語音由聲帶振動(dòng)或不經(jīng)聲帶振動(dòng)來產(chǎn)生，其中：語音由聲帶振動(dòng)或不經(jīng)聲帶振動(dòng)來產(chǎn)生，其中： 由聲帶振動(dòng)產(chǎn)生的音稱為由聲帶振動(dòng)產(chǎn)生的音稱為濁音（濁音（Voice SpeechVoice Speech）； 不由聲帶振動(dòng)產(chǎn)生的音稱為不由聲帶振動(dòng)產(chǎn)生的音稱為清音清音（Unvoice Speech） 。 使聲道完全

22、閉合，在閉合后建立起氣壓，然后突然釋使聲道完全閉合，在閉合后建立起氣壓，然后突然釋放，得到爆破音稱為放，得到爆破音稱為爆破音（爆破音（plosive Speech）：）：聲道可以等效為一個(gè)諧振腔，有許多諧振頻率。諧振頻率由聲道可以等效為一個(gè)諧振腔，有許多諧振頻率。諧振頻率由每一瞬間的聲道外形來決定。每一瞬間的聲道外形來決定。 若聲道截面是均勻的，則諧振頻率發(fā)生在：若聲道截面是均勻的，則諧振頻率發(fā)生在：.3 , 2 , 14)12( nLcnFn c c為聲速，空氣中為為聲速，空氣中為350m/s350m/s，L L為聲道長(zhǎng)度，為聲道長(zhǎng)度，n n為序號(hào)。為序號(hào)。音質(zhì)：區(qū)別與其它聲音的基本特征音質(zhì)

23、：區(qū)別與其它聲音的基本特征音調(diào)：聲音的高低；取決于頻率音調(diào)：聲音的高低；取決于頻率音量：聲音的強(qiáng)弱；聲波振動(dòng)的幅度音量：聲音的強(qiáng)弱；聲波振動(dòng)的幅度音長(zhǎng)：聲音的長(zhǎng)短。發(fā)音持續(xù)時(shí)間的長(zhǎng)短音長(zhǎng)：聲音的長(zhǎng)短。發(fā)音持續(xù)時(shí)間的長(zhǎng)短圖2-7 Ten above In the suburbs 時(shí)域波形圖2-8 元音【】的頻譜圖2-9 輔音【S】的語譜基音周期的計(jì)算 清音濁音的判斷學(xué)習(xí)得到圖圖26 輸出的語音頻譜輸出的語音頻譜虛線為譜包絡(luò)，恢復(fù)譜包絡(luò)是許多語音虛線為譜包絡(luò)，恢復(fù)譜包絡(luò)是許多語音處理應(yīng)用中的主要問題，因?yàn)樽V包絡(luò)攜處理應(yīng)用中的主要問題，因?yàn)樽V包絡(luò)攜帶了主要的發(fā)音信息帶了主要的發(fā)音信息 根據(jù)長(zhǎng)時(shí)間范圍

24、內(nèi)一段語音信號(hào)的大量取樣根據(jù)長(zhǎng)時(shí)間范圍內(nèi)一段語音信號(hào)的大量取樣數(shù)據(jù)的絕對(duì)值計(jì)算其直方圖數(shù)據(jù)的絕對(duì)值計(jì)算其直方圖方法xekxfxk .2)( 概率密度修正伽瑪概率密度xexf 5 . 0)(拉普拉斯分布圖圖2 210 10 修正伽瑪密度、拉普拉斯密度和高修正伽瑪密度、拉普拉斯密度和高斯密度以及天氣預(yù)報(bào)語音的長(zhǎng)期幅度分布斯密度以及天氣預(yù)報(bào)語音的長(zhǎng)期幅度分布圖圖211 語音幅度的累計(jì)頻度分布語音幅度的累計(jì)頻度分布觀察觀察得到得到語音主要集中在幅度較小的區(qū)域語音主要集中在幅度較小的區(qū)域語音的動(dòng)態(tài)范圍都超過語音的動(dòng)態(tài)范圍都超過50dB激勵(lì)模型激勵(lì)模型 發(fā)不同性質(zhì)的音時(shí)，激勵(lì)的情況是不同的。發(fā)不同性質(zhì)的音

25、時(shí)，激勵(lì)的情況是不同的。（1 1）發(fā)濁音時(shí)）發(fā)濁音時(shí) 聲帶不斷張開和關(guān)閉，產(chǎn)生間歇的脈沖波。聲帶不斷張開和關(guān)閉，產(chǎn)生間歇的脈沖波。見圖見圖2-132-13。 則激勵(lì)信號(hào)是一個(gè)以基音周期為周期的則激勵(lì)信號(hào)是一個(gè)以基音周期為周期的斜三角脈沖串。斜三角脈沖串。 從頻譜上看，是一個(gè)低通型濾波器。可以表示從頻譜上看，是一個(gè)低通型濾波器。可以表示為為Z Z變換的全極點(diǎn)模型形式變換的全極點(diǎn)模型形式：)1)(1(1)(1211 zgzgzG（2 2）發(fā)清音時(shí)）發(fā)清音時(shí) 聲道被阻礙形成湍流，可模擬為隨機(jī)白噪聲聲道被阻礙形成湍流，可模擬為隨機(jī)白噪聲。見圖見圖2-122-12。 實(shí)際中使用均值為實(shí)際中使用均值為0

26、0、方差為、方差為1 1，并在時(shí)間或幅，并在時(shí)間或幅度上為白色分布的序列度上為白色分布的序列聲道模型聲道模型（1 1）聲管模型）聲管模型聲道的數(shù)學(xué)模型目前有兩種觀點(diǎn)：聲道的數(shù)學(xué)模型目前有兩種觀點(diǎn)： 將聲道看為由多個(gè)不同截面積的管子串聯(lián)而成的將聲道看為由多個(gè)不同截面積的管子串聯(lián)而成的系統(tǒng)。系統(tǒng)。 在在“短時(shí)短時(shí)”期間，聲道可表示為形狀穩(wěn)定的管道。期間，聲道可表示為形狀穩(wěn)定的管道。（2 2）共振峰模型）共振峰模型將聲道看為一個(gè)諧振腔。共振峰就是腔體的諧振頻率。將聲道看為一個(gè)諧振腔。共振峰就是腔體的諧振頻率。 一般，用前三個(gè)共振峰來代表一個(gè)元音就足夠了。一般，用前三個(gè)共振峰來代表一個(gè)元音就足夠了。而

27、輔音需要五個(gè)以上而輔音需要五個(gè)以上圖圖215 級(jí)聯(lián)型共振峰模型級(jí)聯(lián)型共振峰模型 級(jí)聯(lián)型比較簡(jiǎn)單，用于描述一般的元級(jí)聯(lián)型比較簡(jiǎn)單，用于描述一般的元音。級(jí)聯(lián)的級(jí)數(shù)取決于聲道的長(zhǎng)度。音。級(jí)聯(lián)的級(jí)數(shù)取決于聲道的長(zhǎng)度。圖圖216 并聯(lián)型共振峰模型并聯(lián)型共振峰模型 當(dāng)鼻化元音或鼻腔參與共振以及發(fā)阻塞音或摩擦音時(shí)，此時(shí)腔體具有反諧振特性，必須考慮加入零點(diǎn)，成為極零點(diǎn)模型，每個(gè)諧振器的幅度都要獨(dú)立控制。幅度獨(dú)立控制何調(diào)幅度獨(dú)立控制何調(diào)節(jié)，用來模擬輔音節(jié)，用來模擬輔音頻譜特性中能量集頻譜特性中能量集中區(qū)中區(qū)專為一些頻譜特性比較平坦專為一些頻譜特性比較平坦的因素而考慮的的因素而考慮的圖圖217輻射模型輻射模型)1

28、()(10 zRzR一階類高通濾波器形式一階類高通濾波器形式 從聲道輸出的是速度波，而語音信號(hào)是聲從聲道輸出的是速度波，而語音信號(hào)是聲壓波，二者之比為輻射阻抗壓波，二者之比為輻射阻抗ZL。它表征口唇。它表征口唇的輻射效應(yīng)，也包括圓形頭部的繞射效應(yīng)。的輻射效應(yīng)，也包括圓形頭部的繞射效應(yīng)。 研究表明，口唇端在高頻端比較顯著，而在研究表明，口唇端在高頻端比較顯著，而在低頻端時(shí)影響比較小。所以輻射模型為低頻端時(shí)影響比較小。所以輻射模型為 嘴唇的輻射影響引起的輸出信號(hào)高頻提升作用嘴唇的輻射影響引起的輸出信號(hào)高頻提升作用大約有大約有每倍頻程每倍頻程6dB4. 4. 完整的語音信號(hào)數(shù)字模型完整的語音信號(hào)數(shù)字

29、模型)()()()(zRzHzUzV 語音取樣值語音取樣值準(zhǔn)周期脈沖準(zhǔn)周期脈沖序列發(fā)生器序列發(fā)生器基音周期基音周期增益控制增益控制隨機(jī)噪聲隨機(jī)噪聲發(fā)發(fā) 生生 器器時(shí)變線性時(shí)變線性系系 統(tǒng)統(tǒng)時(shí)變參數(shù)時(shí)變參數(shù)濁音濁音清音清音激勵(lì)模型激勵(lì)模型聲道模型聲道模型輻射模型輻射模型注意注意一、這種模型是一、這種模型是“短時(shí)模型短時(shí)模型”，其中，其中U(Z)、R(Z)保持不變，而基音頻率、清音濁音的幅度、清保持不變，而基音頻率、清音濁音的幅度、清/濁濁音判決，聲道參數(shù)音判決，聲道參數(shù)ak、P是時(shí)變的是時(shí)變的二、聲道參數(shù)二、聲道參數(shù)030ms內(nèi)近似不變，激勵(lì)參數(shù)在內(nèi)近似不變，激勵(lì)參數(shù)在5ms左右近似不變，左右近

30、似不變，H(Z)是一個(gè)參數(shù)隨時(shí)間緩慢變化是一個(gè)參數(shù)隨時(shí)間緩慢變化的模型，可以假定的模型，可以假定1020ms內(nèi)固定不變。內(nèi)固定不變。三、對(duì)于某些音，需要用一些修正的或更精確的模三、對(duì)于某些音，需要用一些修正的或更精確的模型來模型型來模型四、模型對(duì)語音產(chǎn)生的模擬得是否成功，主要四、模型對(duì)語音產(chǎn)生的模擬得是否成功，主要考察它所產(chǎn)生得語音信號(hào)聽上去是否合乎預(yù)期考察它所產(chǎn)生得語音信號(hào)聽上去是否合乎預(yù)期得結(jié)果，對(duì)于它是否能準(zhǔn)確得描述發(fā)音器官產(chǎn)得結(jié)果，對(duì)于它是否能準(zhǔn)確得描述發(fā)音器官產(chǎn)生語音得物理過程并不重要。生語音得物理過程并不重要。五、語音分析和語音合成都是基于這個(gè)模型來五、語音分析和語音合成都是基于這

31、個(gè)模型來實(shí)現(xiàn)的。實(shí)現(xiàn)的。六、模型的思想起源于六、模型的思想起源于30年代發(fā)明的聲碼器。其年代發(fā)明的聲碼器。其基本思想是將激勵(lì)和系統(tǒng)相分離，使語音信號(hào)解基本思想是將激勵(lì)和系統(tǒng)相分離，使語音信號(hào)解體來分別描述，而不是直接研究信號(hào)波形本身的體來分別描述，而不是直接研究信號(hào)波形本身的特性特性 人的耳朵接收聲音并轉(zhuǎn)換成神經(jīng)人的耳朵接收聲音并轉(zhuǎn)換成神經(jīng)刺激。人耳聽到聲音后，還要經(jīng)過刺激。人耳聽到聲音后，還要經(jīng)過大腦處理變成確定的含義，這就是大腦處理變成確定的含義，這就是對(duì)語音的感知對(duì)語音的感知。人耳能聽到的頻率范圍大約為人耳能聽到的頻率范圍大約為16Hz16kHz，年輕人上限頻率可達(dá)，年輕人上限頻率可達(dá)2

32、0kHz,老年人則衰退為老年人則衰退為10kHz對(duì)于人耳的感覺，用對(duì)于人耳的感覺，用聲音三要素來聲音三要素來描述：描述： 響度響度：人耳對(duì)聲音強(qiáng)弱程度的反映。取決于：人耳對(duì)聲音強(qiáng)弱程度的反映。取決于聲音的幅度，并和頻率有關(guān)。如：對(duì)聲音的幅度，并和頻率有關(guān)。如：對(duì)30004000Hz最敏感。最敏感。 音調(diào)音調(diào)：也叫音高。人耳對(duì)聲音頻率高低的感：也叫音高。人耳對(duì)聲音頻率高低的感受。如：對(duì)頻率高的聲音感覺音調(diào)受。如：對(duì)頻率高的聲音感覺音調(diào)“高高”，對(duì)，對(duì)頻率低的聲音感覺音調(diào)頻率低的聲音感覺音調(diào)“低低”。 音色音色：也叫音質(zhì)。反映了聲音屬性。每個(gè)聲：也叫音質(zhì)。反映了聲音屬性。每個(gè)聲音具有特殊的音色。音

33、具有特殊的音色。掩蔽效應(yīng)掩蔽效應(yīng) 當(dāng)兩個(gè)響度不同的聲音作用于人耳時(shí)，則響度當(dāng)兩個(gè)響度不同的聲音作用于人耳時(shí)，則響度較高的頻率成分的存在會(huì)影響到對(duì)響度較低的頻較高的頻率成分的存在會(huì)影響到對(duì)響度較低的頻率成分的感受，使其變得不易覺察，這就是率成分的感受，使其變得不易覺察，這就是掩蔽掩蔽效應(yīng)效應(yīng)。 對(duì)于中等掩蔽強(qiáng)度，純音最有效的掩蔽出現(xiàn)在對(duì)于中等掩蔽強(qiáng)度，純音最有效的掩蔽出現(xiàn)在它的頻率附近，低頻的純音可以有效地掩蔽高頻它的頻率附近，低頻的純音可以有效地掩蔽高頻地純音，而高頻的純音對(duì)低頻的純音掩蔽作用很地純音，而高頻的純音對(duì)低頻的純音掩蔽作用很小。掩蔽效應(yīng)會(huì)造成因一個(gè)聲音的存在而使另一小。掩蔽效應(yīng)會(huì)造

34、成因一個(gè)聲音的存在而使另一個(gè)聲音的個(gè)聲音的聽閾聽閾上升。上升。當(dāng)聲音的強(qiáng)度小到人耳剛剛能夠聽見時(shí)當(dāng)聲音的強(qiáng)度小到人耳剛剛能夠聽見時(shí)一、對(duì)語音信號(hào)進(jìn)行分析，提取特征參數(shù)。一、對(duì)語音信號(hào)進(jìn)行分析，提取特征參數(shù)。二、加工語音信號(hào)。二、加工語音信號(hào)?？傊?，在于方便有效地提取并表示語音信號(hào)總之，在于方便有效地提取并表示語音信號(hào)所攜帶的信息。所攜帶的信息。語音處理的目的語音處理的目的： 語音信號(hào)分析方法：語音信號(hào)分析方法： 時(shí)域分析：時(shí)域分析： 頻域分析：頻域分析：倒譜域分析：倒譜域分析： 語音信號(hào)具有語音信號(hào)具有時(shí)變特性時(shí)變特性，是一個(gè)非平穩(wěn)的隨機(jī)過，是一個(gè)非平穩(wěn)的隨機(jī)過程；程； 但是，語音信號(hào)又具有但

35、是，語音信號(hào)又具有“短時(shí)平穩(wěn)性短時(shí)平穩(wěn)性”，即在一，即在一個(gè)短時(shí)間范圍內(nèi)其特性基本保持不變。個(gè)短時(shí)間范圍內(nèi)其特性基本保持不變。這是語音信這是語音信號(hào)處理的一個(gè)重要出發(fā)點(diǎn)。即號(hào)處理的一個(gè)重要出發(fā)點(diǎn)。即“短時(shí)分析短時(shí)分析”。 “ “短時(shí)分析短時(shí)分析” 對(duì)語音信號(hào)采用分段或叫分幀對(duì)語音信號(hào)采用分段或叫分幀來處理。來處理。短時(shí)分析技術(shù)：短時(shí)分析技術(shù)：注：語音通常在注：語音通常在1030ms1030ms內(nèi)保持相對(duì)平穩(wěn)，所以內(nèi)保持相對(duì)平穩(wěn)，所以幀長(zhǎng)取為：幀長(zhǎng)取為： 1030ms1030ms 模擬語音模擬語音 數(shù)字語音，須經(jīng)過數(shù)字語音，須經(jīng)過取樣、量化取樣、量化 語音信號(hào)：頻率范圍可高達(dá)語音信號(hào)：頻率范圍可

36、高達(dá)10KHz。 電話帶寬語音：電話帶寬語音： 3003400Hz 通信系統(tǒng)中，數(shù)字化取樣率一般為通信系統(tǒng)中，數(shù)字化取樣率一般為8KHz， 語音信號(hào)處理中，取樣率語音信號(hào)處理中，取樣率 為為 10KHz取樣率的選擇取樣率的選擇2. 量化字長(zhǎng)的選擇量化字長(zhǎng)的選擇 量化過程量化過程：將整個(gè)幅度值分割為有限個(gè)區(qū)間，：將整個(gè)幅度值分割為有限個(gè)區(qū)間，落入同一個(gè)區(qū)間的樣本都賦予相同的幅度值落入同一個(gè)區(qū)間的樣本都賦予相同的幅度值 。 量化過程不可避免會(huì)產(chǎn)生量化誤差。量化過程不可避免會(huì)產(chǎn)生量化誤差。 可以證明量化信噪比為：可以證明量化信噪比為：)lg(2077. 402. 6)lg(10)(max22xexX

37、BdBSNR 量化字長(zhǎng)量化字長(zhǎng)輸入語音信號(hào)的方差輸入語音信號(hào)的方差噪聲序列的方差噪聲序列的方差信號(hào)的峰值信號(hào)的峰值若語音信號(hào)服從拉普拉斯（若語音信號(hào)服從拉普拉斯（Laplacian)Laplacian)分布，分布，則：則：可見，每比特對(duì)可見，每比特對(duì)SNRSNR貢獻(xiàn)貢獻(xiàn)6dB6dB。2 . 702. 6)( BdBSNRB=7Bit時(shí)，時(shí)，SNR=35dB,可滿足一般通信系統(tǒng)要求；可滿足一般通信系統(tǒng)要求；實(shí)際中，因語音波形變化的動(dòng)態(tài)范圍可達(dá)實(shí)際中，因語音波形變化的動(dòng)態(tài)范圍可達(dá)55dB，所，所以，應(yīng)取以，應(yīng)取B 10Bit二、預(yù)處理二、預(yù)處理 預(yù)處理：預(yù)處理：模擬語音的數(shù)字化、放大及增益模擬語音

38、的數(shù)字化、放大及增益控制、反混疊濾波、預(yù)加重等。控制、反混疊濾波、預(yù)加重等。 反混疊濾波反混疊濾波：在取樣前，為預(yù)防混疊失真和噪聲干：在取樣前，為預(yù)防混疊失真和噪聲干擾，采用的一個(gè)截止性能良好的模擬低通濾波器。擾，采用的一個(gè)截止性能良好的模擬低通濾波器。反混疊濾波器一般與反混疊濾波器一般與A/D做在一塊集成片內(nèi)。做在一塊集成片內(nèi)。 預(yù)加重：預(yù)加重：因語音信號(hào)高頻端因語音信號(hào)高頻端800Hz以上按以上按6dB/倍頻倍頻程下降，所以程下降，所以在在A/D前，可以采用預(yù)加重方法。即提前，可以采用預(yù)加重方法。即提升高頻部分，使信號(hào)的頻譜變得平坦，便于頻譜分析升高頻部分，使信號(hào)的頻譜變得平坦，便于頻譜分

39、析和聲道參數(shù)分析。和聲道參數(shù)分析。注：注： 預(yù)加重也可預(yù)加重也可在在A/DA/D后進(jìn)行，此時(shí)可采用數(shù)字后進(jìn)行，此時(shí)可采用數(shù)字濾波器實(shí)現(xiàn)：濾波器實(shí)現(xiàn)：11)( zzH 預(yù)加重后的信號(hào)在分析后，還需要進(jìn)行去預(yù)加重后的信號(hào)在分析后，還需要進(jìn)行去加重處理還原為原來的語音信號(hào)。加重處理還原為原來的語音信號(hào)。一、短時(shí)平均能量的定義一、短時(shí)平均能量的定義 nNnmmnmnwmxmnwmxE122)()()()(注意：注意：E En n以以n n為標(biāo)志。因?yàn)榇靶蛄惺茄刂椒街档男蛄袨闃?biāo)志。因?yàn)榇靶蛄惺茄刂椒街档男蛄兄鸲我苿?dòng)。見圖逐段移動(dòng)。見圖3-63-6圖圖3-73-7短時(shí)能量序列的計(jì)算方法短時(shí)能量序列的計(jì)算方法)()(2nhnxEn 表明表明：短時(shí)平均能量相當(dāng)于語音信號(hào)平方短時(shí)平均能量相當(dāng)于語音信號(hào)平方通過一個(gè)單位脈沖響應(yīng)為通過一個(gè)單位脈沖響應(yīng)為h(n)h(n)的線性濾波的線性濾波器的輸出。器的輸出。注意注意 ：不同的窗口選擇決定不同的短時(shí)能量，不同的窗口選擇決定不同的短時(shí)能量，為此我們要選擇合適的窗口，使其平均能量更好為此我們要選擇合適的窗口，使其平均能量更好地反映語音信號(hào)的幅度變化。地反映語音信號(hào)的幅度變化。窗口的形狀窗口的形狀窗函數(shù)：窗函數(shù)：直角窗、漢寧窗、