語音信號(hào)處理-第十一章-語音轉(zhuǎn)換課件

第11章11.1~11.5語音轉(zhuǎn)換

《語音信號(hào)處理》1第11章11.1~11.5語音轉(zhuǎn)換11.1語音轉(zhuǎn)換的原理和應(yīng)用11.2常用語音轉(zhuǎn)換的方法11.3語音分析模型和語音庫的選擇11.4應(yīng)用GMM的語音轉(zhuǎn)換11.5語音轉(zhuǎn)換的研究方向211.1語音轉(zhuǎn)換的原理和應(yīng)用語音信號(hào)包含了很多信息，除了最為重要的語義信息外，還有說話人的個(gè)性特征（或者說身份信息）、情感特征、說話人的態(tài)度以及說話場(chǎng)景信息等語音轉(zhuǎn)換（VoiceConversion）：將A話者的語音轉(zhuǎn)換為具有B話者發(fā)音特征的語音，而保持語音內(nèi)容不變311.1語音轉(zhuǎn)換的原理和應(yīng)用語音轉(zhuǎn)換的應(yīng)用應(yīng)用于文語合成系統(tǒng)多媒體娛樂：外語電影用于語言翻譯系統(tǒng)：同步翻譯語音識(shí)別通信領(lǐng)域中極低速率語音編碼方案醫(yī)學(xué)領(lǐng)域中語音增強(qiáng)系統(tǒng)說話人偽裝身份通信511.2常用語音轉(zhuǎn)換的方法11.2.1頻譜特征參數(shù)轉(zhuǎn)換11.2.2基音周期轉(zhuǎn)換11.2.3韻律信息轉(zhuǎn)換611.2.1頻譜特征參數(shù)轉(zhuǎn)換頻譜特征參數(shù)轉(zhuǎn)換矢量量化法線性多變量回歸法神經(jīng)網(wǎng)絡(luò)法多說話人插值法高斯混合模型法711.2.1頻譜特征參數(shù)轉(zhuǎn)換1.矢量量化法：主要分為訓(xùn)練階段和轉(zhuǎn)換階段8轉(zhuǎn)換階段LPC分析矢量量化A的語音譯碼標(biāo)量量化譯碼合成濾波器轉(zhuǎn)換語音A的碼本(頻譜參數(shù)）(A->B)匹配碼本(頻譜參數(shù)）(A->B)匹配碼本(基音頻率）A的碼本(基音頻率）1011.2.1頻譜特征參數(shù)轉(zhuǎn)換3.神經(jīng)網(wǎng)絡(luò)法4.多說話人插值法根據(jù)預(yù)先存儲(chǔ)的多個(gè)說話人頻譜包絡(luò)進(jìn)行插值得到目標(biāo)的頻譜包絡(luò)，頻譜包絡(luò)通過慢變化的插值率來進(jìn)行平滑的轉(zhuǎn)換5.高斯混合模型法1211.2.3韻律信息轉(zhuǎn)換在表征說話人信息的特征參數(shù)中，除了表示聲道信息的特征參數(shù)外，還包括說話人的韻律信息，它同樣能豐富的反映說話人的個(gè)人信息，韻律信息包括：說話人的說話時(shí)長(zhǎng)、能量、基音頻率等等目前的研究中，主要是對(duì)基音周期和時(shí)長(zhǎng)進(jìn)行統(tǒng)計(jì)匹配，按照它們的平均值求出響應(yīng)的比例因子，然后在合成語音時(shí)按比例的增加或者減少幀間疊加的樣本點(diǎn)數(shù)目，或者通過復(fù)制或者刪除一定的殘差信號(hào)，實(shí)現(xiàn)基音周期平均值和音素時(shí)長(zhǎng)平均值的轉(zhuǎn)換1411.3語音分析模型和語音庫的選擇11.3.1語音分析模型11.3.2語音庫的設(shè)計(jì)1511.3.1語音分析模型STRAIGHT（speechtransformationandrepresentationandinterpolationusingweightedspectrogram）即自適應(yīng)加權(quán)譜內(nèi)插，是針對(duì)語音參數(shù)的修改和恢復(fù)而提出的一種非常優(yōu)秀的語音模型在時(shí)—頻域重建語音信號(hào)精準(zhǔn)地提取f0參數(shù)：Gabor濾波器人為構(gòu)造最小相位系統(tǒng)恢復(fù)源信號(hào)16STRAIGHT的主要組成部分1.去除周期影響的譜估計(jì)去除時(shí)間軸上的周期性：采用基音同步并疊加補(bǔ)償窗的方法來計(jì)算頻譜，并在時(shí)域上平滑去除頻率軸上的周期性：通過對(duì)線譜卷積三角窗，并進(jìn)行頻率軸上的平滑，得到最終的譜包絡(luò)17STRAIGHT的主要組成部分2.平滑可靠的基頻軌跡的提取18STRAIGHT分析的合成過程提取STRAIGHT譜與基頻韻律生成模塊聲源頻譜調(diào)整模塊基頻、時(shí)長(zhǎng)生成聲源頻譜調(diào)整基音同步疊加合成轉(zhuǎn)換語音

原始語音LPC倒譜參數(shù)和LSP參數(shù)等？2011.3.2語音庫的設(shè)計(jì)4.時(shí)間對(duì)齊3.說話人數(shù)量2.音素覆蓋范圍1.語音庫大小語音庫設(shè)計(jì)語音庫是指以語音波形文件和相應(yīng)的參數(shù)文件組成的數(shù)據(jù)庫說話人越多，越有利于評(píng)估語音轉(zhuǎn)換系統(tǒng)語音庫中每個(gè)說話人的語音數(shù)據(jù)即文本內(nèi)容，描述了語音庫覆蓋整個(gè)語音空間的程度往往需要對(duì)源語音特征參數(shù)序列和目標(biāo)語音特征參數(shù)序列進(jìn)行時(shí)間對(duì)齊2111.4應(yīng)用GMM的語音轉(zhuǎn)換轉(zhuǎn)換階段運(yùn)用訓(xùn)練獲得的頻譜轉(zhuǎn)換函數(shù)進(jìn)行頻譜特征參數(shù)的轉(zhuǎn)換，運(yùn)用基音周期轉(zhuǎn)換函數(shù)對(duì)基音周期進(jìn)進(jìn)行轉(zhuǎn)換對(duì)轉(zhuǎn)換后的頻譜特征參數(shù)和基音周期運(yùn)用語音分析合成模型進(jìn)行合成2311.4應(yīng)用GMM的語音轉(zhuǎn)換假設(shè)源特征矢量和目標(biāo)特征矢量符合聯(lián)合高斯概率分布，利用高斯混合模型對(duì)混合頻譜參數(shù)進(jìn)行建模，得到2411.5語音轉(zhuǎn)換的研究方向進(jìn)一步研究激勵(lì)和聲道的關(guān)系加強(qiáng)基于非對(duì)稱