人工智能基礎(chǔ)與應(yīng)用（第2版）（微課版）課件 模塊7 語音識(shí)別：讓機(jī)器對(duì)你言聽計(jì)從

7-1語音識(shí)別模塊?語音識(shí)別：讓機(jī)器對(duì)你言聽計(jì)從目錄CONTENTS語音識(shí)別簡史01語音識(shí)別過程02一.語音識(shí)別簡史1.技術(shù)發(fā)展簡史一.語音識(shí)別簡史1.典型語音識(shí)別產(chǎn)品現(xiàn)有的語音識(shí)別部分產(chǎn)品二.語音識(shí)別過程1.語音識(shí)別技術(shù)涉及技術(shù)信號(hào)處理模式識(shí)別概率論發(fā)聲機(jī)理聽覺機(jī)理人工智能…眾所周知，機(jī)器只能處理數(shù)字信號(hào)，不能直接處理人的語音信號(hào)。另外，人在說話的時(shí)候，語速有快有慢，每個(gè)人的聲音、語調(diào)也不相同，且說話時(shí)周圍可能有噪聲。此外，即便字詞發(fā)音相同（如“擬定”“你定”），但表達(dá)的意思還要結(jié)合語境和上下文來進(jìn)一步確定。還有，機(jī)器要進(jìn)行預(yù)學(xué)習(xí)，以了解人類在語言交流中要用到哪些語料庫等。困難重重…二.語音識(shí)別過程2.識(shí)別過程語音識(shí)別過程二.語音識(shí)別過程2.語音識(shí)別關(guān)鍵要素（1）語音信號(hào)處理將語音轉(zhuǎn)化為在時(shí)間上離散的數(shù)字信號(hào)采樣后的時(shí)域數(shù)字波形二.語音識(shí)別過程2.語音識(shí)別關(guān)鍵要素（2）特征提取二.語音識(shí)別過程2.語音識(shí)別關(guān)鍵要素特征提取:①預(yù)加重增大高頻部分的幅度。一般使用一階濾波器來實(shí)現(xiàn)預(yù)加重二.語音識(shí)別過程2.語音識(shí)別關(guān)鍵要素特征提取:②分幀信號(hào)中的頻率會(huì)隨時(shí)間變化，一些信號(hào)處理算法（如傅里葉變換）通常希望信號(hào)是穩(wěn)定的，也就是說對(duì)整個(gè)信號(hào)進(jìn)行處理是沒有意義的，因?yàn)樾盘?hào)的頻率輪廓會(huì)隨著時(shí)間的推移而丟失。為了避免這種情況，就需要對(duì)信號(hào)進(jìn)行分幀處理，以保證短時(shí)的信號(hào)是穩(wěn)定的。③加窗和快速傅里葉轉(zhuǎn)換在分幀之后，通常需要對(duì)每幀的信號(hào)進(jìn)行加窗處理，目的是讓幀兩端平滑地衰減，這樣可以降低后續(xù)傅里葉變換后一些小束波的強(qiáng)度，取得更高質(zhì)量的頻譜。二.語音識(shí)別過程2.語音識(shí)別關(guān)鍵要素語音識(shí)別5關(guān)鍵要素:④提取特征在語音能量譜上應(yīng)用Mel濾波器組就能提取到FBank（FilterBank）特征。所謂Mel刻度，是一個(gè)能模擬人耳接收聲音的規(guī)律的刻度。各幀F(xiàn)Bank特征值頻譜圖二.語音識(shí)別過程2.語音識(shí)別關(guān)鍵要素聲學(xué)模型用于建立聲學(xué)特征與建模單元之間的映射關(guān)系，即它能利用語音的聲學(xué)特征把一系列語音幀轉(zhuǎn)換成若干音素。基于該模型，利用大量的語音特征向量以及它們對(duì)應(yīng)的音素，可以訓(xùn)練從特征向量到音素的分類器，從而在識(shí)別階段能計(jì)算每一幀的特征向量到相應(yīng)音素的聲學(xué)得分（概率），簡而言之，實(shí)現(xiàn)特征到字符的生成。（3）聲學(xué)模型二.語音識(shí)別過程2.語音識(shí)別關(guān)鍵要素語言模型就是用來計(jì)算一個(gè)句子的概率的模型。它利用語言表達(dá)的特點(diǎn)，將音素轉(zhuǎn)換成文字，組成意義明確的語句。簡言之，根據(jù)聲學(xué)模型輸出的結(jié)果，給出最大概率的文字序列。（4）語言模型二.語音識(shí)別過程2.語音識(shí)別關(guān)鍵要素解碼搜索的主要任務(wù)是在由聲學(xué)模型、發(fā)音詞典和語言模型構(gòu)成的搜索空間中尋找最佳路徑，盡快將語音轉(zhuǎn)換成文本。解碼時(shí)需要用到聲學(xué)得分和語言得分，聲學(xué)得分由聲學(xué)模型計(jì)算得到，語言得分由語言模型計(jì)算得到。（5）解碼搜索人工智能基礎(chǔ)與應(yīng)用Thankyouverymuch!7-2深度神經(jīng)網(wǎng)絡(luò)模塊?語音識(shí)別：讓機(jī)器對(duì)你言聽計(jì)從目錄CONTENTS深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ)01卷積神經(jīng)網(wǎng)絡(luò)02一.深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ)1.深度神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)神經(jīng)元加權(quán)和、非線性變換多層連接二.卷積神經(jīng)網(wǎng)絡(luò)1.深度神經(jīng)網(wǎng)絡(luò)參數(shù)的復(fù)雜性如果輸入層向量有106個(gè)，假設(shè)隱藏層向量數(shù)目與輸入層一樣，那么從輸入層到隱藏層的權(quán)重參數(shù)就有1012個(gè)，這還沒有考慮后面其他隱藏層的參數(shù)。這樣參數(shù)就太多了，模型根本無法訓(xùn)練。二.卷積神經(jīng)網(wǎng)絡(luò)2.卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)在20世紀(jì)60年代，大衛(wèi)·休伯爾（DavidHubel）和托斯坦·維厄瑟爾（TorstenWiesel）在研究大腦皮層中用于局部敏感和方向選擇的神經(jīng)元時(shí)，發(fā)現(xiàn)其獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)可以有效地降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性。CNN的基本結(jié)構(gòu)提取特征提高卷積神經(jīng)網(wǎng)絡(luò)的非線性表達(dá)能力降維、減少計(jì)算量特征轉(zhuǎn)換與映射二.卷積神經(jīng)網(wǎng)絡(luò)3.卷積操作不同形狀的“X”“X”的像素矩陣

3個(gè)卷積核卷積計(jì)算二.卷積神經(jīng)網(wǎng)絡(luò)3.激活函數(shù)sigmoidtanhReLUSoftmax二.卷積神經(jīng)網(wǎng)絡(luò)4.全連接層通過不斷卷積、激活和池化，就得到了樣本的多層特征圖，然后將最終得到的特征圖排成一列，即將多層的特征映射為一個(gè)一維的向量，形成全連接層。人工智能基礎(chǔ)與應(yīng)用Thankyouverymuch!7-3項(xiàng)目1—利用CNN識(shí)別英文語音數(shù)字模塊?語音識(shí)別：讓機(jī)器對(duì)你言聽計(jì)從目錄CONTENTS提出問題01預(yù)備知識(shí)03解決方案02任務(wù)1—提取音頻文件的語音特征數(shù)據(jù)04任務(wù)3—利用訓(xùn)練好的模型來識(shí)別語音06任務(wù)2—構(gòu)建語音數(shù)字識(shí)別神經(jīng)網(wǎng)絡(luò)模型05一.提出問題問題描述

在醫(yī)院、銀行、飯店等場(chǎng)所，由于資源和人手受限，人們必須排隊(duì)等候服務(wù)，因此叫號(hào)系統(tǒng)應(yīng)運(yùn)而生。數(shù)字0～9是生活中常見的10個(gè)基數(shù)，任何一個(gè)數(shù)字都是由10個(gè)基數(shù)構(gòu)成的，如果想通過英文叫號(hào)系統(tǒng)將對(duì)應(yīng)的阿拉伯?dāng)?shù)字及時(shí)顯示在大屏上，如何實(shí)現(xiàn)數(shù)字語音到數(shù)字文本的轉(zhuǎn)換呢二.解決方案1.選擇神經(jīng)網(wǎng)絡(luò)分類解決問題基本思想：首先將語音進(jìn)行切分，然后提取每個(gè)單詞的語音特征；其次構(gòu)建一個(gè)多層CNN模型，利用0～9的語音樣本集對(duì)模型進(jìn)行訓(xùn)練，得到滿足精度的模型；最后利用訓(xùn)練好的模型逐個(gè)對(duì)提取的單詞的語音特征進(jìn)行分類，看它屬于0～9中的哪個(gè)數(shù)字，最后將識(shí)別的數(shù)字組合起來就得到識(shí)別的結(jié)果。二.解決方案2.具體方案三.預(yù)備知識(shí)1.webrtcvad模塊切分音頻文件中有效的語音信號(hào)audios的內(nèi)容三.預(yù)備知識(shí)2.python_speech_features模塊提取語音信號(hào)的全部特征三.預(yù)備知識(shí)2.python_speech_features模塊提取語音信號(hào)的全部特征提取的語音特征：（部分）三.預(yù)備知識(shí)3.PaddlePaddle框架飛槳的應(yīng)用框架三.預(yù)備知識(shí)3.PaddlePaddle框架利用飛漿搭建一個(gè)預(yù)測(cè)房價(jià)的神經(jīng)網(wǎng)絡(luò)模型輸入維度為1輸出維度為1為線性模型無需加非線性激活函數(shù)四.任務(wù)1——提取音頻文件的語音特征數(shù)據(jù)1.設(shè)計(jì)特征數(shù)據(jù)提取類VoiceFeature123將類VoiceFeature另存為VoiceFeature.py文件四.任務(wù)1——提取音頻文件的語音特征數(shù)據(jù)2.提取語音特征數(shù)據(jù)features包含4個(gè)語音數(shù)字，其特征數(shù)據(jù)為13通道3×64的矩陣五.任務(wù)2——構(gòu)建語音數(shù)字識(shí)別神經(jīng)網(wǎng)絡(luò)模型1.定義語音數(shù)字識(shí)別神經(jīng)網(wǎng)絡(luò)模型均為輸出輸入為n×13×3×64輸出為1×10五.任務(wù)2——構(gòu)建語音數(shù)字識(shí)別神經(jīng)網(wǎng)絡(luò)模型1.定義語音數(shù)字識(shí)別神經(jīng)網(wǎng)絡(luò)模型模型代碼實(shí)現(xiàn)五.任務(wù)2——構(gòu)建語音數(shù)字識(shí)別神經(jīng)網(wǎng)絡(luò)模型1.定義語音數(shù)字識(shí)別神經(jīng)網(wǎng)絡(luò)模型模型代碼實(shí)現(xiàn)五.任務(wù)2——構(gòu)建語音數(shù)字識(shí)別神經(jīng)網(wǎng)絡(luò)模型2.模型訓(xùn)練及保存最優(yōu)模型以動(dòng)態(tài)圖的模式實(shí)時(shí)執(zhí)行訓(xùn)練，設(shè)置CPU/GPU訓(xùn)練模式、優(yōu)化器、Loss計(jì)算方法、精度計(jì)算方法等創(chuàng)建定義好的模型AudioCNN實(shí)例，并將模型的狀態(tài)設(shè)置為訓(xùn)練加載訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)設(shè)置訓(xùn)練迭代次數(shù)，啟動(dòng)模型迭代訓(xùn)練。（1）訓(xùn)練保存訓(xùn)練好的模型五.任務(wù)2——構(gòu)建語音數(shù)字識(shí)別神經(jīng)網(wǎng)絡(luò)模型2.模型訓(xùn)練及保存最優(yōu)模型以動(dòng)態(tài)圖的模式實(shí)時(shí)執(zhí)行訓(xùn)練，設(shè)置CPU/GPU訓(xùn)練模式、優(yōu)化器、Loss計(jì)算方法、精度計(jì)算方法等創(chuàng)建定義好的模型AudioCNN實(shí)例，并將模型的狀態(tài)設(shè)置為訓(xùn)練加載訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)設(shè)置訓(xùn)練迭代次數(shù)，啟動(dòng)模型迭代訓(xùn)練。保存訓(xùn)練好的模型六.任務(wù)3——利用訓(xùn)練好的模型來識(shí)別語音1.配置模型識(shí)別的機(jī)器資源從前面的模型定義和訓(xùn)練來看，訓(xùn)練好最后的模型所花的時(shí)間相對(duì)較少，這主要是因?yàn)樗褂玫腁udioCNN比較簡單。但現(xiàn)實(shí)生活中，可能會(huì)遇到更復(fù)雜的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)任務(wù)，需要運(yùn)算速度更高的硬件（GPU、TPU），甚至同時(shí)使用多個(gè)機(jī)器共同執(zhí)行一個(gè)任務(wù)（多卡訓(xùn)練和多機(jī)訓(xùn)練）。但本項(xiàng)目是在普通的計(jì)算機(jī)上進(jìn)行訓(xùn)練和預(yù)測(cè)，所以通過以下語句配置模型識(shí)別的機(jī)器資源。六.任務(wù)3——利用訓(xùn)練好的模型來識(shí)別語音2.為模型實(shí)例加載模型參數(shù)實(shí)現(xiàn)代碼：模型文件加載模型參數(shù)載模僅用于預(yù)測(cè)六.任務(wù)3——利用訓(xùn)練好的模型來識(shí)別語音3.將提取的特征數(shù)據(jù)輸入模型以得到識(shí)別結(jié)果實(shí)現(xiàn)代碼：說明卷積神經(jīng)網(wǎng)絡(luò)的確可用于語音識(shí)別，且能獲得較好的識(shí)別效果。結(jié)論：人工智能基礎(chǔ)與應(yīng)用Thankyouverymuch!7-4項(xiàng)目2—自制一個(gè)簡單的語音“閱讀”器模塊?語音識(shí)別：讓機(jī)器對(duì)你言聽計(jì)從目錄CONTENTS提出問題01預(yù)備知識(shí)03解決方案02任務(wù)1—讀取需閱讀的文件內(nèi)容04任務(wù)3—調(diào)用文本在線合成API實(shí)現(xiàn)文本—語音轉(zhuǎn)換06任務(wù)2—驗(yàn)證訪問語音合成應(yīng)用的令牌05一.提出問題問題描述在人們閱讀網(wǎng)絡(luò)新聞時(shí)，往往會(huì)使用語音播放功能來傾聽新聞內(nèi)容，這樣不僅能舒緩眼睛疲勞，而且能聽到生動(dòng)的新聞內(nèi)容。在語音智能客服或虛擬教學(xué)、盲人輔助服務(wù)等場(chǎng)景中，時(shí)常會(huì)聽到悅耳的語音播報(bào)，這極大地提升了服務(wù)效果，同時(shí)減輕了相關(guān)人員的工作壓力。那么，以上場(chǎng)景中將文本轉(zhuǎn)換成語音是如何實(shí)現(xiàn)的呢二.解決方案具體方案三.預(yù)備知識(shí)1.百度智能云在百度智能云控制臺(tái)上，按照自己的開發(fā)訴求選擇對(duì)應(yīng)的產(chǎn)品、服務(wù)，從而快速構(gòu)建屬于自己的應(yīng)用系統(tǒng)三.預(yù)備知識(shí)2.創(chuàng)建一個(gè)語音合成應(yīng)用（1）語音合成的基本流程（2）創(chuàng)建語音技術(shù)服務(wù)三.預(yù)備知識(shí)2.創(chuàng)建一個(gè)語音合成應(yīng)用（3）新建一個(gè)語音合成應(yīng)用三.預(yù)備知識(shí)2.創(chuàng)建一個(gè)語音合成應(yīng)用（4）完成語音合成應(yīng)用創(chuàng)建三.預(yù)備知識(shí)2.創(chuàng)建一個(gè)語音合成應(yīng)用（5）應(yīng)用調(diào)試四.任務(wù)1——讀取需閱讀的文件內(nèi)容1.

準(zhǔn)備數(shù)據(jù)文件將需要文本—語音轉(zhuǎn)換的閱讀內(nèi)容通過爬蟲或人工的方式進(jìn)行整理，形成統(tǒng)一的文件格式，方便對(duì)閱讀內(nèi)容進(jìn)行處理。此處直接將新聞內(nèi)容保存為news.txt文件，簡化文件形成過程。四.任務(wù)1——讀取需閱讀的文件內(nèi)容2.讀取文件內(nèi)容五.任務(wù)2——驗(yàn)證訪問語音合成應(yīng)用的令牌1.導(dǎo)入第三方庫和定義常量（1）導(dǎo)入庫和函數(shù)（2）定義常量五.任務(wù)2——驗(yàn)證訪問語音合成應(yīng)用的令牌1.定義令牌驗(yàn)證函數(shù)定義令牌驗(yàn)證函數(shù)，對(duì)用戶提供的APIKey、SecretKey鑒權(quán)參數(shù)進(jìn)行驗(yàn)證，確保合法用戶能在線應(yīng)用訪問語音合成，并視情況返回錯(cuò)誤提示。六.任務(wù)3——調(diào)用文本在線合成API實(shí)現(xiàn)文本—語音轉(zhuǎn)換1.