語音信息處理

語音信息處理第1頁，課件共46頁，創(chuàng)作于2023年2月第一講緒論1.語音信號(hào)處理的概念2.語音信號(hào)處理的學(xué)科基礎(chǔ)3.語音信號(hào)處理的分支和應(yīng)用4.語音信號(hào)處理的發(fā)展歷史5.本課程的內(nèi)容和特點(diǎn)6.參考書目7.學(xué)習(xí)要求第2頁，課件共46頁，創(chuàng)作于2023年2月1.語音信號(hào)處理的概念語音信號(hào)處理是研究用數(shù)字信號(hào)處理技術(shù)對語音信號(hào)進(jìn)行處理的一門學(xué)科。第3頁，課件共46頁，創(chuàng)作于2023年2月2.語音信號(hào)處理的學(xué)科基礎(chǔ)語音識(shí)別聲學(xué)信息論語音、語言學(xué)信號(hào)處理人工智能模式識(shí)別數(shù)理統(tǒng)計(jì)聽寫機(jī)查詢系統(tǒng)電話撥號(hào)殘疾人用品消費(fèi)電子……實(shí)際應(yīng)用學(xué)科基礎(chǔ)語音識(shí)別的應(yīng)用背景和學(xué)科基礎(chǔ)第4頁，課件共46頁，創(chuàng)作于2023年2月3.語音信號(hào)處理的分支和應(yīng)用語音識(shí)別語音合成語音編碼說話人識(shí)別第5頁，課件共46頁，創(chuàng)作于2023年2月3.1語音識(shí)別(1)語音識(shí)別研究的目的就是研究出一種具有聽覺功能的機(jī)器，能直接接受人口呼的命令，理解人的意圖，并做出相應(yīng)的反應(yīng)。第6頁，課件共46頁，創(chuàng)作于2023年2月語音識(shí)別的應(yīng)用語音識(shí)別技術(shù)在信息處理領(lǐng)域的首要的巨大應(yīng)用將在于提供了一種全新的人機(jī)交互形式。蘋果的Siri。Siri惡搞，國人Siri，Siri驚魂，Siri日式英語。語音輸入法。第7頁，課件共46頁，創(chuàng)作于2023年2月語音識(shí)別的分類針對說話人：特定說話人語音識(shí)別和非特定說話人語音識(shí)別針對詞匯量：小詞匯量、中詞匯量和大詞匯量的識(shí)別針對說話方式：孤立詞識(shí)別和連續(xù)語音識(shí)別針對識(shí)別環(huán)境：實(shí)驗(yàn)室環(huán)境語音識(shí)別、電話語音識(shí)別和廣播語音識(shí)別第8頁，課件共46頁，創(chuàng)作于2023年2月語音信號(hào)和自然語言的多變性和復(fù)雜性(1)連續(xù)語音詞與詞之間沒有明顯的停頓，詞與詞之間的分割比較困難；(2)每一個(gè)基本的聲學(xué)識(shí)別基元（如音素）受前后音素發(fā)音方式的影響（協(xié)同發(fā)音）使特征變得不穩(wěn)定(3)不同人、不同心理和生理以及在不同的說話環(huán)境下說同一詞時(shí)，聲學(xué)信號(hào)特征會(huì)發(fā)生變化；(4)一個(gè)詞的讀音不僅包含了詞義特征，而且還包含了說話人性別、年齡、情緒等大量與詞義無關(guān)的信息，而這些信息的分離是不容易的。(5)自然語言的多變性難以借助于一些基本語法規(guī)則進(jìn)行描述，因而使計(jì)算機(jī)編程變得困難。(6)語音信號(hào)往往受到其他信號(hào)的干擾和信道的影響。第9頁，課件共46頁，創(chuàng)作于2023年2月特定任意孤立字詞短語句子朗讀自然口語口語對話?。◣资┲校◣装伲┐螅◣浊В┑?0頁，課件共46頁，創(chuàng)作于2023年2月3.2語音合成語音合成是將計(jì)算機(jī)自己產(chǎn)生的、或外部輸入的文字信息轉(zhuǎn)變?yōu)榭梢月牭枚?、流利的口語輸出的技術(shù)。（讓電腦說話）第11頁，課件共46頁，創(chuàng)作于2023年2月語音合成的應(yīng)用1．海量信息查詢類業(yè)務(wù)大部分海量信息如考試查分、征婚啟事、人才信息、電話廣告等，由于其內(nèi)容龐大，往往無法在短期內(nèi)完成錄音，即使可以事先錄音，也需要很長的制作周期，而且在量大的時(shí)候肯定會(huì)出現(xiàn)人為錯(cuò)誤；采用語音合成技術(shù)可以節(jié)約大量人力，縮短開發(fā)周期，而且能夠完全保證了所有信息100％正確。2．動(dòng)態(tài)信息查詢類業(yè)務(wù)聲訊節(jié)目逐漸地由現(xiàn)在娛樂型節(jié)目為主的節(jié)目構(gòu)成轉(zhuǎn)向以應(yīng)用型的節(jié)目為主，而多數(shù)的應(yīng)用類節(jié)目對實(shí)時(shí)性要求比較高，如證券行情、訂票、訂房等，上述應(yīng)用中動(dòng)態(tài)信息不可能事先錄音，需要實(shí)時(shí)地從數(shù)據(jù)庫中讀取，動(dòng)態(tài)進(jìn)行語音合成，保證信息的實(shí)時(shí)性。第12頁，課件共46頁，創(chuàng)作于2023年2月自動(dòng)報(bào)時(shí)、報(bào)警、公共汽車或電車自動(dòng)報(bào)站打印出版過程中的文本校對。電子函件及各種電子出版物的語音閱讀。

列車驚魂，語音合成配音Tom貓咆哮體馬丁路德金演講大腦掃描，語音合成第13頁，課件共46頁，創(chuàng)作于2023年2月第14頁，課件共46頁，創(chuàng)作于2023年2月語音合成的例子（霍金）第15頁，課件共46頁，創(chuàng)作于2023年2月不能說話和做手勢，如何演講寫字？

在霍金的眼鏡上，約距右頰一英寸處，安裝了負(fù)責(zé)偵測肌肉活動(dòng)的紅外線發(fā)射器及偵測器，譬如他想打招呼，說聲"你好"，他先以眼球控制紅外線感應(yīng)器，選定在屏幕上輪流出現(xiàn)的英文字母，當(dāng)計(jì)算機(jī)出現(xiàn)他想要的"H"時(shí)，霍金再動(dòng)眼球，這樣計(jì)算機(jī)就會(huì)不斷顯示以"H"為字頭的英文字，當(dāng)"HELLO"出現(xiàn)時(shí)，他又動(dòng)一下以選定這個(gè)字，當(dāng)他造句完畢后，才把句子傳至合成器發(fā)聲。因此霍金要說一句話，就要逐字逐句輸入計(jì)算機(jī)，再由語音合成器將文字化成聲音，一分鐘只能處理3-5個(gè)字。第16頁，課件共46頁，創(chuàng)作于2023年2月科大訊飛語音合成在線演示/ttsdemo/interPhonicShow.aspx第17頁，課件共46頁，創(chuàng)作于2023年2月3.3語音編碼語音編碼的研究目的是如何在盡量減少失真的情況下高效率地對模擬語音信號(hào)進(jìn)行數(shù)字表達(dá)。VOIP(VoiceOverInternetProtocol)第18頁，課件共46頁，創(chuàng)作于2023年2月語音編碼的應(yīng)用數(shù)字通信系統(tǒng)移動(dòng)無線通信保密語音通信第19頁，課件共46頁，創(chuàng)作于2023年2月3.4說話人識(shí)別說話人識(shí)別（聲紋識(shí)別）可分為兩種：說話人辨認(rèn)說話人確認(rèn)

第20頁，課件共46頁，創(chuàng)作于2023年2月目前，聲紋識(shí)別已經(jīng)在證券交易、銀行交易、身份證、信用卡的認(rèn)證等領(lǐng)域均有應(yīng)用。在國外，聲紋識(shí)別技術(shù)已經(jīng)取得了較為廣泛的應(yīng)用。美國已把聲紋識(shí)別用到保險(xiǎn)、銀行等行業(yè)，迪拜在交通管理上使用聲紋驗(yàn)證來確認(rèn)駕駛員身份，戴爾公司已經(jīng)實(shí)施了聲紋認(rèn)證用于網(wǎng)上訂購，菲律賓政府的養(yǎng)老金系統(tǒng)現(xiàn)在也可以通過聲紋識(shí)別來完成身份認(rèn)證。在國內(nèi)，聲紋識(shí)別技術(shù)目前已廣泛應(yīng)用于嵌入式系統(tǒng)，同時(shí)其他方面的應(yīng)用也逐漸興起，如招商銀行已經(jīng)于2008年8月開始與以色列的PerSay公司進(jìn)行聲紋識(shí)別方面的項(xiàng)目合作。第21頁，課件共46頁，創(chuàng)作于2023年2月聲紋識(shí)別已成功應(yīng)用在司法鑒定領(lǐng)域。利用聲紋識(shí)別技術(shù)確定犯罪證據(jù)，如通過分析電話錄音資料來確定犯罪嫌疑人的身份和犯罪行為等做法，已在一些刑事案件的偵破中得到應(yīng)用。美國在1971年就公開認(rèn)可使用聲紋鑒定。在國內(nèi)，隨著各種錄音設(shè)備的普及，聲音材料的留存十分方便，因此一些案件就可以借助聲紋鑒定來協(xié)助案件的偵查和審理。聲紋鑒定已經(jīng)成為國內(nèi)司法鑒定機(jī)構(gòu)的一種重要技術(shù)手段，其在司法活動(dòng)的某些方面已然發(fā)揮出顯著的作用。第22頁，課件共46頁，創(chuàng)作于2023年2月第23頁，課件共46頁，創(chuàng)作于2023年2月第24頁，課件共46頁，創(chuàng)作于2023年2月聲紋識(shí)別的應(yīng)用還杰克遜一個(gè)“清白”。《爆炸新聞》拉登之死。車臣總統(tǒng)杜達(dá)耶夫。第25頁，課件共46頁，創(chuàng)作于2023年2月4.語音信號(hào)處理的發(fā)展歷史國外發(fā)展歷史人們在19世紀(jì)就已經(jīng)發(fā)現(xiàn)，元音主要是靠第一共振峰和第二共振峰來區(qū)別，聲母的感知主要靠共振峰的彎曲方向和力度。但是，真正的語音識(shí)別卻是始于1952年，當(dāng)時(shí)貝爾實(shí)驗(yàn)室Davis等人通過提取語音的第一、第二共振峰作為語音特征參數(shù)，采用專用硬件實(shí)現(xiàn)了一臺(tái)10個(gè)英文數(shù)字的語音識(shí)別系統(tǒng)AudrySystem。第26頁，課件共46頁，創(chuàng)作于2023年2月國外發(fā)展歷史

20世紀(jì)50年代末60年代初，集成電路出現(xiàn)，語音信號(hào)終端系統(tǒng)從模擬方式演變?yōu)槿珨?shù)字系統(tǒng)方式，語音數(shù)字信號(hào)處理從此開始。最早從事此項(xiàng)重要技術(shù)變革的實(shí)驗(yàn)室有貝爾電話實(shí)驗(yàn)室、麻省理工學(xué)院林肯實(shí)驗(yàn)室、IBMThomasWatson研究實(shí)驗(yàn)室、BBN語音研究小組和得克薩斯儀器公司，以及一些著名的大學(xué)研究小組。1959年，美國林肯實(shí)驗(yàn)室的J.W.Rogie和C.D.Forgie首次用數(shù)字計(jì)算機(jī)識(shí)別出了英語元音和以摩擦音開頭的孤立字，標(biāo)志著計(jì)算機(jī)語音識(shí)別時(shí)代的開始。第27頁，課件共46頁，創(chuàng)作于2023年2月國外發(fā)展歷史

20世紀(jì)60年代，快速傅立葉變換（FFT）技術(shù)被廣泛地采用來進(jìn)行頻譜分析，采用其逆變換，還可以反求源信號(hào)。在傅立葉分析的幫助下，人們開始研究自然語音產(chǎn)生的內(nèi)在機(jī)制和本質(zhì)特征。瑞典的G.Fant的博士論文《語音產(chǎn)生的聲學(xué)理論》就是這個(gè)時(shí)期的代表作，對以后的語音處理的研究工作產(chǎn)生了深刻的影響。第28頁，課件共46頁，創(chuàng)作于2023年2月國外發(fā)展歷史

20世紀(jì)60年代末70年代初Baum等人首次系統(tǒng)地闡述了馬爾可夫模型（HMM，HiddenMarkovModel），并把它引入語音識(shí)別。目前，HMM模型是語音識(shí)別的最好算法，它也廣泛應(yīng)用于經(jīng)濟(jì)學(xué)上的預(yù)測問題。

與此同時(shí)，語音識(shí)別的線性預(yù)測參數(shù)LPC首次被提出來，采用線性預(yù)測進(jìn)行研究的實(shí)踐開始。以后的低速率語音編碼技術(shù)，很大程度上都是依靠線性預(yù)測進(jìn)行來實(shí)現(xiàn)的。

第29頁，課件共46頁，創(chuàng)作于2023年2月國外發(fā)展歷史同時(shí)，動(dòng)態(tài)時(shí)間彎曲DTW技術(shù)出現(xiàn)，有效的解決了語音識(shí)別過程中，不等音長的匹配問題。此時(shí)的許多系統(tǒng)，都是建立在LPC參數(shù)和DTW匹配技術(shù)基礎(chǔ)上的孤立詞識(shí)別系統(tǒng)。美國國防部高級(jí)計(jì)劃研究局（ARPAR）的語音識(shí)別和理解研究計(jì)劃，產(chǎn)生了HAPPY，HEARSAY-II和DRAGON等典型的語音識(shí)別理解系統(tǒng)，提出了具有深遠(yuǎn)意義的知識(shí)源黑板模型，擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)（ATN）算法等。第30頁，課件共46頁，創(chuàng)作于2023年2月國外發(fā)展歷史

20世紀(jì)80年代貝爾實(shí)驗(yàn)室Rabiner等人對HMM模型進(jìn)行了深入淺出的介紹，從此以后HMM模型在語音識(shí)別領(lǐng)域里確立了不可替代的地位，成為目前世界各國從事語音處理的最有效的方法。矢量量化法VQ也在此時(shí)開始應(yīng)用到語音識(shí)別中。1987年，IBM公司采用VQ/HMM方案實(shí)現(xiàn)了一個(gè)具有2000個(gè)孤立字的特定人語音識(shí)別模型系統(tǒng)Tangora-2000。1988年CMU同樣采用VQ/HMM實(shí)現(xiàn)了一個(gè)具有977個(gè)詞，并且能構(gòu)成4200個(gè)句子的非特定人連續(xù)語音識(shí)別系統(tǒng)SPHINX。第31頁，課件共46頁，創(chuàng)作于2023年2月國外發(fā)展歷史20世界90年代，語音識(shí)別開始從實(shí)驗(yàn)室走向市場。CMU、BBN、IBM和AT&T都推出自己的語音識(shí)別產(chǎn)品。Microsoft、Apple、Toshiba、Philips和Intel不甘落后，也開始致力于語音識(shí)別系統(tǒng)開發(fā)。語音識(shí)別朝著大詞匯量、非特定人、自然連續(xù)語音方向發(fā)展。目前，MicrosoftOfficeXP以上版本已經(jīng)集成了語音識(shí)別功能，可以采用語音輸入法輸入漢字。

第32頁，課件共46頁，創(chuàng)作于2023年2月國外主要的研究單位：美國的CMU（卡內(nèi)基梅隆大學(xué)）、MIT（麻省理工學(xué)院）、IBM、美國電報(bào)電話公司AT&T英國的Cambridge（劍橋大學(xué)）第33頁，課件共46頁，創(chuàng)作于2023年2月國內(nèi)發(fā)展歷史

20世界50年代，中科院聲學(xué)所開始進(jìn)行語音識(shí)別研究。1972年，俞鐵城先生最早在計(jì)算機(jī)上研究語音識(shí)別。中國語音識(shí)別的真正的開端應(yīng)該是1978年，中科院聲學(xué)所實(shí)現(xiàn)的采用帶通濾波器組參數(shù)為特征的語音識(shí)別系統(tǒng)RTSRS（01）的產(chǎn)生。第34頁，課件共46頁，創(chuàng)作于2023年2月國內(nèi)發(fā)展歷史

20世界80年代，針對漢語單音節(jié)的特點(diǎn)，清華大學(xué)、中國科學(xué)院、北方交通大學(xué)、東南大學(xué)等開發(fā)了漢語特定人孤立字全音節(jié)語音識(shí)別系統(tǒng)。清華大學(xué)王作英教授提出了DDBHMM模型。1986年，國家863項(xiàng)目語音方向設(shè)立，俞鐵城先生受命籌備此項(xiàng)研究計(jì)劃。第35頁，課件共46頁，創(chuàng)作于2023年2月國內(nèi)發(fā)展歷史目前，我國語音識(shí)別隊(duì)伍主要有北大、清華、中科院等。其中中科院聲學(xué)所的人員大部分是原Intel資深的工程師，因此在國內(nèi)的語音識(shí)別領(lǐng)域一直遙遙領(lǐng)先。國內(nèi)一些大公司，例如諾基亞、摩托羅拉、松下電器等，也致力于語音識(shí)別領(lǐng)域的研究。社科院長期進(jìn)行實(shí)驗(yàn)語音學(xué)方面的研究。第36頁，課件共46頁，創(chuàng)作于2023年2月國內(nèi)發(fā)展歷史目前，國際和國內(nèi)在實(shí)驗(yàn)室條件下的識(shí)別正確率均在90％以上。實(shí)驗(yàn)室條件一般是采用高保真的Sennheiser麥克風(fēng)錄制的語音信號(hào)，信道扭曲非常小，幾乎沒有任何背景噪音。標(biāo)準(zhǔn)的數(shù)據(jù)庫有TIMIT數(shù)據(jù)庫等。1991年2月NIST(NationalInstituteOfStandardsAndTechnology)

的測試報(bào)告結(jié)果，如果不考慮語法約束，識(shí)別正確率為80％多；考慮語法約束后，識(shí)別率提高到90％以上。這些都是非常喜人的成果。然而，這些結(jié)果都是在高質(zhì)量的實(shí)驗(yàn)條件下獲得的。實(shí)驗(yàn)證明，當(dāng)語音數(shù)據(jù)簡單地通過電話線傳播后，識(shí)別正確率將會(huì)直線下跌。第37頁，課件共46頁，創(chuàng)作于2023年2月國內(nèi)發(fā)展歷史

1995年，林肯實(shí)驗(yàn)室將TIMIT數(shù)據(jù)庫（實(shí)驗(yàn)室條件）和NTIMIT數(shù)據(jù)庫（TIMIT數(shù)據(jù)庫通過電話傳輸錄音）作了一次說話人識(shí)別的對比，結(jié)果表明，當(dāng)實(shí)驗(yàn)對象簡單經(jīng)過電話信道傳輸后，識(shí)別正確率由原先接近100％急速下降到60％多。如何在自然環(huán)境下令人滿意的進(jìn)行語音識(shí)別，依舊是國內(nèi)外語音學(xué)家一個(gè)艱巨的任務(wù)。第38頁，課件共46頁，創(chuàng)作于2023年2月國內(nèi)發(fā)展歷史2003年，從世界主要語音識(shí)別機(jī)構(gòu)電話對話錄音識(shí)別率基本是保持在70-80％之間。第39頁，課件共46頁，創(chuàng)作于2023年2月國內(nèi)發(fā)展歷史

2004年，我國863評(píng)測（評(píng)測結(jié)果可以看863評(píng)測網(wǎng)站）小組對國內(nèi)主要機(jī)構(gòu)再次進(jìn)行評(píng)測，測試集取樣于馬路邊嘈雜環(huán)境，最低信噪比大約5分貝。在如此惡劣條件下，在內(nèi)容識(shí)別方面，中科院聲學(xué)所和自動(dòng)化所均取得了約74％的正確率，清華大學(xué)取得約50％的正確率，其他院校最差的取得9％的正確率。其中，中科院的識(shí)別水平已經(jīng)比較接近國際先進(jìn)水平，清華北大距離國際先進(jìn)水平還有一定距離，多數(shù)高校則遠(yuǎn)遠(yuǎn)未達(dá)到實(shí)用的要求。第40頁，課件共46頁，創(chuàng)作于2023年2月國內(nèi)主要研究機(jī)構(gòu)中科院聲學(xué)所中科院自動(dòng)化所清華大學(xué)哈爾濱工業(yè)大學(xué)中國科技大學(xué)東南大學(xué)第41頁，課件共46頁，創(chuàng)作于2023年2月5.本課程的內(nèi)容和特點(diǎn)緒論語音信號(hào)處理的基礎(chǔ)知識(shí)語音信號(hào)分析矢量量化技術(shù)隱馬爾可夫模型語音編碼語音合成語音識(shí)別語音增強(qiáng)本課程的特點(diǎn)內(nèi)容不斷更新

涉及的前沿知識(shí)較多，基礎(chǔ)知識(shí)也廣泛。

第42頁，課件共46頁，創(chuàng)作于2023年2月6.參考書目《語音信號(hào)處理》易克初、田斌、付強(qiáng)編著.國防工業(yè)出版社，2000