本科論文虛擬儀器技術(shù)語音識別系統(tǒng)

1、學士學位論文1 緒論語音是人類進行相互通信和交流的最方便、最快捷的手段。在高度發(fā)達的信息社會中，用數(shù)字化的方法進行語音的傳送、儲存、識別、合成、增強等是整個數(shù)字化通信網(wǎng)絡(luò)中最重要、最基本的組成部分之一。非特定人連續(xù)語音識別在電話撥號系統(tǒng)、家電遙控、工業(yè)控制、信息查詢系統(tǒng)等領(lǐng)域有廣泛應(yīng)用。在本文中，將虛擬儀器技術(shù)應(yīng)用于語音識別系統(tǒng)，實現(xiàn)了儀器的軟件化，真正體現(xiàn)了“軟件就是儀器”的思想。利用計算機強大的圖形環(huán)境和硬件資源建立的圖形化的虛擬儀器面板，實現(xiàn)對語音信號的實時采集、分析處理與特征提取等，利用軟件實現(xiàn)儀器功能的模塊化、智能化，使其具有成本低廉、數(shù)據(jù)分析便利和設(shè)備管理良好等優(yōu)點。本章綜述了語音

2、識別技術(shù)的學科背景、發(fā)展歷程，介紹了當前語音識別領(lǐng)域的主流技術(shù)、典型系統(tǒng)及其應(yīng)用前景，特別分析了漢語語音識別的難點，闡明了本論文的研究框架和內(nèi)容。1.1 語音識別的學科背景與發(fā)展歷程語音是人類最自然、最常用的交流方式，語音識別是近半個世紀發(fā)展起來的新興學科，其目標是使機器“聽懂”人的自然語言。由識別得到的信息可作為控制信號在工業(yè)、軍事、交通、醫(yī)學、民用等各個方面都有著廣闊的應(yīng)用前景，例如聲控電話交換、語音撥號系統(tǒng)、各類語音聲訊服務(wù)（股票信息、天氣預報等）、智能玩具、語音呼叫中心等。語音識別技術(shù)將大大改善人機交互界面，提高信息處理自動化程度，具有巨大的社會、經(jīng)濟效益。正因為如此，語音識別正迅速發(fā)

3、展為“改變未來人類生活方式”的關(guān)鍵技術(shù)之一。作為專門的研究領(lǐng)域，語音識別又是典型的交叉邊緣學科，它要依賴眾多學科的科研成果。從計算機學科角度來看，它屬于智能計算機的智能接口部分；從信息處理學科來看，它屬于信息識別的一個重要分支；從通信及電子系統(tǒng)、電路、信號及系統(tǒng)定學科來看，它又可視為信息和通訊系統(tǒng)的信源處理科學；而從自動控制學科來看，它則可堪稱模式識別中的一個重要部分-時序模式識別；此外，語音識別與聲學、生理學、心理學、語音學、語言學有著密不可分的聯(lián)系，而且語音識別與語音壓縮、語音合成、語音增強、說話人識別等語音研究有著更為直接、緊密的關(guān)系。語音識別是頗具挑戰(zhàn)性的研究領(lǐng)域，僅從模式識別角度來看

4、，語音信號屬于瞬時事件性信號，同時它又是時變的非平穩(wěn)隨機過程，有內(nèi)在的多種可變性，這使得語音識別成為多維模式識別中一個很難的課題。語音識別系統(tǒng)根據(jù)對語音方式要求的不同，可以分為孤立字（詞）語音識別系統(tǒng)，連接詞語音識別系統(tǒng)以及連續(xù)語音識別系統(tǒng)；根據(jù)對說話人的依賴程度，可以分為特定人和非特定人語音識別系統(tǒng)；根據(jù)詞匯量大小，可以分為小詞匯量、中等詞匯量、大詞匯量以及無限詞匯量語音識別系統(tǒng)。不同的語音識別系統(tǒng)，雖然實現(xiàn)細節(jié)有所不同，但所采用的基本框架相類似，其關(guān)鍵技術(shù)主要包括特征提取技術(shù)、模式匹配和數(shù)據(jù)訓練技術(shù)三個方面。語音識別的研究工作大約開始于20世紀50年代，當時at&t貝爾實驗室實現(xiàn)了

5、第一個可識別10個英文數(shù)字的語音識別系統(tǒng)。60年代，這時期的重要成果是提出了線性預測分析技術(shù)（lp）和動態(tài)規(guī)劃（dp），前者較好的解決了語音信號產(chǎn)生模型的問題，后者則有效解決了不等長語音匹配問題，對于語音識別發(fā)展產(chǎn)生可深遠的影響。70年代語音識別領(lǐng)域取得了突破：在理論上，lp技術(shù)得到進一步發(fā)展，dtw（dynamic time warp）技術(shù)基本成熟，特別是提出了矢量量化（vq）和隱馬爾科夫模型（hmm）理論；在實踐上，實現(xiàn)了基于lpc和dtw技術(shù)型結(jié)合的特定人孤立語音識別系統(tǒng)。80年代，語音識別研究進一步走向深入，其顯著特征是hmm模型和人工神經(jīng)元網(wǎng)絡(luò)（ann）在語音識別中的成功應(yīng)用。語音識

6、別算法從模版匹配技術(shù)轉(zhuǎn)向基于統(tǒng)計模型技術(shù)，語音模型也從規(guī)則描述轉(zhuǎn)向統(tǒng)計描述。連接詞語音識別系統(tǒng)、連續(xù)語音識別系統(tǒng)相繼出現(xiàn)，其中1998年美國cmu大學基于vq/hmm開發(fā)的997詞非特定人連續(xù)語音識別系統(tǒng)sphinx具有里程碑的意義。 90年代以來，語音識別技術(shù)在多項關(guān)鍵技術(shù)上更加成熟，同時在計算機技術(shù)、電信應(yīng)用等領(lǐng)域飛速發(fā)展的帶動下，出現(xiàn)了一批走向?qū)嵱没恼Z音識別系統(tǒng)和語音服務(wù)應(yīng)用。在嵌入式應(yīng)用中，出現(xiàn)了可以語音撥號的手機、與人對話的智能玩具；在計算機應(yīng)用中，出現(xiàn)了以ibm via-voice為代表的語音錄入系統(tǒng)；在商業(yè)服務(wù)中，出現(xiàn)了以語音識別、語音合成為核心技術(shù)的呼叫中心（call cen

7、ter）、語音門戶網(wǎng)站等等。目前，語音識別研究時仍以hmm為主流，同時出現(xiàn)了多種技術(shù)方向并存的局面。特別是在語音識別系統(tǒng)的框架設(shè)計上、在實踐序列建模上、在融合多層信息源的能力上，hmm仍有著很大的優(yōu)越性。大多數(shù)語音識別系統(tǒng)以hmm為主框架，在系統(tǒng)局部輔以其他技術(shù)手段加以優(yōu)化，例如通過采用聽覺模型提取魯棒性更高的聲學特征，在hmm系統(tǒng)的底層利用ann的非線性影射能力區(qū)分較小的語音單元（音素級）等等。1.2 漢語語音識別的難點經(jīng)過50多年的發(fā)展，語音識別技術(shù)經(jīng)歷了從特定人、小詞匯量、孤立詞的語音識別到非特定人、大詞匯量、自然語音識別的發(fā)展過程，取得了輝煌的成就。但是，現(xiàn)有的語音識別系統(tǒng)還面臨著許多

8、困難，遠遠達不到廣泛實用化的要求，具體來說，主要表現(xiàn)在以下幾個方面：（1）語音識別系統(tǒng)的適應(yīng)性差。全世界有近百種官方語音，每種語音有多達幾十種的方言，隨著語言環(huán)境的改變，系統(tǒng)性能會嚴重下降。（2）噪聲問題：目前的語音識別系統(tǒng)大多只能工作在安靜的環(huán)境下，在受環(huán)境噪聲干擾時，語音識別系統(tǒng)性能變差。（3）端點檢測：連續(xù)語流中語音單元間存在協(xié)同發(fā)音（co-articulation）,且各語音單位之間不存在明顯的邊界，因此很難分割。語音信號的端點檢測是進行語音識別的重要部分，研究表明，即使在安靜的環(huán)境下，語音識別系統(tǒng)一半以上的識別錯誤來自端點檢測。（4）由于對人腦的記憶、聽覺的神經(jīng)生理學機理沒有徹底的認

9、識，使語音識別技術(shù)沒有突破性進展。漢語語音識別除具有一般語音識別系統(tǒng)的特點外，還有其獨特的方面，因為漢語發(fā)音與英語發(fā)音比較有以下特點：（1）漢語字以單音節(jié)（syllable）為單位，發(fā)音時間短，而英語以多音節(jié)為主。（2） 漢語有大量的同音字，由60個左右的聲母和韻母組成40多個無調(diào)音節(jié)和1200多個有調(diào)音節(jié)，音節(jié)與音節(jié)之間相似性大、易混淆。英語則不存在這方面的問題。（3）中國民族眾多，不同地區(qū)之間發(fā)音變化很大，方言多?；谝陨显颍c比較成熟的英語語音識別相比，漢語語音識別仍是一個富有挑戰(zhàn)性的課題。1.3 虛擬儀器簡介虛擬儀器（virtual instrument，簡稱vi）是現(xiàn)代計算機技術(shù)和

10、儀器技術(shù)深層次結(jié)合的產(chǎn)物，是當今計算機輔助測試（cat）領(lǐng)域的一項重要技術(shù)。虛擬儀器是計算機硬件資源、儀器與測控系統(tǒng)硬件資源和虛擬儀器軟件資源三者的有效結(jié)合。所謂虛擬儀器，就是在通用計算機為核心的硬件平臺上，由用戶設(shè)計定義、具有虛擬面板、測試功能由測試軟件實現(xiàn)的一種計算機儀器系統(tǒng)。使用者用鼠標點擊虛擬面板，就可操作這臺計算機系統(tǒng)硬件平臺，就如同使用一臺專用電測量儀器。虛擬儀器的特點可歸納為：（1）在通用硬件平臺確定后，由軟件取代傳統(tǒng)儀器中的硬件來完成儀器的功能。（2）儀器的功能是由用戶根據(jù)需要由軟件來定義的，而不是事先由廠家定義好的。（3）儀器性能的改進和功能擴展只需進行相關(guān)軟件的設(shè)計更新，而

11、不需購買新的儀器。（4）研制周期較傳統(tǒng)儀器大為縮短。（5）虛擬儀器開放、靈活，可與計算機同步發(fā)展，可與網(wǎng)絡(luò)及其它周邊設(shè)備互聯(lián)。決定虛擬儀器具備上述傳統(tǒng)儀器不可能具備的特點的根本原因在于：“虛擬儀器的關(guān)鍵是軟件”。labview（laboratory virtual instrument engineering workbench，實驗室虛擬儀器工程平臺）是美國ni公司(national instrument company)推出的一種基于g語言（graphics language，圖形化編程語言）的虛擬儀器軟件開發(fā)工具。labview軟件工具的特點可歸納為：（1）圖形化的編程方式，無須寫任何文

12、本格式的代碼，是真正的工程師語言。（2）提供了豐富的數(shù)據(jù)采集、分析及存儲的庫函數(shù)。（3）既提供了傳統(tǒng)的程序調(diào)試手段，如設(shè)置斷點、單步運行，同時又提供了獨到的高亮執(zhí)行工具，使程序動畫式運行，利于設(shè)計者觀察程序運行的細節(jié)，使程序的調(diào)試和開發(fā)更為便捷。（4）32bit的編譯器編譯生成32bit的編譯程序，保證數(shù)據(jù)采集、測試和測量方案的高速執(zhí)行。（5）囊括了daq、gpib、pxi、vxi在內(nèi)的各種儀器通信總線標準的所有功能函數(shù)，使得不懂總線標準的開發(fā)者也能夠驅(qū)動不同總線標準接口設(shè)備與儀器。（6）提供大量與外部代碼或軟件進行連接的機制，諸如dlls（動態(tài)連接庫）、dde（共享庫）、activex 等。

13、用labview設(shè)計的虛擬儀器主要包括三個部分：（1）儀器前面板的設(shè)計儀器前面板的設(shè)計指在虛擬儀器開發(fā)平臺上，利用各類子模板圖標創(chuàng)建用戶界面，即虛擬儀器的前面板。（2）儀器流程和算法的設(shè)計儀器流程或算法的設(shè)計是根據(jù)儀器功能要求，利用虛擬儀器開發(fā)平臺所提供的子模板，確定程序的流程圖、主要處理算法和所實現(xiàn)的技術(shù)方法。（3）i/o接口儀器驅(qū)動程序的設(shè)計i/o接口儀器驅(qū)動程序是控制硬件設(shè)備的驅(qū)動程序，是連接主控計算機與儀器設(shè)備的紐帶。用labview設(shè)計的虛擬儀器可脫離labview開發(fā)環(huán)境，最終用戶看見的是和實際的硬件儀器相似的操作面板。1.4 matlab語言matlab語言1是在20世紀80年代

14、初期，由美國的math works軟件開發(fā)公司正式推出的一種數(shù)學工具軟件。它擁有功能全面的函數(shù)庫，把大量的函數(shù)封裝起來，讓用戶脫離了復雜繁瑣的程序計算過程，大大提高了工作效率。利用matlab可以實現(xiàn)科學計算、符號運算、算法研究、數(shù)學建模和仿真、數(shù)據(jù)分析和可視化、科學工程繪圖以及圖形用戶界面設(shè)計等強大功能。同時matlab為用戶提供了豐富而實用的資源，它涵蓋了許多門類的科學研究，如數(shù)學、控制、通信、數(shù)字信號處理、數(shù)字圖像處理、經(jīng)濟和地理等。其主要特點有：（1）簡單易學。與c和fortran等高級語言相比較，matlab語法規(guī)則簡單，語言思維特點更符合人們在實際應(yīng)用中的習慣。（2）先進的技術(shù)界面

15、支持。matlab提供給用戶的是一種最簡潔、最直觀的程序開發(fā)環(huán)境。用matlab編程時，就如同在現(xiàn)實中的便簽上列公式和求解一樣。（3）開放式的體系結(jié)構(gòu)。除了內(nèi)部函數(shù)外，所有的matlab主包文件和各工具包文件都是對用戶開放的源程序文件，用戶可以通過修改源程序文件來構(gòu)成新的適合自己使用的專用工具包。（4）豐富的函數(shù)工具箱?？梢蕴峁ｉT的對語音信號進行處理的工具箱。對于比較簡單的和“一次性”問題，通過直欞窗中直接輸入一組指令求解或許是比較簡便、快捷的。但當待解決問題所需的指令較多而且所用指令結(jié)構(gòu)較復雜時，或當一組指令通過改變少量參數(shù)就可以被反復使用去解決不同問題時，直接在直欞窗中輸入指令的方法就顯

16、得繁瑣、累贅和笨拙。設(shè)計m腳本文件就是用來解決這個矛盾的。m腳本文件是指：（1）該文件中的指令形式和前后位置，與解決同一個問題是在指令窗中輸入的那組指令沒有任何區(qū)別。（2）matlab在運行這個腳本時，只是簡單地從文件中讀取那一條條指令，送到matlab中去運行。（3）與在指令窗中直接運行質(zhì)量一樣，腳本文件運行產(chǎn)生的變量都駐留在matlab基本工作空間中。（4）文件的擴展名是“.m”。其具體步驟如下：1) 編輯調(diào)試器的開啟缺省情況下，m文件編輯器（editor/debugger）不隨matlab的啟動而開啟，通常只在編寫m文件時才啟動如圖的m文件編輯器窗口。m編輯器不僅可以編輯m文件，而且可以

17、對m文件進行交互式調(diào)試；m文件編輯器不僅可以處理帶.m擴展名的文件，而且還可以閱讀和編輯其他ascii碼文件。m文件編輯器的啟動方法有以下幾種：點擊matlab桌面上的“”圖標，或選中菜單項file：new：m-file，可以打開空白的m文件編輯器。點擊matlab桌面上的“”圖標，或選中菜單項file：open，可引出windows平臺上標準的“open”文件選擇對話框，通過常規(guī)的工具條操作，找到待打開文件所在文件夾，點選那個文件名后，再點擊打開鍵，就可引出相應(yīng)文件夾的m文件編輯器。用鼠標左鍵雙擊當前目錄窗口中的所需m文件，可直接引出展示相應(yīng)文件加的m文件編輯器。2) 編輯器使用中的注意事項

18、（1）編輯器的打印效果設(shè)置。具體方法是：選中菜單項file：page setup，引出一個頁面設(shè)置對話框，可以對版面布局（layout）、版頭（header）、字體（fonts）等參數(shù)進行設(shè)置?！發(fā)ayout”版面布局子項：勾選“print header”,則打印的硬拷貝將出現(xiàn)頁眉，顯示文件所在的全部路徑、文件建立日期、頁數(shù)?！癶eader”版頭設(shè)置子項：設(shè)置版頭的具體形式，如頁數(shù)的顯示方式、版頭的邊界與布局等參數(shù)進行設(shè)置。“fonts”字體設(shè)置子項：假如不點選“use editor font”，那么硬拷貝中的字體將可能與編輯器顯示的字體不同。通常硬拷貝中的字體較大。（2）編輯器的字體（形式、

19、大小、顏色）、段落格式、自動保存等都可由用戶根據(jù)需要進行設(shè)置。具體方法是：選中菜單項file：preferences,引出一個參數(shù)設(shè)置對話框；展開彈出對話框左欄中的“editor/debugger”項，出現(xiàn)以下4個子項。“font&colors”子項：在對應(yīng)該項的右側(cè)欄中，可以對字體類型、大小、顏色進行設(shè)置?！癲isplay”子項：假如勾選“enable datatips in edit mode”,那么將來當光標移動到該編輯器文件中某變量名時，就會引出一個現(xiàn)場菜單，顯示出該變量內(nèi)容的前提是，改變量存在于matlab的工作空間?！発eyboard & indenting”子項：

20、對應(yīng)欄用來設(shè)置快捷鍵習慣和文件段落縮進習慣?！癮utosave”子項：編輯器窗口中的文件發(fā)生改動后，文件會自動地進行備份。通過該子項中的“save options”欄，可以設(shè)置自動備份的時間間隔等。說明：1運行m文件的方法很多，最常用的方法是：（1）在指令窗中運行m文件名（不帶擴展名）；（2）在當前目錄窗中，用鼠標右鍵單擊待運行文件，再從引出的現(xiàn)場菜單中選擇run菜單項。2腳本文件第一注釋行中的文件名應(yīng)與實際存放在目錄上的文件名相同。但這樣做的目的僅是為了管理上的一致，也便于用戶記憶和查詢。實際上，*.m的存放和調(diào)用與注釋行中的名稱無關(guān)。3當使用m文件編輯器調(diào)試保存文件時，或當在matlab指

21、令窗中運行m文件時，不必寫出文件的擴展名.m。4在m文件編輯調(diào)試器中，可用漢字注釋，并總可獲得正確顯示。5注意：在matlab中，若發(fā)生漢字輸入困難，可用鼠標右鍵點擊，引出現(xiàn)場菜單；選中“屬性”菜單項，引出“對話框”，或采取在微軟輸入法中勾選“逐鍵指示”，或在智能輸入法中勾選“固定”。1.5 論文的主要內(nèi)容及其組織全文具體安排如下：第一章介紹了語音識別的學科背景與發(fā)展歷程，漢語語音識別的難點，本試驗的軟件平臺，以及本文選題的依據(jù)和內(nèi)容安排。第二章介紹了語音信號的實時采集及預處理，對語音信號的產(chǎn)生與數(shù)字化進行了分析，并詳細介紹了語音信號的小波消噪及端點檢測。第三章介紹了語音信號的特征提取，其中對

22、當前應(yīng)用較廣泛的mfcc特征參數(shù)提取過程做了詳細的討論。第四章介紹矢量量化模型(vq)及其碼本生成的基本原理，并對搜索算法進行了初步分析。第五章介紹了非特定人連續(xù)語音識別系統(tǒng)的實現(xiàn)問題，介紹了系統(tǒng)的具體設(shè)計步驟，及其模板的建立與讀取，并對試驗結(jié)果進行了分析。2語音信號的采集與預處理本章主要介紹了語音信號的實時采集及預處理過程，包括對語音信號的數(shù)字化及預加重，并對語音信號的產(chǎn)生與數(shù)字化進行了分析，詳細討論了語音信號的小波消噪及端點檢測。2.1 語音信號的采集 2.1.1 語音信號的產(chǎn)生模型語音信號是一種典型的非平穩(wěn)信號。但是，由于語音的形成過程是與發(fā)音器官的運動密切相關(guān)的，這種物理運動比起聲音振

23、動速度來講要緩慢的多，因此語音信號常常可假定為短時平穩(wěn)的，即在10-20ms這樣的時間段內(nèi)，其頻譜特性和某些物理特性參數(shù)可近似的看作是不變的2。這樣，可以采用平穩(wěn)過程的分析處理方法來處理，以后所有的處理方法都立足于這種短時平穩(wěn)的假定。圖2.1所示框圖描述了語音信號的產(chǎn)生過程。語音信號可以看作是激勵信號激勵一個線性系統(tǒng)而產(chǎn)生的輸出3-5。濁音信號是由一個周期性的脈沖串激勵一個線性系統(tǒng)而產(chǎn)生的輸出，這個線性系統(tǒng)由聲門脈沖模型、聲道模型和輻射模型級聯(lián)而成。而清音信號是由白噪聲序列激勵一個線性系統(tǒng)而產(chǎn)生的出，這個線性系統(tǒng)僅由聲道模型和輻射模型級聯(lián)而成。圖2.1 語音信號產(chǎn)生的線性模型濁音信號產(chǎn)生過程受

24、聲門脈沖形狀g(n)、聲道響應(yīng)v(n)和口唇輻射影響r(n)的共同作用，可等效為一個線性系統(tǒng)，稱為聲道系統(tǒng)，即: (2.1)其中，運算符號*代表卷積運算(下同)。相應(yīng)的z變換為: (2.2)而將激勵信號看作是一個周期性的脈沖串： (2.3)那么濁音信號就是二者的卷積結(jié)果，即： (2.4)類似地，清音產(chǎn)生過程中聲道響應(yīng)v (n)和口唇輻射影響r (n)的共同作用可等效為一個線性系統(tǒng): (2.5)相應(yīng)的z變換為: (2.6)而激勵信號u (n)假定為白噪聲序列，于是有: (2.7)2.1.2 語音信號的采集自然語音信號是連續(xù)模擬信號，無法對其做數(shù)字化處理，因此需要將模擬信號轉(zhuǎn)化為數(shù)字信號，這個過程

25、叫做模/數(shù)轉(zhuǎn)換。正常人的發(fā)音的頻率范圍在40hz到3400hz左右，根據(jù)奈奎斯特采樣定律（nyquist sampling theorem），采樣頻率應(yīng)為原始語音頻率的兩倍以上，通常采用8khz采樣率(g.711標準)。將模擬音頻信號轉(zhuǎn)化為數(shù)字音頻信號需要聲音采集卡（聲卡）的支持，不同聲卡信噪比等指標差異較大，所以質(zhì)量較高的聲卡采集的語音信號對系統(tǒng)的識別率也有一定的影響。 本文采用電腦自帶的聲卡進行了語音信號的采集，采集的語音信號以8khz，16位，單聲道格式錄入存儲，從而得到了需要的*.wav文件。語音信號的采集顯示見圖2.2，其程序框圖如圖2.3所示。圖2.2 語音信號采集顯示的前面板圖圖

26、2.3 語音信號采集顯示的程序框圖2.1.3 語音信號的數(shù)字化語音信號的數(shù)字化一般包括放大及增益控制、反混疊濾波、采樣、a/d變換及編碼。其中反混疊濾波的目的有兩個:(1)抑制輸入信號各頻域分量中頻率超出f /2的所有分量(人為采樣頻率)，以防止混疊干擾;(2)抑制50hz的電源工頻干擾。在本文中由麥克風將所用的語音從聲壓波形轉(zhuǎn)換成電信號，然后用模數(shù)轉(zhuǎn)換器以合適的采樣率對模擬的聲音信號進行采樣，再以一定的量化精度進行量化，得到計算機能夠處理的數(shù)字語音信號。為了防止混疊效應(yīng)，采樣頻率必須滿足nyquist采樣定理，常用的采樣頻率有fs1=8khz, fs2=11khz, fs3=16khz等，在

27、本文中采樣率為8khz。將原始語音模擬信號變?yōu)閿?shù)字信號，必須經(jīng)過采樣和量化兩個步驟，從而得到時間和幅度上均為離散的數(shù)字語音信號。根據(jù)采樣定理，當采樣頻率大于信號的兩倍帶寬時，采樣過程不會丟失信息，利用理想濾波器可從采樣信號中不失真地重構(gòu)原始信號波形。在將語音信號進行數(shù)字化前，必須先進行防混疊濾波，濾除高于1/2采樣率的信號成分或噪聲。這種防混疊濾波通常與模數(shù)轉(zhuǎn)換器做在一個集成塊內(nèi)，因此目前來說，語音信號的數(shù)字化的質(zhì)量還是有保證的。市面上購買到的普通聲卡在這方面做的都還可以，語音聲波通過話筒輸入到聲卡后直接獲得的是經(jīng)過防混疊濾波、a/d變換、量化處理的離散的數(shù)字信號。2.2 語音信號的小波消噪處

28、理許多情況下，我們所獲得的語音信號是被污染的，即在我們所采集的語音信號中摻雜著噪聲，干擾了語音信號中攜帶的有效信息，影響了我們的聽辨。尤其在實時采集過程中，由于線路帶寬的限制，語音信號的采樣頻率往往比較低，加上周圍設(shè)備產(chǎn)生的電噪聲、沖擊噪聲和實驗室環(huán)境的影響，使得語音信號的質(zhì)量有時很低，所以需要對語音信號進行消噪處理，提高其聽辨質(zhì)量6。通常我們把噪聲分為以下幾種：帶通噪聲、沖激噪聲、白色噪聲等。(1) 帶通噪聲，也叫有色噪聲，在某個頻帶上，信號的能量突然變大，比較典型的為交流電噪聲，它的能量主要集中在50hz左右。(2) 沖激噪聲，其能量在時域內(nèi)會突然變大。(3) 白色噪聲，是在頻域上不存在信

29、號能量突然變大的頻帶，在時域上也找不到信號能量突然變大的時間段，即它在頻域和時域上的分布是一致的。對于標準白噪聲，它的均值為零，方差為一個常數(shù)，即。傳統(tǒng)消噪方法對前兩種噪音的去除有很好的效果，但對于白噪聲，既不能在某個頻段上修改語音信號，也不能在時頻內(nèi)修改語音信號。使用太多消噪方法都很難達到令人滿意的效果，使得語音信號的信噪比不但沒有提高，反而會引起原語音信號的嚴重失真。其主要原因有下面兩點：(1) 白噪聲頻帶很寬，幾乎占據(jù)了整個頻域，與語音信號相互重疊，且沒有規(guī)律性，無法準確區(qū)分語音和白噪聲。(2) 語音信號是一種準周期的隨機信號，特別是語音信號中的清音部分，其性質(zhì)同白噪聲差不多，很難區(qū)分。

30、小波消噪的基本思想是根據(jù)噪聲與信號在各尺度（即各頻帶）上的小波譜具有不同表現(xiàn)這一特點，將各尺度上由噪聲產(chǎn)生的小波譜分量，特別是將那些噪聲小波譜占主導地位的尺度上的噪聲小波譜分量去掉，則保留下來的就是原信號的小波譜，此過程可稱為小波譜的重構(gòu)或還原，然后再利用小波變換重構(gòu)算法，重構(gòu)出原信號。2.2.1 小波變換的消噪方法本文提出了基于小波變換的硬閾值濾波法 7，先對語音信號進行小波變換，經(jīng)過小波變換后語音信息主要集中在小波變換尺度較大的低頻部分，而白噪聲主要集中在小波變化尺度較小的高頻部分，然后對各子波信號設(shè)定一個閾值，根據(jù)子波信號的閾值大小調(diào)整子波信號，最后對調(diào)整過的子波信號進行小波反變換就得到

31、消噪后的語音信號。調(diào)整閾值可以獲得滿意的消噪處理結(jié)果。由以上分析可知，小波消噪的關(guān)鍵是如何濾除由噪聲產(chǎn)生的小波譜分量。針對語音信號中各種噪聲類型，給出了相應(yīng)的基于小波變換的消噪方法。(1) 對含噪的語音信號進行小波變換，得到各個不同頻帶的子波信號，將語音信號和白噪聲粗略分開。第一步：確定小波基。由于不同的小波基在時域和頻域上的局部性能不同，使得小波變換在時域和頻域上表征信號局部特點的能力不同，所以選擇適當?shù)男〔ɑ惋@得特別重要。daubehies小波、symlets小波、coiflet小波是集中非常常見的小波基。他們表征信號局部特點的能力都比較強，有利于檢測信號的瞬態(tài)或奇異點，所以語音消噪中常

32、常會使用這些小波基。第二步：確定小波基的階數(shù)。對于某種特定的小波基，階數(shù)的不同表征信號局部特點的能力也不同。一般階數(shù)越高表征信號局部特點的能力就越強，但計算量會相應(yīng)變大，而且實驗表明對于以上提到的三種小波基，當階數(shù)高于5時，提高小波基階數(shù)對提高小波基表征語音信號局部性能力的影響并不大。所以在實際操作過程中不會選取太高的小波基階數(shù)，一般選取5到8階左右。第三步：確定小波變換次數(shù)。根據(jù)語音信號和白噪聲信號的小波變換的模極大值與李氏指數(shù)之間的關(guān)系可以知道，語音信號的小波變換模極大值隨著小波變換尺度的增大而增大，白噪聲的小波變換模極大值隨著小波變換尺度的增大而減小。所以，當語音信號中白噪聲含量多時，小

33、波變換尺度要大一些，即小波變換次數(shù)要多一些，但計算量也會相應(yīng)變大；當語音信號中白噪聲含量少時，小波變換尺度可以小一些，即小波變換次數(shù)可以少一些，計算量也會相應(yīng)減少。第四步：小波變換。根據(jù)以上對小波變換參數(shù)的介紹，選定合理的參數(shù)進行小波變換，就可得到各個不同頻帶的子波信號。(2) 確定各層子波的濾波閾值。選取閾值是否適當對消噪效果影響很大。本文確定閾值的方法如下： (2.8)(3) 濾波。確定閾值后就可以對各個子波信號進行濾波，公式描述如下： (2.9) 其中為濾波后的子波信號。(4) 小波反變換。對已經(jīng)處理過的各個子波信號進行反變換就可以得到消噪后的語音信號，即干凈的語音信號段。2.2.2 小

34、波消噪方法的分析小波分析是一種有效的信號分析處理技術(shù)，它在時域和頻域同時具有良好的局部化特性，既能夠在整體上提供信號的主要特征，又能提供任一局部時間或頻域內(nèi)信號變化劇烈程度的信息，因而成為分析非平穩(wěn)信號的銳利工具。實驗結(jié)果表明，小波變換語音增強較以往的傳統(tǒng)消噪方法具有以下的優(yōu)點：(1) 小波變換在低信噪比情況下的消噪效果較明顯，增強后語音的識別率較高，為應(yīng)用提供了極大的方便。(2) 小波變換方法特別適合于時變信號和突變信號的消噪，因此能夠較好地應(yīng)用到語音消噪中去，這是傳統(tǒng)的消噪方法無法比擬的。同時，小波消噪也存在一定的缺陷：(1) 計算量較大，并且在應(yīng)用中要根據(jù)實際的采樣率改變離散小波變換的尺

35、度范圍。(2) 濾波時閾值的選擇在很大程度上影響了消噪后的效果。綜上所述，小波變換為語音這樣一種非平穩(wěn)信號中的信噪分離提供了新的濾波方法。對輸入語音信號進行適當?shù)慕翟胩幚矸浅Ｓ斜匾?，處理效果的好壞直接影響到語音識別系統(tǒng)的識別率，意義重大。隨著理論的完善和實踐的深入，小波消噪方法將逐漸成熟，并獲得更加廣泛的應(yīng)用。2.3 語音信號的預處理語音信號的預處理過程一般包括預加重處理、分幀處理、加窗處理、端點檢測幾個部分，如圖2.4 描述了整個預處理過程。圖2.4 語音信號預處理過程示意圖2.3.1 語音信號的預加重預加重是對信號進行平滑，即高頻提升。因為從唇端產(chǎn)生的聲音隨著頻率的增加會有一個6db/倍頻

36、程幅度率遞減8 ，所以在提取特征前需要對語音信號作+6db/倍頻程的高頻提升，這樣使得語音全通帶輸出占有相同的電平范圍。因此預加重的目的是提升高頻部分，使信號的頻譜變得平坦，保持在低頻到高頻的整個頻帶中能用同樣的信噪比求頻譜，以便于頻譜分析或聲道參數(shù)分析。一般地，預加重是在語音信號數(shù)字化之后，在參數(shù)分析之前。在計算機里用具有6db/倍頻程提升高頻特性的預加重數(shù)字濾波器來實現(xiàn)，它一般是一階的數(shù)字濾波器: (2.10)其中的值一般在0.94-0.98之間，在本文中取0.970。2.3.2 語音信號的分幀及加窗處理語音信號具有短時穩(wěn)定性，即語音信號為非平穩(wěn)信號，但在10-50ms內(nèi)可認為是平穩(wěn)的。故

37、可以把語音信號分為一個個語音分析幀，以便于作短時分析，從而進行語音特征值的計算。若每幀信號有n個樣本點，各幀間位移為m點，則第i幀，第n個樣本語音信號與原始語音信號的關(guān)系為: (2.11)式中在本文中采樣率為16khz，幀長n為256點，幀間位移m為128點，其中采用幀間位移是為了解決時、頻域?qū)L選擇的不同要求 9，10。為了得到短時的語音信號，要對其進行加窗操作，使窗函數(shù)平滑地在語音信號上滑動，從而將語音信號分成幀。在語音信號數(shù)字處理中常用的窗函數(shù)是矩形窗、漢明窗和漢寧窗，它們的表達式如下(其中n為幀長):矩形窗： (2.12)漢明窗： (2.13)漢寧窗： (2.14)由于窗函數(shù)一般取為

38、中間大兩頭小的光滑函數(shù)，這樣沖激響應(yīng)所對應(yīng)的濾波器具有低通特性，其帶寬和頻率響應(yīng)取決于窗函數(shù)的選擇。在本文中選用了漢明窗。這樣，經(jīng)過上面介紹的處理過程，語音信號就已經(jīng)被分割成一幀一幀的加過窗函數(shù)的短時信號，然后再把每一個短時語音幀看成平穩(wěn)的隨機信號，利用數(shù)字信號處理技術(shù)來提取語音特征參數(shù)。在進行處理時，按幀從數(shù)據(jù)區(qū)中取出數(shù)據(jù)，處理完成后再取下一幀，以此類推，最后得到由每一幀參數(shù)組成的語音特征參數(shù)時間序列。2.3.3 語音信號的端點檢測 語音信號錄制進來后，不論是識別單字還是識別連續(xù)字都必須做語音分段，即語音端點檢測，找出語音段的開始和結(jié)尾，這可借助于語音信號的短時能量和過零率。有聲語音的能量值

39、較大，無聲語音(如摩擦音)的過零率較高11，因此可以通過計算短時能量大致判斷出語音的端點，然后使用過零率找到語音端點的相對精確位置，分解出每一個語音段。從背景噪聲中找出語音的起止點，是語音處理中最基本的問題。通常的語音端點檢測中，都是分別用短時能量和短時平均過零率作為是否超過閾值，再通過“與”和 “或”運算作是否為語音端點的判定。除非是在信噪比較高的聲學環(huán)境中，這種方法對語音信號有無分辨能力都不是很理想的。近年來，在語音信號的預加重、分幀和加窗處理后，用基于能量及過零率改進的相應(yīng)起止點識別方法和狀態(tài)轉(zhuǎn)移法可以進行有效的語音判別。其中有效語音段截取是語音預處理的重要一步，端點檢測的準確性對識別的

40、效率和結(jié)果有直接影響11。整個語音信號的端點檢測可以分為四段：靜音、過渡段、語音段、結(jié)束。程序中使用一個變量來表示當前所處的狀態(tài)。在靜音段，如果能量或過零率超過了低門限，則開始標記起始點，進入過渡段。在過渡段，由于參數(shù)的數(shù)值比較小，不能確信是否處于真正的語音段，因此只有兩個參數(shù)的數(shù)值都回落到低門限以下，就將當前狀態(tài)恢復到靜音狀態(tài)。如果在過渡段中兩個參數(shù)中的任何一個超過了高門限，就可以確信進入語音段了。一些突發(fā)性的噪聲也可能引起短時能量或過零率的數(shù)值很高，但不能持續(xù)足夠長的時間。如門窗的開關(guān)、物體的碰撞等引起的噪聲，這些都可以通過設(shè)定最短時間門限來判別。當前狀態(tài)處于語音段時，如果兩個參數(shù)的數(shù)值降

41、低到低門限以下，且總的計時長度小于最短時間門限，則認為這是一段噪音，繼續(xù)掃描以后的語音數(shù)據(jù)。否則就標記好結(jié)束端點，并返回。圖2.5完整的描述了系統(tǒng)實現(xiàn)端點檢測的程序流程： 圖2.5 硬件實現(xiàn)端點檢測程序流圖下面將逐一介紹短時能量法、過零率法和能頻值法。1、 端點檢測的短時能量法語音信號的短時能量反映了語音信號幅度隨時間的變化，計算公式為12： (2.15)亦可表示為： (2.16)其中。此式表明，短時能量相當于語音信號平方通過一個單位函數(shù)相應(yīng)為h(n)的線性濾波器的輸出。 由于式（2.15）是卷積形式的，因此可以理解為離散信號經(jīng)過一個單位脈沖的fir低通濾波器產(chǎn)生的輸出。為使算法簡化，避免它對

42、高信號電平的敏感，采用平均幅度函數(shù)：來代替短時能量函數(shù)12。這時能量的主要意義在于，能量函數(shù)可用來大致定出濁音語音變?yōu)榍逡粽Z音的時刻，可用來區(qū)分聲母與韻母，無聲與有聲。2、 端點檢測的短時過零率法 離散時間情況下，若相鄰的抽樣具有不同的代數(shù)符號，就稱為發(fā)生了過零。一段語音波形中，單位時間內(nèi)信號通過零線的次數(shù)稱為過零率。它可作為信號頻率的一個度量。由于語音信號是寬帶信號，故采用了短時平均過零率來粗略估計其譜特性13。具體計算公式為： (2.17)其中 (2.18) (2.19)語音信號中，濁音語音能量集中在較低的頻率段內(nèi) (3khz以下)，清音語音能量多集中在較高頻率段內(nèi)，而頻率的高低又意味著過

43、零率的高低 ，所以據(jù)此可以大致判斷出清音與濁音。3、 端點檢測的能頻值法能頻值(efv, energy frequency value)定義為：短時能量乘上短時過零率。因為漢語音節(jié)具有簡單的聲韻母結(jié)構(gòu)，聲母具有比較高的過零率，能量比較低，韻母具有比較高的能量，過零率比較低，這樣能頻值既顧及了聲母的高過零率又顧及了韻母的高能量，從而提高了語音信號與背景噪聲的分辨力。實驗表明能頻值是一個很好的參數(shù)，有著較好的穩(wěn)定性和較高的語音噪聲分辯力。使用能頻值進行語音端點檢測和音節(jié)切割使得系統(tǒng)更接近于連續(xù)語音識別13，14。這種方法相當于在傳統(tǒng)方法中，以背景噪聲的短時能頻值為基準對絕對門限閾值作調(diào)整；另外，對

44、語音的分幀考察使端點檢測具有整體性和連續(xù)性，而不像傳統(tǒng)方法那樣逐點進行考察。因而該方法對環(huán)境的適應(yīng)能力很強13。能頻值端點檢測的算法步驟如下:(1) 按語音幀計算短時能量和短時過零率，并計算兩者乘積得到短時能頻值序列；(2) 對能頻值序列進行中值平滑的濾波17，即可以得到平滑后的能頻值序列，；(3) 對于某一時刻，其對應(yīng)的能頻值為，尋找滿足下式的能頻值峰點，且 (2.20)式中為尋找峰點時的最大幀數(shù)；(4) 算比值r (2.21)(5) 如果 (為相對門限閾值)，則時刻對應(yīng)的語音不是起點，令,轉(zhuǎn)(3)；否則，就認為時刻對應(yīng)的語音為起點，語音終止點的判定與此類似，只是判定時從時刻向前搜索。3 語

45、音信號的特征提取語音信號的特征提取是語音識別的基礎(chǔ)，是關(guān)系到識別系統(tǒng)性能好壞的一個關(guān)鍵技術(shù)，語音特征向量選擇的好壞會直接影響識別系統(tǒng)的性能。特征提取的基本思想是將預處理過的信號通過一次變換，去掉冗余部分，而把代表語音本質(zhì)的特征參數(shù)抽取出來。此后所有處理都是建立在特征參數(shù)之上的，一旦特征參數(shù)不能很好的反映語音信號的本質(zhì)，識別就不能成功。連續(xù)語音識別系統(tǒng)所用的特征包括:(1) 語音幀能量；(2) 基音周期：現(xiàn)已證實，基音周期及其派生參數(shù)攜帶有較多的個人特征信息，特別是對漢語這種“有調(diào)”語種，一個字的基音周期的變化即聲調(diào)，就是一種重要的相當穩(wěn)定的個人特征參數(shù)；(3) 幀短時譜或bpfg(附聽覺特征處

46、理)特征(包括1416bpf)：采用濾波器組獲得頻譜信息；(4) 共振峰頻率及帶寬；(5) 鼻音聯(lián)合特征：對于連續(xù)語音，由于發(fā)音時聲道形狀等隨時間變動存在慣性，任一時刻的聲道形狀不但與該時刻所發(fā)的音素有關(guān)，也與鄰近時刻的音素有關(guān)，此現(xiàn)象稱為發(fā)音的聯(lián)合現(xiàn)象。經(jīng)試驗分析得知，此聯(lián)合性體現(xiàn)在幀特征上隨著人的不同差異較大，因而可以利用它來識別是否為正確的語音信號。尤其對于鼻音此性質(zhì)較為突出；(6) 譜相關(guān)特征：短時譜中同頻率譜線隨時間的相關(guān)性特征隨說話人的不同區(qū)別較大；(7) 相對發(fā)音速率特征:對于同一語音，對于不同說話人，發(fā)音過程中某些部分的相對發(fā)音速率間的差異很大；(8) 音調(diào)輪廓特征：不同說話人

47、的平均音調(diào)特征往往差別不大，但是音調(diào)輪廓，即在一個句子的時段內(nèi)音調(diào)隨時間變化的曲線形狀的變化卻非常明顯，應(yīng)用這一特征的優(yōu)點是它在傳輸及記錄的過程中不產(chǎn)生失真。目前，語音識別中常用到的特征向量可以分為如下三種14：(1) 基于lpc的倒譜系數(shù)；(2) 基于fft的頻譜余弦變換分析；(3) 基于前沿數(shù)字信號處理技術(shù)的特征分析手段，如小波分析、時域一頻域分析、人工神經(jīng)網(wǎng)絡(luò)等。第一類有基于德賓(durbin)算法的lpc倒譜系數(shù)，即lpcc。第二類有基于刻度的mfcc系數(shù)，這兩類系數(shù)在各種文獻中使用的最多。其中l(wèi)pcc是基于發(fā)音模型建立的，從線性預測的角度來模擬人的聲道特性，是一種基于合成的參數(shù)，但此

48、參數(shù)沒有充分利用人耳的聽覺特性。人們通過對人類聽覺機理的研究發(fā)現(xiàn)，人耳對聲音頻率高低的主觀感覺并非成正比關(guān)系，是非線性的。不同頻率聲音形成的行波，在沿著耳蝸基底膜傳播的過程中，峰值出現(xiàn)在耳蝸荃底膜的不同位置上，該位置和聲音頻率呈對數(shù)關(guān)系。頻率倒譜參數(shù)的分析就是著眼于人耳的聽覺機理，依據(jù)聽覺實驗的結(jié)果來分析語音的頻率。與基于線性預測的倒譜分析相比，其突出優(yōu)點是不依賴全極點語音產(chǎn)生模型的假定，而且在噪聲環(huán)境下表現(xiàn)出更強的頑健性，在非特定人連續(xù)語音識別方面有利于減少因人不同的差異可能帶來的影響。大量的研究表明，從識別效果及抗噪聲性能上來看mfcc要優(yōu)于lpcc。針對以上的介紹，本文在漢語連續(xù)數(shù)碼串語

49、音識別系統(tǒng)中采用的特征向量為mfcc特征參數(shù)，本章將重點介紹mfcc特征參數(shù)的有關(guān)理論及其提取過程。3.1 mfcc特征參數(shù)的提取3.1.1 美爾頻率倒譜系數(shù)mel 頻率倒譜系數(shù)(mel frequency cepstrum coeficient，mfcc)是將信號的頻譜，首先在頻域中將頻率軸變換為mel 頻率刻度，再變換到倒譜域得到的倒譜系數(shù)15，16。mel，是音高的單位，音高是一種主觀心理量，是人類聽覺系統(tǒng)對聲音頻率的感覺。為了描述人耳對聲音頻率高低的主觀感覺這一非線性關(guān)系，采用了mel (美爾)標度。一個高于聽閾40db,頻率為1khz的純音的音高定義為1000 mel，那么16000

50、hz的聲音音高為3400 mel 16。式(2.12)給出了美爾標度與實際頻率的關(guān)系式: (3.1)在實際運算當中，為方便起見，可將上式變?yōu)?1： (3.2)mfcc就是利用了人耳這一特性，通過模擬聽覺的非線性特點，以達到提高系統(tǒng)識別率和穩(wěn)健性的目的。mfcc具體計算方法如下17：(1) 以一定窗長(本文取20ms)和窗移取為10ms)把語音分成一個個相互重疊的幀，將以下步驟用于每一幀信號:(2) 每一幀信號用濾波器作高頻預加重;(3) 用漢明窗(hamming windows)函數(shù)對每個幀進行加窗處理，減少吉布斯(jibbs)效應(yīng): (3.3)(4) 對加窗后的語音信號進行512點離散傅立葉

51、變換(dft)，即: (3.4)其中,k為512點。然后再求信號能量譜，即: (3.5)(5) 根據(jù)式(3.5)進行頻率彎折，即取模平方，在彎折后的頻率軸上取得等間隔濾波器組，并用此組三角濾波器在頻域?qū)β首V進行濾波。如圖3.1所示，這組帶通濾波器的中心頻率是按mel 刻度均勻排列的，每個濾波器三角形的兩個底點的頻率分別等于相鄰兩個濾波器的中心頻率，即每兩個相鄰濾波器的過渡帶相互搭接，且頻率響應(yīng)之和為1。通常，這組帶通濾波器的頻率范圍應(yīng)從0到nyquist采樣定理指定的頻率，但是，對頻帶的限制有助于去掉不要的頻率或阻止無用的能量譜通過濾波器組，因此，一般將頻率范圍設(shè)定為300, 3400左右1

52、7。濾波器個數(shù)q的選擇，可以采用如下方法:(1)在頻率范圍內(nèi)均勻的安排20-26個濾波器。(2)當<1khz時，各均勻排列; >1khz時，使()=1.1();為濾波器的中心頻率。圖3.1 mel刻度濾波器組示意(6) 計算通過各個頻帶的能量并取就得到 (3.6)式中，q為濾波器的個數(shù)，為第個濾波器的加權(quán)函數(shù)。(7) 對進行離散余弦變換(dct)就得到了mfcc系數(shù)。 (3.7)這里i為倒譜系數(shù)的階數(shù)，一般可取12-16個;j=1q，為濾波器的個數(shù)。在本文中i=12, q=24.mfcc參數(shù)也是按幀計算的。mel倒譜系數(shù)的提取框圖如圖3.2所示。其中mel濾波的作用是利用同人耳聽覺

53、特性相似的三角濾波器組對語音信號的幅度平方譜進行平滑。對數(shù)操作()的用途主要有兩點，一是壓縮語音譜的動態(tài)范圍，二是將頻域中的乘性成份變成對數(shù)譜域中的加性成份，以便濾除乘性噪聲。離散余弦變換(dct)主要用來對不同頻段的頻譜成份進行解相關(guān)處理，使得各維向量之間相互獨立18。綜上，可得到mfcc倒譜系數(shù)提取過程的框圖，如圖3.2所示。圖3.2 mfcc的提取過程3.1.2 特征矢量的構(gòu)成上面介紹了mfcc的提取過程，現(xiàn)在來說明如何構(gòu)成特征矢量以獲得較高的識別率。國內(nèi)外大量實驗結(jié)果表明，對個倒譜系數(shù)采用如下的窗函數(shù)加權(quán)，可以明顯改進系統(tǒng)的識別效果16： (3.8)設(shè)wn(m)是第n幀加權(quán)窗函數(shù)，則第n幀加權(quán)倒譜系