VC和Matlab混合編程的語音識(shí)別研究

1、VC+和Matlab混合編程的語音識(shí)別研究VC+和Matlab混合編程的語音識(shí)別研究類別：EDA/PLD摘要：采用VC+和Matlab混合編程搭建了一個(gè)高效的基于HMM的語音識(shí)別實(shí)驗(yàn)驗(yàn)證平臺(tái)。結(jié)合FPGA的特點(diǎn),直接使用加法器、乘法器、比較器等建立一個(gè)Viterbi算法結(jié)構(gòu),采用改進(jìn)方法計(jì)算Viterbi得分,實(shí)現(xiàn)一種簡單的基于HMM的語音模板匹配。 1 引言 Matlab 是一款高性能的數(shù)值計(jì)算和可視化軟件，集成數(shù)值分析、矩陣計(jì)算、信號(hào)運(yùn)算、 信號(hào)處理和圖形顯示于一體，構(gòu)成了一個(gè)方便的、界面友好的用戶環(huán)境。目前，基于Matlab 的語音識(shí)別開發(fā)平臺(tái)雖然在可讀性、可移植性和可擴(kuò)充性上優(yōu)于其它編

2、程語言，且調(diào)試功能 強(qiáng)大、數(shù)據(jù)庫函數(shù)豐富，可使研究人員“站在巨人的肩上”更加直觀、方便地進(jìn)行分析、計(jì) 算與設(shè)計(jì)工作，從而大大地節(jié)省了時(shí)間1。但考慮到其執(zhí)行代碼速度低下，不能直接與硬件 底層直接接觸等缺點(diǎn)，因此提出了采用Matlab 和VC+混合編程來搭建語音識(shí)別實(shí)驗(yàn)平臺(tái)， 并對(duì)傳統(tǒng)Viterbi 算法進(jìn)行變形，直接使用FPGA 的加法器、比較器和邏輯操作來計(jì)算觀察 值序列，以實(shí)現(xiàn)一種簡單的嵌入式語音模板匹配。 2 基于HMM 的語音識(shí)別 2.1 語音識(shí)別系統(tǒng) 語音識(shí)別系統(tǒng)（Speech Recognition System，SRS）基本上是一個(gè)模式分類的任務(wù)，即通 過訓(xùn)練，系統(tǒng)能夠把輸入的語音

3、按一定模式進(jìn)行分類2。實(shí)驗(yàn)在Matlab 7.0 系統(tǒng)上建立了一 個(gè)簡單的基于隱馬爾可夫模型（Hidden Markov Model，HMM）的語音識(shí)別過程，如圖1。 （1）語音輸入：在一般實(shí)驗(yàn)室環(huán)境下進(jìn)行語音信號(hào)采樣，采樣格式為PCM，采樣頻率 16 KHZ，A/D 的量化精度8 Bit。然后經(jīng)過去噪、預(yù)加重、分幀、加窗等處理過程，去掉語音信號(hào)中包含的大量冗余信息，加強(qiáng)語音信號(hào)的高頻共振峰，便于進(jìn)行頻譜分析。 （2）端點(diǎn)檢測(cè)：考慮到語音信號(hào)的錄制是在較為安靜的實(shí)驗(yàn)室環(huán)境下進(jìn)行，利用過零 率Z 來檢測(cè)清音，用短時(shí)能量E 來檢測(cè)濁音，兩者配合實(shí)現(xiàn)可靠的端點(diǎn)檢測(cè)3。 （3）特征提取和量化：對(duì)有效語

4、音段進(jìn)行特征提取，即提取基于Mel 刻度的倒頻譜矢 量（Mel Frequency Cepstrum Coefficients，MFCC），它是識(shí)別過程中的輸入特征值。特征值 經(jīng)矢量量化Vector Quantization，VQ），輸出VQ 碼本類別號(hào)，即HMM 訓(xùn)練與識(shí)別階段使 用的觀察值序列o。 （4）模型訓(xùn)練與語音識(shí)別：訓(xùn)練階段，系統(tǒng)采用一系列訓(xùn)練觀察值估計(jì)HMM 參數(shù)， 2.2 Viterbi 算法 由于計(jì)算復(fù)雜度的限制，對(duì)于基于HMM 的實(shí)時(shí)語音識(shí)別來說，需要設(shè)計(jì)一個(gè)高效的硬 件結(jié)構(gòu)來執(zhí)行Viterbi 譯碼過程，以加速HMM 的識(shí)別過程?？紤]了FPGA 的特點(diǎn)，分別采 用對(duì)數(shù)概率

5、和狀態(tài)概率的最小路徑對(duì)傳統(tǒng)的Viterbi 算法進(jìn)行變形，其計(jì)算P( o | ) v 的過程 如下5： 通過上面的變形，不僅可以使傳統(tǒng) Viterbi 算法中的乘法轉(zhuǎn)成加法，降低時(shí)間消化，有 效地避免數(shù)據(jù)下溢的問題。而且隨著Viterbi 計(jì)算過程的進(jìn)行，已計(jì)算的狀態(tài)概率值隨之增 加，改原來找結(jié)束概率的最大值為最小值6。因此，只需要計(jì)算T 時(shí)刻的概率T ( i) ，它是 大于前參考單詞模型的最小值Pv 的。 實(shí)驗(yàn)將直接使用 FPGA 的加法器、比較器和邏輯操作來實(shí)現(xiàn)上述公式（2）和公式（3）， 可以顯著提高系統(tǒng)效率，系統(tǒng)結(jié)構(gòu)如下圖2。 在這一方案中，識(shí)別過程直接由 FPGA 芯片內(nèi)的邏輯塊從觀

6、察序列中計(jì)算概率得分， 其中，觀察值序列通過VQ 得出。系統(tǒng)包括了兩個(gè)用來存儲(chǔ)轉(zhuǎn)移矩陣A 和輸出概率矩陣B 的存儲(chǔ)器，一個(gè)處理單元（Processing Element，PE）陣列，控制器，地址生成和附加比較 邏輯。PE 包括有Viterbi 算法的核心模塊加-比-選單元（Add-Compare-Select Unit，ACSU）， 狀態(tài)累加器，和用來比較( i ) T 和極值Pv的附加比較器。PE 從HMM 參數(shù)寄存器中取出參 考模型，沿最小路徑計(jì)算其概率，然后與極值Pv 進(jìn)行比較。當(dāng)(i) T 大于Pv 時(shí)，控制器在 下一狀態(tài)時(shí)使PE 操作無效；同時(shí)，控制器控制存儲(chǔ)器緩沖操作，并生成整個(gè)計(jì)

7、算過程中的 控制信號(hào)。 3 VC+和Matlab 混合編程 對(duì)于在 FPGA 上實(shí)現(xiàn)語音識(shí)別的核心模塊Viterbi 算法時(shí)，有許多工作需要在實(shí)驗(yàn) 前完成，如定制硬件源代碼、轉(zhuǎn)換浮點(diǎn)數(shù)據(jù)為定點(diǎn)數(shù)據(jù)和電路仿真等。為減少這部分工作， 采用軟硬件協(xié)同設(shè)計(jì)的思想，由軟件來執(zhí)行HMM 模型訓(xùn)練和其它識(shí)別過程（如MFCC、 VQ 等）。在實(shí)驗(yàn)時(shí)，用軟件來執(zhí)行HMM 模型訓(xùn)練和語音單詞識(shí)別。然后，把實(shí)驗(yàn)數(shù)據(jù)（語 音數(shù)據(jù)和HMM 模型參數(shù)）轉(zhuǎn)換成定點(diǎn)數(shù)據(jù)格式，由PCI 設(shè)備驅(qū)動(dòng)程序?qū)?shí)驗(yàn)數(shù)據(jù)、源代 碼等下載到硬件，用于FPGA 驗(yàn)證平臺(tái)。 根據(jù)上述思想，采用Matlab 和VC + +混合編制PCI 設(shè)備驅(qū)動(dòng)

8、程序，利用Matlab 系統(tǒng)提 供的外部程序調(diào)用接口MEX 文件來實(shí)現(xiàn)其于VC+的混合編程。MEX 文件是一種約定格式 編寫的文件，使用C 語言或FOTRAN 語言編寫，是由Matlab 解釋器自動(dòng)調(diào)用并執(zhí)行的動(dòng)態(tài) 鏈接函數(shù)（Dynamic Link Library Function），它在Mac 下以.mex 為后綴名，在Windows 下 即.dll 文件。基于C 語言的MEX 文件主要由兩部分組成，第一部分稱為入口子程序，其作 用是在Matlab 系統(tǒng)與被調(diào)用的外部子程序間建立通信聯(lián)系。第二部分稱為計(jì)算功能子程序，它包含所有實(shí)際需要完成的功能的源代碼，由入口子程序調(diào)用7。 該方法可以在軟

9、硬件之間達(dá)到一致的識(shí)別結(jié)果，其方案描述如圖3 所示。實(shí)驗(yàn)中，計(jì)算 由FPGA 硬件完成，該子程序的主要負(fù)責(zé)FPGA 與PCI 的數(shù)據(jù)傳遞，即PCI 設(shè)備驅(qū)動(dòng)。通 過MEX 文件，不僅可在Matlab 系統(tǒng)中像調(diào)用內(nèi)建函數(shù)一樣調(diào)用存在的算法，使資源得到 充分利用，避免重復(fù)程序設(shè)計(jì)。同時(shí)，還可以對(duì)硬件直接進(jìn)行編程，彌補(bǔ)Matlab 的不足。 4 實(shí)驗(yàn) 該語音識(shí)別實(shí)驗(yàn)采用的硬件平臺(tái)是包括有Altera Cyclone 系列EP1C12 的FPGA 和 PCI9054 芯片的PCI 開發(fā)板。EP1C 的FPGA 負(fù)責(zé)硬件Viterbi 計(jì)算，PCI9054 在驅(qū)動(dòng)程序的 幫助下負(fù)責(zé)PC 和FPGA 間

10、實(shí)驗(yàn)數(shù)據(jù)和結(jié)果的傳輸。 由于 FPGA 的空間限制，實(shí)驗(yàn)選擇了4 狀態(tài)的HMM 模型和容量64 的VQ 碼本，占用 FPGA 的LE（邏輯單元）1,125 個(gè)，存儲(chǔ)單元占用約132K 位。然后將.sof 目標(biāo)文件下載到 PCI 卡上的FPGA 芯片中運(yùn)行，在Matlab 中調(diào)用VC+編寫的PCI 設(shè)備驅(qū)動(dòng)程序，將VQ 后 的語音數(shù)據(jù)和HMM 模型參數(shù)傳送給FPGA 內(nèi)的Viterbi 譯碼電路，實(shí)驗(yàn)中，通過驅(qū)動(dòng)程序 輸出模板標(biāo)號(hào)與實(shí)際語音的標(biāo)號(hào)及仿真實(shí)驗(yàn)導(dǎo)出的標(biāo)號(hào)一致。 在 P4 3.0GHz 的PC 機(jī)和200MHz FPGA 驗(yàn)證平臺(tái)上，對(duì)于約100 幀的單個(gè)語音文件識(shí) 別而言，軟/硬件Viterbi 算法的耗時(shí)如下表1 所示。 由上述實(shí)驗(yàn)結(jié)果證明了該Viterbi 算法的VLSI 結(jié)構(gòu)能夠準(zhǔn)確且快速地實(shí)現(xiàn)語音識(shí)別的解 碼過程，滿足嵌入式計(jì)算精度要求，表明該實(shí)現(xiàn)方案是切實(shí)可行的。 5 結(jié)束語 本文的創(chuàng)新點(diǎn)：采用 Matlab、VC + +和FPGA 搭建了一個(gè)軟硬件協(xié)同的語音識(shí)別實(shí)驗(yàn) 研究平臺(tái)，以VC+來彌補(bǔ)Matlab 不能與硬件底層進(jìn)行直接接觸的不足。并在傳統(tǒng)Vite