語(yǔ)音識(shí)別技術(shù)論文-語(yǔ)音識(shí)別

1、與機(jī)器進(jìn)行語(yǔ)咅交流，讓機(jī)器明白你說(shuō)什么，這是人們氏期以來(lái)夢(mèng)寐以求的事情。語(yǔ)音識(shí)別 技術(shù)就是讓機(jī)器通過(guò)識(shí)別和理解過(guò)程把語(yǔ)咅信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng)的文本或命令的高技術(shù)。語(yǔ)咅識(shí) 別是一門交叉學(xué)科。近二十年來(lái)，語(yǔ)音識(shí)別技術(shù)収得顯著進(jìn)步，開始從實(shí)驗(yàn)室走向市場(chǎng)。人 們預(yù)計(jì)，未來(lái)10年內(nèi)，語(yǔ)音識(shí)別技術(shù)將進(jìn)入工業(yè)、家電、通信、汽車電子、醫(yī)療、家庭服 務(wù)、消費(fèi)電了產(chǎn)品等各個(gè)領(lǐng)域。語(yǔ)音識(shí)別聽寫機(jī)在一些領(lǐng)域的應(yīng)用被美國(guó)新聞界評(píng)為1997年計(jì)算機(jī)發(fā)展十件大事z 一。很多專家都認(rèn)為語(yǔ)音識(shí)別技術(shù)是2000年至2010年間信息技術(shù)領(lǐng)域十大重耍的科技發(fā)展 技術(shù)之一。語(yǔ)音識(shí)別技術(shù)所涉及的領(lǐng)域包插：信號(hào)處理、模式識(shí)別、概率論和信息論、發(fā)

2、聲機(jī)理和 聽覺機(jī)理、人工智能等等。編輯木段任務(wù)分類和應(yīng)用根據(jù)識(shí)別的對(duì)象不同，語(yǔ)音識(shí)別任務(wù)大體可分為3類，即孤立詞識(shí)別（isolated word recognition）,關(guān)鍵詞識(shí)別（或稱關(guān)鍵詞檢出，keyword spotting）和連續(xù)語(yǔ)咅識(shí)別。其中，孤 立詞識(shí)別的任務(wù)是識(shí)別事先己知的孤立的詞，如“開機(jī)”、“關(guān)機(jī)”等；連續(xù)語(yǔ)音識(shí)別的任 務(wù)則是識(shí)別任意的連續(xù)語(yǔ)音，如一個(gè)句子或一段話；連續(xù)語(yǔ)音流中的關(guān)鍵詞檢測(cè)針對(duì)的是連 續(xù)語(yǔ)音，但它并不識(shí)別全部文字，而只是檢測(cè)已知的若干關(guān)鍵詞在何處出現(xiàn)，如在一段話中 檢測(cè)“計(jì)算機(jī)”、“世界”這兩個(gè)詞。根據(jù)針對(duì)的發(fā)音人，可以把語(yǔ)音識(shí)別技術(shù)分為特定人語(yǔ)音識(shí)別和非特

3、定人語(yǔ)音識(shí)別，前 者只能識(shí)別一個(gè)或幾個(gè)人的語(yǔ)音，而后者則可以被任何人使用。顯然，非特定人語(yǔ)音識(shí)別系 統(tǒng)更符合實(shí)際需要，但它要比針對(duì)特定人的識(shí)別困難得多。另外，根據(jù)語(yǔ)音設(shè)備和通道，可以分為桌面（pc）語(yǔ)音識(shí)別、電話語(yǔ)音識(shí)別和嵌入式 設(shè)備（手機(jī)、pda等）語(yǔ)音識(shí)別。不同的采集通道會(huì)使人的發(fā)音的聲學(xué)特性發(fā)生變形，因 此需要構(gòu)造各自的識(shí)別系統(tǒng)。語(yǔ)音識(shí)別的應(yīng)用領(lǐng)域非常廣泛，常見的應(yīng)用系統(tǒng)有：語(yǔ)音輸入系統(tǒng)，相對(duì)于鍵盤輸入方 法，它更符合人的ii常習(xí)慣，也更自然、更高效；語(yǔ)音控制系統(tǒng)，即用語(yǔ)音來(lái)控制設(shè)備的運(yùn) 行，相對(duì)于手動(dòng)控制來(lái)說(shuō)更加快捷、方便，可以用在諸如工業(yè)控制、語(yǔ)音撥號(hào)系統(tǒng)、智能家 電、聲控智能玩具等

4、許多領(lǐng)域；智能對(duì)話查詢系統(tǒng)，根據(jù)客戶的語(yǔ)音進(jìn)行操作，為用戶提供 自然、友好的數(shù)據(jù)庫(kù)檢索服務(wù)，例如家庭服務(wù)、賓館服務(wù)、旅行社服務(wù)系統(tǒng)、訂票系統(tǒng)、醫(yī) 療服務(wù)、銀行服務(wù)、股栗查詢服務(wù)等等。編輯本段前端處理前端處理是指在特征提取z前，先對(duì)原始語(yǔ)音進(jìn)行處理，部分消除噪聲和不同說(shuō)話人帶 來(lái)的影響，使處理后的信號(hào)更能反映語(yǔ)音的木質(zhì)特征。最常用的前端處理有端點(diǎn)檢測(cè)和語(yǔ)咅 增強(qiáng)。端點(diǎn)檢測(cè)是指在語(yǔ)音信號(hào)中將語(yǔ)音和非語(yǔ)音信號(hào)時(shí)段區(qū)分開來(lái)，準(zhǔn)確地確定出語(yǔ)音信 號(hào)的起始點(diǎn)。經(jīng)過(guò)端點(diǎn)檢測(cè)后，后續(xù)處理就可以只對(duì)語(yǔ)音信號(hào)進(jìn)行，這對(duì)提高模型的精確度 和識(shí)別正確率有重要作用。語(yǔ)音增強(qiáng)的主要任務(wù)就是消除環(huán)境噪聲對(duì)語(yǔ)音的影響。目詢通

5、用 的方法是采用維納濾波，該方法在噪聲較大的情況下效果好于其它濾波器。編輯木段聲學(xué)特征聲學(xué)特征的提取與選擇是語(yǔ)音識(shí)別的一個(gè)重要環(huán)節(jié)。聲學(xué)特征的提取既是一個(gè)信息大幅 度壓縮的過(guò)程，也是一個(gè)信號(hào)解卷過(guò)程，h的是使模式劃分器能更好地劃分。由于語(yǔ)音信號(hào) 的時(shí)變特性，特征提取必須在一小段語(yǔ)音信號(hào)上進(jìn)行，也即進(jìn)行短時(shí)分析。這一段被認(rèn)為是 平穩(wěn)的分析區(qū)間稱z為幀，幀與幀zi'可的偏移通常取幀長(zhǎng)的1/2或1/3。通常要對(duì)信號(hào)進(jìn)行 預(yù)加重以提升高頻，對(duì)信號(hào)加窗以避免短時(shí)語(yǔ)音段邊緣的影響。編輯木段常用的一些聲學(xué)特征*線性預(yù)測(cè)系數(shù)lpc：線性預(yù)測(cè)分析從人的發(fā)聲機(jī)理入手，通過(guò)對(duì)聲道的短管級(jí)聯(lián)模 型的研究，認(rèn)為

6、系統(tǒng)的傳遞函數(shù)符合全極點(diǎn)數(shù)字濾波器的形式，從而n時(shí)刻的信號(hào)可以用 前若干時(shí)刻的信號(hào)的線性組合來(lái)估計(jì)。通過(guò)使實(shí)際語(yǔ)音的采樣值和線性預(yù)測(cè)采樣值之間達(dá)到 均方差最小lms,即可得到線性預(yù)測(cè)系數(shù)lpcoxj lpc的計(jì)算方法有自相關(guān)法（德賓durbin 法）、協(xié)方差法、格型法等等。計(jì)算上的快速有效保證了這一聲學(xué)特征的廣泛使用。與lpc 這種預(yù)測(cè)參數(shù)模型類似的聲學(xué)特征還有線譜對(duì)lsp、反射系數(shù)等等。*倒譜系數(shù)cep：利用同態(tài)處理方法，對(duì)語(yǔ)音信號(hào)求離散傅立葉變換dft后取對(duì)數(shù)， 再求反變換idft就可得到倒譜系數(shù)。對(duì)lpc倒譜（lpccep）,在獲得濾波器的線性預(yù)測(cè) 系數(shù)后，可以用一個(gè)遞推公式計(jì)算得出。實(shí)

7、驗(yàn)表明，使用倒譜可以提高特征參數(shù)的穩(wěn)定性。* mel倒譜系數(shù)mfcc和感知線性預(yù)測(cè)plp：不同于lpc等通過(guò)對(duì)人的發(fā)聲機(jī)理的研 究而得到的聲學(xué)特征，mel倒譜系數(shù)mfcc和感知線性預(yù)測(cè)plp是受人的聽覺系統(tǒng)研究成 果推動(dòng)而導(dǎo)出的聲學(xué)特征。對(duì)人的聽覺機(jī)理的研究發(fā)現(xiàn)，當(dāng)兩個(gè)頻率相近的音調(diào)同時(shí)發(fā)出時(shí), 人只能聽到一個(gè)音調(diào)。臨界帯寬指的就是這樣-種令人的主觀感覺發(fā)生突變的帶寬邊界，當(dāng) 兩個(gè)音調(diào)的頻率差小于臨界帶寬時(shí)，人就會(huì)把兩個(gè)音調(diào)聽成一個(gè)，這稱z為屏蔽效應(yīng)。mel 刻度是對(duì)這一臨界帶寬的度量方法之一。mfcc的計(jì)算首先用fft將吋域信號(hào)轉(zhuǎn)化成頻域，之后對(duì)其對(duì)數(shù)能量譜用依照mel刻 度分布的三角濾波器

8、組進(jìn)行卷積，最后對(duì)各個(gè)濾波器的輸出構(gòu)成的向屋進(jìn)行離散余弦變換 dct,取前n個(gè)系數(shù)。plp仍用徳賓法去計(jì)算lpc參數(shù)，但在計(jì)算白相關(guān)參數(shù)時(shí)用的也是 對(duì)聽覺激勵(lì)的對(duì)數(shù)能量譜進(jìn)行dct的方法。編輯本段聲學(xué)模型語(yǔ)音識(shí)別系統(tǒng)的模型通常由聲學(xué)模型和語(yǔ)言模型兩部分纟r成，分別對(duì)應(yīng)于語(yǔ)音到音節(jié)概 率的計(jì)算和音節(jié)到字概率的計(jì)算。木節(jié)和下一節(jié)分別介紹聲學(xué)模型和語(yǔ)言模型方面的技術(shù)。hmm聲學(xué)建模：馬爾可夫模型的概念是一個(gè)離散吋域有限狀態(tài)口動(dòng)機(jī)，隱馬爾可夫模 型hmm是指這一馬爾可夫模型的內(nèi)部狀態(tài)外界不可見，外界只能看到各個(gè)時(shí)刻的輸岀值。 對(duì)語(yǔ)音識(shí)別系統(tǒng)，輸出值通常就是從各個(gè)幀計(jì)算1何得的聲學(xué)特征。用hmm刻畫語(yǔ)音

9、信號(hào)盅 作出兩個(gè)假設(shè)，一是內(nèi)部狀態(tài)的轉(zhuǎn)移只與上一狀態(tài)有關(guān)，另一是輸出值只與當(dāng)前狀態(tài)（或當(dāng) 前的狀態(tài)轉(zhuǎn)移）有關(guān)，這兩個(gè)假設(shè)人大降低了模型的復(fù)雜度。hmm的打分、解碼和訓(xùn)練相 應(yīng)的算法是前向算法、viterbi算法和前向后向算法。語(yǔ)咅識(shí)別中使用hmm通常是用從左向右單向、帶自環(huán)、帶跨越的拓?fù)浣Y(jié)構(gòu)來(lái)對(duì)識(shí)別基 元建模，一個(gè)音索就是一個(gè)三至五狀態(tài)的hmm, 一個(gè)詞就是構(gòu)成詞的多個(gè)音索的hmm串 行起來(lái)構(gòu)成的hmm,而連續(xù)語(yǔ)咅識(shí)別的整個(gè)模型就是詞和靜咅組合起來(lái)的hmm。上下文 相關(guān)建模：協(xié)同發(fā)音，指的是一個(gè)音受前后相鄰音的影響而發(fā)生變化，從發(fā)聲機(jī)理上看就是 人的發(fā)聲器官在一個(gè)音轉(zhuǎn)向另一個(gè)音時(shí)其特性只能漸變

10、，從而使得后一個(gè)音的頻譜與其他條 件下的頻譜產(chǎn)生差片。上下文和關(guān)建模方法在建模時(shí)考慮了這一影響，從而使模型能更準(zhǔn)確 地描述語(yǔ)音，只考慮前一音的影響的稱為bi- phone，考慮前一音和后一音的影響的稱為 tri-phoneo英語(yǔ)的上下文相關(guān)建模通常以音索為基元，由于冇些音索對(duì)其后音索的影響是相似的， 因而可以通過(guò)咅素解碼狀態(tài)的聚類進(jìn)行模型參數(shù)的共享。聚類的結(jié)果稱為senoneo決策樹用 來(lái)實(shí)現(xiàn)高效的triphone対senone的対應(yīng)，通過(guò)回答一-系列前后音所屬類別（元/輔音、清/濁 音等等）的問題，最終確定其hmm狀態(tài)應(yīng)使用哪個(gè)senoneo分類回歸樹cart模型用以 進(jìn)行詞到音素的發(fā)音標(biāo)注

11、。編輯本段語(yǔ)言模型語(yǔ)言模型主要分為規(guī)則模型和統(tǒng)計(jì)模型兩種。統(tǒng)計(jì)語(yǔ)言模型是用概率統(tǒng)計(jì)的方法來(lái)揭示 語(yǔ)言單位內(nèi)在的統(tǒng)計(jì)規(guī)律，其中n-gram簡(jiǎn)單有效，被廣泛使用。ngram：該模型基于這樣-刑假設(shè)，第n個(gè)詞的出現(xiàn)只與前面n-1個(gè)詞相關(guān)，而與其 它任何詞都不相關(guān)，整句的概率就是各個(gè)詞出現(xiàn)概率的乘積。這些概率可以通過(guò)直接從語(yǔ)料 屮統(tǒng)計(jì)n個(gè)詞同時(shí)出現(xiàn)的次數(shù)得到。常用的是二元的bi-gram和三元的tri-gramo語(yǔ)言模空的性能通常用交義嫡和復(fù)雜度(perplexity)來(lái)衡量。交叉爛的意義是用該模 型對(duì)文本識(shí)別的難度，或者從壓縮的角度來(lái)看，每個(gè)詞平均要用幾個(gè)位來(lái)編碼。復(fù)雜度的意 義是用該模型表示這一文

12、木平均的分支數(shù)，其倒數(shù)可視為每個(gè)詞的平均概率。平滑是指對(duì)沒 觀察到的n元組合賦了一個(gè)概率值，以保證詞序列總能通過(guò)語(yǔ)言模型得到一個(gè)概率值。通 常使用的平滑技術(shù)有圖靈估計(jì)、刪除插值平滑、katz平滑和kneser-ney平滑。編輯本段搜索連續(xù)語(yǔ)音識(shí)別屮的搜索，就是尋找一個(gè)詞模型序列以描述輸入語(yǔ)音信號(hào)，從而得到詞解 碼序列。搜索所依據(jù)的是對(duì)公式屮的聲學(xué)模型打分和語(yǔ)言模型打分。在實(shí)際使用中，往往要 依據(jù)經(jīng)驗(yàn)給語(yǔ)言模型加上一個(gè)高權(quán)重，并設(shè)置一個(gè)長(zhǎng)詞懲罰分?jǐn)?shù)。viterbi：基于動(dòng)態(tài)規(guī)劃的viterbi算法在每個(gè)吋i'可點(diǎn)上的各個(gè)狀態(tài)，計(jì)算解碼狀態(tài)序列對(duì) 觀察序列的后驗(yàn)概率，保留概率最大的路徑，并

13、在每個(gè)節(jié)點(diǎn)記錄下相應(yīng)的狀態(tài)信息以便授后 反向獲取詞解碼序列。viterbi算法在不喪失最優(yōu)解的條件下，同時(shí)解決了連續(xù)語(yǔ)音識(shí)別屮 hmm模型狀態(tài)序列與聲學(xué)觀察序列的非線性時(shí)間對(duì)準(zhǔn)、詞邊界檢測(cè)和詞的識(shí)別，從而使這 一算法成為語(yǔ)音識(shí)別捜索的基木策略。由于語(yǔ)音識(shí)別對(duì)當(dāng)前時(shí)間點(diǎn)之后的情況無(wú)法預(yù)測(cè)，基于1=1標(biāo)函數(shù)的啟發(fā)式剪枝難以應(yīng) 用。山于viterbi 法的時(shí)齊特性，同一時(shí)刻的各條路徑對(duì)應(yīng)于同樣的觀察序列，因而具有 可比性，束beam搜索在每一時(shí)刻只保陽(yáng)概率最大的前若干條路徑，大幅度的剪枝提高了搜 索的效率。這一時(shí)齊viterbi- beam算法是當(dāng)前語(yǔ)音識(shí)別搜索屮最有效的算法。nbest搜索 和多遍

14、搜索：為在搜索中利用各種知識(shí)源，通常要進(jìn)行多遍搜索，第一遍使用代價(jià)低的知識(shí) 源，產(chǎn)生一個(gè)候選列表或詞候選網(wǎng)格，在此基礎(chǔ)上進(jìn)行便用代價(jià)高的知識(shí)源的第二遍搜索得 到最佳路徑。此前介紹的知識(shí)源有聲學(xué)模型、語(yǔ)言模型和音標(biāo)詞典，這些可以用于笫一遍搜 索。為實(shí)現(xiàn)更高級(jí)的語(yǔ)音識(shí)別或口語(yǔ)理解，往往耍利用一些代價(jià)更高的知識(shí)源，如4階或5 階的ngmm、4階或更高的上下文和關(guān)模型、詞間相關(guān)模型、分段模型或語(yǔ)法分析，進(jìn)行 重新打分。最新的實(shí)時(shí)大詞表連續(xù)語(yǔ)音識(shí)別系統(tǒng)許多都使用這種多遍搜索策略。n-best搜索產(chǎn)生一個(gè)候選列表，在每個(gè)節(jié)點(diǎn)耍保留n條最好的路徑，會(huì)使計(jì)算復(fù)雜度 增加到n倍。簡(jiǎn)化的做法是只保留每個(gè)節(jié)點(diǎn)的若干

15、詞候選，但可能丟失次優(yōu)候選。一個(gè)折 衷辦法是只考慮兩個(gè)詞長(zhǎng)的路徑，保留k條。詞候選網(wǎng)格以一種更緊湊的方式給出多候選, 對(duì)n-best搜索算法作相應(yīng)改動(dòng)后可以得到牛成候選網(wǎng)格的算法。前向后向搜索算法是一個(gè)應(yīng)用多遍搜索的例子。當(dāng)應(yīng)用簡(jiǎn)單知識(shí)源進(jìn)行了前向的viterbi 搜索后，搜索過(guò)程屮得到的前向概率恰恰可以用在后向搜索的1=1標(biāo)函數(shù)的計(jì)算屮，因而可以 使用啟發(fā)式的a算法進(jìn)行后向搜索，經(jīng)濟(jì)地搜索岀n條候選。編輯本段系統(tǒng)實(shí)現(xiàn)語(yǔ)音識(shí)別系統(tǒng)選擇識(shí)別基元的要求是，有準(zhǔn)確的定義，能得到足夠數(shù)據(jù)進(jìn)行訓(xùn)練，貝有 一般性。英語(yǔ)通常采用上下文相關(guān)的音索建模，漢語(yǔ)的協(xié)同發(fā)音不如英語(yǔ)嚴(yán)璽，可以采用音 節(jié)建模。系統(tǒng)所需的

16、訓(xùn)練數(shù)據(jù)人小與模型復(fù)雜度存關(guān)。模型設(shè)計(jì)得過(guò)于復(fù)雜以至于超出了所 提供的訓(xùn)練數(shù)據(jù)的能力，會(huì)使得性能急劇下降。聽寫機(jī)：大詞匯量、非特定人、連續(xù)語(yǔ)音識(shí)別系統(tǒng)通常稱為聽寫機(jī)。其架構(gòu)就是建立在 前述聲學(xué)模型和語(yǔ)言模型基礎(chǔ)上的hmm拓?fù)浣Y(jié)構(gòu)。訓(xùn)練時(shí)對(duì)每個(gè)基元用前向后向算法獲得 模型參數(shù)，識(shí)別時(shí)，將基元串接成詞，詞間加上靜音模型并引入語(yǔ)言模型作為詞間轉(zhuǎn)移概率, 形成循環(huán)結(jié)構(gòu)，用viterbi算法進(jìn)行解碼。針對(duì)漢語(yǔ)易于分割的特點(diǎn)，先進(jìn)行分割再對(duì)每一 段進(jìn)行解碼，是用以提高效率的一個(gè)簡(jiǎn)化方法。對(duì)話系統(tǒng)：川于實(shí)現(xiàn)人機(jī)口語(yǔ)對(duì)話的系統(tǒng)稱為對(duì)話系統(tǒng)。受目前技術(shù)所限，對(duì)話系統(tǒng)往 往是面向一個(gè)狹窄領(lǐng)域、詞匯屋冇限的系統(tǒng)，英

17、題材冇旅游查詢、訂票、數(shù)據(jù)庫(kù)檢索等等。 其前端是一個(gè)語(yǔ)咅識(shí)別器，識(shí)別產(chǎn)生的nbest候選或詞候選網(wǎng)格，由語(yǔ)法分析器進(jìn)行分析 獲収語(yǔ)義信息，再山對(duì)話管理器確定應(yīng)答信息，山語(yǔ)音合成器輸出。山于目前的系統(tǒng)往往詞 匯量有限，也可以用提取關(guān)鍵詞的方法來(lái)獲取語(yǔ)義信息。編輯木段自適應(yīng)與強(qiáng)健性語(yǔ)音識(shí)別系統(tǒng)的性能受許多因素的影響，包括不同的說(shuō)話人、說(shuō)話方式、環(huán)境噪音、傳 輸信道等等。提高系統(tǒng)魯棒性，是要提高系統(tǒng)克服這些因素影響的能力，使系統(tǒng)在不同的應(yīng) 用環(huán)境、條件下性能穩(wěn)定；自適應(yīng)的目的，是根據(jù)不同的影響來(lái)源，自動(dòng)地、有針對(duì)性地対 系統(tǒng)進(jìn)行調(diào)整，在使用屮逐步捉高性能。以卜對(duì)影響系統(tǒng)性能的不同因索分別介紹解決辦法

18、。解決辦法按針對(duì)語(yǔ)音特征的方法（以下稱特征方法）和模型調(diào)整的方法（以下稱模型方 法）分為兩類。前者需要尋找更好的、高魯棒性的特征參數(shù)，或是在現(xiàn)冇的特征參數(shù)基礎(chǔ)上, 加入一些特定的處理方法。后者是利用少量的口適應(yīng)語(yǔ)料來(lái)修正或變換原有的說(shuō)話人無(wú)關(guān) （si）模型，從而使其成為說(shuō)話人自適應(yīng)（sa）模型。說(shuō)話人白適應(yīng)的特征方法有說(shuō)話人規(guī)一化和說(shuō)話人子空間法，模型方法有貝葉斯方法、 變換法和模型合并法。語(yǔ)音系統(tǒng)中的噪聲，包括環(huán)境噪聲和錄音過(guò)程加入的電了噪聲。提高系統(tǒng)魯棒性的特征 方法包括語(yǔ)音增強(qiáng)和尋找對(duì)噪聲干擾不敏感的特征，模型方法有并行模型組合pmc方法和 在訓(xùn)練中人為加入噪聲。信道畸變包括錄音時(shí)話筒的距離、使用不同靈敏度的話筒、不同增 益的前置放大和不同的濾波器設(shè)計(jì)等等。特征方法有從倒譜矢量中減去其長(zhǎng)時(shí)平均值和 rasta濾波，模型方法有倒譜平移。編輯木段微軟語(yǔ)音識(shí)別引擎微軟在office和vist