【畢業(yè)學(xué)位論文】面向智能服務(wù)機(jī)器人的非特定人交互口令語(yǔ)音識(shí)別系統(tǒng)研究-軟件工程

北京大學(xué) 碩士學(xué)位論文 面向智能服務(wù)機(jī)器人的非特定人交互口令語(yǔ)音識(shí)別系統(tǒng)研究 圳研究生院信息工程學(xué)院 智能機(jī)器人開放實(shí)驗(yàn)室 2009 年 5 月 I 摘 要 隨著科學(xué)的發(fā)展和計(jì)算機(jī)的普及，人們對(duì)于計(jì)算機(jī)的交流方式提出了更高的要求，這就促進(jìn)了語(yǔ)音識(shí)別技術(shù)的發(fā)展，并使之成為語(yǔ)音處理領(lǐng)域中的一個(gè)重要研究方向。 語(yǔ)音識(shí)別技術(shù) 就是讓機(jī)器能夠通過(guò)識(shí)別和理解過(guò)程把 語(yǔ)音信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng)的文本或命令的高技術(shù)。近 二十年來(lái)，語(yǔ)音識(shí)別技術(shù)取得顯著進(jìn)步，已經(jīng)開始從實(shí)驗(yàn)室走向市場(chǎng)， 在 智能家居與智能機(jī)器人產(chǎn)品中得到 應(yīng)用。 本文致力于對(duì)語(yǔ)音識(shí)別技術(shù)的基礎(chǔ)研究，采用基于模板匹配方法的動(dòng)態(tài)時(shí)間規(guī)整（ 法實(shí)現(xiàn)了 面向智能服務(wù)機(jī)器人的非特定人交互口令 識(shí)別 系統(tǒng) 。 在實(shí)驗(yàn)室的環(huán)境下， 成功 實(shí)現(xiàn)了 基于該平臺(tái) 的 人機(jī)問(wèn)答 交互 系統(tǒng) 。人機(jī) 交互 口令 識(shí)別系統(tǒng)，不同于 上的系 統(tǒng)，這需要考慮實(shí)用化中的人機(jī)安全性，一旦遇到易于混淆的單詞，就 可能 帶來(lái)意想不到的后果。因此，從大量預(yù)設(shè)詞匯表中篩選適應(yīng)性、魯棒性較強(qiáng)的單詞對(duì)于系統(tǒng)來(lái)說(shuō)至關(guān)重要。 本文通過(guò) 實(shí)驗(yàn)數(shù)據(jù)分析 和手工篩選 ，挑選出了 30 個(gè)較合適的單詞作為詞表 ，同時(shí)再次驗(yàn)證系統(tǒng)的可靠程度。在非特定人方面，本文提出了一種采用總體均值和方差信息相結(jié)合的方法，來(lái)解決不同說(shuō)話人的語(yǔ)音模板訓(xùn)練問(wèn)題，較以往方法 的 正確識(shí)別率有所提升。同時(shí)，該方法 還用于 處理 易 混淆的單詞誤識(shí)別問(wèn)題，根據(jù)樣本集訓(xùn)練得到的方差信息，來(lái)判定接受還是拒絕識(shí)別結(jié)果，如果拒絕識(shí)別結(jié)果，則選擇次小匹配距離對(duì)應(yīng)的模板作為修正識(shí)別結(jié)果，進(jìn)而提高系統(tǒng)的單詞正確識(shí)別率，其中應(yīng)用了 實(shí) 用多元統(tǒng)計(jì)分析中的最大似然估計(jì)方法。 此外， 本文 借助于 微軟提供的 發(fā)了在線實(shí)時(shí)語(yǔ)音采集 程序，實(shí)現(xiàn)了人機(jī)在線實(shí)時(shí)交互。 關(guān)鍵詞：語(yǔ)音識(shí)別，孤立詞，非特定人， 人機(jī)口令交互 北京大學(xué) 碩士學(xué)位論文 面向智能服務(wù)機(jī)器人的非特定人交互口令語(yǔ)音識(shí)別系統(tǒng)研究 圳研究生院信息工程學(xué)院 智能機(jī)器人開放實(shí)驗(yàn)室 2009 年 5 月 on of of it a in of is a or in of to in is to of It to of in Its C in it is to in 0 as it in As a is to is on of it be to of as to to or is to be if to is as it to 京大學(xué) 碩士學(xué)位論文 面向智能服務(wù)機(jī)器人的非特定人交互口令語(yǔ)音識(shí)別系統(tǒng)研究 圳研究生院信息工程學(xué)院 智能機(jī)器人開放實(shí)驗(yàn)室 2009 年 5 月 In is in an in it is in is ab 京大學(xué) 碩士學(xué)位論文 面向智能服務(wù)機(jī)器人的非特定人交互口令語(yǔ)音識(shí)別系統(tǒng)研究 圳研究生院信息工程學(xué)院 智能機(jī)器人開放實(shí)驗(yàn)室 2009 年 5 月 目 錄 摘 要 . I . 錄 . 標(biāo)索引 . I 第一章 概 述 . 1 義 . 1 展和現(xiàn)狀 . 3 外現(xiàn)狀 . 3 內(nèi)現(xiàn)狀 . 5 究和應(yīng)用中面臨的難題 . 6 文的主要工作與內(nèi)容安排 . 9 第二章 基本理論 . 11 音識(shí)別原理與系統(tǒng)組成 . 11 音信號(hào)的數(shù)字化和預(yù)處理 . 12 音采樣 . 12 加重 . 12 幀加窗 . 14 點(diǎn)檢測(cè) . 16 時(shí)能量 . 17 時(shí)平均過(guò)零率 . 18 雙門限 檢測(cè)算法 . 20 真實(shí)驗(yàn)結(jié)果 . 23 音參數(shù)分析 . 23 性預(yù)測(cè)倒譜系數(shù) （ . 24 率倒譜系數(shù)（ . 26 性預(yù)測(cè)倒譜系數(shù)和 率倒譜系數(shù)的比較 . 27 第三章 動(dòng)態(tài)時(shí)間規(guī)整算法 . 28 本原理 . 29 徑搜索策略 . 31 離測(cè)度 . 34 徑搜索與查找路徑節(jié)點(diǎn)具體實(shí)現(xiàn) . 35 第四章 孤立詞非特定人語(yǔ)音識(shí)別系統(tǒng)策略 . 39 板訓(xùn)練算法 . 39 然模板訓(xùn)練法 . 39 棒模板訓(xùn)練法 . 39 類訓(xùn)練方法 . 42 文系統(tǒng)的模板訓(xùn)練方法 . 43 音拒絕識(shí)別處理 . 44 絕識(shí)別處理的必要性 . 44 北京大學(xué) 碩士學(xué)位論文 面向智能服務(wù)機(jī)器人的非特定人交互口令語(yǔ)音識(shí)別系統(tǒng)研究 圳研究生院信息工程學(xué)院 智能機(jī)器人開放實(shí)驗(yàn)室 2009 年 5 月 V 統(tǒng)的拒絕識(shí)別方法設(shè)計(jì) . 45 第五章 系統(tǒng)實(shí)現(xiàn)與分析 . 47 音交互系統(tǒng)設(shè)計(jì)方案及其圖形界面展示 . 47 驗(yàn)平臺(tái)介紹 . 50 件平臺(tái) . 50 件平臺(tái) . 50 據(jù)采集和語(yǔ)音數(shù)據(jù)庫(kù)設(shè)計(jì) . 52 加語(yǔ)音提示功能 . 53 線實(shí)時(shí)采集語(yǔ)音程序設(shè)計(jì)方案 . 53 數(shù)介紹 . 54 儲(chǔ)區(qū)的設(shè)計(jì) . 56 序設(shè)計(jì)流程 . 58 于 法的實(shí)驗(yàn)與分析 . 58 第六章 總結(jié)與展望 . 63 參與的項(xiàng)目與發(fā)表的論文 . 65 致 謝 . 66 參考文獻(xiàn) . 67北京大學(xué) 碩士學(xué)位論文 面向智能服務(wù)機(jī)器人的非特定人交互口令語(yǔ)音識(shí)別系統(tǒng)研究 圳研究生院信息工程學(xué)院 智能機(jī)器人開放實(shí)驗(yàn)室 2009 年 5 月 I 圖標(biāo)索引 圖 與人之間、人與機(jī)器之間的語(yǔ)音通信過(guò)程 . 1 圖 音識(shí)別技術(shù)的實(shí)際應(yīng)用和學(xué)科基礎(chǔ) . 2 圖 音識(shí)別技術(shù)發(fā)展歷史中的重要事件 . 4 圖 文語(yǔ)音識(shí)別系統(tǒng) . 5 圖 音識(shí)別過(guò)程基本流程圖 . 11 圖 語(yǔ) 北京大學(xué) 的時(shí)域波形圖 . 13 圖 形窗函數(shù)的時(shí)域和頻域波形圖 . 15 圖 函數(shù)的時(shí)域和頻域波形圖 . 16 表 形窗與漢明窗在形狀方面的比較 . 16 圖 語(yǔ)短語(yǔ) 早上好 的時(shí)域波形圖和短時(shí)能量譜 . 18 圖 語(yǔ)短語(yǔ) 舉手檢測(cè) 的平均過(guò)零率的計(jì)算結(jié)果 . 20 圖 門限法端點(diǎn)檢測(cè)的主程序流程圖 . 21 圖 信進(jìn)入語(yǔ)音段后 程序流圖 . 22 圖 能進(jìn)入語(yǔ)音段的程序流圖 . 23 圖 語(yǔ)短語(yǔ) 機(jī)器人 雙閾值算法端點(diǎn)檢測(cè)結(jié)果 . 24 圖 類的發(fā)聲器官 . 25 圖 音識(shí)別基本原理框圖 . 28 圖 態(tài)時(shí)間規(guī)整（ 法求最小失真 . 30 圖 法路徑搜索范圍的限制 . 32 圖 種典型的局部路徑約束 . 33 圖 舉手檢測(cè) 時(shí)域波形圖及其端點(diǎn)檢測(cè)結(jié)果 . 35 圖 舉手檢測(cè) 時(shí)域波形圖及其端點(diǎn)檢測(cè)結(jié)果 . 36 圖 于 態(tài)規(guī)劃算法的路徑搜索結(jié)果 . 36 圖 于 法的路徑搜索策略實(shí)現(xiàn)，得到累積匹配距離矩陣 . 37 圖 溯法尋找最優(yōu)路徑的節(jié)點(diǎn) . 38 表 設(shè)詞表的單詞正確識(shí)別結(jié)果 . 40 表 用魯棒模板訓(xùn)練法的特定人孤立詞語(yǔ)音識(shí)別結(jié)果， . 41 圖 03 個(gè)詞語(yǔ)正確識(shí)別率的頻數(shù)分布直方圖 . 41 圖 板訓(xùn)練過(guò)程中方差信息的重要性 . 44 圖 本數(shù)據(jù)方差信息 的訓(xùn)練 . 45 圖 絕識(shí)別結(jié)果并修正識(shí)別結(jié)果的程序流程圖 . 46 圖 定義的五種表情 高興 、 憤怒 、 失望 、 微笑 、 驚訝 . 47 圖 十屆中國(guó)國(guó)際高新技術(shù)成果交易會(huì)展示 . 48 圖 能交互機(jī)器人 鵬鵬 系統(tǒng)總流程圖 . 48 圖 音交互系統(tǒng)總結(jié)構(gòu)圖 . 49 表 克風(fēng)參數(shù) . 50 圖 司的無(wú)線麥克風(fēng) . 51 圖 能交互機(jī)器人 I 型 和 . 51 表 設(shè)的單詞表，共 103 個(gè)單詞 . 52 北京大學(xué) 碩士學(xué)位論文 面向智能服務(wù)機(jī)器人的非特定人交互口令語(yǔ)音識(shí)別系統(tǒng)研究 圳研究生院信息工程學(xué)院 智能機(jī)器人開放實(shí)驗(yàn)室 2009 年 5 月 圖 . 54 圖 . 54 圖 構(gòu)體 . 55 圖 構(gòu) . 55 圖 調(diào)函數(shù)： . 56 圖 音緩沖區(qū)的存儲(chǔ)結(jié)構(gòu) . 56 圖 音數(shù)據(jù)區(qū)的存儲(chǔ)結(jié)構(gòu) . 57 圖 幀緩沖區(qū)的存儲(chǔ)結(jié)構(gòu) . 57 圖 線實(shí)時(shí)語(yǔ)音采集程序設(shè)計(jì)流程圖 . 58 表 設(shè)詞表的單詞正確識(shí)別結(jié)果 . 59 表 過(guò) 挑選 后的語(yǔ)音數(shù)據(jù)庫(kù)詞表 . 59 表 使用方差信息和使用方差信息單詞平均正確識(shí)別率對(duì)比 . 60 圖 03 個(gè)詞語(yǔ)正確識(shí)別率的頻數(shù)分布直方圖 . 60 圖 話人 帶噪語(yǔ)音 語(yǔ)音識(shí)別 . 61 圖 用方差信息和不使用方差信息的每個(gè)單詞的識(shí)別結(jié)果比較 . 61 圖 用方差信息和未使用方差信息的每個(gè)說(shuō)話者的識(shí)別結(jié)果比較 . 62 北京大學(xué) 碩士學(xué)位論文 面向智能服務(wù)機(jī)器人的非特定人交互口令語(yǔ)音識(shí)別系統(tǒng)研究 圳研究生院信息工程學(xué)院 智能機(jī)器人開放實(shí)驗(yàn)室 2009 年 5 月 1 第一章 概 述 義 我們智能機(jī)器人開放實(shí)驗(yàn)室的當(dāng)前課題是搭載一個(gè)具有視覺(jué)、聽覺(jué)以及自主路徑規(guī)劃能力的智能型交互機(jī)器人系統(tǒng)。如此一個(gè)智能的人機(jī)交互系統(tǒng)，聽覺(jué)模塊必不可少，其功能猶如一個(gè)人的耳朵，可以接收外來(lái)的聲音（主要是人的語(yǔ)音），經(jīng)過(guò)加工處理，辨識(shí)并理解語(yǔ)義，從而能夠自主判斷給與反饋。 與機(jī)器 人 進(jìn)行語(yǔ)音交流，讓機(jī)器 人 明白你 在 說(shuō)什么，這是人類夢(mèng)寐以求的事情。語(yǔ)音識(shí)別技術(shù)就是讓機(jī)器通過(guò)識(shí)別和理解 的 過(guò)程， 把語(yǔ)音信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng)的文本或命令的 技術(shù)。 圖 示的是人與人之間、人與機(jī)器之間語(yǔ)音通信 過(guò)程的對(duì)比示意圖。 語(yǔ)言形成發(fā)音認(rèn)識(shí)理解收聽文本解析語(yǔ)音合成語(yǔ)音識(shí)別語(yǔ)音理解傳 輸 系 統(tǒng)（ 編 碼 、 解 碼 ）空 間 傳 播I I 人 ）文章輸入（ 機(jī) 器 ）行動(dòng)計(jì)算機(jī)處理I ： 第 一 類 人 機(jī) 語(yǔ) 音通 信 問(wèn) 題I I ： 第 二 類 人 機(jī) 語(yǔ) 音通 信 問(wèn) 題說(shuō) 話 方 收 聽 方人 與 人 之 間 的 語(yǔ) 音 通 信圖 與人之間、人與機(jī)器之間的語(yǔ)音通信過(guò)程 音識(shí)別是一門交叉學(xué)科， 近二十 年來(lái)，語(yǔ)音識(shí)別技術(shù)取得顯著進(jìn)步，開始從實(shí)驗(yàn)室走向市場(chǎng) ,如圖 示 。在 未來(lái) 10 年內(nèi)，語(yǔ)音識(shí)別技術(shù)將在工業(yè)、家電、通信、汽車電子、醫(yī)療、家庭服務(wù)、消費(fèi)電子產(chǎn)品等各個(gè)領(lǐng)域占據(jù)重要地位。 語(yǔ)音識(shí)別聽寫機(jī)在一些領(lǐng)域的應(yīng)用被美國(guó)新聞界評(píng)為 1997 年計(jì)算機(jī)發(fā)展十件北京大學(xué) 碩士學(xué)位論文 面向智能服務(wù)機(jī)器人的非特定人交互口令語(yǔ)音識(shí)別系統(tǒng)研究 圳研究生院信息工程學(xué)院 智能機(jī)器人開放實(shí)驗(yàn)室 2009 年 5 月 2 大事之一。很多專家都認(rèn)為語(yǔ)音識(shí)別技術(shù)是 2000 年至 2010 年間信息技術(shù)領(lǐng)域十大重要的科技發(fā)展技術(shù)之一。在電話與通信系統(tǒng)中，智能語(yǔ)音接口正在把電話機(jī)從一個(gè)單純的服務(wù)工具變成為一個(gè)服務(wù)的 提供者 和生活 伙伴 ；使用電話與通信網(wǎng)絡(luò)，人們可以通過(guò)語(yǔ)音命令方便地從遠(yuǎn)端的數(shù)據(jù)庫(kù)系統(tǒng)中查詢與提取有關(guān)的信息；隨著計(jì)算機(jī)的小型化，鍵盤已經(jīng)成為移動(dòng)平臺(tái)的一個(gè)很大障礙，想象一下如果手機(jī)僅僅只有一個(gè)手表那么大，再用鍵盤進(jìn)行撥號(hào)操作已經(jīng)是不可能的。語(yǔ)音識(shí)別正逐步 成為信息技術(shù)領(lǐng)域中 人機(jī)接口的關(guān)鍵技術(shù)，語(yǔ)音識(shí)別技術(shù)與語(yǔ)音合成技術(shù)的結(jié)合使人們能夠甩掉鍵盤，通過(guò)語(yǔ)音命令進(jìn)行操作。語(yǔ)音技術(shù)的應(yīng)用已經(jīng)成為一個(gè)具有競(jìng)爭(zhēng)性的新興高技術(shù)產(chǎn)業(yè)。 圖 音識(shí)別 技術(shù) 的實(shí)際應(yīng)用和學(xué)科基礎(chǔ) he of 音識(shí)別技術(shù)發(fā)展到今天，特別是中小詞匯量、非特定人的語(yǔ)音識(shí)別系統(tǒng)，其識(shí)別精度已經(jīng)大于 98%，對(duì)特定人語(yǔ)音識(shí)別系統(tǒng)的識(shí)別精度就更高。這些技術(shù)已經(jīng)能夠滿足通常應(yīng)用的要求。由于大規(guī)模集成電路技術(shù)的發(fā)展，這些復(fù)雜的語(yǔ)音識(shí)別系統(tǒng)也已經(jīng)完全可以制成專用芯片，大量生產(chǎn)。在西方經(jīng)濟(jì)發(fā)達(dá)國(guó)家，大量的語(yǔ)音識(shí)別產(chǎn)品已經(jīng)進(jìn)入市場(chǎng)和服務(wù)領(lǐng)域。一些 電話機(jī)、手機(jī)已經(jīng)包含 了語(yǔ)音撥號(hào) 功能， 語(yǔ)音記事本、語(yǔ)音智能玩具等 產(chǎn)品也包括語(yǔ)音識(shí)別與語(yǔ)音合成功能。人們可以通過(guò)電話網(wǎng)絡(luò)用口語(yǔ)對(duì)話系統(tǒng)查詢有關(guān)的機(jī)票、旅游和 銀行信息，并且取得很好的結(jié)果。調(diào)查統(tǒng)計(jì)表明多達(dá) 85%以上的人對(duì)語(yǔ)音識(shí)別的信息查詢服務(wù)系北京大學(xué) 碩士學(xué)位論文 面向智能服務(wù)機(jī)器人的非特定人交互口令語(yǔ)音識(shí)別系統(tǒng)研究 圳研究生院信息工程學(xué)院 智能機(jī)器人開放實(shí)驗(yàn)室 2009 年 5 月 3 統(tǒng)的性能表示滿意。 可以 想象 ，五到十年以后語(yǔ)音識(shí)別系統(tǒng)的應(yīng)用會(huì) 更加廣泛。各式各樣的語(yǔ)音識(shí)別系統(tǒng)產(chǎn)品將出現(xiàn)在市場(chǎng)上。人們也將調(diào)整自己的說(shuō)話方式以適應(yīng)各種各樣的識(shí)別系統(tǒng)。 當(dāng)然，在短期內(nèi)設(shè)計(jì) 出具有和人相比擬的語(yǔ)音識(shí)別系統(tǒng) ，仍然是人類面臨的一個(gè)大 挑戰(zhàn)，我們只能在語(yǔ)音識(shí)別系統(tǒng)的研究中逐步前進(jìn)。至于什么時(shí)候可以建立一個(gè)像人一樣完善的語(yǔ)音識(shí)別系統(tǒng)則是很難預(yù)測(cè)的。就像在 60 年代 ，誰(shuí)又能預(yù)測(cè)今天超大規(guī)模集成電路技術(shù)會(huì)對(duì)我們的社會(huì)產(chǎn)生這么大的影響。 展和現(xiàn)狀 外現(xiàn)狀 語(yǔ)音識(shí)別的研究工作可以追溯到 20 世紀(jì) 50 年代 貝爾實(shí)驗(yàn)室的 統(tǒng)，它是第一個(gè)可以識(shí)別十個(gè)英文數(shù)字的語(yǔ)音識(shí)別系統(tǒng) 1。 但真正取得實(shí)質(zhì)性進(jìn)展，并將其作為一個(gè)重要的課題開展研究則是在 60 年代末 70 年代初。這首先是因?yàn)橛?jì)算機(jī)技術(shù)的發(fā)展為語(yǔ)音識(shí)別的實(shí)現(xiàn)提供了軟硬件平臺(tái)，更重要的是語(yǔ)音信號(hào)線性預(yù)測(cè)編碼（ 術(shù)和動(dòng)態(tài)時(shí)間規(guī)整（ 術(shù)的提出，有效的解決了語(yǔ)音信號(hào)的特征提取和不等時(shí)長(zhǎng) 匹配問(wèn)題。這一時(shí)期的語(yǔ)音識(shí)別主要基于模板匹配原理，研究的領(lǐng)域局限在特定人、小詞匯表的孤立詞識(shí)別，實(shí)現(xiàn)了基于線性預(yù)測(cè)倒譜（ 術(shù)的特定人孤立詞語(yǔ)音識(shí)別系統(tǒng)；同時(shí)提出了矢量量 化（ 隱馬爾可夫模型（ 論。 如圖 示，展示了語(yǔ)音識(shí)別技術(shù)發(fā)展歷史中的重要事件 2。 隨著應(yīng)用領(lǐng)域的擴(kuò)大，小詞匯表、特定人、孤立詞等這些對(duì)語(yǔ)音識(shí)別的約束條件需要放寬，與此同時(shí)也帶來(lái)了許多新的問(wèn)題： 第一，詞匯表的擴(kuò)大使得模板的選取和建立發(fā)生困難； 第二，連續(xù)語(yǔ)音中，各個(gè)音素、音節(jié)以及詞之間沒(méi)有明顯的邊界，各個(gè)發(fā)音單位存在受上下文強(qiáng)烈影響的協(xié)同發(fā)音（ 象； 第三，非特定人識(shí)別時(shí)，不同的人說(shuō)相同的話相應(yīng)的聲學(xué)特征有很大的差異，即使相同的人在不同的時(shí)間、生理、心理狀態(tài)下，說(shuō)同樣內(nèi)容的話也會(huì)有很大的北京大學(xué) 碩士學(xué)位論文 面向智能服務(wù)機(jī)器人的非特定人交互口令語(yǔ)音識(shí)別系統(tǒng)研究 圳研究生院信息工程學(xué)院 智能機(jī)器人開放實(shí)驗(yàn)室 2009 年 5 月 4 差異； 第四， 待識(shí)別的語(yǔ)音中有背景噪聲或其他干擾， 因此原有的模板匹配方法已不再適用。 1 9 5 01 9 6 01