【畢業(yè)學(xué)位論文】大規(guī)模目標(biāo)說話人檢測關(guān)鍵技術(shù)研究-計算機(jī)科學(xué)與技術(shù)系博士論文

大規(guī)模目標(biāo)說話人檢測關(guān)鍵技術(shù)研究 王 剛 in of 2011 摘 要 I 摘 要 為提高大規(guī)模目標(biāo)說話人檢測的性能，本論文針對多說話人分割問題和快速辨認(rèn)問題進(jìn)行了研究，主要工作包括： 1 提出基于參考說話人模型的距離度量算法 。為提高在分析窗寬較短情況下兩窗語音之間距離度量的穩(wěn)定性，本文提出了基于參考說話人模型的距離度量算法。該算法 不需要將窗內(nèi)語音訓(xùn)練成模型，避免了數(shù)據(jù)較少、模型不精確對距離度量的影響， 利用兩窗語音分別與 參考說話人模 型之間的差異性來度量兩窗語音之間的距離。 與傳統(tǒng)的 法相比， 在 002 新聞采訪語音庫 漏檢率相對下降 電話交談?wù)Z音庫 漏檢率相對下降 2 提出基于音素識別和文本相關(guān)的說話人分割算法 ?？紤]到在較短語音下文本相關(guān)說話人識別好于文本無關(guān)說話人識別的原因在于文本相關(guān)信息的充分利用，提出通過 音素識別技術(shù)獲取音素這樣的相關(guān)文本信息，以此進(jìn)行文本相關(guān)的說話人識別的思路。 在 據(jù)庫上， 與 基于參考說話人模型的分割算法相比，漏檢率相對下降 3 提出 基于類純度約束的說話人聚類算法 。為減輕分割后單說話人語音段長度過短對后續(xù)的說話人識別性能的影響，提出基于類純度約束的說話人聚類算法。該算法借助參考說話人信息計算語音段之間的距離，以類內(nèi)離散度最小、類純度最大為準(zhǔn)則，降低了不同說話人的語音被聚到同一類內(nèi)的可能性。在 006 數(shù)據(jù)庫上，在 語音段平均長度分別為 2 秒、 5 秒和 8 秒的條件下 ，與傳統(tǒng)的法比較，有效類語音的比例分別 提高了 目標(biāo)說話人檢測的召回率分別提高了 4 提出基于參 考說話人和雙層結(jié)構(gòu)的說話人快速辨認(rèn)算法 。 目標(biāo)說話人越多，說話人辨認(rèn)所需要的時間越長，因此，大規(guī)模目標(biāo)說話人辨認(rèn)任務(wù)中辨認(rèn)速度是必須面對的、極其關(guān)鍵的問題。為此，本文提出利用 參考說話人度量待辨認(rèn)語音與目標(biāo)說話人之間的相似程度，并進(jìn)一步利用雙層結(jié)構(gòu)進(jìn)行剪枝以提高辨認(rèn)速度的算法。在基于 構(gòu)的說話人辨認(rèn)系統(tǒng)中，與傳統(tǒng)的 法相比，運算時間降低了 辨認(rèn)正確率提高 關(guān)鍵詞： 大規(guī)模；說話人檢測； 說話人分割 ； 說話人聚類；快速辨認(rèn) I on on to of It 1 To of a is in no is by of a 002 002 2 it is is an to is is in a DR on 3 To on of to of a on is SM is to as as as It of by II On 006 AC 5 in be 4 SM a It is of be is a in To an SM to is a to to MC a an of 錄 錄 第 1 章 緒論 . 1 大規(guī)模目標(biāo)說話人檢測技術(shù)概述 . 1 大規(guī)模目標(biāo)說話人檢測技術(shù)的研究現(xiàn)狀 . 3 說話人分割聚類的研究現(xiàn)狀 . 4 說話人快速辨認(rèn)的研究現(xiàn)狀 . 7 大規(guī)模目標(biāo)說話人檢測的難點 . 10 研究工作概述 . 12 研究思路 . 12 論文工作內(nèi)容 . 15 論文的組織結(jié)構(gòu) . 17 第 2 章 基于參考說話人模型的說話人分割算法 . 19 基于距離度量的說話人分割算法介紹 . 19 離度量 . 19 離度量 . 21 離度量 . 22 說話人分割算法的評測指標(biāo) . 23 基于參考說話人模型的說話人分割算法 . 24 問題的提出 . 24 基本思想 . 24 算法描述 . 25 實驗結(jié)果與分析 . 33 實驗數(shù)據(jù)和設(shè)置 . 33 實驗結(jié)果與分析 . 34 討論 . 41 小結(jié) . 41 第 3 章 基于音素識別和文本相關(guān)的說話 人分割算法 . 43 利用高層信息的說話人分割算法介紹 . 43 基于區(qū)分性頻域特征的說話人分割算法 . 43 短時特征與長時特征融合的說話人分割算法 . 44 目 錄 V 基于音素識別和文本相關(guān)的說話人分割算法 . 44 基本思想 . 44 算法描述 . 45 實驗結(jié)果與分析 . 49 實驗數(shù)據(jù)和設(shè)置 . 49 實 驗結(jié)果與分析 . 50 小結(jié) . 53 第 4 章 基于類純度約束的說話人聚類算法 . 54 常用聚類算法 . 54 法 . 54 基于 聚類算法 . 55 說話人聚類算法的評測指標(biāo) . 56 基于類純度約束的說話人聚類算法 . 57 聚類結(jié)果的影響分析 . 57 算法描述 . 59 實驗結(jié)果與分析 . 62 實驗數(shù)據(jù)和設(shè)置 . 62 實驗結(jié)果與分析 . 63 小結(jié) . 66 第 5 章 基于雙層結(jié)構(gòu)的說話人快速辨認(rèn)算法 . 68 常用的說話人快速辨認(rèn)算法 . 68 法 . 69 法 . 70 現(xiàn)有算法分析 . 70 基于雙層結(jié)構(gòu)的說話人快速辨認(rèn)算法 . 72 基于 目標(biāo)說話人剪枝算法 . 73 基于雙層結(jié)構(gòu)的目標(biāo)說話人剪枝算法 . 76 實驗結(jié)果與分析 . 77 實驗數(shù)據(jù)和設(shè)置 . 77 實驗結(jié)果與分析 . 78 小結(jié) . 84 第 6 章 結(jié)論與展望 . 86 目 錄 論文工作總結(jié) . 86 下一 步研究的展望 . 88 參考文獻(xiàn) . 90 致 謝 . 100 聲 明 . 101 個人簡歷、在學(xué)期間發(fā)表的學(xué)術(shù)論文與研究成果 . 102 第 1 章 緒論 1 第 1章 緒論 語音是人與人進(jìn)行交流的重要媒介，是最自然、最方便 、 最有效的交流工具之一 ，也是人 類 獲取信息的主要來源之一。隨著信息技術(shù)的不斷發(fā)展，利用信息技術(shù)自動識別語音的說話人身份的技術(shù)也隨之不斷發(fā)展，即說話人識別（ 術(shù) 1。 說話人識別技術(shù) 有著非常廣闊的應(yīng)用前景：在 公安 司法領(lǐng)域中 ，它可以用來尋找 、 發(fā)現(xiàn) 、 鎖定 和確認(rèn) 目標(biāo) ；在銀行金融等領(lǐng)域中，它可以作為身份核對的一種手段 ，如聲紋電話銀行 ； 在日常生活中 ，它 可 以 用作個人身份的確定，如聲控門禁等。 大規(guī)模目標(biāo)說話人檢測是說話人識別的應(yīng)用之一，目的是解決 說話人識別 所 面臨 的 由 多說話人語音和大規(guī)模目標(biāo)說話人等因素引發(fā) 的 問題 ，提高說話人 識別 的 性能。 論文在前人 已有 工作 的 基礎(chǔ)上， 對上述問題分別進(jìn)行了研究，并 提出了自己的一些見解。 本章的內(nèi)容安排如下： 大規(guī) 模目標(biāo) 說話人 檢測 技術(shù)的 組成 與發(fā)展做簡要介紹； 述 大規(guī)模目標(biāo)說話人檢測的 研究現(xiàn)狀 并 指出 其 重點和難點； 紹 本文工作的研究思路和 工作 內(nèi)容 ； 紹 本文的組織結(jié)構(gòu) 。 大規(guī)模目標(biāo) 說話人 檢測 技術(shù) 概述 大規(guī)模目標(biāo)說話人檢測 技術(shù) 是一種說話人識別 技術(shù)， 說話人識別是根據(jù)語音中反映說話人生理和行為特征的語音參數(shù)，來識別語音發(fā)出者身份的技術(shù)。 說話人識別根據(jù)應(yīng)用的范疇可分為說話人辨認(rèn)（ 2和說話人確認(rèn)（ 2兩類 。說話人辨認(rèn)是判定待識別的語音屬于 一個多選一的問題；說話人確認(rèn)是確定一段語音是否由所聲明的說話人發(fā)出，答案有 “ 是 ” （ 接受 ）或 “ 否 ” （拒絕）兩種 ，是一個二選一的問題 。 說話人識別根據(jù)識別的內(nèi)容可以分為文本無關(guān)（ 文本相關(guān)（ 類 2。文本無關(guān)不指定說話人發(fā)音的文本，模型建立相對困難，但使用方便且應(yīng)用范圍較寬；文本相關(guān)在訓(xùn)練時要求用戶按照指定文本發(fā)音，精確地建立每位說話人的模型（例如基于詞、音素或音節(jié)的模型） ， 在識別時 要求 用戶必須按指定文本發(fā)音。一般來說，文本相關(guān)的說話人識別 的 性能要 好于文本無關(guān)的說話人識別，但是 文本無關(guān) 的 說話人識別 應(yīng)用的靈活性要大大好于文本相關(guān) 。 第 1 章 緒論 2 說話人識別根據(jù) 待識別語音 的 說話人 可以分為 閉集（ 別 和 開集（ 別 兩類 2。 閉集識別 ， 待識別語音的說話人均屬于已知的 目標(biāo) 說話人集合（目標(biāo)說話人 也稱作 集內(nèi)說話人 ， 不屬于 目標(biāo) 說話人集合的說話人稱作 假冒者或 集外說話人）。 開集識別 ， 待識別語音的說話人可能 為集外說話人， 即 不屬于已知的 目標(biāo) 說話人集合 。 顯然，開集識別的難度要大于閉集識別。 大規(guī)模目標(biāo)說話人檢測 ，其 目的 是 檢測輸入語音中是否包含目標(biāo)說話人發(fā)出的語音， 其輸入語音 中 一般包 含多于一位說話人的語音 （多說話人語音）， 目標(biāo)說話人的數(shù)量多（大規(guī)模 ） 。 一般來說， 說話人識別 中 待識別語音 中 只含有一位說話人的語音 （單說話人語音），為避免混淆， 在本文中將待識別語音 為單 說話人語音的說話人識別稱為單說話人識別 。 單說話人識別 對多說話人語音的處理存在著 較大 的問題，因為很 顯然將多說話人語音直接用來進(jìn)行 單 說話人識別在理論 上是說不通的，無論多說話人語音與某一說話人匹配地如何完美也不能夠說明 這段語音是由這位說話人發(fā)出的，因為這段語音中還包含了其他說話人的語音不能代表單一某位說話人的特性。 大規(guī)模目標(biāo)說話人檢測可以分解成兩個子任務(wù)： 一是 將多說話人語音轉(zhuǎn)換成多段單說話人語音。這 就需要 檢測 多說話人 語音中不同說話人 說話 的時間點 ，根據(jù) 語音中說話人身份發(fā)生變化的時間點將 多說話人語音 分割成許多小段語音 ，這也是通常所說的說話人分割（ 3。因為分割之后的單說話人語音 段 的長度 可能 較短 ， 會 對 單說話人識別 的 性能 造成一定的影響 ，說話人分割之后一般還需進(jìn)行說話人聚類（ 3， 說話人聚類是將 說話人 分割之后的語音 段 按照說話人 的 身份進(jìn)行聚類， 將 屬于同一說話人的語音 段 聚成一類 。 二是 單說話人識別任務(wù) ， 在說話人檢測中通常是指說話人辨認(rèn)，即對說話人分割聚類之后得到多段單說話人語音 分別 進(jìn)行說話人辨認(rèn) ， 在 辨認(rèn)結(jié)果中 回答 多說話人語音中否有目標(biāo)說話人發(fā)音， 如果有 目標(biāo)說話人發(fā)音的話回答是 哪些目標(biāo)說話人 的發(fā)音 。 圖 說話人檢測的問題分解 示意 圖 。 大規(guī)模目標(biāo) 說話人 檢測 系統(tǒng) 的 輸入語音是多個說話人的 任意文本的隨意發(fā)音（多說話人語音、文本無關(guān)）、輸入語音中既包含 目標(biāo)說話人 的語音 也包含 假冒者 的語音（開集）、 目標(biāo)說話人的數(shù)量多（大規(guī)模目標(biāo)說話人）； 沒有輸入語音的 先驗知識，如 輸入 語音中 的說話人數(shù)量、性別以及 可能的目標(biāo)說話人 身份 等 ；目的是檢測 輸入 語音中是否有目標(biāo)說話人發(fā)出的語音，如果有的話是哪一個或哪幾個目標(biāo)說話人。因此 ， 本論文所研究的系統(tǒng)是一個文本無關(guān)的大規(guī)模的開集的多 說話人 檢測 系統(tǒng)。 第 1 章 緒論 3 0 1 2 3 4 5 6 7 8 9 10x 1 05 . 500 . 51說話人 A 說話人 B 說話人 C 說話人聚類 說話人分割 目標(biāo)說話人 集合 說話人辨認(rèn) 檢測 結(jié)果 圖 話人檢測 問題分解 示意圖 當(dāng) 目標(biāo)說話人 集合過大時 必然會造成 辨認(rèn) 速度的大幅下降 4，因此 本文的 研究 任務(wù)可分解為兩部分，一是提高將 多說話人語音轉(zhuǎn)換成多段單說話人語音的能力 ，即 改善說話人分割聚類的性能 ；二是 在保持 說話人 辨認(rèn) 的辨認(rèn)準(zhǔn)確 率的前提下 提高 辨認(rèn) 的 速度。 大規(guī)模目標(biāo)說話人檢測技術(shù)的研究現(xiàn)狀 說話人識別的研究始于 20 世紀(jì) 30 年代， 幾十年來 國內(nèi)外許多 著名 大學(xué) 、 研究機(jī)構(gòu) 以及很多大公司的實驗室 都在 開展 說話人識別 方面 的 相關(guān)研究， 并取得了豐碩的研究成果，國外的有美國的 實驗室、麻省理工學(xué)院林肯實驗室（ 、 加州大學(xué) 伯克利 分校 的 國際計算機(jī)科學(xué)研究院（ 、 究中心 等， 加拿大的 de 驗室 等 ， 法國的 實驗室、 1 章 緒論 4 驗室和 驗室等；國內(nèi)的有中 國 科 學(xué) 院聲學(xué)研究所、 自動化研究所，北京大學(xué)，中國科技大學(xué) 、科大訊飛 語音實驗室， 北京郵電大學(xué)，北京理工大學(xué) ， 上海交通大學(xué) ， 浙江大學(xué)，南京大學(xué)，哈爾濱工業(yè)大學(xué) 等 。 近十 多 年來 ，輸入語音為 多說話人語音的說話人 檢測 也逐漸 開 展 起來 。 美國國家標(biāo)準(zhǔn)與技術(shù)研究院（ 5在 1999 年組織 的 說話人識別 評測（ 5中就有了雙人語音的說話人檢測 任務(wù) ； 002 和 2003 中 組織了說話人分割聚類評測 ； 2004 年以后的 6當(dāng)中，將 說話人分割 作為 測的一項子任務(wù)。一些說話人 檢測 系統(tǒng) 也逐漸出現(xiàn) ，如法國的 統(tǒng) 7 0,11系統(tǒng) 等 。大規(guī)模目標(biāo)說話人快速辨認(rèn)的研究 在近些年 也取得了相當(dāng) 大 的進(jìn)展，研究者們提出了很多 的 快速辨認(rèn)算法，取得了 很好的加速效果 4。 下面， 本文將 主要 從說話人分割聚類和 說話人 快速 辨認(rèn) 兩 個 方面來介紹研究進(jìn)展 并給出分析 。 說話人分割聚類 的研究現(xiàn)狀 說話人分割聚類的常用算法 總的來說， 說話人分割聚類 算法 可分為三類：（ 1）基于距離度量 的算法， 該類算法主要是利用一些距離度量準(zhǔn)則， 利用預(yù)先設(shè)定好的閾值 判斷相鄰的兩 段 語音是否屬于同一說話人。常用的度量準(zhǔn)則有 貝葉斯信息準(zhǔn)則（ 12 一般化似然比（ 17離（ 21交叉似然比（ 25,26和權(quán)重 歐式距離 27等 。 （ 2）基于 模型 搜索 的算法 ， 該類算法 需要 已知目標(biāo)說話人模型，或從多說話人語音中估計出 可能的 目標(biāo)說話人模型，利用這些模型來搜索目標(biāo)說話人的發(fā)音時刻，不斷的 迭代 更新 目標(biāo) 說話人的模型并對 輸入語音進(jìn)行重搜索來完成說話人檢測；常用的算法有 美國 實驗室的 基于 高斯混合模型（ 的搜索算法 28、 法國 驗室的 基于 隱馬爾科夫模型（ 的搜索算法等 29。（ 3）距離度量 和模型 搜索 相 融合 的算法， 如法國的 統(tǒng) 7， 統(tǒng) 10等。 目前， 一些 國內(nèi)外研究機(jī)構(gòu) 均 已經(jīng)出現(xiàn)了不少具有實用價值的說話人 分割聚類 算法和系統(tǒng)，以下是其中一些的簡介。 （ 1） 法國 多階段（ 10說話人分割 系統(tǒng)，首先利第 1 章 緒論 5 用語音活動檢測（ 語音分成語音和非語音兩類，接下來使用 基于 離的說話人分割 算法進(jìn)行 初始 分割，將分割得到 的每 個 語音段 訓(xùn)練成 型 30并 利用 碼算法重新分割， 然后 使用 為距離度量 準(zhǔn)則 對 分割后的 語音 段 進(jìn)行 模型聚類， 將 屬于同一類的 語音 段 合并 ， 并重估合并后 的 語音 段 的 型，利用帶有能量限制的 碼算法重新分割，最后按照說話人進(jìn)行聚類。 統(tǒng) 在 T 04F6和 1評測數(shù)據(jù)集上 ， 對比單階段 統(tǒng)的說話人錯誤率 6相對下降了 40%。 （ 2） 美國 實驗室提出了一種基于 說話人檢測算法 28。 該算法首先在 訓(xùn)練階段利用 已知的目標(biāo)說話人 語音 訓(xùn)練 目標(biāo)說話人模型， 檢測時 根據(jù)語音段在 目標(biāo)說 話人模型和背景說話人模型 上的似然分?jǐn)?shù)差進(jìn)行目標(biāo)說話人檢測。在 聞數(shù)據(jù)庫 32上，對于單一目標(biāo)說話人檢測，在語音質(zhì)量很干凈的情況下，漏檢率大約是 7%， 在語音質(zhì)量不干凈的情況下，漏檢率大約是 27%； 對于雙目標(biāo)說話人檢測，漏檢率大約是 63%。 （ 3） 法國的 統(tǒng) 7，該系統(tǒng) 將基于 統(tǒng)和基于 統(tǒng)進(jìn)行融合，融合策略有串行和并行兩種，串行融合是將 統(tǒng)的輸出作為 統(tǒng)的輸入，并行融合是將 統(tǒng)和 統(tǒng)的結(jié)果 首先 進(jìn)行融合，分割結(jié)果一致的 部分 保留不變，對于分割結(jié)果不同的語音段，采用任一系統(tǒng)進(jìn)行重新分割。在 002， 2003 和 2004 評測中， 統(tǒng) 分別取得了會議交談?wù)Z音庫和電話對話語音庫上 的 最優(yōu)性能 7，最優(yōu)系統(tǒng)性能 8和 最優(yōu)說話人分割性能 33的好成績。 （ 4） 微軟亞洲研究院提出了一種基于 說話人實時分割算法 34,35。該算法分為預(yù)分割和優(yōu)化兩步。在預(yù)分割階段，根據(jù)每幀語音在 的 似然 分 的高低 將該幀語音劃分為可靠說話人語音幀、可疑說話人語音幀和非說話人語音幀；在優(yōu)化階段，使用遞增說話人自適應(yīng)（ 法從可靠說話人語音幀上得到精確的說話人模型，并根據(jù)得到的模型對初始分割的結(jié)果做進(jìn)一步判決。在 語新聞廣播數(shù)據(jù)庫上，誤警率為 漏檢率為 （ 5） 2000 提出 了 話人分割算法 23。該算法分為預(yù)分割和優(yōu)化兩步。在預(yù)分割階段，采用 離作為距離度量準(zhǔn)則進(jìn)行初始分割；在優(yōu)化階段，使用 斷預(yù)分割結(jié)果中的相鄰兩個語音段是否屬于同一個說話人，如果是則 合并，否則保持不變。該算法在新聞?wù)Z料和電話語料上都取得了不錯的分割結(jié)果。 （ 6） 北京大學(xué)信息科學(xué)技術(shù)學(xué)院智能科學(xué)系的視覺與聽覺信息處理國家重點第 1 章 緒論 6 實驗室提出了一種基于集外說話人模型集上似然分向量的說話人分割算法 36。該算法 包括預(yù)分割、集外說話人模型打分和基于模型分?jǐn)?shù)向量的聚類三部分，先 將語音分割成每段只含有一個說話人的小段， 然后進(jìn)行集外模型打分并合并模型分?jǐn)?shù)向量距離較小的段，采用重分割 進(jìn)一步提升性能，在 003 雙說話人識別數(shù)據(jù)庫上取得了較好的分割效果。 （ 7） 中國科學(xué)院自動化研究所高技術(shù)創(chuàng)新中心提出了一種基于熵的音頻跳變點檢測方法 37用于廣播電視環(huán)境下的說話人跟蹤檢測 ， 切分后的語音片斷通過說話人聚類來重新定位語音中說話人的變化點 。 新的語音片斷 ， 經(jīng)過維納濾波和 于最終的說話人檢測系統(tǒng)。在廣播電視音頻流上的錯誤率相對于 目標(biāo) 說話人 跟蹤 的 綜合統(tǒng)計 的 等錯誤率相對于 基線 （ 8） 中國科學(xué)院聲學(xué)研究所與中科信利實驗室構(gòu)建了一個完整的廣播新聞?wù)Z料識別系統(tǒng)（ 38。該系統(tǒng)包括：音頻匹配、音頻自動分段、音頻分類、說話人聚類、識別后處理和多階段識別策略等多個模塊，在新聞聯(lián)播節(jié)目測試語料庫 上 誤識率 為 其中干凈的播音員 語 音的誤識率為 （ 9） 浙江大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院提出了一種多層次的說話人分割框架 結(jié)構(gòu) 39， 利用分層的結(jié)構(gòu)特點 ，在 各層引入輔助信息 ， 利用語音和非語音的特征分布 以 及其突變規(guī)律，提出了 基于 決策樹的語音分類檢測方法， 并 應(yīng)用 型40和 基音 信息進(jìn)行說話人分割，在 音庫 41和 音庫 39都取得了不錯的效果。 說話人分割聚類的常用特征 說話人分割聚類中使用的特征主要是低層聲學(xué)特征，如 線性預(yù)測倒譜系數(shù)（ 42、 率倒譜系數(shù)（ 43 感知線性預(yù)測系