基于統(tǒng)計(jì)模型方式的語(yǔ)音識(shí)別技術(shù)培訓(xùn)課件

語(yǔ)音識(shí)別基礎(chǔ)第五章基于統(tǒng)計(jì)模型(HMM)方式的語(yǔ)音識(shí)別技術(shù)洪青陽(yáng)副教授廈門(mén)大學(xué)信息科學(xué)與技術(shù)學(xué)院E-mail:qyhong@語(yǔ)音識(shí)別基礎(chǔ)第五章基于統(tǒng)計(jì)模型(HMM)方式洪青陽(yáng)副教15.1基于統(tǒng)計(jì)模型框架的識(shí)別法*5.2隱馬爾科夫模型(HMM)的概念*(HMM:HiddenMarkovModels)5.3HMM的三個(gè)基本問(wèn)題*5.4基于HMM的語(yǔ)音識(shí)別方案*第五章基于統(tǒng)計(jì)模型(HMM)方式

的語(yǔ)音識(shí)別技術(shù)5.1基于統(tǒng)計(jì)模型框架的識(shí)別法*第五章基于統(tǒng)計(jì)模型(HM25.1基于統(tǒng)計(jì)模型框架的識(shí)別法5.1.1預(yù)備知識(shí)(1)條件概率P(A|B)P(A|B)=P(A,B)/P(B)P(A,B)：表示A與B的聯(lián)合概率。(2)Bayes定理P(A|B)=P(B|A)P(A)/P(B)(3)事件的獨(dú)立性P(A,B)=P(A)P(B)5.1.2基于統(tǒng)計(jì)模型框架的識(shí)別法*5.1基于統(tǒng)計(jì)模型框架的識(shí)別法5.1.1預(yù)備知識(shí)35.2隱馬爾科夫模型(HMM)的概念5.2.1馬爾科夫過(guò)程*5.2.2隱馬爾科夫模型的概念*5.2.3HMM的要素及其模型描述*5.2.4基于HMM的觀察符號(hào)序列的生成方式*5.2隱馬爾科夫模型(HMM)的概念5.2.1馬爾科夫過(guò)45.3HMM的三個(gè)基本問(wèn)題及其解法5.3.1HMM三個(gè)基本問(wèn)題-模型評(píng)估問(wèn)題(如何求：P(O|λ))-最佳路徑問(wèn)題(如何求：Q=q1q2…qT)-模型訓(xùn)練問(wèn)題(如何求：A、B、π)5.3.2模型評(píng)估問(wèn)題的解法*5.3.3最佳路徑問(wèn)題的解法*5.3.4模型訓(xùn)練問(wèn)題的解法5.3HMM的三個(gè)基本問(wèn)題及其解法5.3.1HMM三個(gè)基55.4基于HMM的語(yǔ)音識(shí)別方案判決規(guī)則VITERBI計(jì)算VQ碼本訓(xùn)練識(shí)別XX:特征矢量的時(shí)間序列O:基于VQ的觀察符號(hào)序列HMM(3)HMM(2)HMM(1)O··聲學(xué)參數(shù)分析預(yù)處理語(yǔ)音信號(hào)輸入5.4基于HMM的語(yǔ)音識(shí)別方案判決規(guī)則VITERBIVQ碼6基于統(tǒng)計(jì)模型框架的識(shí)別法(1)語(yǔ)音識(shí)別問(wèn)題的形式化描述-設(shè)：(1)待識(shí)語(yǔ)音的特征模式：T=t1,t2,…,tI(2)詞匯表中第ｎ個(gè)單詞：W(n),1≤n≤N(3)當(dāng)T被觀察到后，與T對(duì)應(yīng)的發(fā)聲內(nèi)容是

單詞W(n)的概率：P(W(n)|T)

-語(yǔ)音識(shí)別問(wèn)題的形式化描述：

k=argmax{P(W(n)|T)}n基于統(tǒng)計(jì)模型框架的識(shí)別法(1)語(yǔ)音識(shí)別問(wèn)題的形式化描述7基于統(tǒng)計(jì)模型框架的識(shí)別法(2)聲學(xué)模型與語(yǔ)言模型

P(W(n)|T)=P(T|W(n))P(W(n))/P(T)k=argmax{P(T|W(n))·P(W(n))}n模式匹配與統(tǒng)計(jì)模型(T:待識(shí)語(yǔ)音)模式匹配 統(tǒng)計(jì)模型詞匯表W(k),1≤k≤N 詞匯表W(k),1≤k≤N參考模式R(k),1≤k≤N 參考模型M(k),1≤k≤N失真測(cè)度Dk=D(T,R(k)) 概率測(cè)度P(T|M(k))-Dk:DTW距離-P:由M(k)生成T的概率判別n=argmin{Dk} 判別n=argmax{P(T|M(k))}

1≤k≤N1≤k≤N識(shí)別結(jié)果W(n)識(shí)別結(jié)果W(n)聲學(xué)模型語(yǔ)言模型基于統(tǒng)計(jì)模型框架的識(shí)別法(2)聲學(xué)模型與語(yǔ)言模型聲學(xué)模型語(yǔ)言8馬爾科夫過(guò)程語(yǔ)言的馬爾科夫模型P(Ci,Cj)=P(Ci)P(Cj|Ci)

P(Ci,Cj,Ck)=P(Ci)P(Cj|Ci)P(Ck|Cj)

天氣的馬爾科夫模型觀察日期：12345678

觀察序列(O)：

晴晴晴雨雨晴多云晴狀態(tài)轉(zhuǎn)移序列：33311323狀態(tài)輸出概率P(O|λ)：P(O|λ)=P(3,3,3,1,1,3,2,3|λ)=P(3)P(3|3)P(3|3)P(1|3)P(1|1)P(3|1)P(2|3)P(3|2)

1：雨天天氣的馬爾科夫模型2：多云3：晴天初始狀態(tài)P(3)=1.0CiCjCkClP(Cj|Ci)P(Ck|Cj)P(Cl|Ci)一階馬爾科夫過(guò)程馬爾科夫過(guò)程語(yǔ)言的馬爾科夫模型1：天氣的馬爾科夫模型0.409隱馬爾科夫模型的概念雙重隨機(jī)過(guò)程-依存于狀態(tài)的觀察事件的隨機(jī)性-狀態(tài)轉(zhuǎn)移的隨機(jī)性觀察序列(H：正面；T：反面)：O={o1,o2,…,oT}H,H,T,…,T1-a111-a22a22a11P(H)=P2P(H)=P1P(T)=1-P1P(T)=1-P212硬幣投擲試驗(yàn)?zāi)Ｐ碗[馬爾科夫模型的概念雙重隨機(jī)過(guò)程1-a111-a22a22a10HMM模型的要素及其模型描述模型要素：(1)N：模型中的狀態(tài)數(shù)目(2)M：每個(gè)狀態(tài)可能輸出的觀察符號(hào)的數(shù)目(3)A={aij}：狀態(tài)轉(zhuǎn)移概率分布(4)B={bj(k)}：觀察符號(hào)的概率分布(5)π={πi}：初始狀態(tài)概率分布

模型描述：λ=(A,B,π)HMM模型的要素及其模型描述模型要素：11基于HMM的觀察符號(hào)序列的生成方式當(dāng)給定模型λ(A,B,π)后，就可將該模型看成一個(gè)符號(hào)生成器(或稱信號(hào)源)，由它生成觀察序列O=o1o2…oT。其生成過(guò)程(也稱HMM過(guò)程)是：(1)初始狀態(tài)概率分布π，隨機(jī)選擇一個(gè)初始狀態(tài)q1=Si；(2)置t=1；(3)按狀態(tài)Si的符號(hào)概率分布bi(k)，隨機(jī)產(chǎn)生一個(gè)輸出符號(hào)ot=Vk；(4)按狀態(tài)Si的狀態(tài)轉(zhuǎn)移概率分布aij，隨機(jī)轉(zhuǎn)移至一個(gè)新的狀態(tài)qt+1=Sj(5)令t=t+1，若t≤T，則返回步驟（3），否則結(jié)束過(guò)程?；贖MM的觀察符號(hào)序列的生成方式當(dāng)給定模型λ(A,B,π12模型評(píng)估問(wèn)題的解法(1)當(dāng)給定模型λ(A,B,π)以及觀察序列O=o1o2…oT時(shí)，計(jì)算模型λ對(duì)觀察序列

O的P(O|λ)概率的思路是(窮舉法)：(1)對(duì)長(zhǎng)度為T(mén)的觀察序列O，找出所有可能產(chǎn)生該觀察序列O的狀態(tài)轉(zhuǎn)移序列Qj=qj1qj2qj3…qjT(j=1,2,…,J);(2)分別計(jì)算Qj與觀察序列O的聯(lián)合概率P(O,Qj|λ)；(2)取各聯(lián)合概率P(O,Qj|λ)的和，即：

JP(O|λ)=∑P(O,Qj|λ)

j=0.80.5abS1S2S[][][]HMM模型的例子觀察符號(hào)序列：abba所有可能的路徑：(1)S1-S1-S1-S2-S3(2)S1-S1-S2-S2-S3(3)S1-S1-S2-S3-S3(4)S1-S2-S2-S2-S3(5)S1-S2-S2-S3-S3(6)S1-S2-S3-S3-S3模型評(píng)估問(wèn)題的解法(1)當(dāng)給定模型λ(A,B,π)以及觀察13模型評(píng)估問(wèn)題的解法(2)P(O|λ)的一般解法：∵P(O,Qj|λ)=P(Qj|λ)P(O|Qj,λ)P(Qj|λ)=P(qj1)P(qj2|qj1)P(qj3|qj2)

…P(qjT|qjT-1)=aj0,1aj1,2aj2,3…ajT-1,TP(O|Qj,λ)=P(o1|qj1)P(o2|qj2)

…P(oT|qjT)=b1j(o1)

b2j(o2)

b3j(o3)

…

bTj(oT)∴P(O,Qj|λ)=aj0,1b1j(o1)

aj1,2b2j(o2)

…

ajT-1,TbTj(oT)

JJTP(O|λ)=∑P(O,Qj|λ)=∑{∏ajt-1,tbtj(ot)

}

j=1j=1t=0.80.5abS1S2S[][][]HMM模型的例子模型評(píng)估問(wèn)題的解法(2)P(O|λ)的一般解法：0.20.514模型評(píng)估問(wèn)題的前向算法0.80.5abS1S2S[][][]1.00.00.00.010.120.080.0010.0280.0880.00010.00880.0232S1S2S30.5x0.20.5x0.80.2x1.00.6x0.50.5x0.20.5x0.20.5x0.20.5x0.80.5x0.80.5x0.80.4x0.50.4x0.50.4x0.50.4x0.50.4x0.50.6x0.50.6x0.50.8x1.00.8x1.00.2x1.0采用前向算法求解P(abba|λ)概率的格型圖Q:q1q2q3q4O:abbat模型評(píng)估問(wèn)題的前向算法0.80.5aS1S15最佳路徑問(wèn)題的解法0.80.5abS1S2S[][][]1.00.00.00.010.080.080.0010.0160.0640.00010.00880.0128S1S2S30.5x0.20.5x0.80.2x1.00.6x0.50.5x0.20.5x0.20.5x0.20.5x0.80.5x0.80.5x0.80.4x0.50.4x0.50.4x0.50.4x0.50.4x0.50.6x0.50.6x0.50.8x1.00.8x1.00.2x1.0采用Viterbi算法求解產(chǎn)生觀察序列abba最佳路徑的格型圖Q:q1q2q3q4O:abbat最佳路徑：S1-S2-S3-S3-S3最佳路徑問(wèn)題的解法0.80.5aS1S2S16演講完畢，謝謝觀看！演講完畢，謝謝觀看！17語(yǔ)音識(shí)別基礎(chǔ)第五章基于統(tǒng)計(jì)模型(HMM)方式的語(yǔ)音識(shí)別技術(shù)洪青陽(yáng)副教授廈門(mén)大學(xué)信息科學(xué)與技術(shù)學(xué)院E-mail:qyhong@語(yǔ)音識(shí)別基礎(chǔ)第五章基于統(tǒng)計(jì)模型(HMM)方式洪青陽(yáng)副教185.1基于統(tǒng)計(jì)模型框架的識(shí)別法*5.2隱馬爾科夫模型(HMM)的概念*(HMM:HiddenMarkovModels)5.3HMM的三個(gè)基本問(wèn)題*5.4基于HMM的語(yǔ)音識(shí)別方案*第五章基于統(tǒng)計(jì)模型(HMM)方式

的語(yǔ)音識(shí)別技術(shù)5.1基于統(tǒng)計(jì)模型框架的識(shí)別法*第五章基于統(tǒng)計(jì)模型(HM195.1基于統(tǒng)計(jì)模型框架的識(shí)別法5.1.1預(yù)備知識(shí)(1)條件概率P(A|B)P(A|B)=P(A,B)/P(B)P(A,B)：表示A與B的聯(lián)合概率。(2)Bayes定理P(A|B)=P(B|A)P(A)/P(B)(3)事件的獨(dú)立性P(A,B)=P(A)P(B)5.1.2基于統(tǒng)計(jì)模型框架的識(shí)別法*5.1基于統(tǒng)計(jì)模型框架的識(shí)別法5.1.1預(yù)備知識(shí)205.2隱馬爾科夫模型(HMM)的概念5.2.1馬爾科夫過(guò)程*5.2.2隱馬爾科夫模型的概念*5.2.3HMM的要素及其模型描述*5.2.4基于HMM的觀察符號(hào)序列的生成方式*5.2隱馬爾科夫模型(HMM)的概念5.2.1馬爾科夫過(guò)215.3HMM的三個(gè)基本問(wèn)題及其解法5.3.1HMM三個(gè)基本問(wèn)題-模型評(píng)估問(wèn)題(如何求：P(O|λ))-最佳路徑問(wèn)題(如何求：Q=q1q2…qT)-模型訓(xùn)練問(wèn)題(如何求：A、B、π)5.3.2模型評(píng)估問(wèn)題的解法*5.3.3最佳路徑問(wèn)題的解法*5.3.4模型訓(xùn)練問(wèn)題的解法5.3HMM的三個(gè)基本問(wèn)題及其解法5.3.1HMM三個(gè)基225.4基于HMM的語(yǔ)音識(shí)別方案判決規(guī)則VITERBI計(jì)算VQ碼本訓(xùn)練識(shí)別XX:特征矢量的時(shí)間序列O:基于VQ的觀察符號(hào)序列HMM(3)HMM(2)HMM(1)O··聲學(xué)參數(shù)分析預(yù)處理語(yǔ)音信號(hào)輸入5.4基于HMM的語(yǔ)音識(shí)別方案判決規(guī)則VITERBIVQ碼23基于統(tǒng)計(jì)模型框架的識(shí)別法(1)語(yǔ)音識(shí)別問(wèn)題的形式化描述-設(shè)：(1)待識(shí)語(yǔ)音的特征模式：T=t1,t2,…,tI(2)詞匯表中第ｎ個(gè)單詞：W(n),1≤n≤N(3)當(dāng)T被觀察到后，與T對(duì)應(yīng)的發(fā)聲內(nèi)容是

單詞W(n)的概率：P(W(n)|T)

-語(yǔ)音識(shí)別問(wèn)題的形式化描述：

k=argmax{P(W(n)|T)}n基于統(tǒng)計(jì)模型框架的識(shí)別法(1)語(yǔ)音識(shí)別問(wèn)題的形式化描述24基于統(tǒng)計(jì)模型框架的識(shí)別法(2)聲學(xué)模型與語(yǔ)言模型

P(W(n)|T)=P(T|W(n))P(W(n))/P(T)k=argmax{P(T|W(n))·P(W(n))}n模式匹配與統(tǒng)計(jì)模型(T:待識(shí)語(yǔ)音)模式匹配 統(tǒng)計(jì)模型詞匯表W(k),1≤k≤N 詞匯表W(k),1≤k≤N參考模式R(k),1≤k≤N 參考模型M(k),1≤k≤N失真測(cè)度Dk=D(T,R(k)) 概率測(cè)度P(T|M(k))-Dk:DTW距離-P:由M(k)生成T的概率判別n=argmin{Dk} 判別n=argmax{P(T|M(k))}

1≤k≤N1≤k≤N識(shí)別結(jié)果W(n)識(shí)別結(jié)果W(n)聲學(xué)模型語(yǔ)言模型基于統(tǒng)計(jì)模型框架的識(shí)別法(2)聲學(xué)模型與語(yǔ)言模型聲學(xué)模型語(yǔ)言25馬爾科夫過(guò)程語(yǔ)言的馬爾科夫模型P(Ci,Cj)=P(Ci)P(Cj|Ci)

P(Ci,Cj,Ck)=P(Ci)P(Cj|Ci)P(Ck|Cj)

天氣的馬爾科夫模型觀察日期：12345678

觀察序列(O)：

晴晴晴雨雨晴多云晴狀態(tài)轉(zhuǎn)移序列：33311323狀態(tài)輸出概率P(O|λ)：P(O|λ)=P(3,3,3,1,1,3,2,3|λ)=P(3)P(3|3)P(3|3)P(1|3)P(1|1)P(3|1)P(2|3)P(3|2)

1：雨天天氣的馬爾科夫模型2：多云3：晴天初始狀態(tài)P(3)=1.0CiCjCkClP(Cj|Ci)P(Ck|Cj)P(Cl|Ci)一階馬爾科夫過(guò)程馬爾科夫過(guò)程語(yǔ)言的馬爾科夫模型1：天氣的馬爾科夫模型0.4026隱馬爾科夫模型的概念雙重隨機(jī)過(guò)程-依存于狀態(tài)的觀察事件的隨機(jī)性-狀態(tài)轉(zhuǎn)移的隨機(jī)性觀察序列(H：正面；T：反面)：O={o1,o2,…,oT}H,H,T,…,T1-a111-a22a22a11P(H)=P2P(H)=P1P(T)=1-P1P(T)=1-P212硬幣投擲試驗(yàn)?zāi)Ｐ碗[馬爾科夫模型的概念雙重隨機(jī)過(guò)程1-a111-a22a22a27HMM模型的要素及其模型描述模型要素：(1)N：模型中的狀態(tài)數(shù)目(2)M：每個(gè)狀態(tài)可能輸出的觀察符號(hào)的數(shù)目(3)A={aij}：狀態(tài)轉(zhuǎn)移概率分布(4)B={bj(k)}：觀察符號(hào)的概率分布(5)π={πi}：初始狀態(tài)概率分布

模型描述：λ=(A,B,π)HMM模型的要素及其模型描述模型要素：28基于HMM的觀察符號(hào)序列的生成方式當(dāng)給定模型λ(A,B,π)后，就可將該模型看成一個(gè)符號(hào)生成器(或稱信號(hào)源)，由它生成觀察序列O=o1o2…oT。其生成過(guò)程(也稱HMM過(guò)程)是：(1)初始狀態(tài)概率分布π，隨機(jī)選擇一個(gè)初始狀態(tài)q1=Si；(2)置t=1；(3)按狀態(tài)Si的符號(hào)概率分布bi(k)，隨機(jī)產(chǎn)生一個(gè)輸出符號(hào)ot=Vk；(4)按狀態(tài)Si的狀態(tài)轉(zhuǎn)移概率分布aij，隨機(jī)轉(zhuǎn)移至一個(gè)新的狀態(tài)qt+1=Sj(5)令t=t+1，若t≤T，則返回步驟（3），否則結(jié)束過(guò)程。基于HMM的觀察符號(hào)序列的生成方式當(dāng)給定模型λ(A,B,π29模型評(píng)估問(wèn)題的解法(1)當(dāng)給定模型λ(A,B,π)以及觀察序列O=o1o2…oT時(shí)，計(jì)算模型λ對(duì)觀察序列

O的P(O|λ)概率的思路是(窮舉法)：(1)對(duì)長(zhǎng)度為T(mén)的觀察序列O，找出所有可能產(chǎn)生該觀察序列O的狀態(tài)轉(zhuǎn)移序列Qj=qj1qj2qj3…qjT(j=1,2,…,J);(2)分別計(jì)算Qj與觀察序列O的聯(lián)合概率P(O,Qj|λ)；(2)取各聯(lián)合概率P(O,Qj|λ)的和，即：

JP(O|λ)=∑P(O,Qj|λ)

j=0.80.5abS1S2S[][][]HMM模型的例子觀察符號(hào)序列：abba所有可能的路徑：(1)S1-S1-S1-S2-S3(2)S1-S1-S2-S2-S3(3)S1-S1-S2-S3-S3(4)S1-S2-S2-S2-S3(5)S1-S2-S2-S3-S3(6)S1-S2-S3-S3-S3模型評(píng)估問(wèn)題的解法(1)當(dāng)給定模型λ(A,B,π)以及觀察30模型評(píng)估問(wèn)題的解法(2)P(O|λ)的一般解法：∵P(O,Qj|λ)=P(Qj|λ)P(O|Qj,λ)P(Qj|λ)=P(qj1)P(qj2|qj1)P(qj3|qj2)

…P(qjT|qjT-1)=aj0,1aj1,2aj2,3…ajT-1,TP(O|Qj,λ)=P(o1|qj1)P(o2|qj2)

…P(oT|qjT)=b1j(o1)

b2j(o2)

b3j(o3)

…

bTj(oT)∴P(O,Qj|λ)=aj0,1b1j(o1)

aj1,2b2j(o2)

…

ajT-1,TbTj(oT)

JJTP(O|λ)=∑P(O,Qj|λ)=∑{∏ajt-1,tbtj(ot)

}

j=1j=1t=0.80.5a