隱形馬爾科夫模型

隱形馬爾科夫模型第1頁，共21頁，2023年，2月20日，星期日隱形馬爾科夫模型介紹HMM的三種應用評估：前向算法示例小結(jié)第2頁，共21頁，2023年，2月20日，星期日馬爾科夫模型馬爾科夫過程就是當前的狀態(tài)只與前n個狀態(tài)有關(guān)。這被稱作n階馬爾科夫模型。最簡單的模型就當n=1時的一階模型。就當前的狀態(tài)只與前一狀態(tài)有關(guān)。；兩種生成模式確定性的生成模式如：紅綠燈非確定性的生成模式如：天氣情況（晴、多云、和雨）第3頁，共21頁，2023年，2月20日，星期日非確定性的生成模式（天氣預測）假設該過程是一個一階過程，即今天的天氣情況僅和昨天的天氣有關(guān)用狀態(tài)轉(zhuǎn)移矩陣描述第4頁，共21頁，2023年，2月20日，星期日非確定性的生成模式（天氣預測）定義初始概率，稱為向量；一個一階馬爾科夫模型，包括如下概念：狀態(tài)：晴、多云、雨狀態(tài)轉(zhuǎn)移概率初始概率第5頁，共21頁，2023年，2月20日，星期日當一個隱士不能通過直接觀察天氣狀態(tài)來預測天氣時，但他有一些水藻。民間的傳說告訴我們水藻的狀態(tài)與天氣有一定的概率關(guān)系。也就是說，水藻的狀態(tài)與天氣時緊密相關(guān)的。此時，我們就有兩組狀態(tài)：觀察狀態(tài)（水藻的狀態(tài)）和隱含狀態(tài)（天氣狀態(tài)）。因此，我們希望得到一個算法可以為隱士通過水藻和馬爾科夫過程，在沒有直接觀察天氣的情況下得到天氣的變化情況。一個應用就是語音識別，我們的問題定義就是如何通過給出的語音信號預測出原來的文字信息。在這里，語音信號就是觀察狀態(tài)，識別出的文字就是隱含狀態(tài)。第6頁，共21頁，2023年，2月20日，星期日包含隱狀態(tài)的天氣預測第7頁，共21頁，2023年，2月20日，星期日隱狀態(tài)和觀察狀態(tài)之間的連線表示：在給定的馬爾科夫過程中，一個特定的隱狀態(tài)對應的觀察狀態(tài)的概率第8頁，共21頁，2023年，2月20日，星期日我們可以得到HMM的所有要素：兩類狀態(tài)和三組概率兩類狀態(tài)：觀察狀態(tài)和隱狀態(tài)；三組概率：初始概率、狀態(tài)轉(zhuǎn)移概率和兩態(tài)對應概率（confusionmatrix）第9頁，共21頁，2023年，2月20日，星期日評估：根據(jù)已知的HMM找出一個觀察序列的概率考慮這樣的問題，我們有一些隱馬爾科夫模型（也就是一些(∏

,A,B)三元組的集合）及一個觀察序列。我們想知道哪一個HMM最有可能產(chǎn)生了這個給定的觀察序列。例如，對于海藻來說，我們也許會有一個“夏季”模型和一個“冬季”模型，因為不同季節(jié)之間的情況是不同的——我們也許想根據(jù)海藻濕度的觀察序列來確定當前的季節(jié)。利用前向算法來得到觀察狀態(tài)序列對應于一個HMM的概率第10頁，共21頁，2023年，2月20日，星期日解碼：根據(jù)觀察序列找到最有可能出現(xiàn)的隱狀態(tài)序列viterbi算法（隱士只能通過感受水藻的狀態(tài)來判斷天氣狀況）viterbi算法也被廣泛的應用在自然語言處理領(lǐng)域。比如詞性標注。字面上的文字信息就是觀察狀態(tài)，而詞性就是隱狀態(tài)。通過HMM我們就可以找到一句話上下文中最有可能出現(xiàn)的句法結(jié)構(gòu)。第11頁，共21頁，2023年，2月20日，星期日學習：從觀察序列中得出HMM

根據(jù)觀察序列和其代表的隱狀態(tài)，生成一個三元組HMM(∏,A,B)。使這個三元組能夠最好的描述我們所見的一個現(xiàn)象規(guī)律前向—后向算法第12頁，共21頁，2023年，2月20日，星期日對于水藻和天氣的例子Pr(dry,damp,soggy|HMM)=Pr(dry,damp,soggy|sunny,sunny,sunny)+Pr(dry,damp,soggy|sunny,sunny,cloudy)+....Pr(dry,damp,soggy|rainy,rainy,rainy)第13頁，共21頁，2023年，2月20日，星期日采用遞歸的方式計算觀察序列的概率用Pt(j)表示在時間t時狀態(tài)j的部分概率。計算方法如下：Pt(j)=Pr(觀察狀態(tài)|隱藏狀態(tài)j)xPr(t時刻所有指向j狀態(tài)的路徑）第14頁，共21頁，2023年，2月20日，星期日使用前向算法計算T步長觀察序列的概率:t=1時刻所有狀態(tài)的局部概率：每個時間點，t=2，…，T時，對于每個狀態(tài)的局部概率，由下式計算局部概率：給定HMM,觀察序列的概率等于T時刻所有局部概率之和：第15頁，共21頁，2023年，2月20日，星期日前向算法復雜度α（1）到α（T），一共T次，每次計算需要N^2次乘法，復雜度為T*N^2第16頁，共21頁，2023年，2月20日，星期日1、隱藏狀態(tài)(天氣)：Sunny，Cloudy，Rainy；

2、觀察狀態(tài)（海藻濕度）：Dry，Dryish，Damp，Soggy；

3、初始狀態(tài)概率：Sunny（0.63），Cloudy（0.17），Rainy（0.20）；4、狀態(tài)轉(zhuǎn)移矩陣：

weathertoday

SunnyCloudyRainy

weather

Sunny0.5000.3750.125

yesterdayCloudy0.2500.1250.625

Rainy

0.2500.3750.375

第17頁，共21頁，2023年，2月20日，星期日

5、混淆矩陣：

observedstates

DryDryishDampSoggy

Sunny0.600.200.150.05Hidden

Cloudy0.250.250.250.25states

Rainy0.050.100.350.50第18頁，共21頁，2023年，2月20日，星期日輸入：T=3（134）結(jié)果：prob(O|model)=0.026901第19頁，共21頁，2023年，2月20日，星期日隱馬爾科夫模型（HMM）在分析實際系統(tǒng)中已被證明