人工智能AI5章不確定性推理

第5章不確定性推理

5.1不確定性推理的基本概念5.1.1不確定性推理的含義5.1.2不確定性推理的基本問題（表示、匹配、更新、合成）5.1.3不確定性理的類型5.2可信度推理5.3主觀Bayes推理5.4證據理論5.5模糊推理5.6概率推理

現實世界中的大多數問題是不精確、非完備的。因此，人工智能需要研究不精確性的推理方法，以滿足客觀問題的需求。15.1.1不確定性推理的含義

什么是不確定性推理

不確定性推理泛指除精確推理以外的其它各種推理問題。包括不完備、不精確知識的推理，模糊知識的推理，非單調性推理等。不確定性推理過程實際上是一種從不確定的初始證據出發(fā)，通過運用不確定性知識，最終推出具有一定不確定性但卻又是合理或基本合理的結論的思維過程。為什么要采用不確定性推理

所需知識不完備、不精確所需知識描述模糊多種原因導致同一結論解題方案不唯一25.1.2不確定性推理的基本問題不確定性的表示(1)知識的不確定性的表示

考慮因素：問題的描述能力，推理中不確定性的計算

含義：知識的確定性程度，或動態(tài)強度

表示：用概率，[0,1]，0接近于假，1接近

用可信度，[-1,1]，大于0接近于真，小于0接近于(2)證據不確定性的表示

證據的類型：按證據組織：基本證據，組合證據

按證據來源：初始證據，中間結論表示方法：概率，可信度，模糊集等基本證據：常與知識表示方法一致，如概率，可信度，模糊集等組合證據：組合方式：析取的關系，合取的關系。

計算方法：基于基本證據最大最小方法，概率方法，有界方法

等。3含義不確定的前提條件與不確定的事實匹配問題前提是不確定的，事實也是不確定的方法設計一個計算相似程度的算法，給出相似的限度標志相似度落在規(guī)定限度內為匹配，否則為不匹配5.1.2不確定性推理的基本問題不確定性的匹配44.不確定性的更新主要問題①如何用證據的不確定性去更新結論的不確定性②如何在推理中把初始證據的不確定性傳遞給最終結論解決方法對①，不同推理方法的解決方法不同對②，不同推理方法的解決方法基本相同，即把當前結論及其不確定性作為新的結論放入綜合數據庫，依次傳遞，直到得出最終結論5.不確定性結論的合成含義：多個不同知識推出同一結論，且不確定性程度不同方法：視不同推理方法而定5.1.2不確定性推理的基本問題不確定性的更新不確定性結論的合成5模糊方法基于概率主觀Bayes方法可信度方法證據理論數值方法非數值方法不確定性推理框架推理

語義網絡推理

常識推理5.1.3不確定性推理的類型…概率方法概率推理6第5章不確定性推理

5.1不確定性推理的基本概念5.2可信度推理5.2.1可信度的概念5.2.2可信度推理模型5.2.2可信度推理的例子5.3主觀Bayes推理5.4證據理論5.5模糊推理5.6概率推理7可信度是指人們根據以往經驗對某個事物或現象為真的程度的一個判斷，或者說是人們對某個事物或現象為真的相信程度。例如，沈強昨天沒來上課，理由是頭疼。就此理由，只有以下兩種可能：一是真的頭疼了，理由為真；二是沒有頭疼，理由為假。但就聽話人而言，因不能確切知道，就只能某種程度上相信，即可信度?？尚哦染哂幸欢ǖ闹饔^性，較難把握。但對某一特定領域，讓該領域專家給出可信度還是可行的。

5.2.1可信度的概念85.2.2可信度推理模型知識不確定性的表示表示形式：在C-F模型中，知識是用產生式規(guī)則表示的，其一般形式為：IFETHENH(CF(H,E))其中，E是知識的前提條件；H是知識的結論；CF(H,E)是知識的可信度。說明：①E可以是單一條件，也可以是復合條件。例如：E=(E1ORE2)ANDE3ANDE4②H可以是單一結論，也可以是多個結論③CF是知識的靜態(tài)強度，CF(H,E)的取值為[-1,1]，表示當E為真時，證據對H的支持程度，其值越大，支持程度越大。例子：IF發(fā)燒AND流鼻涕THEN感冒(0.8)表示當某人確實有“發(fā)燒”及“流鼻涕”癥狀時，則有80%的把握是患了感冒。9在CF模型中，把CF(H,E)定義為CF(H,E)=MB(H,E)-MD(H,E)式中MB稱為信任增長度，MB(H,E)定義為5.2.2可信度推理模型可信度的定義(1/2)MD稱為不信任增長度，MD(H,E)定義為10MB和MD的關系當MB(H,E)>0時，有P(H|E)>P(H)，即E的出現增加了H的概率當MD(H,E)>0時，有P(H|E)<P(H)，即E的出現降低了H的概率根據前面對CF(H,E)可信度、MB(H,E)信任增長度、MD(H,E)不信增長度的定義，可得到CF(H,E)的計算公式：???????íì<=>--=---=-=)()|()()|()()|()()|()(),(00)(1)()|(0),(),(HPEHPHPEHPHPEHPHPEHPHPEHMDHPHPEHPEHMBEHCF若若若5.2.2可信度推理模型可信度的性質(2/2)

分別解釋CF(H,E)>0，CF(H,E)=0，CF(H,E)<011(1)

互斥性對同一證據，它不可能既增加對H的信任程度，又同時增加對H的不信任程度，這說明MB與MD是互斥的。即有如下互斥性：當MB(H,E)>0時，MD(H,E)=0當MD(H,E)>0時，MB(H,E)=0(2)值域(3)典型值當CF(H,E)=1時，有P(H/E)=1，它說明由于E所對應證據的出現使H為真。此時，MB(H,E)=1，MD(H,E)=0。當CF(H,E)=-1時，有P(H/E)=0，說明由于E所對應證據的出現使H為假。此時，MB(H,E)=0，MD(H,E)=1。當CF(H,E)=0時，有MB(H,E)=0、MD(H,E)=0。前者說明E所對應證據的出現不證實H；后者說明E所對應證據的出現不否認H。5.2.2可信度推理模型可信度的性質(1/3)12(4)對H的信任增長度等于對非H的不信任增長度根據MB、MD的定義及概率的性質有：再根據CF的定義和MB、MD的互斥性有CF(H,E)+CF(﹁H,E)=(MB(H,E)-MD(H,E))+(MB(﹁H,E)-MD(﹁H,E))=(MB(H,E)-0)+(0-MD(﹁H,E))(由互斥性)=MB(H,E)-MD(﹁H,E)=0它說明：(1)對H的信任增長度等于對非H的不信任增長度(2)對H的可信度與非H的可信度之和等于0(3)可信度不是概率，不滿足P(H)+P(﹁H)=1和0≤P(H),P(﹁H)≤15.2.2可信度推理模型可信度的性質(2/3)13(5)對同一前提E，若支持若干個不同的結論Hi(i=1,2,…,n)，則因此，如果發(fā)現專家給出的知識有如下情況CF(H1,E)=0.7,CF(H2,E)=0.4則因0.7+0.4=1.1>1為非法，應進行調整或規(guī)范化。5.2.2可信度推理模型可信度的性質(3/3)14基本證據表示方法，用可信度，其取值范圍也為[-1,1]。例如，CF(E)，其的含義：CF(E)=1，證據E肯定它為真CF(E)=-1，證據E肯定它為假CF(E)=0，對證據E一無所知0<CF(E)<1，證據E以CF(E)程度為真-1<CF(E)<0，證據E以CF(E)程度為假否定證據CF(?E)=-CF(E)組合證據合?。篍=E1ANDE2AND…En時，若已知CF(E1)，CF(E2)，…，則CF(E)=min{CF(E1),CF(E2),…,CF(En)}析取：E=E1ORE2OR…En時，若已知CF(E1)，CF(E2)，…，則CF(E)=max{CF(E1),CF(E2),…,CF(En)}5.2.2可信度推理模型證據不確定性的表示15CF模型中的不確定性推理實際上是從不確定的初始證據出發(fā)，不斷運用相關的不確性知識，逐步推出最終結論和該結論可信度的過程。而每一次運用不確定性知識，都需要由證據的不確定性和知識的不確定性去計算結論的不確定性。不確定性的更新公式CF(H)=CF(H,E)×max{0,CF(E)}若CF(E)<0，則CF(H)=0即該模型沒考慮E為假對H的影響。若CF(E)=1，則CF(H)=CF(H,E)即規(guī)則強度CF(H,E)實際上是在E為真時，H的可信度5.2.2可信度推理模型不確定性的更新16當有多條知識支持同一個結論，且這些知識的前提相互獨立，結論的可信度又不相同時，可利用不確定性的合成算法求出結論的綜合可信度。設有知識：IFE1THENH(CF(H,E1))IFE2THENH(CF(H,E2))則結論H的綜合可信度可分以下兩步計算：(1)分別對每條知識求出其CF(H)。即CF1(H)=CF(H,E1)×max{0,CF(E1)}CF2(H)=CF(H,E2)×max{0,CF(E2)}(2)用如下公式求E1與E2對H的綜合可信度5.2.2可信度推理模型結論不確定性的合成17例5.1

設有如下一組知識：r1：IFE1THENH(0.9)r2：IFE2THENH(0.6)r3：IFE3THENH(-0.5)r4：IFE4AND(E5ORE6)THENE1(0.8)已知：CF(E2)=0.8，CF(E3)=0.6，CF(E4)=0.5，CF(E5)=0.6,CF(E6)=0.8求：CF(H)=?解：由r4得到：CF(E1)=0.8×max{0,CF(E4AND(E5ORE6))}=0.8×max{0,min{CF(E4),CF(E5ORE6)}}=0.8×max{0,min{CF(E4),max{CF(E5),CF(E6)}}}=0.8×max{0,min{CF(E4),max{0.6,0.8}}}=0.8×max{0,min{0.5,0.8}}=0.8×max{0,0.5}=0.45.2.3可信度推理的例子18由r1得到：CF1(H)=CF(H,E1)×max{0,CF(E1)}=0.9×max{0,0.4}=0.36由r2得到：CF2(H)=CF(H,E2)×max{0,CF(E2)}=0.6×max{0,0.8}=0.48由r3得到：CF3(H)=CF(H,E3)×max{0,CF(E3)}=-0.5×max{0,0.6}=-0.3根據結論不精確性的合成算法，CF1(H)和CF2(H)同號，有：CF12(H)和CF3(H)異號，有：即綜合可信度為CF(H)=0.5319第5章不確定性推理

5.1不確定性推理的基本概念5.2可信度推理5.3主觀Bayes推理

5.3.1主觀Bayes方法的概率論基礎5.3.2主觀Bayes方法的推理模型5.3.3主觀Bayes推理的例子5.4證據理論5.5模糊推理5.6概率推理20

定義5.1

設事件A1,A2,…,An滿足：(1)任意兩個事件都互不相容，即當i≠j時，有Ai∩Aj=Φ(i=1,2,…,n；j=1,2,…,n)；(2)P(Ai)>0(i=1,2,…,n);(3)D=

則對任何事件B由下式成立：該公式稱為全概率公式，它提供了一種計算P(B)的方法。

5.3.1主觀Bayes方法的概率論基礎1.全概率公式21

定理5.2

設事件A1,A2,…,An滿足定理5.1規(guī)定的條件，則對任何事件B有下式成立：該定理稱為Bayes定理，上式稱為Bayes公式。其中，P(Ai)是事件Ai的先驗概率，P(B|Ai)是在事件Ai發(fā)生條件下事件B的條件概率；P(Ai|B)是在事件B發(fā)生條件下事件Ai的條件概率。如果把全概率公式代入Bayes公式，則有：即這是Bayes公式的另一種形式。Bayes定理給處了用逆概率P(B|Ai)求原概率P(Ai|B)的方法。5.3.1主觀Bayes方法的概率論基礎2.Bayes公式22表示形式：在主觀Bayes方法中，知識是用產生式表示的，其形式為：IFETHEN(LS,LN)H其中，(LS,LN)用來表示該知識的知識強度，LS(充分性度量)和LN(必要性度量)的表示形式分別為：5.3.2主觀Bayes方法的推理模型1.知識不確定性的表示(1/5)LS和LN的含義：由本節(jié)前面給出的的Bayes公式可知：

235.3.2主觀Bayes方法的推理模型1.知識不確定性的表示(2/5)兩式相除得：(5.1)

為討論方便，下面引入幾率函數

可見，X的幾率等于X出現的概率與X不出現的概率之比，P(X)與O(X)的變化一致，且有：P(X)=0時有O(X)=0P(X)=1時有O(X)=+∞即把取值為[0,1]的P(X)放大為取值為[0,+∞]的O(X)(5.2)24把(5.2)式代入(5.1)式有：5.3.2主觀Bayes方法的推理模型1.知識不確定性的表示(3/5)再把LS代入此式，可得：(5.3)式(5.3)和(5.4)就是修改的Bayes公式。可見：當E為真時可用（5.3）計算O(H|E)當E為假時可用（5.4）計算O(H|?E)(5.4)同理可得到關于LN的公式：25LS的性質：當LS>1時，O(H|E)>O(H)，說明E支持H，LS越大，E對H的支持越充分。當LS→∝時，O(H|E)→∝，即P(H/E)→1，表示由于E的存在將導致H為真。當LS=1時，O(H|E)=O(H)，說明E對H沒有影響。當LS<1時，O(H|E)<O(H)，說明E不支持H。當LS=0時，O(H|E)=0，說明E的存在使H為假。LN的性質：當LN>1時，O(H|﹁E)>O(H)，說明﹁E支持H，即由于E的不出現，增大了H為真的概率。并且，LN得越大，﹁E對H為真的支持就越強。當LN→∝時，O(H|﹁E)→∝，即P(H|﹁E)→1，表示由于﹁E的存在將導致H為真。當LN=1時，O(H|﹁E)=O(H)，說明﹁E對H沒有影響。當LN<1時，O(H|﹁E)<O(H)，說明﹁E不支持H，即由于﹁E的存在，使H為真的可能性下降，或者說由于E不存在，將反對H為真。當LN→0時O(H|﹁E)→0，即LN越小，E的不出現就越反對H為真，這說明H越需要E的出現。當LN=0時，O(H|﹁E)=0，說明﹁E的存在（即E不存在）將導致H為假。5.3.2主觀Bayes方法的推理模型1.知識不確定性的表示(4/5)26

LS與LN的關系由于E和﹁E不會同時支持或同時排斥H，因此只有下述三種情況存在：①LS>1且LN<1②LS<1且LN>1③LS=LN=1證①：LS>1?P(E|H)/P(E|?H)>1?P(E|H)>P(E|?H)?1-P(E|H)<1-P(E|?H)?P(?E|H)<P(?E|?H)?P(?E|H)/P(?E|?H)<1?LN<1同理可證②、③，證明略5.3.2主觀Bayes方法的推理模型1.知識不確定性的表示(5/5)27基本證據的表示：在主觀Bayes方法中，基本證據E的不精確性是用其概率或幾率來表示的。概率與幾率之間的關系為：

在實際應用中，除了需要考慮證據E的先驗概率與先驗幾率外，往往還需要考慮在當前觀察下證據E的后驗概率或后驗幾率。以概率情況為例，對初始證據E，用戶可以根據當前觀察S將其先驗概率P(E)更改為后驗概率P(E|S)，即相當于給出證據E的動態(tài)強度。5.3.2主觀Bayes方法的推理模型2.證據不確定性的表示(1/2)28組合證據不確定性的計算：證據的基本組合方式只有合取和析取兩種。當組合證據是多個單一證據的合取時，例E=E1ANDE2AND…ANDEn如果已知在當前觀察S下，每個單一證據Ei有概率P(E1|S),P(E2|S),…,P(En|S)，則P(E|S)=min{P(E1|S),P(E2|S),…,P(En|S)}當組合證據是多個單一證據的析取時，例E=E1ORE2OR…OREn如果已知在當前觀察S下，每個單一證據Ei有概率P(E1|S),P(E2|S),…,P(En|S)，則P(E|S)=max{P(E1|S),P(E2|S),…,P(En|S)}5.3.2主觀Bayes方法的推理模型2.證據不確定性的表示(2/2)29

根據E的概率P(E)及LS和LN的值，把H的先驗概率P(H)或先驗幾率O(H)更新為后驗概率或后驗幾率。分以下3種情況討論：1.證據肯定為真2.證據肯定為假3.證據既非為真有非為假5.3.2主觀Bayes方法的推理模型3.不確定性的更新(1/4)30證據肯定為真時當證據E肯定為真時，P(E)=P(E|S)=1。將H的先驗幾率更新為后驗幾率的公式為(5.3)，即O(H|E)=LS×O(H)把H的先驗概率P(H)更新為后驗概率P(H|E)的公式，可將(5.2)代入(5.4)得：5.3.2主觀Bayes方法的推理模型3.不確定性的更新(2/4)證據E肯定為假時當證據E肯定為假時，P(E)=P(E|S)=0，P(﹁E)=1。將H的先驗幾率更新為后驗幾率的公式為(5.4)，即O(H|﹁E)=LN×O(H)把先驗概率P(H)更新為后驗概率P(H|﹁E)的公式，可將(5.2)代入(5.4)得：(5.5)(5.6)31證據既非真假：需要使用杜達等人給出的公式：P(H|S)=P(H|E)×P(E|S)+P(H|﹁E)×P(﹁E|S)(5.7)下面分四種情況討論：(1)P(E|S)=1當P(E|S)=1時，P(﹁E|S)=0。由(6.7)式和(6.5)式可得這實際是證據肯定存在的情況(2)P(E|S)=0當P(E|S)=0時，P(﹁E|S)=1。由(6.7)式和(6.6)式可得(3)P(E|S)=P(E)當P(E|S)=P(E)時，表示E與S無關。由(5.7)式和全概率公式可得5.3.2主觀Bayes方法的推理模型3.不確定性的更新(3/4)320P(E)1P(E|S)P(H|﹁E)P(H)P(H|E)P(H|S)

(4)P(E/S)為其它值上面已經得到了P(E|S)的3個特殊值：0，P(E),1；它們分別對應的3個值為P(H|﹁E),P(H),P(H|E)。由此構造的分段線性插值函數為：(5.8)5.3.2主觀Bayes方法的推理模型3.不確定性的更新(4/4)33

假設有n條知識都支持同一結論H，并且這些知識的前提條件分別是n個相互獨立的證據E1、E2、…、En，而每個證據所對應的觀察又分別是S1、S2、…、Sn。在這些觀察下，求H的后驗概率的方法是：首先對每條知識分別求出H的后驗幾率O(H|Si)，然后利用這些后驗幾率并按下述公式求出在所有觀察下H的后驗幾率：5.3.2主觀Bayes方法的推理模型4.結論不確定性的合成(5.9)34例5.2

設有規(guī)則r1:IFE1THEN(2,0.0001)H1r2:IFE1ANDE2THEN(100,0.001)H1r3:IFH1THEN(200,0.01)H2已知：P(E1)=P(E2)=0.6P(H1)=0.091，P(H2)=0.01用戶回答:P(E1|S1)=0.76,P(E2|S2)=0.68求：P(H2|S1,S2)=?5.3.3主觀Bayes推理的例子35解：由已知知識得到的推理網絡如下圖所示。0.091H2H1ANDE1E20.01(2,0.001)(100,0.001)(200,0.01)0.60.60.760.68r2r1r35.3.3主觀Bayes推理的例子36(1)計算O(H1|S1)先把P(H1)更新為E1下的后驗概率P(H1|E1)由于P(E1|S1)=0.76>P(E)，使用(6.8)式的后半部分，得P(H1|S1)為：5.3.3主觀Bayes推理的例子37(2)計算O(H1|(S1ANDS2))由于r2的前件是E1、E2的合取關系，且已知P(E1|S1)=0.76，P(E2|S2)=0.68，即P(E2|S2)<P(E1|S1)。按合取取最小的原則，這里僅考慮E2對H1的影響，即把計算P(H1|(S1ANDS2))的問題轉化為計算O(H1|S2)的問題。把H1的先驗概率P(H1)更新為在E2下的后驗概率P(H1/E2)又由于P(E2|S2)=0.68>P(E2)，還使用(5.8)式的后半部分，得P(H1|S2)為：5.3.3主觀Bayes推理的例子38(3)計算O(H1|S1,S2)先將H1的先驗概率轉換為先驗幾率再根據合成公式計算H1的后驗幾率然后再將后驗幾率轉換為后驗概率5.3.3主觀Bayes推理的例子39(4)計算P(H2|S1,S2)對r3，H1相當于已知事實，H2為結論。將H2的先驗概率P(H2)更新為在H1下的后驗概率P(H2|H1)由于P(H1|S1,S2)=0.321>P(H1)，仍使用(5.8)式的后半部分，得到在當前觀察S1、S2下H2的后驗概率P(H2|S1,S2)可以看出，H2的先驗概率是0.01，通過r1、r2、r3及初始證據進行推理，最后推出H2的后驗概率為0.177，相當于概率增加了16倍多。5.3.3主觀Bayes推理的例子405.1不確定性推理的基本概念5.2可信度推理5.3主觀Bayes方法5.4證據理論5.4.1證據理論的形式化描述5.4.2證據理論的推理模型5.4.3推理實例5.4.4證據理論推理的特征5.5模糊推理5.6概率推理

第5章不確定性推理

415.4.1DS理論的形式描述

1.概率分配函數（1/5）DS理論處理的是集合上的不確定性問題，為此需要先建立命題與集合之間的一一對應關系，以把命題的不確定性問題轉化為集合的不確定性問題。(1)冪集設Ω為樣本空間，且Ω中的每個元素都相互獨立，則由Ω的所有子集構成的冪集記為2Ω。當Ω中的元素個數為N時，則其冪集2Ω的元素個數為2N，且其中的每一個元素都對應于一個關于x取值情況的命題。例5.3

設Ω={紅，黃，白}，求Ω的冪集2Ω。解：Ω的冪集可包括如下子集：A0=Φ,A1={紅},A2={黃},A3={白},A4={紅，黃},A5={紅，白},A6={黃，白},A7={紅，黃，白}其中，Φ表示空集，空集也可表示為{}。上述子集的個數正好是23=8425.4.1DS理論的形式描述

1.概率分配函數（2/5）(2)一般的概率分配函數定義5.3設函數m：2Ω→[0，1]，且滿足則稱m是2Ω上的概率分配函數，m(A)稱為A的基本概率數。例5.4

對例5.3所給出的有限集Ω，若定義2Ω上的一個基本函數m：m({},{紅},{黃},{白},{紅，黃},{紅，白},{黃，白},{紅，黃，白})=(0,0.3,0,0.1,0.2,0.2,0,0.2)請說明該函數滿足概率分配函數的定義。解：(0,0.3,0,0.1,0.2,0.2,0,0.2)分別是冪集2Ω中各個子集的基本概率數。顯然m滿足即滿足概率分配函數的定義。435.4.1DS理論的形式描述

1.概率分配函數（3/5）

對一般概率分配函數的說明(1)概率分配函數的作用是把Ω的任一子集映射為[0，1]上的一個數m(A)當AΩ，且A由單個元素組成時，則m(A)表示對A的精確信任度；當AΩ、A≠Ω，且A由多個元素組成時，m(A)也表示對A的精確信任度，但卻不知道這部分信任度該分給A中哪些元素；當A=Ω時，則m(A)也表示不知道該如何分配的部分。

例如，對上例所給出的有限集Ω及基本函數m，當A={紅}時，有m(A)=0.3，它表示對命題“x是紅色”的精確信任度為0.3。B={紅，黃}時，有m(B)=0.2，x是紅或黃的信任度0.2，但不知道怎樣分。C=Ω={紅，黃，白}時，有m(Ω)=0.2，同樣不知道該怎樣分配。(2)概率分配函數不是概率例如，在例5.3中，m符合概率分配函數的定義，但m({紅})+m({黃})+m({白})=0.3+0+0.1=0.4<1因此m不是概率，因為概率P要求：P(紅)+P(黃)+P(白)=1445.4.1證據理論的推理模型

1.概率分配函數(4/5)(3)一個特殊的概率分配函數設Ω={s1,s2,…,sn}，m為定義在2Ω上的概率分配函數，且m滿足其中，∣A∣表示命題A所對應的集合中的元素個數。該概率分配函數的特殊性：①只有當子集中的元素個數為1時，其概率分配數才有可能大于0；②當子集中有多個或0個元素，且不等于全集時，其概率分配數均為0；③全集Ω的概率分配數按(3)計算。455.4.1證據理論的推理模型

1.概率分配函數(5/5)例5.5

設Ω={紅，黃，白}，有如下概率分配函數m({}，{紅}，{黃}，{白}，{紅，黃，白})=(0,0.6,0.2,0.1,0.1)其中：m({紅，黃})=m({紅，白})=m({黃，白})=0，可見，m符合上述概率分配函數的定義。

(4)概率分配函數的合成定義5.4

設m1和m2是2Ω上的基本概率分配函數，它們的正交和定義為其中：465.4.1證據理論的推理模型

2.信任函數和似然函數(1/2)根據上述特殊的概率分配函數，可構造其信任函數和似然函數。定義5.4

對任何命題AΩ,其信任函數為信任函數也稱為下限函數，表示對A的總體信任度。

定義5.5

對任何命題AΩ,其似然函數為似然函數也稱為上限函數，表示對A的非假信任度?？梢钥闯?，對任何命題AΩ、AΩ都有

Pl(A)-Bel(A)=Pl(B)-Bel(B)=m(Ω)475.4.3證據理論的推理模型

2.信任函數和似然函數(2/2)例5.6設Ω={紅，黃，白}，概率分配函數m({}，{紅}，{黃}，{白}，{紅，黃，白})=(0,0.6,0.2,0.1,0.1)A={紅，黃}，求m(Ω)、Bel(A)和Pl(A)的值。解：m(Ω)=1-[m({紅})+m({黃})+m({白})]=1-(0.6+0.2+0.1)=0.1Bel({紅，黃})=m({紅})+m({黃})=0.6+0.2=0.8Pl({紅，黃})=m(Ω)+Bel({紅，黃})=0.1+0.8=0.9或Pl({紅，黃})=1-Bel(﹁{紅，黃})=1-Bel({白})=1-0.1=0.9

48定義5.7設Ω為有限域，對任何命題AΩ，命題A的類概率函數為

其中，|A|和|Ω|分別是A及Ω中元素的個數。

類概率函數f(A)具有如下性質：證明：5.4.1證據理論的推理模型

3.類概率函數(1/4)故因為49(2)對任何,有Bel(A)≤f(A)≤Pl(A)

證明：根據f(A)定義5.4.1證據理論的推理模型

3.類概率函數(2/4)故因又因，即所以50(3)對任何，有f(﹁A)=1-f(A)證明：因為5.4.1證據理論的推理模型

3.類概率函數(3/4)故51(1)

f(Ф)=0(2)

f(Ω)=1(3)對任何，有0≤f(A)≤1

根據以上性質，可得如下推論例5.7

設Ω={紅，黃，白}，概率分配函數m({}，{紅}，{黃}，{白}，{紅，黃，白})=(0,0.6,0.2,0.1,0.1)若A={紅，黃}，求f(A)的值。解：5.4.1證據理論的推理模型

3.類概率函數(4/4)525.4.2證據理論的推理模型

1.知識不確定性的表示表示形式：IFETHENH={h1,h2,…,hn}CF={c1,c2,…,cn}其中：E為前提條件，它既可以是簡單條件，也可以是用合取或析取詞連接起來的復合條件；H是結論，它用樣本空間中的子集表示，h1,h2,…,hn是該子集中的元素；CF是可信度因子，用集合形式表示。該集合中的元素c1,c2,…,cn用來指出h1,h2,…,hn的可信度，ci與hi一一對應。并且，ci應滿足如下條件：53定義5.8設A是規(guī)則條件部分的命題，E'是外部輸入的證據和已證實的命題，在證據E'的條件下，命題A與證據E'的匹配程度為定義5.9條件部分命題A的確定性為CER(A)=MD(A/E')×f(A)其中f(A)為類概率函數。由于f(A)∈[0,1]，因此CER(A)∈[0,1]

5.4.1證據理論的推理模型

2.證據不確定性的表示如果A的所有元素都出現在E‘中否則54當組合證據是多個證據的合取時E=E1ANDE2AND…ANDEn則CER(E)=min{CER(E1),CER(E2),…,CER(En)}當組合證據是多個證據的析取時E=E1ORE2OR…OREn則CER(E)=max{CER(E1),CER(E2),….CER(En)5.4.2證據理論的推理模型

3.組合證據不確定性的表示55(1)求H的概率分配函數

如果有兩條或多條知識支持同一結論H，例：IFE1THENH={h1,h2,…,hn}CF={c11,c12,…,c1n}IFE2THENH={h1,h2,…,hn}CF={c21,c22,…,c2n}則按正交和求CER(H)，即先求出：

m1=m1({h1},{h2},…,{hn})m2=m2({h1},{h2},…,{hn})然后再用公式求m1和m2的正交和，最后求得H的m。設有知識IFETHENH={h1,h2,…,hn}CF={c1,c2,…,cn}則求結論H的確定性CER(H)的方法如下：

5.4.2證據理論的推理模型

4.不確定性的更新(1/2)56(2)求Bel(H)、Pl(H)及f(H)

5.4.2證據理論的推理模型

4.不確定性的更新(2/2)(3)求H的確定性CER(H)按公式CER(H)=MD(H/E')×f(H)計算結論H確定性。

575.4.3推理實例

例(1/5)例5.8

設有如下規(guī)則：r1:IFE1ANDE2THENA={a1,a2}CF={0.3,0.5}r2:IFE3THENH={h1,h2}CF={0.4,0.2}r3:IFATHENH={h1,h2}CF={0.1,0.5}已知用戶對初始證據給出的確定性為：CER(E1)=0.8CER(E2)=0.6CER(E3)=0.9并假Ω定中的元素個數∣Ω∣=10求：CER(H)=?

解：由給定知識形成的推理網絡如右圖所示：HAE1E2E3={h1,h2}={a1,a2}r1r2r358(1)求CER(A)由r1:CER(E1ANDE2)=min{CER(E1),CER(E2)}=min{0.8,0.6}=0.6m({a1},{a2})={0.6×0.3,0.6×0.5}={0.18,0.3}Bel(A)=m({a1})+m({a2})=0.18+0.3=0.48

Pl(A)=1-Bel(﹁A)=1-0=1f(A)=Bel(A)+|A|/|Ω|?[Pl(A)-Bel(A)]=0.48+2/10*[1-0.48]=0.584故CER(A)=MD(A/E')×f(A)=0.5845.4.3推理實例

例(2/5)595.4.3推理實例

例(3/5)(2)求CER(H)由r2得m1({h1},{h2})={CER(E3)×0.4,CER(E3)×0.2}={0.9×0.4,0.9×0.2}={0.36,0.18}m1(Ω)=1-[m1({h1})+m1({h2})]=1-[0.36+0.18]=0.46由r3得m2({h1},{h2})={CER(A)×0.1,CER(A)×0.5}={0.58×0.1,0.58×0.5}={0.06,0.29}m2(Ω)=1-[m2({h1})+m2({h2})]=1-[0.06+0.29]=0.6560求正交和m=m1⊕m2K=m1(Ω)×m2(Ω)+m1({h1})×m2({h1})+m1({h1})×m2(Ω)+m1(Ω)×m2({h1})+m1({h2})×m2({h2})+m1({h2})×m2(Ω)+m1(Ω)×m2({h2})=0.46×0.65+0.36×0.06+0.36×0.65+0.46×0.06+0.18×0.29+0.18×0.65+0.46×0.29=0.30+(0.02+0.23+0.03)+(0.05+0.12+0.13)=0.885.4.3推理實例

例(4/5)615.4.3推理實例

例(5/5)故有：m(Ω)=1-[m({h1})+m({h2})]=1-[0.32+0.34]=0.34同理可得：再根據m可得Bel(H)=m({h1})+m({h2})=0.32+0.34=0.66Pl(H)=m(Ω)+Bel(H)=0.34+0.66=1

CER(H)=MD(H/E')×f(H)=0.73625.1不確定性推理的基本概念5.2可信度推理5.3主觀Bayes方法5.4證據理論

5.5模糊推理5.5.1模糊知識表示5.5.2模糊概念的匹配5.5.3模糊推理的方法5.6概率推理

第5章不確定性推理

63模糊命題是基于模糊邏輯，利用模糊謂詞、模糊量詞、模糊修飾語等用來對模糊命題的模糊性進行描述的。

模糊謂詞設x∈U，F為模糊謂詞，即U中的一個模糊關系，則模糊命題可表示為xisF其中的模糊謂詞F可以是大、小、年輕、年老、冷、暖、長、短等。模糊量詞模糊邏輯中使用的模糊量詞，如極少、很少、幾個、少數、多數、大多數、幾乎所有等。這些模糊量詞可以很方便地描述類似于下面的命題：大多數成績好的學生學習都很刻苦。很少有成績好的學生特別貪玩。5.5.1模糊知識表示

1.模糊命題的描述(1/3)64模糊修飾語設m是模糊修飾語，x是變量，F謂模糊謂詞，則模糊命題可表示為xismF，模糊修飾語也稱為程度詞，常用的程度詞有“很”、“非?！薄ⅰ坝行?、“絕對”等。模糊修飾語的四種主要運算：①求補

表示否定，如“不”、“非”等，其隸屬函數的表示為

②集中

表示“很”、“非?！钡?，其效果是減少隸屬函數的值：

③擴張表示“有些”、“稍微”等，其效果是增加隸屬函數的值：

5.5.1模糊知識表示

1.模糊命題的描述(2/3)65④加強對比

表示“明確”、“確定”等，其效果是增加0.5以上隸屬函數的值，減少0.5以下隸屬函數的值：

則“非常真”、“有些真”、“非常假”、“有些假”可定義為

在以上4種運算中，集中與擴張用的較多。例如，語言變量“真實性”取值“真”和“假”的隸屬函數定義為：

5.5.1模糊知識表示

1.模糊命題的描述(3/3)66在扎德的推理模型中，產生式規(guī)則的表示形式是IFxisFTHENyisG其中：x和y是變量，表示對象；F和G分別是論域U和V上的模糊集，表示概念。

5.5.1模糊知識表示

2.模糊知識的表示方式67連續(xù)論域：如果論域U是實數域上的某個閉區(qū)間[a,b]，則漢明距離為

語義距離用于刻劃兩個模糊概念之間的差異。這里主要討論漢明距離。

離散論域：設U={u1,u2,…,un}是一個離散有限論域，F和G分別是論域U上的兩個模糊概念的模糊集，則F和G的漢明距離定義為5.5.2模糊概念的匹配

1.語義距離例5.9

設論域U={-10,0,10,20,30}表示溫度，模糊集F=0.8/-10+0.5/0+0.1/10G=0.9/-10+0.6/0+0.2/10分別表示“冷”和“比較冷”，則d(F,G)=0.2×(|0.8-0.9|+|0.5-0.6|+|0.1-0.2|)=0.2×0.3=0.06即F和G的漢明距離為0.06。685.5.2模糊概念的匹配

2.貼近度設F和G分別是論域U={u1,u2,…,un}上的兩個模糊概念的模糊集，則它們的貼近度定義為(F,G)=(1/2)﹡(F·G

+(1-F⊙G))其中：

稱F·G為內積，F⊙G為外積。例5.10

設論域U及其上的模糊集F和G如上例所示，則F·G=0.8∧0.9∨0.5∧0.6∨0.1∧0.2∨0∧0∨0∧0=0.8∨0.5∨0.1∨0∨0=0.8F⊙G=(0.8∨0.9)∧(0.5∨0.6)∧(0.1∨0.2)∧(0∨0)∧(0∨0)=0.9∧0.6∧0.2∧0∧0=0(F,G)=0.5×(0.8+(1-0))=0.5×1.8=0.9即F和G的貼近度為0.9。F·G=

F⊙G=695.5.3模糊推理的方法模糊推理實際上是按照給定的推理模式，通過模糊集合與模糊關系的合成來實現的。主要討論：1.模糊關系的構造2.模糊推理的基本方法70模糊關系RmRm是由扎德提出的一種構造模糊關系的方法。設F和G分別是論域U和V上的兩個模糊集，則Rm定義為其中，×號表示模糊集的笛卡爾乘積。例5.10設U=V={1，2，3}，F和G分別是U和V上的兩個模糊集，且F=1/1+0.6/2+0.1/3,G=0.1/1+0.6/2+1/3，求U×V上的Rm

解：5.5.3模糊推理方法1.模糊關系的構造(1/3)如：Rm(2,3)=(0.6∧1)∨(1-0.6)=0.6∨0.4=0.671模糊關系RcRc是由麥姆德尼(Mamdani)提出的一種構造模糊關系的方法。設F和G分別是論域U和V上的兩個模糊集，則Rc義為

例：對例5.11所給出的模糊集F=1/1+0.6/2+0.1/3,G=0.1/1+0.6/2+1/3其Rc為如Rc(3,2)：

5.5.3模糊推理方法1.模糊關系的構造(2/3)72模糊關系RgRg是米祖莫托(Mizumoto)提出的一種構造模糊關系的方法。設F和G分別是論域U和V上的兩個模糊集，則Rg定義為其中

例：對例5.11所給出的模糊集F=1/1+0.6/2+0.1/3,G=0.1/1+0.6/2+1/3其Rg為5.5.3模糊推理方法1.模糊關系的構造(3/3)73模糊假言推理(1/2)設F和G分別是U和V上的兩個模糊集，且有知識IFxisFTHENyisG若有U上的一個模糊集F'，且F可以和F'匹配，則可以推出yisG'，且G'是V上的一個模糊集。這種推理模式稱為模糊假言推理，其表示形式為：知識：IFxisFTHENyisG證據：xisF'---------------------------------------------------------結論：yisG'5.5.3模糊推理方法2.模糊推理的基本模式(1/7)在這種推理模式下，模糊知識IFxisFTHENyisG表示在F與G之間存在著確定的因果關系，設此因果關系為R。則有G'=F'οR其中的模糊關系R，可以是Rm、Rc或Rg中的任何一種。

74模糊假言推理(2/2)例5.12

對例5.11所給出的F、G，以及所求出的Rm，設有已知事實：｛xis較?。⒃O“較小”的模糊集為：較小=1/1+0.7/2+0.2/3求在此已知事實下的模糊結論。解：本例的模糊關系Rm已在例5.11中求出，設已知模糊事實“較小”為F'，F'與Rm的合成即為所求結論G'。

={0.4,0.6,1}即所求出的模糊結論G'為G'=0.4/1+0.6/2+1/35.5.3模糊推理方法2.模糊推理的基本模式(2/7)75模糊拒取式推理(1/2)設F和G分別是U和V上的兩個模糊集，且有知識IFxisFTHENyisG若有V上的一個模糊集G’，且G可以和G’匹配，則可以推出xisF’，且F’是U上的一個模糊集。這種推理模式稱為模糊拒取式推理，其表示形式為：知識：IFxisFTHENyisG證據：yisG'---------------------------------------------------------結論：xisF'

在這種推理模式下，模糊知識IFxisFTHENyisG也表示在F與G之間存在著確定的因果關系，設此因果關系為R，則有F'=RοG'其中的模糊關系R，可以是Rm、Rc或Rg中的任何一種。5.5.3模糊推理方法2.模糊推理的基本模式(3/7)76模糊拒取式推理(2/2)例5.13

設F、G如例5.11所示，已知事實為｛yis較大｝且“較大”的模糊集為：較大=0.2/1+0.7/2+1/3，若已知事實與G匹配，以模糊關系Rc為例，在此已知事實下推出F’。解：本例的模糊關系Rc已在前面求出，設模糊概念“較大”為G'，則

Rc與G'的合成即為所求的F'。

即所求出的F'為F'=1/1+0.6/2+0.1/3

5.5.3模糊推理的方法2.模糊推理的基本模式(4/7)77模糊假言三段論推理(1/3)設F、G、H分別是U、V、W上的3個模糊集，且由知識IFxisFTHENyisGIFyisGTHENzisH則可推出:IFxisFTHENzisH這種推理模式稱為模糊假言三段論推理。它可表示為：知識：IFxisFTHENyisG證據：IFyisGTHENzisH---------------------------------------------------------結論：IFxisFTHENzisH5.5.3模糊推理的方法2.模糊推理的基本模式(5/7)78

模糊假言三段論推理(2/3)在模糊假言三段論推理模式下，模糊知識r1:IFxisFTHENyisG表示在F與G之間存在著確定的因果關系，設此因果關系為R1。模糊知識r2:IFyisGTHENzisH表示在G與H之間存在著確定的因果關系，設此因果關系為R2。若模糊假言三段論成立，則模糊結論r3：IFxisFTHENzisH的模糊關系R3可由R1與R2的合成得到。即R3=R1οR2這里的關系R1、R2、R3都可以是前面所討論過的Rm、Rc、Rg中的任何一種。5.5.3模糊推理方法2.模糊推理的基本模式(6/7)79模糊假言三段論推理(3/3)例5.14設U=W=V={1,2,3}，E=1/1+0.6/2+0.2/3，F=0.8/1+0.5+0.1/3，G=0.2/1+0.6+1/3。按Rg求E×F×G上的關系R。解：先求E×F上的關系R1

再求F×G上的關系R2

5.5.3模糊推理方法2.模糊推理的基本模式(7/7)最后求E×F×G上的關系R

805.1不確定性推理的基本概念5.2可信度推理5.3主觀Bayes方法5.4證據理論

5.5模糊推理5.6概率推理

5.6.1貝葉斯網絡的概念及理論5.6.2貝葉斯網絡推理的概念和類型5.6.3貝葉斯網絡的精確推理5.6.4貝葉斯網絡的近似推理第5章不確定性推理

81貝葉斯網絡是由美國加州大學的珀爾（J.Pearl）于1985年首先提出的一種模擬人類推理過程中因果關系的不確定性處理模型。它是概率論與圖論的結合，其拓撲結構是一個有向無環(huán)圖。定義5.10設X={X1,X2,…,Xn}是任何隨機變量集，其上的貝葉斯網絡可定義為BN=（BS，BP）。其中：①BS是貝葉斯網絡的結構，即一個定義在X上的有向無環(huán)圖。其中的每一個節(jié)點Xi都惟一地對應著X中的一個隨機變量，并需要標注定量的概率信息；每條有向邊都表示它所連接的兩個節(jié)點之間的條件依賴關系。②Bp為貝葉斯網絡的條件概率集合，Bp={P(Xi|par(Xi))}。其中，par(Xi)表示Xi的所有父節(jié)點的相應取值，P(Xi|par(Xi))是節(jié)點Xi的一個條件概率分布函數。從以上定義可以看出，貝葉斯網絡中的弧是有方向的，且不能形成回路，因此圖有始點和終點。5.6.1貝葉斯網絡的概念及理論1.貝葉斯網絡的定義(1/2)82

例5.15假設學生在碰見難題和遇到干擾時會產生焦慮，而焦慮又可導致思維遲緩和情緒波動。請用貝葉斯網絡描述這一問題。解：圖5.4是對上述問題的一種貝葉斯網絡描述。在該圖中，大寫英文字母A、D、I、C和E分別表示節(jié)點“產生焦慮”、“碰見難題”、“遇到干擾”、“認知遲緩”和“情緒波動”，并將各節(jié)點的條件概率表置于相應節(jié)點的右側。5.6.1貝葉斯網絡的概念及理論1.貝葉斯網絡的定義(2/2)碰見難題產生焦慮遇到干擾思維遲緩情緒波動ADIEC圖5.4關于學習心理的貝葉斯網絡AP(C)T0.8AP(E)T0.9P(D)0.15P(I)0.05DIP(A)TT0.8TF0.4FT0.5FF0.1其中，小寫英文字母a、d、i、c和e分別表示布爾變量A、D、I、C和E取邏輯值為“True”，﹁a、﹁d、﹁i、﹁c和﹁e來表示布爾變量A、D、I、C和E取邏輯值為“False”。貝葉斯網絡中每個節(jié)點的概率表就是該節(jié)點與其父節(jié)點之間的一個局部條件概率分布，由于節(jié)點D和I無父節(jié)點，故取其先驗概率來填充。83

全聯合概率分布也稱為聯合概率分布，它是概率的合取形式，其定義為

定義5.11設X={X1,X2,…,Xn}為任何隨機變量集，其全聯合概率分布是指當對每個變量取特定值時xi（i=1,2,…,n）時的合取概率，即P(X1=x1∧X2=x2∧…∧Xn=xn)其簡化表示形式為P(x1,x2,…,xn)。由全聯合概率分布，再重復使用乘法法則P(x1,x2,…,xn)=P(xn|xn-1,xn-2,…,x1)P(xn-1,xn-2,…,x1)可以把每個合取概率簡化為更小的條件概率和更小的合取式，直至得到如下全聯合概率分布表示：P(x1,x2,…,xn)=P(xn|xn-1,xn-2,…,x1)P(xn-1|xn-2,xn-3,…,x1)…P(x2|x1)P(x1)

=這個恒等式對任何隨機變量都是成立的，該式亦稱為鏈式法則。5.6.1貝葉斯網絡的概念及理論2.貝葉斯網絡的全聯合概率分布表示(1/2)84根據貝葉斯網絡的定義，對子節(jié)點變量Xi，其取值xi的條件概率僅依賴于Xi的所有父節(jié)點的影響。按照前面的假設，我們用par(Xi)表示Xi的所有父節(jié)點的相應取值xi，P(Xi|par(Xi))是節(jié)點Xi的一個條件概率分布函數，則對X的所有節(jié)點，應有如下聯合概率分布：P(x1,x2,…,xn)=這個公式就是貝葉斯網絡的聯合概率分布表示?？梢?，貝葉斯網絡的聯合概率分布要比全聯合概率分布簡單得多，一個重要原因是其具有局部化特征。所謂局部化特征，是指每個節(jié)點只受到整個節(jié)點集中少數別的節(jié)點的直接影響，而不受這些節(jié)點外的其它節(jié)點的直接影響。

貝葉斯網絡是一種線性復雜度的方法。原因是一個節(jié)點僅受該節(jié)點的父節(jié)點的直接影響，而不受其它節(jié)點的直接影響。5.6.1貝葉斯網絡的概念及理論2.貝葉斯網絡的全聯合概率分布表示(2/2)

85從貝葉斯網絡的局部化特征可以看出，貝葉斯網絡能實現簡化計算的最根本基礎是條件獨立性，即一個節(jié)點與它的祖先節(jié)點之間是條件獨立的。下面從網絡拓撲結構去定義下面兩個等價的條件獨立關系的判別準則：(1)給定父節(jié)點，一個節(jié)點與非其后代的節(jié)點之間是條件獨立的。例如，在圖5.4所示的貝葉斯網絡中，給定父節(jié)點“產生焦慮”的取值（即T或F），節(jié)點“思維遲緩”與非其后代節(jié)點“碰見難題”和節(jié)點“遇到干擾”之間是條件獨立的。同樣，節(jié)點“情緒波動”與非其后代節(jié)點“碰見難題”和節(jié)點“遇到干擾”之間也是條件獨立的。(2)給定一個節(jié)點，該節(jié)點與其父節(jié)點、子節(jié)點和子節(jié)點的父節(jié)點一起構成了一個馬爾科夫覆蓋，則該節(jié)點與馬爾科夫覆蓋以外的所有節(jié)點之間都是條件獨立的。

例如，在圖5.4所示的貝葉斯網絡中，若給定一個節(jié)點“碰見難題”，其馬爾科夫覆蓋包括“產生焦慮”、“遇到干擾”。此時，節(jié)點“碰見難題”與處于馬爾科夫覆蓋以外的那些節(jié)點，如節(jié)點“思維遲緩”和節(jié)點“情緒波動”之間都是條件獨立的。5.6.1貝葉斯網絡的概念及理論3.貝葉斯網絡的條件依賴關系表示

86依據貝葉斯網絡的聯合概率分布表示，其構造過程如下：(1)首先建立不依賴于其它節(jié)點的根節(jié)點，并且根節(jié)點可以不止一個。(2)加入受根節(jié)點影響的節(jié)點，并將這些節(jié)點作為根節(jié)點的子節(jié)點。此時，根節(jié)點已成為父節(jié)點。(3)進一步建立依賴于已建節(jié)點的子節(jié)點。重復這一過程直到葉節(jié)點為止。(4)對每個根節(jié)點，給出其先驗概率；對每個中間節(jié)點和葉節(jié)點，給出其條件概率表。

例如，圖5.4所示貝葉斯網絡的構建過程如下：(1)先建立根節(jié)點“碰見難題”和“遇到干擾”；(2)加入受根節(jié)點影響節(jié)點“產生焦慮”，并將其作為兩個根節(jié)點的子節(jié)點。(3)進一步加入依賴于已建立節(jié)點“產生焦慮”的子節(jié)點“思維遲緩”和“情緒波動”。由于這兩個新建節(jié)點已為葉節(jié)點，故節(jié)點構建過程終止。(4)對每個根節(jié)點，給出其先驗概率；