哈工大人工智能課件chpt5

人工智能原理

第5章不精確推理

1

本章內(nèi)容

5.1不精確推理的必要性

5.2不確定性的表示

5.3貝葉斯網(wǎng)絡(luò)

5.4可信度方法

5.5模糊推理*

參考書目

附錄似然比與貝葉斯概率推理第7章不精確推理25.1不精確推理的必要性

不精確推理的緣由/方法第7章不精確推理3為什么要不精確推理做不精確推理的緣由有多種：推理所需的信息不完備：競(jìng)爭(zhēng)雙方不知道對(duì)方信息背景學(xué)問不足：疑難病癥的機(jī)理多種緣由導(dǎo)致同一結(jié)果：疾病的診斷信息描述模糊：目擊者對(duì)嫌疑犯的描述信息中含有噪聲：做假帳，虛假統(tǒng)計(jì)報(bào)表，采集數(shù)據(jù)當(dāng)中的噪聲（雷達(dá)、聲納/化驗(yàn)）等第7章不精確推理4不精確推理的緣由規(guī)則是模糊的：定性描述，如“假如刑事犯罪猖獗，就應(yīng)加大打擊力度”等推理實(shí)力不足：天氣預(yù)報(bào)的計(jì)算解決方案不唯一：多個(gè)方案如何選優(yōu)的問題兩種不確定性(uncertainty)環(huán)境的不確定性—智能體幾乎從來無法了解關(guān)于其環(huán)境的全部事實(shí)反映環(huán)境的學(xué)問的不確定性—過于困難而無組織—學(xué)問粥(knowledgesoup)第7章不精確推理5不確定性與不精確推理從智能體角度看，他不得不在不確定的環(huán)境下行動(dòng)現(xiàn)實(shí)的不確定性須要不精確推理：將數(shù)值計(jì)算引入推理過程接著運(yùn)用邏輯聯(lián)結(jié)詞真假值概率化，以表示某種牢靠程度在推理的前提和結(jié)論之間建立概率公式應(yīng)用：專家系統(tǒng)中的推理網(wǎng)絡(luò)PROSPECTOR系統(tǒng)MYCIN系統(tǒng)第7章不精確推理65.2不確定性的表示

5.2.1概率及其公理

5.2.2概率推理第7章不精確推理7主觀Bayes主義(概率從何而來)主觀Bayes主義：現(xiàn)實(shí)世界的一些因果關(guān)系可以形成一種信念，它并非在全部場(chǎng)合下都正確，可稱為部分信念表示這種信念的最好方法是概率方法對(duì)概率的說明有若干種，其中一種稱為主觀Bayes主義/要點(diǎn)：概率是個(gè)人的一種合理置信度，每個(gè)人的估計(jì)(概率)雖然各不相同，但應(yīng)當(dāng)滿足概率的基本規(guī)律和其他某些客觀規(guī)律，因而是合理的第7章不精確推理85.2.1概率及其公理隨機(jī)變量布爾隨機(jī)變量—定義域=<T,F>離散隨機(jī)變量—定義域=可數(shù)域連續(xù)隨機(jī)變量—定義域=實(shí)數(shù)集合原子事務(wù)—組成世界的全部隨機(jī)變量的特定賦值/構(gòu)成無法確定的世界狀態(tài)的完整具體描述如X的世界由weather=<sunny,rainy,cloudy,snow>和今日是否喝酒drink_today=<T,F>組成，則有4*2種不同原子事務(wù)第7章不精確推理9原子事務(wù)的性質(zhì)(1)原子事務(wù)是互斥的：sunny∧drink_today和sunny∧?dringk_today不能同時(shí)成立(2)由全部原子事務(wù)組成的集合是窮盡的—至少有一個(gè)原子事務(wù)確定成立/全部原子事務(wù)的邏輯析取=T(3)任何特定的原子事務(wù)與每個(gè)命題(簡(jiǎn)潔或者復(fù)合命題)的真或假一一對(duì)應(yīng)—任何一個(gè)表示所在世界狀態(tài)的命題都可以用原子事務(wù)的邏輯聯(lián)結(jié)表示(4)任何一個(gè)命題邏輯上都等價(jià)于全部蘊(yùn)涵該命題真值的原子事務(wù)的析取sunny等價(jià)于sunny∧drink_today∨sunny∧?drink_today第7章不精確推理10先驗(yàn)概率的表示先驗(yàn)概率：沒有任何其它信息存在狀況下關(guān)于某個(gè)命題的信度用向量表示隨機(jī)變量的先驗(yàn)概率分布P(weather)=<0.7,0.2,0.08,0.02>對(duì)于組成世界的離散隨機(jī)變量全集，運(yùn)用諸如：P(weather,drink_today)來表示涵蓋全集的隨機(jī)變量集的值的全部組合的概率：全聯(lián)合概率分布全聯(lián)合概率分布用概率表表示P<weather,drink_today>用4*2表格表示第7章不精確推理11條件概率的表示條件概率定義由此有乘法定理P(a∧b)=P(a|b)P(b)=P(b|a)P(a)假如a和b相互獨(dú)立，則 P(a|b)=P(a) P(b|a)=P(b) P(a∧b)=P(a)P(b)第7章不精確推理12概率公理Bayes概率聽從如下公理(Kolmogorov公理)：(1)0≤P(a)≤1(2)P(T)=1/P(F)=0(3)P(a∨b)=P(a)+P(b)-P(a∧b)當(dāng)a/b互斥有P(a∨b)=P(a)+P(b)此為加法定理互斥性也就是獨(dú)立性這樣的概率公理是不能違反的第7章不精確推理13全概率公式任何命題a等價(jià)于全部a在其中成立的原子事務(wù)的析取—事務(wù)集合記為e(a)由全部原子事務(wù)是互斥的，得到如下全聯(lián)合概率分布一個(gè)命題的概率等于全部它在其中成立的原子事務(wù)的概率和/滿足獨(dú)立性和完全性第7章不精確推理145.2.2運(yùn)用全聯(lián)合概率分布進(jìn)行推理全聯(lián)合概率分布是學(xué)問庫，從中可得到全部概率的計(jì)算—命題在其中成立的全部原子事務(wù)的概率和P(cavity∨toothache)=0.108+0.012+0.072+0.008+0.016+0.064=0.28P(catch)=0.108+0.016+0.072+0.144=0.34第7章不精確推理toothache?toothachecatch?catchcatch?catchcavity0.1080.0120.0720.008?cavity0.0160.0640.1440.57615邊緣化上述全概率公式從另一個(gè)角度可以視為通用化邊緣規(guī)則：

P(A)=∑zP(A,z)=∑zP(z)P(A|z) 將某個(gè)隨機(jī)變量的分布抽取出來，求和從而得到該變量的無條件概率(或稱為邊緣概率)/其過程稱為邊緣化或求和消元(summingout)用于從多個(gè)變量的全概率分布中求取某個(gè)變量的概率，進(jìn)行推理第7章不精確推理16歸一化大多數(shù)狀況下我們對(duì)計(jì)算某個(gè)變量的條件概率感愛好：1/P(toothache)保持不變，可把它看成是保證其所包含的概率相加為1的常數(shù)。引入歸一化常數(shù)—=1/[p(a)+p(﹁a)]一般公式：P(X|e)=P(X,e)=yP(X,e,y)（依據(jù)全概率公式）說明為：e固定條件下X/Y遍歷全部值，構(gòu)成此時(shí)的全部原子事務(wù)第7章不精確推理17Bayes公式Bayes公式(也稱逆概率公式)從條件概率公式可得

在某些場(chǎng)合下引入一個(gè)證據(jù)e以后，得更通用的Bayes公式

第7章不精確推理18逆概率公式的例子逆概率公式不僅是條件概率公式的一個(gè)簡(jiǎn)潔變形，事實(shí)上很有用處—假如某個(gè)條件概率不便計(jì)算，則可以先計(jì)算其逆概率，而后算出所要的條件概率例子：求P(肺炎|咳嗽)可能比較困難，但統(tǒng)計(jì)P(咳嗽|肺炎)可能比較簡(jiǎn)潔(因?yàn)橐厢t(yī)院)/假設(shè)P(肺炎)=1/10000，而P(咳嗽)=1/10，90%的肺炎患者都咳嗽，則

P(肺炎|咳嗽)=第7章不精確推理19修正因子(1)可以將前面的逆概率公式寫成

這說明先驗(yàn)概率P(H)可以通過方括號(hào)部分(作為修正因子)修正為后驗(yàn)概率P(H|E)(證據(jù)E為真時(shí)H的后驗(yàn)概率)在上面的例子中，醫(yī)生認(rèn)為一個(gè)人得肺炎的可能性為萬分之一，一旦發(fā)覺患者咳嗽，就將調(diào)整為萬分之九第7章不精確推理20修正因子(2)將E看作證據(jù)，先驗(yàn)概率P(E)越小，且H為真時(shí)E的條件概率P(E|H)越大，則修正因子所起作用越大在上例中，假如P(咳嗽)=0.0001/P(咳嗽|肺炎)=0.9999/P(肺炎)不變則P(肺炎|咳嗽)=0.9999，遠(yuǎn)遠(yuǎn)超過原來的萬分之九第7章不精確推理21后驗(yàn)概率遞推公式當(dāng)有n個(gè)相互獨(dú)立的證據(jù)，則有公式

上式可以寫成遞推公式形式：

上式說明：隨著新證據(jù)的不斷獲得，從證據(jù)少時(shí)的后驗(yàn)概率推出證據(jù)多時(shí)的后驗(yàn)概率，且每一步都是把上一步的后驗(yàn)概率視為新證據(jù)到來時(shí)的先驗(yàn)概率第7章不精確推理22獨(dú)立性條件下的推理運(yùn)用全聯(lián)合分布表，可以進(jìn)行查詢(推理)/但只適用于變量少的狀況N個(gè)可能證據(jù)變量，則相關(guān)條件概率的組合數(shù)達(dá)到2N條件獨(dú)立性—一旦某個(gè)變量的取值確定下來，則其余變量就相互獨(dú)立對(duì)于toothache/cavity/catch三者，cavity確定了其余兩者，而它們彼此之間無關(guān)系P(toothache∧catch|Cavity)=P(toothache|Cavity)*P(catch|Cavity)第7章不精確推理23條件獨(dú)立性給定第3個(gè)隨機(jī)變量Z后，X/Y的條件獨(dú)立定義為：P(X,Y|Z)=P(X|Z)P(Y|Z)或P(X|Y,Z)=P(X|Z) P(Y|X,Z)=P(Y|Z)則牙科領(lǐng)域3個(gè)隨機(jī)變量有：P(Toothache,Catch|Cavity)=P(Toothache|Cavity)P(Catch|Cavity)和P(Toothache,Cavity,Catch)=P(To,Cat|Cav)P(Cav)=P(To|Cav)P(Cat|Cav)P(Cav)第7章不精確推理24條件獨(dú)立性的結(jié)果條件概率表(CPT)的分解原概率表有7個(gè)彼此獨(dú)立的數(shù)值(23-1)新概率表有5個(gè)獨(dú)立數(shù)值(2+2+1)n個(gè)變量彼此獨(dú)立后，表示的規(guī)模從O(2n)變?yōu)镺(n)條件獨(dú)立性允許概率系統(tǒng)進(jìn)行規(guī)模的擴(kuò)展；條件獨(dú)立性比確定獨(dú)立性更簡(jiǎn)潔獲得此結(jié)論導(dǎo)致了樸實(shí)貝葉斯模型P(Cause,Effect1,…,Effectn)=(∏P(Ei|C))P(C)第7章不精確推理255.3貝葉斯網(wǎng)絡(luò)

5.3.1貝葉斯網(wǎng)絡(luò)的表示

5.3.2貝葉斯網(wǎng)絡(luò)中的精確推理

5.3.3貝葉斯網(wǎng)絡(luò)的近似推理第7章不精確推理26貝葉斯網(wǎng)絡(luò)定義貝葉斯網(wǎng)絡(luò)(Bayesiannetwork)是一個(gè)有向圖，其中每個(gè)節(jié)點(diǎn)都標(biāo)注了定量概率信息(1)一個(gè)隨機(jī)變量集合組成網(wǎng)絡(luò)節(jié)點(diǎn)，變量可以是離散的或者連續(xù)的(2)一個(gè)連接節(jié)點(diǎn)對(duì)的有向邊或者箭頭的集合，假如存在從節(jié)點(diǎn)X指向節(jié)點(diǎn)Y的有向邊，則稱X是Y的一個(gè)父節(jié)點(diǎn)(3)每個(gè)節(jié)點(diǎn)都存在一個(gè)條件概率分布P(Xi|Parent(Xi))，量化父節(jié)點(diǎn)對(duì)該節(jié)點(diǎn)的影響(4)圖中不存在有向環(huán)(是有向無環(huán)圖DAG)第7章不精確推理275.3.1貝葉斯網(wǎng)絡(luò)的表示從一個(gè)例子(防盜網(wǎng))起先第7章不精確推理BurglaryEarthquakeAlarmJohnCallMaryCallP(B).001P(E).002BE P(A)TT .95TF .94FT .29FF .001

AP(J)T.90F.05

AP(M)T.70F.0128條件概率表每個(gè)節(jié)點(diǎn)旁的條件概率表(簡(jiǎn)稱CPT)中的值對(duì)應(yīng)一個(gè)條件事務(wù)的概率如P(A)=0.94=P(A|Burglary∧Earthquake)條件事務(wù)是父節(jié)點(diǎn)取值的一個(gè)可能組合每行的概率之和應(yīng)當(dāng)為1(表中只給出了為真的狀況，為假的概率應(yīng)為1-p)一個(gè)具有k個(gè)布爾父節(jié)點(diǎn)的布爾變量的條件概率表中有2k個(gè)獨(dú)立的可指定的概率(留意概率值是獨(dú)立的)沒有父節(jié)點(diǎn)的節(jié)點(diǎn)的概率只有1行/為先驗(yàn)概率第7章不精確推理29貝葉斯網(wǎng)絡(luò)語義：全聯(lián)合概率分布全聯(lián)合概率分布的每個(gè)條目都可以通過貝葉斯網(wǎng)絡(luò)的信息計(jì)算出來：聯(lián)合分布中的某項(xiàng)是對(duì)每個(gè)變量賜予一個(gè)特定值狀況下的合取概率就是條件概率表中適當(dāng)元素的乘積例子P(j∧m∧a∧b∧e) =P(j|a)P(m|a)P(a|b∧e)P(b)P(e) =0.90*0.70*0.001*0.999*0.998=0.00062第7章不精確推理30鏈?zhǔn)椒▌t初始的合取概率化為更小的條件概率和更小的合取式P(Xi|Xi-1,…,X1)=P(Xi|Parent(Xi))—假如父節(jié)點(diǎn)包含于條件Xi-1,…,X1之中父子節(jié)點(diǎn)的關(guān)系使得貝葉斯網(wǎng)絡(luò)具有局部結(jié)構(gòu)化的特性，即每個(gè)節(jié)點(diǎn)只和數(shù)量有限的其它部分產(chǎn)生干脆的相互作用P(MaryCall|JohnCall,Alarm,Earthquake,Burglary)=P(MaryCall|Alarm)第7章不精確推理31局部結(jié)構(gòu)化與節(jié)點(diǎn)依次由于貝葉斯網(wǎng)絡(luò)的局部結(jié)構(gòu)化，每個(gè)隨機(jī)變量可以至多受到k個(gè)其它隨機(jī)變量的影響(k=常數(shù))設(shè)網(wǎng)絡(luò)中有n個(gè)節(jié)點(diǎn)(隨機(jī)變量)，指定每個(gè)條件概率表所需信息量至多為2k個(gè)數(shù)據(jù)，則整個(gè)網(wǎng)絡(luò)可以用n2k個(gè)數(shù)據(jù)完全描述/而全聯(lián)合概率分布須要2n個(gè)數(shù)據(jù)構(gòu)造貝葉斯網(wǎng)絡(luò)的次序：添加節(jié)點(diǎn)首先從“根本緣由”起先，然后加入受其干脆影響的變量，直到葉節(jié)點(diǎn)(不影響任何其它節(jié)點(diǎn))第7章不精確推理32條件獨(dú)立關(guān)系貝葉斯網(wǎng)絡(luò)中節(jié)點(diǎn)相互獨(dú)立(下面兩個(gè)定義等價(jià))：(1)給定父節(jié)點(diǎn)，一個(gè)節(jié)點(diǎn)與它的非后代節(jié)點(diǎn)是條件獨(dú)立的(2)給定一個(gè)節(jié)點(diǎn)的父節(jié)點(diǎn)、子節(jié)點(diǎn)以及子節(jié)點(diǎn)的父節(jié)點(diǎn)(Markovblanket)，這個(gè)節(jié)點(diǎn)對(duì)于其它節(jié)點(diǎn)都是條件獨(dú)立的圖示第7章不精確推理33條件獨(dú)立關(guān)系圖示第7章不精確推理U1UmXZ1jZnjY1YnU1UmXZ1jZnjY1Yn345.3.2貝葉斯網(wǎng)絡(luò)中的精確推理概率推理系統(tǒng)中的基本任務(wù)是計(jì)算被查詢變量的后驗(yàn)概率設(shè)X為待查詢變量/e為視察到的證據(jù)/E={E1…Em}證據(jù)變量集合/Y={Y1…Yn}非證據(jù)變量集合(也稱隱變量)全部變量集合={X}∪E∪Y推理的任務(wù)是：求后驗(yàn)概率P(X|e)事實(shí)上，依據(jù)邊緣化規(guī)則可得P(X|e)=P(X,e)=∑yP(X,e,y)第7章不精確推理35查詢實(shí)例(1)上式表明：在貝葉斯網(wǎng)絡(luò)中計(jì)算條件概率的乘積并求和，以便回答查詢以防盜警報(bào)為例，求P(B|JohnCalls=T,M=F)證據(jù)JohnCalls=True/MaryCalls=False查詢變量Burglary=True隱含變量Earthquake/Alarm用首字母簡(jiǎn)化式有：P(b|j,m)=P(b,j,m) =∑E∑AP(b,E,A,j,m)第7章不精確推理36查詢實(shí)例(2)進(jìn)一步代入條件概率：P(b|j,m)=∑E∑AP(b)P(E)P(A|b,E)P(j|A)P(m|A)上式最壞困難度照舊是O(n2n)：對(duì)全部變量求和改進(jìn)—將相對(duì)常數(shù)移到求和符號(hào)以外P(b|j,m)=P(b)∑EP(E)∑AP(A|b,E)P(j|A)P(m|A)計(jì)算過程(遍歷A=a/a和E=e/e)P(j|a)=0.90 P(m|a)=0.30P(j|a)=0.05 P(m|a)=0.99P(a|b,e)=0.95 P(a|b,e)=0.05P(a|b,e)=0.94 P(a|b,e)=0.06第7章不精確推理BurglaryEarthquakeAlarmJohnCallMaryCallP(B).001P(E).002BE P(A)TT .95TF .94FT .29FF .001

AP(J)T.90F.05

AP(M)T.70F.0137查詢實(shí)例(3)乘積求和過程∑EP(E)∑AP(A|b,E)P(j|A)P(m|A) =P(e)*∑AP(A|b,e)P(j|A)P(m|A)+ P(e)*∑AP(A|b,e)P(j|A)P(m|A) =P(e)*[P(a|b,e)*P(j|a)*P(m|a)+P(a|b,e)*P(j|a)*P(m|a)]+P(e)*[P(a|b,e)*P(j|a)*P(m|a)+P(a|b,e)*P(j|a)*P(m|a)] =0.002*[0.95*0.90*0.30+0.05*0.05*0.99] +0.998*[0.94*0.90*0.30+0.06*0.05*0.99] =0.002*[0.2565+0.0025]+0.998*[0.2538+0.0030]=0.002*0.2590+0.998*0.2568=0.2568第7章不精確推理BurglaryEarthquakeAlarmJohnCallMaryCallP(B).001P(E).002BE P(A)TT .95TF .94FT .29FF .001

AP(J)T.90F.05

AP(M)T.70F.0138查詢實(shí)例(4)相應(yīng)地有 P(b|j,m)=P(b)*0.2568=0.001*0.2568 =*0.0002568類似地有P(b|j,m)=*P(b)∑EP(E)∑AP(A|b,E)P(j|A)P(m|A)=*P(b)*[0.002*(0.0783+0.0351)+0.998*(0.0003+0.0495)]=*0.999*0.0499 =*0.0499歸一化以后有P(B|j,m)=<0.0003,0.0499>=<0.006,0.994>只有John打電話而出現(xiàn)盜賊的概率小于1/100★第7章不精確推理39精確推理的困難度單連通結(jié)構(gòu)—貝葉斯網(wǎng)絡(luò)中任何兩個(gè)節(jié)點(diǎn)都至多只有一條無向路徑相連此時(shí)，單連通上的精確推理的時(shí)間和空間困難度都和網(wǎng)絡(luò)規(guī)模呈線性關(guān)系而對(duì)于多連通結(jié)構(gòu)(見下圖)，最壞狀況下變量消元法可能具有指數(shù)級(jí)的時(shí)空困難度—此時(shí)貝葉斯網(wǎng)絡(luò)的推理是一個(gè)NP問題所以要找尋多連通網(wǎng)絡(luò)中的近似算法第7章不精確推理40多連通網(wǎng)絡(luò)第7章不精確推理SRP(W)TT.99TF.90FT.90FF.00CP(R)T.80F.20sprinklerRainWetgrassCP(S)T.10F.50P(C)=.5cloudy415.3.3貝葉斯網(wǎng)絡(luò)的近似推理大規(guī)模多連通網(wǎng)絡(luò)的精確推理是不行操作的，所以要考慮近似的推理方法接受隨機(jī)采樣方法，也稱蒙特卡羅算法(MonteCarloalgorithm)：給出問題的近似解答，近似的精度依靠于所生成采樣點(diǎn)的多少此處近似的含義—不是通過計(jì)算求出網(wǎng)絡(luò)中某個(gè)點(diǎn)的條件概率(因?yàn)槔щy度高)，而是對(duì)該事務(wù)進(jìn)行采樣而獲得概率第7章不精確推理42后驗(yàn)概率計(jì)算的采樣方法有兩類采樣方法：干脆采樣方法—計(jì)算樣本的頻率馬爾科夫鏈采樣方法—依據(jù)馬爾科夫覆蓋中的變量當(dāng)前值來采樣干脆采樣方法—依據(jù)已知概率來生成樣本拒絕采樣算法/似然加權(quán)算法馬爾科夫鏈采樣方法—證據(jù)變量概率固定條件下隨機(jī)生成樣本第7章不精確推理43干脆采樣方法干脆采樣方法是依據(jù)拓?fù)浣Y(jié)構(gòu)次序依次對(duì)每個(gè)變量進(jìn)行采樣，被采樣變量值的概率分布依靠于父節(jié)點(diǎn)已取得的賦值具體實(shí)現(xiàn)：拒絕采樣算法—首先依據(jù)先驗(yàn)概率分布采樣，然后解除全部與證據(jù)不匹配的樣本，最終計(jì)算樣本頻率似然加權(quán)—證據(jù)變量的值用權(quán)值(條件概率)來表示，只對(duì)非證據(jù)變量進(jìn)行采樣第7章不精確推理44采樣樣本與概率分布樣本的向量表示{cloudy,sprinkler,rain,wetGrass}F/T或者0/1表示為假或?yàn)檎?如{T,F,T,T}采樣依據(jù)已知概率分布進(jìn)行，但不是等于這個(gè)概率分布值，而是說分布與之相符cloudy={0.5,0.5}/第1次采樣49/51，第2次采樣52/48……如此等等每次采樣應(yīng)當(dāng)在確定的條件下(這就是條件概率)進(jìn)行，不滿足條件的樣本不再考慮第7章不精確推理45采樣過程舉例(1)通過例子說明采樣過程/算法均省略(1)因?yàn)镻(cloudy)=<0.5,0.5>,故cloudy的采樣樣本T/F各占50%，假設(shè)(不妨)返回T(2)P(sprinkler|cloudy=T)=<0.1,0.9>，故sprinkler的采樣樣本T/F各占10%和90%，應(yīng)當(dāng)返回F留意：此時(shí)采樣樣本均為<TXXX>形式，其中<TTXX>占10%，<TFXX>占90%(3)P(rain|cloudy=T)=<0.8,0.2>，故rain的采樣樣本T/F各占80%和20%,應(yīng)當(dāng)返回T/樣本形式類似于(2)第7章不精確推理46采樣過程舉例(2)(4)P(wetGrass|sprinkler=F,rain=T)=<0.9,0.1>，則返回T/采樣樣本形式<TFTT>占90%， <TFTF>占10%事實(shí)上如此生成的樣本完全符合先驗(yàn)概率，即對(duì)于上例，事務(wù){(diào)cloudysprinklerrainwetGrass}的采樣概率為={TFTT}=0.5*0.9*0.8*0.9=0.324第7章不精確推理47干脆采樣——拒絕采樣方法從已知分布的采樣動(dòng)身(其計(jì)算如上)，通過去掉不滿足證據(jù)條件的樣原來計(jì)算(估計(jì))那些未知分布的事務(wù)的概率例子：P(Rain|Sprinkler=T)未知其概率/采樣100個(gè)樣本其中73個(gè)為<XFXX>，不滿足前提條件—余下的27個(gè)中8個(gè)為rain=T/19個(gè)為rain=FP(Rain|Sprinkler=T)=<8,19>=<0.296,0.704>拒絕采樣方法的最大問題就是效率比較低(相當(dāng)一部分樣本被拒絕了)第7章不精確推理48一樣的估計(jì)拒絕采樣方法能產(chǎn)生真實(shí)概率的一樣估計(jì)估計(jì)的概率在無限多(大量樣本的極限)條件下成為精確值，這樣的估計(jì)稱為一樣的(consistent)，即P(x1,…,xm)=NPS(x1,…,xm)/N第7章不精確推理49干脆采樣——似然加權(quán)方法(1)對(duì)證據(jù)節(jié)點(diǎn)的概率進(jìn)行似然加權(quán)，即依據(jù)先驗(yàn)概率的乘積進(jìn)行計(jì)算對(duì)非證據(jù)節(jié)點(diǎn)進(jìn)行采樣，采樣樣本聽從先驗(yàn)概率分布例子：求P(rain|sprinkler=T,wetGrass=T)的概率采樣過程如下：(1)權(quán)值w=1.0(2)P(cloudy)=<0.50.5>，據(jù)此采樣，返回T(3)Sprinkler是證據(jù)變量，取值T，則 w←w*P(sprinkler=T|cloudy=T)=1.0*0.1=0.1第7章不精確推理50似然加權(quán)方法(2)(4)P(rain|cloudy=T)=<0.80.2>，據(jù)此進(jìn)行采樣，假設(shè)=T(5)wetGrass是證據(jù)變量，取值T，則有 w←w*P(wetGrass=T|sprinkler=T,rain=T) =0.1*0.99=0.099此即{cloudysprinklerrainwetGrass}={TTTT}=0.099/說明：sprinkler=T&wetGrass=T條件下rain=T的概率很低似然加權(quán)方法也得到對(duì)于真實(shí)概率的一樣估計(jì)/從采樣與加權(quán)的乘積去理解聯(lián)合分布概率的計(jì)算，照舊是全部條件概率的乘積第7章不精確推理515.4似然比與Bayes概率推理

第7章不精確推理525.4似然比與Bayes概率推理引入概率的相對(duì)量度[定義]幾率： 稱為H的幾率或先驗(yàn)幾率，取值范圍[0,)由此反過來有

[定義]條件幾率： 第7章不精確推理53后驗(yàn)幾率和先驗(yàn)幾率的關(guān)系例子：O(晴天|冬天早晨有霧)=4.2，假如冬天早晨有霧，則該天為晴天的可能性是非晴天可能性的4.2倍由幾率定義、條件幾率定義和條件概率公式可以推得后驗(yàn)幾率和先驗(yàn)幾率的關(guān)系：

第7章不精確推理54推理規(guī)則和規(guī)則強(qiáng)度在Bayes概率推理中，推理規(guī)則表示為 ifE(前提/證據(jù))thenH(結(jié)論/假設(shè))規(guī)則強(qiáng)度用LS/LN表示(也稱為似然比)/其不精確推理過程是：依據(jù)證據(jù)E的概率P(E)，利用規(guī)則的LS和LN，把結(jié)論的先驗(yàn)概率P(H)更新為后驗(yàn)概率P(H|E)，因而也稱為概率傳播第7章不精確推理55似然比[定義]似然比：

LS=P(E|H)/P(E|﹁H) LN=P(﹁E|H)/P(﹁E|﹁H) 則可得下述關(guān)系：

O(H|E)=LS*O(H) O(H|﹁E)=LN*O(H) 有多個(gè)證據(jù)獨(dú)立時(shí)，其公式是

第7章不精確推理56似然比約束對(duì)LS和LN的約束對(duì)于LS和LN有如下約束要求：二者都是非負(fù)的，并且滿足第7章不精確推理57似然比應(yīng)用似然比(規(guī)則強(qiáng)度)LS和LN的應(yīng)用當(dāng)P(E)=1時(shí)，利用LS將先驗(yàn)幾率O(H)更新為后驗(yàn)幾率O(H|E)/當(dāng)P(﹁E)=1時(shí)，利用LN來更新幾率在專家系統(tǒng)PROSPECTOR(一個(gè)用于探礦的ES)中同時(shí)應(yīng)用了LS和LN，分別表示正面證據(jù)和反面證據(jù)的支持，稱為充分因子和必要因子，并將LS、LN附著在每條規(guī)則之上第7章不精確推理58LS和LN的作用當(dāng)LS很大，說明證據(jù)成立時(shí)假設(shè)成立的可能性很大，否則LS<1說明E排斥H；LN很小，說明證據(jù)不成立時(shí)假設(shè)不成立的可能性很大LS和LN之值接近1時(shí)說明證據(jù)成立或不成立對(duì)于結(jié)論是否成立影響不大一般狀況下，LS和LN不是依據(jù)定義計(jì)算出來的，而是給定的第7章不精確推理59應(yīng)用舉例(1)例子：評(píng)職稱的概率設(shè)某副教授X要評(píng)正教授，現(xiàn)有4個(gè)指標(biāo)，卻有8人參與競(jìng)爭(zhēng)/投票前夕，X作了如下預(yù)料：假如不考慮評(píng)委因素，則成功概率=1/2，此相當(dāng)于先驗(yàn)幾率O(H)=1；假如考慮評(píng)委因素，則狀況如下：校評(píng)委共15人，其中5人來自其他競(jìng)爭(zhēng)者所在系，4人與X素有微隙，尤其是其中2人兼具來自其他競(jìng)爭(zhēng)者所在系，對(duì)X的成功構(gòu)成了極大威逼，但聊以自慰的是評(píng)委中有5位老摯友，估計(jì)會(huì)投X的票第7章不精確推理60應(yīng)用舉例(2)為此，X定義了如下的似然比：LS(評(píng)委Y1出席|X評(píng)上)=1/2 Y1來自其他競(jìng)爭(zhēng)者所在系，同時(shí)令LN=2 (LS*LN=1)LS(評(píng)委Y2出席|X評(píng)上)=1/4 Y2與X素有微隙，同時(shí)令LN=4LS(評(píng)委Y3出席|X評(píng)上)=1/8 Y3來自其他競(jìng)爭(zhēng)者所在系兼與X素有微隙，同時(shí)令LN=8LS(評(píng)委Y4出席|X評(píng)上)=4 Y4是X的老摯友，同時(shí)令LN=1/4LS(評(píng)委Y5出席|X評(píng)上)=1 Y5不屬于以上狀況，LN=1第7章不精確推理61應(yīng)用舉例(3)若15人全體出席，且假定各條件相互獨(dú)立，則按公式：X評(píng)上的后驗(yàn)概率是：O(X評(píng)上|15人出席)= 依據(jù)幾率和概率之間的關(guān)系，換為概率P=O/(1+O)=1/9，X評(píng)上的希望不大第7章不精確推理62應(yīng)用舉例(4)但是，當(dāng)又有消息說，一位來自其他競(jìng)爭(zhēng)者所在系兼與X素有微隙的評(píng)委A不能出席，而代之以一位看法中立的評(píng)委/此時(shí)，X又作了一番推想： LS(﹁A出席|X評(píng)上)=LN(A出席|X評(píng)上)=8 LS(中立評(píng)委|X評(píng)上)=1則在原結(jié)果的基礎(chǔ)上乘上上述因子，使得后驗(yàn)幾率=1，即后驗(yàn)概率=1/2，X評(píng)上的前景大大改觀 ★第7章不精確推理635.6模糊推理*

5.6.1模糊數(shù)據(jù)的確定

5.6.2模糊關(guān)系及其投影

5.6.3模糊推理的例子第7章不精確推理645.6.1模糊子集第5章非經(jīng)典邏輯傳統(tǒng)集合論：一個(gè)元素是否屬于某個(gè)集合，回答只有是和否，界限分明。此時(shí)，可用特征函數(shù)CA(x)表示x是否屬于A：此時(shí)總假定存在一個(gè)定義明確的集合U，A是U的子集。U可稱為個(gè)體域或基底集。其元素稱為基元。非精確刻劃:但現(xiàn)實(shí)世界有很多意義不能精確刻劃(內(nèi)涵)、外延不能用傳統(tǒng)集合表示的概念。典型例子：“老年人”包括多大年齡的人？再如：“高個(gè)”、“派頭大”、“很大的數(shù)”、“令人缺憾的結(jié)果”等等65模糊子集定義第5章非經(jīng)典邏輯對(duì)非精確劃分的須要引出了模糊邏輯模糊子集(fuzzysubset)的定義：若A={<x,A(x)>|x∈U∧A(x)∈[0,1]}，則A稱為集合U的一個(gè)模糊子集。A(x)稱為x對(duì)A的隸屬函數(shù)，或隸屬度、一樣性測(cè)度模糊子集的支集(supportset)： S={x|x∈U∧A(x)>0}模糊子集的高度 h(A)=max{A(x)|<x,A(x)>∈A}66模糊子集例子(1)第5章非經(jīng)典邏輯例1：“老年人”的范圍—可用隸屬函數(shù)old(x)來表示老年人集合這個(gè)隸屬函數(shù)表明人從50歲以后起先步入老年。x=55，old(x)=0.5；x=60，old(x)=0.8；x=80，old(x)≈1(0.97) ★67模糊子集(2)第5章非經(jīng)典邏輯例2：自然數(shù)集合中“小的數(shù)”，其模糊子集可以用下面的隸屬函數(shù)刻劃：基底集為自然數(shù)，則min(0)=1(確定是小的數(shù))min(1)=100/1011(就是小的數(shù))min(10)=0.5(差不多是小的數(shù))min(100)0.1(難說是小的數(shù))min(1000)0(不能是小的數(shù)) ★68模糊子集表示法第5章非經(jīng)典邏輯

Zadeh給出了模糊子集的另一種表示法—隸屬度/基元表示如模糊子集“青年”=0/15+0.2/16+0.6/17+0.9/18+0.9/19+1/20～25+0.9/26+…可以寫成如下形式(當(dāng)基底集為有窮)：或(當(dāng)基底集為無窮)：69模糊與概率的區(qū)分第5章非經(jīng)典邏輯模糊與概率的區(qū)分：雖然同屬于非精確描述，但概率現(xiàn)象的每個(gè)具體結(jié)果是確定的“非此即彼”；模糊現(xiàn)象的結(jié)果是非確定的“亦此亦彼”模糊的基礎(chǔ)是概率70模糊集合運(yùn)算(1)第5章非經(jīng)典邏輯模糊集合運(yùn)算(1)空集推斷：設(shè)A為U的模糊子集，當(dāng)且僅當(dāng)xU，A(x)=0時(shí)，A為空集，記為；(2)A包含于B：A、B為U的隨意模糊子集，對(duì)xU，A(x)B(x)，記為AB；(3)A等于B：對(duì)xU，A(x)=B(x)，記為A=B；(4)A的補(bǔ)集：A={<x,1A(x)>|xU}71模糊集合運(yùn)算(2)第5章非經(jīng)典邏輯(5)A與B的并集：AB={<x,max(A(x),B(x))>|xU}(6)A與B的交集：AB={<x,min(A(x),B(x))>|xU}(7)A與B的差集：AB={<x,min(A(x),1B(x))>|xU}，明顯有A=UA72模糊集合運(yùn)算的性質(zhì)第5章非經(jīng)典邏輯運(yùn)算的性質(zhì)(1)交換律：A∪B=B∪A，A∩B=B∩A(2)冪等律：A∪A=A∩A=A(3)支配律：A∪(B∩C)=(A∪B)∩(A∪C) A∩(B∪C)=(A∩B)∪(A∩C)(4)狄摩根律：～(A∪B)=～A∩～B ～(A∩B)=～A∪～B(5)A(B∪C)=(AB)∩(AC)A(B∩C)=(AB)∪(AC)(6)A∩BAA∪B(7)AB當(dāng)且僅當(dāng)A∩B=A當(dāng)且僅當(dāng)A∪B=B73例子第5章非經(jīng)典邏輯

證明性質(zhì)(7)作為例子。

證明：由AB定義知A(x)B(x)，所以AB=min(A(x),B(x))=A(x)，即A∩B=A；同理，AB=max(A(x),B(x))=B(x)，即A∪B=B ★745.5.2模糊關(guān)系第5章非經(jīng)典邏輯模糊關(guān)系的定義：集合U1～Un的笛卡兒乘積U1×…×Un為基底集的任一模糊子集R稱為U1×…×Un間的一個(gè)n元模糊關(guān)系(fuzzyrelation)，特殊地，Un的任一模糊子集稱為U上的一個(gè)n元模糊關(guān)系模糊關(guān)系的表示：在傳統(tǒng)的有窮二元關(guān)系的表示方法基礎(chǔ)上加上隸屬度數(shù)據(jù)(加權(quán))，作為二元模糊關(guān)系的表示有向圖方法矩陣方法75模糊關(guān)系的例子第5章非經(jīng)典邏輯

例子：設(shè)U={1,2,3,4,5}，U上“遠(yuǎn)小于”關(guān)系可用U2的模糊子集R<<表示，其加權(quán)有向圖和關(guān)系矩陣如下圖所示765.5.3模糊數(shù)據(jù)的確定確定模糊數(shù)據(jù)—即隸屬函數(shù)的確定如何確定隸屬函數(shù)？有多種方法調(diào)查投票—依據(jù)投票統(tǒng)計(jì)所得的數(shù)據(jù)確定出隸屬函數(shù)用概率分布函數(shù)模擬—分為3種(1)正態(tài)分布(2)戒上型函數(shù)(3)戒下型函數(shù)第7章不精確推理77調(diào)查投票例子調(diào)查投票—依據(jù)投票統(tǒng)計(jì)所得的數(shù)據(jù)確定出隸屬函數(shù)例子—古代選美：明末南京有“秦淮八艷”，要推斷誰更美麗？不同人有不同看法，現(xiàn)設(shè)有100人投票，可通過與其中一位比較的方法確定一種相對(duì)量度/設(shè)其他7位與李香君比較(得票數(shù)少于50者被認(rèn)為不如她，多者則超過她)，依據(jù)每個(gè)人所得票數(shù)可得隸屬函數(shù)/明顯，在隸屬度函數(shù)中，李香君本人應(yīng)當(dāng)放在0.5的位置第7章不精確推理78調(diào)查投票結(jié)果表示第7章不精確推理79概率分布函數(shù)(1)用概率分布函數(shù)來靠近隸屬函數(shù) (1)中心強(qiáng)、兩邊弱、中間對(duì)稱的隸屬度分布可用正態(tài)分布來靠近，如“中年”； (2)對(duì)于隸屬度隨某種屬性值而增長的狀況，可接受單調(diào)遞增或非減函數(shù)，特殊是當(dāng)屬性值足夠大時(shí)隸屬度恒為1的狀況，可接受戒下型函數(shù)，如“老年”； (3)對(duì)于隸屬度隨某種屬性值而減小的狀況，可接受單調(diào)遞減或非增函數(shù)，當(dāng)屬性值足夠小時(shí)隸屬度恒為1的狀況，可接受戒上型函數(shù)，如“童年”第7章不精確推理80函數(shù)分布函數(shù)(2)上述3種函數(shù)的公式為： (1)正態(tài)分布 μ(x)= (2)戒下型函數(shù)第7章不精確推理81函數(shù)分布函數(shù)(3) (3)戒上型函數(shù)三個(gè)函數(shù)的圖形如下：

0a10ab10ab1第7章不精確推理825.5.4模糊關(guān)系及其投影模糊關(guān)系：模糊關(guān)系是集合的笛卡爾積的子集+對(duì)集合的隸屬函數(shù)(如第5章定義)設(shè)R為A1A2...An上的一個(gè)n元模糊關(guān)系，則R中的元素表示為 ((a1,a2,…,an),(a1,a2,…,an)) 其中an∈Ai，(a1,a2,…,an)是對(duì)R的隸屬度構(gòu)成了n維空間超矩陣第7章不精確推理83模糊關(guān)系例子例1：設(shè)R模糊關(guān)系表示“天下烏鴉一般黑”定義在集合U2上，U中的每個(gè)元素是烏鴉，如俄羅斯烏鴉、美國烏鴉、科索沃烏鴉、南聯(lián)盟烏鴉等等，R是U2中隨意2只烏鴉之間是否一樣黑的程度，其隸屬度如μ(美國烏鴉,科索沃烏鴉)=0.7★第7章不精確推理84模糊關(guān)系的合成模糊關(guān)系的合成：設(shè)R是U×V上的模糊關(guān)系，S是V×W上的模糊關(guān)系，則R與S的合成關(guān)系Z=R°S的元素為：

Zij=[(ui,w), ]這里是[(ui,vk),μR(ui,vk)]與[(vk,wj),μS(vk,wj)]的合成，而V的元素個(gè)數(shù)為n(k=1~n組合一遍)第7章不精確推理85模糊關(guān)系例子例1：設(shè)R模糊關(guān)系表示“天下烏鴉一般黑”定義在集合U2上，U中的每個(gè)元素是烏鴉，如俄羅斯烏鴉、美國烏鴉、科索沃烏鴉、南聯(lián)盟烏鴉等等，R是U2中隨意2只烏鴉之間是否一樣黑的程度，其隸屬度如μ(美國烏鴉,科索沃烏鴉)=0.7/又設(shè)S模糊關(guān)系表示“天下烏鴉打仗一樣激烈”(即隨意2只烏鴉參與爭(zhēng)斗時(shí)的激烈程度是否一樣)，則對(duì)于第i只和第j只烏鴉來說，存在1只烏鴉c，c和第i只烏鴉一樣黑、和第j只烏鴉打仗一樣激烈的為真程度用R°S的元素RS(ij)表示 ★第7章不精確推理86模糊關(guān)系的投影模糊關(guān)系的投影：設(shè)R是A1×...×An上的一個(gè)模糊關(guān)系，則在Ak=Ai1×...×Aik上的一個(gè)k元模糊關(guān)系Rk定義為其上的投影，其中1≤k≤n，1≤i1<i2<...<ik≤n Rk={} 其中~Ak為在A1～An中去掉k個(gè)Ai1～Aik后所得n-k個(gè)Aj的笛卡爾積第7章不精確推理87定義的說明說明：上述定義的意思