樸素貝葉斯最優(yōu)性實驗

1、樸素貝葉斯的最優(yōu)性1報告目的：學習樸素貝葉斯和貝葉斯網絡相關知識。驗證屬性間依賴分布對樸素貝葉斯分類器分類效果的影響。在二變量高斯分布下驗證樸素貝葉斯最優(yōu)條件r系數。2實驗過程本實驗通過貝葉斯網絡模型構造二屬性值的分類樣本數據集，并在該數據集上分別用貝 葉斯網絡和樸素貝葉斯的方法分類，比較其分類準確性，并分析兩種分類器準確性與 該數據集的r指標和D(fb,fnb)的關系，驗證文章的結論。并使用泊松分布的數據集來驗證文 章的結論。2.1實驗模型構造一個如下圖所示的貝葉斯網絡模型，根據該模型生成一組含有4000個樣本的數據 集。設E為屬性值氣, ；設C代表類變量取值為+，-,+表示wet類，-表示

2、non-wet類;則根據屬性值E分類為c的概率為P(c|E)=p(E|c)p(c)/p(E);貝葉斯網絡分類器:p(C = +1 E) _ p(C = +)p(xI +)p(xI+, x )p(C = -1 E) p(C = _)p(xI -)p(xI-, x )樸素貝葉斯分類器:fn (E)=p(x I C = +)p(x I C =-)p (C = + IE) = p(C = +)計 P(C = -1 Ep(C =-)i =12.2實驗結果1)變化R的概率，S取RP(S=F) P(S=T)F0.40.6T10W取S RP(W=F)P(w=T)F F1.00.0T F0.10.9F T0.1

3、0.9T T0.010.99通過改變P(R)，得到不同的屬性依賴關系，并產生不同的數據集，分別計算貝葉斯網絡 和樸素貝葉斯分類器在這些數據集上的分類準確性和r值。表1為部分實驗結果；圖1，圖 2分別為r值和D值與兩種分類準確性的散點分布圖。表1變化R的概率時貝葉斯網絡和樸素貝葉斯分類準確率比較不同網絡參數貝葉斯網絡樸素貝葉斯rP(R=F)=0.2, P(R=T)=0.891.23%81.70%5.62P(R=F)=0.3, P(R=T)=0.791.00%77.80%3.77P(R=F)=0.4, P(R=T)=0.691.80%87.10%2.36P(R=F)=0.5, P(R=T)=0.5

4、92.23%92.23%1.65P(R=F)=0.6, P(R=T)=0.492.00%92.00%1.04P(R=F)=0.7, P(R=T)=0.392.83%92.83%1.33P(R=F)=0.8, P(R=T)=0.293.28%93.28%2.21圖1貝葉斯網絡和樸素貝葉斯分類性能隨r的變化情況從圖1中看出，當r足夠小時，樸素貝葉斯的分類效果接近甚至等同于貝葉斯網絡，隨著r增大，樸素貝葉斯分類性能逐漸下降。圖2貝葉斯網絡和樸素貝葉斯分類性能隨D(fb,fnb)的變化情況從圖2中看出，當D(fb,fnb)足夠小時，樸素貝葉斯的分類效果接近甚至等同于貝葉斯 網絡，隨著D(fb,fnb)

5、增大，樸素貝葉斯分類性能逐漸下降與預期的效果相吻合。2)變化S的概率P(R=F)=0.5, P(R=T)=0.5W取S RP(W=F)P(w=T)F F1.00.0T F0.10.9F T0.10.9T T0.010.99表2變化R的概率時貝葉斯網絡和樸素貝葉斯分類準確率比較不同網絡參數貝葉斯網絡樸素貝葉斯RP(S=F|R=F)=0.2,P( S=T|R=F )=0.80.909250.909251.371602P(S=F|R=F)=0.3,P( S=T|R=F )=0.70.9110.8851.54856P(S=F|R=F)=0.4,P( S=T|R=F )=0.60.915250.9152

6、51.606266P(S=F|R=F)=0.5, P( S=T|R=F )=0.50.9220.9221.942942P(S=F|R=F)=0.6,P( S=T|R=F )=0.40.9320.9322.71693P(S=F|R=F)=0.7, P( S=T|R=F )=0.30.94050.94053.816423P(S=F|R=F)=0.8,P( S=T|R=F )=0.20.938750.938754.739932圖3貝葉斯網絡和樸素貝葉斯分類性能隨r的變化情況圖3中的結果與“The Optimality of Naive Bayes ”中給出的結論相吻合，幾乎所有的樣 本集兩種分類器分類效果相同。圖4貝葉斯網絡和樸素貝葉斯分類性能隨D(fb,fnb)的變化情況圖4中的結果與預期的結果基本吻合，幾乎所有的樣本集兩種分類器分類效果相同。3實驗結果分析比較上述四圖，圖1和圖3的結果與圖2和圖4的結果相一致，r值較小時樸素貝葉斯 分類器能達到與貝葉斯網絡同等的分類效果，r條件對實驗結果的影響基本與D條件對實驗 結果的影響相當，而r條件是D條件的一個因子，于是