模式識(shí)別貝葉斯方法報(bào)告

1、模式識(shí)別貝葉斯方法實(shí)驗(yàn)報(bào)告姓名與學(xué)號(hào): 教師：唐柯目錄 TOC o 1-5 h z 模式識(shí)別貝葉斯方法實(shí)驗(yàn)報(bào)告 1 HYPERLINK l bookmark0 o Current Document 目錄 21 原理 3 HYPERLINK l bookmark2 o Current Document 基本思想 3 HYPERLINK l bookmark4 o Current Document 工作過(guò)程 32 實(shí)驗(yàn)記錄 4 HYPERLINK l bookmark8 o Current Document 2.1 matlab 程序 4 HYPERLINK l bookmark10 o Curr

2、ent Document 特殊情況 4 HYPERLINK l bookmark12 o Current Document 實(shí)驗(yàn)結(jié)果 4 HYPERLINK l bookmark14 o Current Document 實(shí)驗(yàn)人員任務(wù)分配 4 HYPERLINK l bookmark16 o Current Document 附錄 51原理1.1基本思想已知類條件概率密度參數(shù)表達(dá)式(如符合正態(tài)分布)和先驗(yàn)概率(有監(jiān)督，可統(tǒng)計(jì)得到)利用貝葉斯公式轉(zhuǎn)換成后驗(yàn)概率根據(jù)后驗(yàn)概率大小進(jìn)行決策分類1.2工作過(guò)程每個(gè)數(shù)據(jù)樣本用一個(gè)n維特征向量X = X 1 , X2，,Xn表示，對(duì)應(yīng)屬性 Al, A2,An

3、。m個(gè)類別Cl ,C2，,Cm (在本實(shí)驗(yàn)中只有兩類)。給定一個(gè)未知類別的數(shù)據(jù)樣本X，分類器將預(yù)測(cè)X屬于具有最高后驗(yàn)概率(條件 X下)的類。即將未知的樣本分配給類Ci，當(dāng)且僅當(dāng)：P(Ci I X) P(C j | X)1 w j P(X|C j)*P(C j) 1 w j w mj M i即X被分類到P(X|Ci)*P(C i)最大的類別Ci。2實(shí)驗(yàn)記錄2.1 matlab 程序見(jiàn)附錄2.2特殊情況在處理樣本的第6維特征時(shí)，其方差實(shí)際得到為0 （因?yàn)樗袠颖镜牡?6維特征全為-1 ）。這樣在計(jì)算后驗(yàn)概率時(shí)，會(huì)得到除0警告，因此將方差改為一個(gè)很小的值0.0001。2.3實(shí)驗(yàn)結(jié)果運(yùn)行時(shí)間： 10秒

4、訓(xùn)練樣本數(shù)：8285 個(gè)正樣本的先驗(yàn)概率：5.62%負(fù)樣本的先驗(yàn)概率：94.38%測(cè)試樣本數(shù)：2072 個(gè)正確識(shí)別的樣本數(shù)：2030 個(gè)識(shí)別率：97.97%兩類樣本的均值和方差如表1維數(shù)12345678910正樣本均值-0.0804-0.0361-0.9957-0.9919-0.9829-1.0000-0.9961-0.9995-0.9955-0.9987負(fù)樣本 均值-0.3451-0.3252-0.9947-0.9968-0.9954-1.0000-0.9984-0.9991-0.9978-0.9983正樣本方差0.32300.38040.02370.09630.18680.00010.03

5、230.00680.02960.0185負(fù)樣本方差0.27350.34690.04660.04030.04430.00120.01730.02160.01620.0359表1兩類樣本的均值和方差表（紅色部分是人為調(diào)整的值）2.4實(shí)驗(yàn)人員任務(wù)分配本組兩人任務(wù)分配如下:附錄%模式識(shí)別實(shí)驗(yàn)貝葉斯分類器 %input:訓(xùn)練集train.data，測(cè)試集：test.data,每行一個(gè)樣本，每行的最后一個(gè)元素為樣本類別 號(hào) label%output:輸出預(yù)測(cè)的類別集和識(shí)別率recogRate%recogRate:正確率 %讀入兩個(gè)矩陣 test 和 train load test.data load tr

6、ain.data testData = test(:,1:(end-1); trainData = train(:,1:(end-1); testLabel = test(:,end); trainLabel = train(:,end);%類別的先驗(yàn)概率%label_priorP(1,1) 是正樣本的先驗(yàn)概率%label_priorP(1,2) 是負(fù)樣本的先驗(yàn)概率classNum = 2;%該實(shí)驗(yàn)中類別數(shù)僅為 2label_priorP = zeros(1,classNum);%將 train 按類別分組，然后分別對(duì)每類的數(shù)據(jù)求出每個(gè)屬性的均值mu(Ak,Ci) 和樣本標(biāo)準(zhǔn)差sigma(Ak

7、,Ci)%mu(Ci,Ak),sigma(Ci,Ak) 表示第 Ci 類數(shù)據(jù)集的屬性 Ak 對(duì)應(yīng)的均值和樣本標(biāo)準(zhǔn)差 groupedSet = cell(1,classNum); % 空的分組數(shù)據(jù)集矩陣%樣本的屬性數(shù) att_number%mu(attNum,classNum),sigma(attnum,classNum) 分別是第 classNum 類的第 attNum 個(gè)屬性的均值 和標(biāo)準(zhǔn)差att_number = size(trainSet,2) -1;mu = zeros(classNum,att_number);sigma = zeros(classNum,att_number);%訓(xùn)

8、練樣本數(shù) sampleNumfor sampleNum = 1:size(trainLabel,1)label = trainLabel(sampleNum,1);if label = 1% 正樣本 label = 1 label_priorP(1,1) = label_priorP(1,1) + 1;groupedSet1,1 = groupedSet1,1; trainData(sampleNum,:);else% 負(fù)樣本 label = -1 label_priorP(1,2) = label_priorP(1,2) + 1;groupedSet1,2 = groupedSet1,2;

9、trainData(sampleNum,:);endendlabel_priorP = label_priorP ./ sampleNum;%對(duì)于每一類 計(jì)算某類每個(gè)屬性的均值和樣本標(biāo)準(zhǔn)差for label = 1:classNummu(label,:) = mean(groupedSet1,label,1);%第 label 個(gè)均值行向量sigma(label,:) = std(groupedSet1,label,0,1);%第 label 個(gè)標(biāo)準(zhǔn)差行向量end%對(duì)為 0 的標(biāo)準(zhǔn)差，賦值為一個(gè)很小的值for clsNum = 1:classNumfor attNum = 1:att_numb

10、erif sigma(clsNum,attNum) = 0sigma(clsNum,attNum) = 0.0001endend end% 進(jìn)行預(yù)測(cè) ,對(duì)于每個(gè)測(cè)試樣本 X ，求最大的 P(X|Ci)*P(Ci), 則 X 的類別為 i,testClass 存放預(yù) 測(cè)的類別號(hào)%求 maximum log(P(X|Ci) + log(P(Ci)% log(P(X|Ci)= 工 log(P(xk|Ci) , k=1.attr_number%log(P(xk|Ci)= - log(sigma(Ci)%- (xk-mu(Ci)A2 / (2 * sigma(Ci)A2)%- log(sqrt(2*pi

11、)const 忽略test_number = size(testData,1);attr_number = size(testData,2);correct = 0;for testNum = 1:test_numberdisp(testNum);X = testData(testNum,:);%當(dāng)前測(cè)試樣本prob = log(label_priorP); %自然對(duì)數(shù)%對(duì)每類別計(jì)算后驗(yàn)概率for lbl = 1:classNum%for lbl = 1:1%for k = 1:attr_numberfor k = 6PXk = -log(sigma(lbl,k).- (X(1,k)-mu(lbl,k)A2) / (2*sigma(lbl,k)A2); prob(1,lbl) = prob(1,lbl) + PXk;endendvalue index = max(prob);if (index = 1 & testData(testNum,end) = 1) | (index = 2 & testData(testNum,end) = -1) %被正確分類 correct = correct + 1;end end %識(shí)別率rec