Parzen窗估計(jì)及KN近鄰估計(jì)實(shí)驗(yàn)報(bào)告

1、模式識(shí)別實(shí)驗(yàn)報(bào)告題目:Parzen窗估計(jì)與KN近鄰估計(jì)學(xué)院計(jì)算機(jī)科學(xué)習(xí)技術(shù)專業(yè)xxxxxxxxxxxxxxxx學(xué)號(hào)xxxxxxxxxxxx姓名xxxx指導(dǎo)教師xxxx20xx年xx月xx日Parzen窗估計(jì)與KN近鄰估計(jì)本實(shí)驗(yàn)的目的是學(xué)習(xí)Parzen窗估計(jì)和k最近鄰估計(jì)方法。在之前的模式識(shí)別研究中，我們假設(shè)概率密度函數(shù)的參數(shù)形式已知，即判別函數(shù)J(.)的參數(shù)是已知的。本節(jié)使用非參數(shù)化的方法來處理任意形式的概率分布而不必事先考慮概率密度的參數(shù)形式。在模式識(shí)別中有躲在令人感興趣的非參數(shù)化方法，Parzen窗估計(jì)和k最近鄰估計(jì)就是兩種經(jīng)典的估計(jì)法。二、實(shí)驗(yàn)原理非參數(shù)化概率密度的估計(jì)對(duì)于未知概率密度函

2、數(shù)的估計(jì)方法，其核心思想是：一個(gè)向量x落在區(qū)域R中的概率可表小為：PIp(x)dxJR其中，P是概率密度函數(shù)p(x)的平滑版本，因此可以通過計(jì)算P來估計(jì)概率密度函數(shù)p(x),假設(shè)n個(gè)樣本x1,x2,xn是根據(jù)概率密度函數(shù)p(x)獨(dú)立同分布的抽取得到，這樣，有k個(gè)樣本落在區(qū)域R中的概率服從以下分布：Pk=G)pk(l_P)I其中k的期望值為：E(k)=nPk的分布在均值附近有著非常顯著的波峰，因此若樣本個(gè)數(shù)n足夠大時(shí)，使用k/n作為概率P的一個(gè)估計(jì)將非常準(zhǔn)確。假設(shè)p(x)是連續(xù)的，且區(qū)域R足夠小，則有：Ipx)dxap(*)VJR如下圖所示，以上公式產(chǎn)生一個(gè)特定值的相對(duì)概率，當(dāng)n趨近于無窮大時(shí)，

3、曲線的形狀逼近一個(gè)a函數(shù)，該函數(shù)即是真實(shí)的概率。公式中的V是區(qū)域R所包含的體積。綜上所述，可以得到關(guān)于概率密度函數(shù)p(x)的估計(jì)為：k/nP3)七一相對(duì)概率0.5D.7在實(shí)際中，為了估計(jì)x處的概率密度函數(shù)，需要構(gòu)造包含點(diǎn)x的區(qū)域R1,R2,?-,Rn。第一個(gè)區(qū)域使用1個(gè)樣本，第二個(gè)區(qū)域使用2個(gè)樣本，以此類推。記Vn為Rn的體積。kn為落在區(qū)間Rn中的樣本個(gè)數(shù)，而pn(x)表示為對(duì)p(x)的第n次估計(jì)：欲滿足pn(x)收斂：pn(x)p(x),需要滿足以下三個(gè)條件：lim此=0n-*limy=8TITlimkn/n=0n-*8有兩種經(jīng)常采用的獲得這種區(qū)域序列的途徑，如下圖所示。其中“Parze簡(jiǎn)

4、方法”就是根據(jù)某一個(gè)確定的體積函數(shù)，比如Vn=1/Vn來逐漸收縮一個(gè)給定的初始區(qū)間。這就要求隨機(jī)變量kn和kn/n能夠保證pn(x)能收斂到p(x)。第二種"k近鄰法”則是先確定kn為n的某個(gè)函數(shù),如kn=v/no這樣，體積需要逐漸生長(zhǎng)，直到最后能包含進(jìn)x的kn個(gè)相鄰點(diǎn)。n=rf-Parzen窗估計(jì)法已知測(cè)試樣本數(shù)據(jù)x1,x2,對(duì)數(shù)據(jù)分布不附加?,xn,在不利用有關(guān)數(shù)據(jù)分布的h為這個(gè)超立方體的邊長(zhǎng)，對(duì)于二維先驗(yàn)知識(shí)，任何假定的前提下，在三維情況中立方體體積V=hA3，如下圖所示。(x如J,x7Ahf2)(Xj-A/2,Xi-h/2)假設(shè)R是以x為中心的超立方體，情況，方形中有面積V=

5、hA2,根據(jù)以下公式，表示x是否落入超立方體區(qū)域中N1XXi=l其中n為樣本數(shù)量，h為選擇的窗的長(zhǎng)度，力（.灼核函數(shù)，通常采用矩形窗和高斯窗。k最近鄰估計(jì)在Parzen算法中，窗函數(shù)的選擇往往是個(gè)需要權(quán)衡的問題，k-最近鄰算法提供了一種解決方法，是一種非常經(jīng)典的非參數(shù)估計(jì)法?；舅悸肥牵阂阎?xùn)練樣本數(shù)據(jù)x1,x2,?-,xn而估計(jì)p（x），以點(diǎn)x為中心，不斷擴(kuò)大體積Vn,直到區(qū)域內(nèi)包含k個(gè)樣本點(diǎn)為止，其中k是關(guān)于n的某一個(gè)特定函數(shù)，這些樣本被稱為點(diǎn)x的k個(gè)最近鄰點(diǎn)。當(dāng)涉及到鄰點(diǎn)時(shí)，通常需要計(jì)算觀測(cè)點(diǎn)間的距離或其他的相似性度量，這些度量能夠根據(jù)自變量得出。這里我們選用最常見的距離度量方法：歐幾里

6、德距離。最簡(jiǎn)單的情況是當(dāng)k=1的情況，這時(shí)我們發(fā)現(xiàn)觀測(cè)點(diǎn)就是最近的（最近鄰）。一個(gè)顯著的事實(shí)是：這是簡(jiǎn)單的、直觀的、有力的分類方法，尤其當(dāng)我們的訓(xùn)練集中觀測(cè)點(diǎn)的數(shù)目n很大的時(shí)候?？梢宰C明，k最近鄰估計(jì)的誤分概率不高于當(dāng)知道每個(gè)類的精確概率密度函數(shù)時(shí)誤分概率的兩倍。三、實(shí)驗(yàn)基本步驟樣本叫叫此沔習(xí)x2而10,28131-6.20,011L03-0.211.362.170.1420.070.58-0.78L27L280.08L41L45-0383L542.01-1.630.133.120.161.220.990.694-0,441J8-4,32*0,211.23*0.112,462,191.315-

7、0.810.215.73-2.18139-0.190.680.790.876L523.162.770341.96-0462,513.2213572,202.42-0,19-1380.940450,602440.9280.911.946.21-0,120.820.170.640.130.9790.651.93-1.442.310.140.85().華0.9910-0,260,82*0,960,26L940.080,660.510,88第一部分，對(duì)表格中的數(shù)據(jù)，進(jìn)行Parzen窗估計(jì)和設(shè)計(jì)分類器，本實(shí)驗(yàn)的窗函數(shù)為個(gè)球形的高斯函數(shù)，如下：<p(.)ocexp(_(x工)3Xf)/2h2)編寫程

8、序，使用Parzen窗估計(jì)方法對(duì)一個(gè)任意的測(cè)試樣本點(diǎn)x進(jìn)行分類。對(duì)分類器的訓(xùn)練則使用表格3中的三維數(shù)據(jù)。同時(shí)，令h=1,分類樣本點(diǎn)為(0.5,1.0,0.0),(0.31,1.51,0.50),(-0.3,0.44,-0.1)進(jìn)行實(shí)驗(yàn)。1) 可以改變h的值，不同的h將導(dǎo)致不同的概率密度曲線，如下圖所示。h=0.1時(shí)：1時(shí)的二維正態(tài)概率密度曲面h=0.5時(shí):當(dāng)柘D.5時(shí)的二維正態(tài)概率密度曲面Ih=1時(shí):當(dāng)h=i時(shí)的二維正態(tài)概率常度曲面0.5*-2-2第二部分的實(shí)驗(yàn)?zāi)康氖菍W(xué)習(xí)和掌握非參數(shù)估計(jì)：k-近鄰概率密度估計(jì)方法。對(duì)前面表格中的數(shù)據(jù)進(jìn)行k-近鄰概率密度估計(jì)方法和設(shè)計(jì)分類器。編寫程序，對(duì)表格中的

9、3個(gè)類別的三維特征，使用k-近鄰概率密度估計(jì)方法。并且對(duì)下列點(diǎn)處的概率密度進(jìn)行估計(jì)：(-0.41,0.82,0.88),(0.14,0.72,4.1),(-0.81,0.61,-0.38)。k-最近鄰分類器*第一類數(shù)據(jù)第二類數(shù)據(jù),第三類數(shù)據(jù)測(cè)試樣本點(diǎn)w一-104四、實(shí)驗(yàn)代碼如下%Parzen窗算法%w.c類訓(xùn)練樣本%x:測(cè)試樣本%h:參數(shù)%輸出p:測(cè)試樣本x落在每個(gè)類的概率functionp=Parzen(w,x,h)xt,yt,zt=size(w);p=zeros(1,zt);fori=1:zthn=h;forj=1:xthn=hn/sqrt(j);p(i)=p(i)+exp(-(x-w(j

10、,:,i)*(x-w(j,:,i)'/(2*power(hn,2)/(hn*sqrt(2*3.14);endp(i)=p(i)/xt;end%k-最近鄰算法%wc類訓(xùn)練樣本%x:測(cè)試樣本%k:參數(shù)functionp=kNearestNeighbor(w,k,x)%w=w(:,:,1);w(:,:,2);w(:,:,3);xt,yt,zt=size(w);wt=;%zeros(xt*zt,yt);ifnargin=2p=zeros(1,zt);fori=1:xtforj=1:xtdist(j,i)=norm(wt(i,:)-wt(j,:);endt(:,i)=sort(dist(:,i)

11、;m(:,i)=find(dist(:,i)<=t(k+1,i);%找到k個(gè)最近鄰的編號(hào)endendifnargin=3forq=1:ztwt=wt;w(:,:,q)；xt,yt=size(wt);endfori=1:xtdist(i)=norm(x-wt(i,:);endt=sort(dist);%歐氏距離排序a,b=size(t);m=find(dist<=t(k+1);%找到k個(gè)最近鄰的編號(hào)numl=length(find(m>0&m<11);num2=length(find(m>10&m<21);num3=length(find(m&

12、gt;20&m<31);ifyt=3plot3(w(:,1,1),w(:,2,1),w(:,3,1),'r.');holdon;gridon;plot3(w(:,1,2),w(:,2,2),w(:,3,2),'g.');plot3(w(:,1,3),w(:,2,3),w(:,3,3),'b.');if(num1>num2)|(num1>num3)plot3(x(1,1),x(1,2),x(1,3),'ro');disp('點(diǎn)：',num2str(x),'屆于第一類');el

13、seif(num2>num1)|(num2>num3)plot3(x(1,1),x(1,2),x(1,3),'go');disp('點(diǎn)：',num2str(x),'屆于第二類');elseif(num3>num1)|(num3>num2)plot3(x(1,1),x(1,2),x(1,3),'bo');disp('點(diǎn)：',num2str(x),'屆于第三類');elsedisp('無法分類');endendifyt=2plot(w(:,1,1),w(:,2,1

14、),'r.');holdon;gridon;plot(w(:,1,2),w(:,2,2),'g.');plot(w(:,1,3),w(:,2,3),'b.');if(numl>num2)|(numl>num3)plot(x(1,1),x(1,2),'ro');disp('點(diǎn)：',num2str(x),'屆于第一類');elseif(num2>num1)|(num2>num3)plot(x(1,1),x(1,2),'go');disp('點(diǎn)：',

15、num2str(x),'屆于第二類');elseif(num3>num1)|(num3>num2)plot(x(1,1),x(1,2),'bo');disp('點(diǎn)：',num2str(x),'屆于第三類');elsedisp('無法分類');endendendtitle('k-最近鄰分類器)；legend('第一類數(shù)據(jù)',.'第二類數(shù)據(jù)',.'第三類數(shù)據(jù)',.'測(cè)試樣本點(diǎn));clear;closeall;%Parzen窗估計(jì)和k最近鄰估計(jì)%

16、w1(:,:,1)=0.281.31-6.2;0.070.58-0.78;1.542.01-1.63;-0.441.18-4.32;-0.810.215.73;1.523.162.77;2.202.42-0.19;0.911.946.21;0.651.934.38;-0.260.82-0.96;w1(:,:,2)=0.0111.03-0.21;1.271.280.08;0.133.120.16;-0.211.23-0.11;-2.181.39-0.19;0.341.96-0.16;-1.380.940.45;-0.120.820.17;-1.442.310.14;0.261.940.08;w1

17、(:,:,3)=1.362.170.14;1.411.45-0.38;1.220.990.69;2.462.191.31;0.680.790.87;3.221.35;0.602.440.92;0.640.130.97;0.850.580.99;0.660.510.88;x(1,:)=0.510;x(2,:)=0.311.51-0.5;x(3,:)=-0.30.44-0.1;%驗(yàn)證h的二維數(shù)據(jù)w2(:,:,1)=0.281.31;0.070.58;1.542.01;-0.441.18;-0.810.21;3.16;2.202.42;0.911.94;0.651.93;-0.260.82;w2(:

18、,:,2)=0.0111.03;1.271.28;0.133.12;-0.211.23;-2.181.39;0.341.96;-1.380.94;-0.120.82;-1.442.31;0.261.94;w2(:,:,3)=1.362.17;1.411.45;1.220.99;2.462.19;0.680.79;2.513.22;0.602.44;0.640.13;0.850.58;0.660.51;y(1):)=0.51;y(2,:)=0.311.51;y(3,:)=-0.30.44;h=.1;%重要參數(shù)p=Parzen(w1,x(1,:),h);num=find(p=max(p);disp('點(diǎn)：',num2str(x(1,:),'落在三個(gè)類別的概率分別為：',num2str(p);disp('點(diǎn)：'，num2str(x(1，:),'%給定落在第',num2str(num),'類');三類二維樣本，畫出二維正態(tài)概率密度曲面圖驗(yàn)證h的作用num=1;%第num類的二維正態(tài)概率密度曲面圖，取值為1,2,3draw(w2,h,num);str1='