一種新的聚類方法及其在模糊神經網絡中的應用

一種新的聚類方法及其在模糊神經網絡中的應用

1模糊聚類方法模糊神經網絡在解決復雜、不確定系統(tǒng)方面表現出很大的優(yōu)越性。所謂的模糊神經網絡系統(tǒng)是指用模糊推理系統(tǒng)來描述系統(tǒng)的輸入和輸出特征。如何有效收集樣本是研究模糊系統(tǒng)識別的一個重要課題。目前，采用模糊聚類法的代表性算法包括：fm算法、yagy和filev峰聚類算法和mcu算法。根據ching-hao-cha-changchu算法，提出了一種新的模糊聚類法。如果你不知道聚類數，你可以確定聚類數和中心。即使是相同類型的樣本也可以收斂到同一個點，而不是相同類型的樣本不能給出算法的理論證據。本文改進了這種新的模糊推理算法，提供了理論證據，并基于這種新的模糊推理方法建立了psk模糊神經網絡模型，以實現非線性系統(tǒng)的識別。2空集合sk在山峰聚類算法和Chiu聚類算法中,都定義了勢函數Ρi=Ν∑j=1exp(-4∥xi-xj∥2γ2α)(1)其中:xi和xj為多維向量,rij=exp(-4∥xi-xj∥2γ2α)表示xi和xj的相關系數,γα為聚類半徑.xi和xj之間的距離越大,相關系數rij越小且成指數下降.本文所述的新型模糊聚類算法為一種無導師訓練方法,相近的數據被聚類到同一組,距離遠的數據被聚類到不同組,算法分為兩步:Step1計算樣本的收斂點,即計算樣本的聚類中心;Step2對樣本分類,并確定聚類中心,具體描述如下:Step1計算樣本的收斂點,即計算樣本的聚類中心1)初始化,令vi=xi,i=1,2,…,Nxi∈Rm2)計算vi和vj之間的相關系數:rij=exp(-∥vi-vj∥2m×γ2)(2)其中:m為樣本的維數,γ為聚類半徑.3)計算vi向聚類中心點逐步逼近的向量v′iv′i=Ν∑j=1rijvjΝ∑j=1rij=Ν∑j=1gijvj(3)其中:gij=rijΝ∑j=1rij?0≤gij≤14)若,?i使得vi≠v′i,(在實際計算中,可通過‖vi-v′i‖2>ε來判斷,ε為非常小的正數),令:vi=v′i,i=1,2,…,Ngoto2),繼續(xù).否則,表明樣本都已收斂到聚類的中心點vi,GotoStep2.Step2對樣本分類,并確定每一類的聚類中心.1)初始化樣本序號集合S={1,2,…,N}2)令k=1,生成一空集合Sk=Φ,Sk將用來存儲屬于第k類的樣本序號.3)從S中任取一元素i,令ck=vi,ck為k類的聚類中心.將i從S中移出并置于Sk中,即Sk={i},S=S-{i}4)搜索?j∈S,若vj=ck(可通過‖vj-ck‖2<ε來判斷),則將j從S中移出并置于Sk中,即:Sk=Sk+{j},S=S-{j}5)重復4),直到搜索完S中的所有元素.若S≠Φ,令k=k+1,生成新空集合Sk=Φ,轉到3)繼續(xù);否則,若S=Φ,結束算法,L=k為聚類數目,ci為聚類中心,Si中包含屬于i類的樣本所對應的序號,i=1,…,L.下面證明本聚類算法的有效性,也就是證明算法能夠的收斂到聚類中心.引理Brouwer不動點定理(Brouwer,1912)假定G:D?Rn→Rn在有界閉凸集D0?D上連續(xù)且GD0?D0,則G(x)在D0內存在不動點.可見,若能證明聚類算法滿足Brouwer不動點定理的條件:1)D0為有界閉凸集且GD0?D0;2)G(x)在D0上連續(xù),就證明G在D0上存在不動點,即證明了聚類算法的收斂性.證1證明D0為有界閉凸集且GD0?D0定義m維超立方體D0:[Vmin,Vmax],其中∶Vmin=[a1,a2,?,am]ΤVmax=[b1,b2,?,bm]Τai≤bi,ai∈R1,bi∈R1?i=1,?,m在立方體D0內任取N個樣本點,i=1,…,N:Vi∈[Vmin,Vmax]Vi=[vi1,vi2,…,vim]T∈Rm定義相關系數:rij=exp(-∥Vi-Vj∥2m×γ2)對rij進行歸一化:gij=rijΝ∑j=1rij有:Ν∑j=1gij=1且0<gij<1定義映射G(V1,…,VN):V′i=Ν∑j=1gijVji=1,?,Ν則有:minj=1,?Ν{vjk}＜v′ik＜maxj=1,?,Ν{vjk}k=1,?,m即:V′i=[Vmin,Vmax]V′i=G[V1,…,VN)?D0證得D0為有界閉凸集且GD0?D0證2證明G在D0上連續(xù)需證:limΔΗi→0,ΔΗj→0Ν∑j=1gΔij(Vj+ΔΗj)=Ν∑j=1gijVj=V′ifori=1,…,N令:rΔij=exp(-∥Vi+ΔΗi-Vj-ΔΗj∥2m×γ2)定義:gΔij=rΔijΝ∑j=1rΔij∥Vi+ΔΗi-Vj-ΔΗj∥2=(Vi-Vj+ΔΗi-ΔΗj,Vi-Vj+ΔΗi-ΔΗj)=(Vi-Vj,Vi-Vj)+(ΔΗi-ΔΗj,ΔΗi-ΔΗj)+2(Vi-Vj,ΔΗi-ΔΗj)舍棄最小項(ΔΗi-ΔΗj,ΔΗi-ΔΗj)rΔij=exp(-∥Vi-Vj∥2m×γ2)exp(-2(Vi-Vj,ΔΗi-ΔΗj)m×γ2)limΔΗi→0,ΔΗj→0Ν∑j=1rΔij=Ν∑j=1exp(-∥Vi-Vj∥2m×γ2)=Ν∑j=1rijlimΔΗi→0,ΔΗj→0Ν∑j=1rΔij(Vj+ΔΗj)=limΔΗi→0,ΔΗj→0Ν∑j=1[exp(-∥Vi-Vj∥2m×γ2)exp(-2(Vi-Vj,ΔΗi-ΔΗj)m×γ2)(Vj+ΔΗj)]=Ν∑j=1exp(-∥Vi-Vj∥m×γ2)Vj=Ν∑j=1rijVjlimΔΗi→0,ΔΗj→0Ν∑j=1rΔij(Vj+ΔΗj)Ν∑j=1rΔij=Ν∑j=1rijVjΝ∑j=1rij=V′i至此,完成G的連續(xù)性證明Brouwer不動點定理沒有唯一性結論,所以本文所述聚類算法的聚類中心點不一定唯一.聚類半徑γ為可調變量,聚類數目與γ有關,當γ大時,聚類數目相對少;當γ小時,聚類數目相對多.3tsk模糊神經網絡令非線性映射f:Rm→R1,滿足:y=f(x)+e(4)其中:x∈Rm,y∈R1,e∈R1,e為白噪聲令{X,Y}={(xi,?yi):i=1,…,N}是輸入輸出樣本對,依據上述聚類算法對樣本進行聚類,建立多輸入-單輸出的一階TSK模糊神經網絡,使模糊神經網絡中的規(guī)則數L等于聚類算法所得的聚類數L.令聚類算法所得的聚類中心ci=[ci1,ci2,…,cim]T∈Rm為模糊規(guī)則的前提隸屬度函數的中心.對于隸屬度函數的方差δ2i,令:δi=sqrt(-∥x*i-ci∥22lnu)(5)其中:x*i為i類中距離ci最遠的樣本點,u∈[0.1,0.3],一般取u=0.2.一階TSK模糊神經網絡的規(guī)則集可描述為:ΙfxisAitheny=m∑j=1pijxj+pi,m+1(6)其中:x=[x1,…,xm]T,y為網絡輸出,pij為結論參數,Ai為模糊屬性,i=1,…,L一階TSK模糊神經網絡可描述為四層結構:層一:定義輸入層隸屬度函數o1i=ωi=exp(-∥x-ci∥22δ2i)(7)層二:對輸入層隸屬度函數歸一化o2i=ˉωi=ωiL∑j=1ωj(8)層三:結論層o3i=ˉωi(m∑j=1pijxj+pi,m+1)(9)層四:輸出層o4=y=L∑j=1o3j(10)學習算法采用經典的混合算法:前提參數cij和δi采用梯度下降法辨識,結論參數pij采用遞推最小二乘法求解.對于前提參數cij和δi,建立微分方程組:E=12l∑i=1(yl-?yl)2(11)其中:yl為網絡輸出,?yl為樣本輸出.cij(t+1)=cij(t)-αc?E?cij(12)?E?cij=[L∑k=1(?E?ˉωk?ˉωk?ωi)]?ωi?cij(13)?E?ˉωk=Ν∑l=1[(yl-?yl)?y?ˉωk|y=?yl,x=xl](14)?y?ˉωk=m∑j=1pkjxj+pk,m+1(15)?ˉωk?ωi={1-ˉωkL∑l=1ωlfork=i-ˉωkL∑l=1ωlfork≠i(16)?ωi?cij=exp(-∥x-ci∥22δ2i)(xj-cij)δ2i(17)δi(t+1)=δi(t)-αδ?E?δi(18)?E?δi=[L∑k=1?E?ˉωk?ˉωk?ωi]?ωi?δi(19)?ωi?δi=exp(-∥x-ci∥22δ2i)∥x-ci∥2δ3i(20)對于結論參數pij,采用遞推最小二乘法求解:Xt+1=Xt+St+1at+1(bΤt+1-aΤt+1Xt)St+1=1λ[St-Stat+1aΤt+1St)λ+aΤt+1Stat+1)|(21)式中:0<λ≤1b=yX=[p11,?,p1,m+1,?,pL1???ΡL,m+1]Τa=[ˉω1x1,?,ˉω1xm,?,ˉω1,?,ˉωLx1???ˉωLxm,ˉωL]Τλ=1,X初始值為零向量S∈R(L+1)×(L+1),初始值為S=αI,α為一大正數.4聚類聚類構建例1:y(t)=(0.8-0.5exp(-y2(t-1))y(t-1)-(0.3+0.9exp(-y2(t-1))y(t-2)+0.1sin(πy(t-1))+e(t)其中:e(t)是零均值,方差δ2=10-4的白噪聲.初值設為:y(0)=0.1,y(-1)=0.選取900個帶有噪聲的測量值作為訓練樣本.聚類半徑γ=0.05,經聚類算法得30個聚類中心.建立一階TSK模糊網絡,輸入為y(t-2)和y(t-1),輸出為y(t).辨識后的系統(tǒng)同帶噪聲的訓練樣本相比,RMSE=0.00986.辨識后的系統(tǒng)同無噪聲的原系統(tǒng)相比,RMSE=0.047014.例2:y=(x21-x22)sin(0.5x1),x1,x2∈[-10,10]2,在定義域內均勻選取21×21=441個樣本點,對輸入和輸出進行單位化,將輸入輸出放在一起進行聚類,聚類半徑γ=0.08.經聚類算法得25個聚類中心.建立一階TSK模糊網絡,輸入為x1(t)和x2(t),輸出為y(t).辨識后的系統(tǒng)同原系統(tǒng)相比,RMSE=0.0221537.5聚類中