計算智能 神經網絡計算 (2)課件

神經網絡計算反饋型神經網絡反饋神經網絡是一個反饋動力學系統(tǒng),它通過神經元的狀態(tài)變遷,最終穩(wěn)定于某一狀態(tài),得到聯(lián)想存儲或神經計算的結果Hopfield網絡I可作為初值,也可作為輸入,由于網絡是反饋的,I輸入后可以撤去,網絡仍可運行。如果不撤去永遠,則作為一個閾值,當網絡經過適當訓練后(權值已經確定),可以認為網絡處于等待工作狀態(tài)。給定一個初始輸入,網絡就處于特定的初始狀態(tài),由此初始狀態(tài)運行,可以得到網絡的輸出(即網絡的下一狀態(tài));將這個輸出反饋到輸入端,形成新的輸入,從而產生下一步的輸出;如此循環(huán)下去,如果網絡是定的,那么,經過多次反饋運行,網絡達到穩(wěn)定,由輸出端得到網絡的穩(wěn)態(tài)輸出。徑向基函數網絡徑向基函數(RBF)是一種將輸入矢量擴展或者預處理到高維空間中的神經網絡學習方法.RBF網絡的理論基礎是函數逼近,它用一個二層的前向網絡去逼近任意函數。中間層與輸入完全連接(權值=1).中間層結點選取基函數作為轉移函數.輸出層的結點是線性組合器,第j個輸出結點為參數訓練中心調整算法中心調整算法以聚類最小距離為指標,將輸入數據集分解為看k類,給出看k個中心。K均值算法。權值更新算法最小二乘法神經網絡計算的本質將N維的輸入向量映射到M維，M維是事先確定的，不能通過調整參數進行改變維數，使其維數最佳。對所有的訓練樣本平等對待，不能通過網絡進行自適應選擇樣本網絡構建的平面為線性平面線性分類的條件：

貝葉斯分類:目的是使分類錯誤概率最小。

分類函數是一個單調增函數：每類協(xié)方差相等以及各類概率等可能的為常數

為常數

在維空間，特征向量相互獨立再將特征向量標準化得到

（分離平面）分類超平面是線性超平面

①利用貝葉斯決策分類時，錯分概率最小為目的。

②要錯分概率最小且簡化計算，常采用線性分類超面。③建立線性分類超平面的假設條件：各類發(fā)生的概率相等，各類平等對待。B.每類中各個樣本呈現(xiàn)Gaussian分布C.類內特征向量相互獨立問題：線性分類計算簡單，在L維空間中N類均能線性可分嗎？N類L維空間線性可分的概率

問題的提出:

在L維空間中有N個待分點（L維空間中，不存在L+1點在同一直線上），能否找到一個線性超平面將這N個點的任意組合分成兩類，如果不能，將他們分成兩類，那能正確分開的概率是多大呢？L維空間中，N個點任意組合的方法有

在L維空間中有N個待分點（不存在L+1點在同一直線上），并且能線性可分的組合個數為

L維空間中，N個點任意組合成兩類被一個分類的超平面分開的概率為：ABCD線性不可分的組合：

W1ACBDW2BDAC線性可分的組合：

W1ABCDABADABCBCDABDBCDCDBCDBACW2CDBCDBCAABADABCADCBCDBADABCDN趨于無窮大。這是一個具體事實，無法從數學上和理論上進行改進。故能否把特征向量維數L增大，以便使得N與L+1很接近，甚至達到??增大特征向量的維數L增大特征向量維數L，使得N接近于L+1，即為從L維空間向K維空間投影，這有利于提高線性分離的概率能力。但是維數較大，計算復雜度較大。多項式麥克勞林級數展開2階克勞林級數將2維空間函數轉化為6維空間函數的線性組合函數維空間函數經過階克勞林級數可以得到空間的線性組合函數

空間的線性組合函數可以由維空間的函數得到。以階為例，在6維空間分類線性超平面方程：

在2維空間分類超曲面方程：

徑向量函數

在高維空間中的線性分類面等價于低維空間的

從低維空間到高維空間，能夠提高線性分類的概率

高維空間中計算量較大，能否找到一個函數將高維空間的運算轉化為低維空間的運算呢？(0,0)(0,1)(1,0)(1,1)核函數低維空間高維空間表示？SVM(0,0,0)(0,1,1)(1,1,0)(1,0,1)在高維空間中，由于維數增加，造成維數災難。核函數

核函數能夠把高維空間的運算轉化為低維空間的運算RBF(RadialBasisFunction)核函數:

多項式Polynomials核函數：Sigmond核函數:利用了一個d階可導函數的泰勒級數展開的形式：

把展開級數展開成的級數之積即為把一維空間函數交換到所組成的高維空間中的離散數值內積運算中進行表示因此，與的內積表達的是同一個對象。

通過核函數，它不僅能把高維空間的運算轉化為低維空間的運算，而且不需要指出高維空間的具體維數。多項式核函數(Polynomials)具有明確的數學意義,即將一個任意可導函數分解為一個多項式之和.它沒有明確的物理意義.多項式核函數將低維空間映射到高維空間時,可以算出高維空間的具體維數.Gauss核函數:沒有明確的數學意義,也沒有明確的物理意義.將低維空間映射到無窮維空間,但是它具有生物意義,它是根據人眼成像的原理(對目標信息放大)核函數中支持向量如何得到呢??支撐向量(SV)支撐向量對每類來說，應該是該類中最具有代表性的特征向量，

分類是一個相對的問題，而不是一個絕對的問題。該類中最具有代表性的特征向量不一定具有可分性，而具有可分性的特征向量不一定是該類最有代表性的向量。某類的支持向量也應該是相對的，這是相對其它類而言的。目標：找到一個超平面，使得它能夠盡可能多的將兩類數據點正確的分開，同時使分開的兩類數據點距離分類面最遠。解決方法：構造一個在約束條件下的優(yōu)化問題，具體的說是一個受限二次規(guī)劃問題(constrainedquadraticprograming),求解該問題，得到分類器簡單最優(yōu)分類面滿足條件條件一：對(xi,yi)分類方程g(x)=wx-b應滿足條件二：空白長度=2x樣本點到直線的距離=2xHH2分類間隔Margin=2/||w||H1最優(yōu)分類面的數學表示已知：n個觀測樣本，(x1,y1),(x2,y2)……(xn,yn)目標：最優(yōu)分類面wx-b=0這樣得