人工神經(jīng)網(wǎng)絡7Boltzma.ppt_第1頁
人工神經(jīng)網(wǎng)絡7Boltzma.ppt_第2頁
人工神經(jīng)網(wǎng)絡7Boltzma.ppt_第3頁
人工神經(jīng)網(wǎng)絡7Boltzma.ppt_第4頁
人工神經(jīng)網(wǎng)絡7Boltzma.ppt_第5頁
已閱讀5頁,還剩63頁未讀, 繼續(xù)免費閱讀

VIP免費下載

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1,人工神經(jīng)網(wǎng)絡 (Artifical Neural Network),張 凱 副教授,武漢科技大學 計算機學院,2,要點簡介,1. 研究背景,2. 隨機神經(jīng)網(wǎng)絡,3. 模擬退火算法,4. Boltzmann機,隨機神經(jīng)網(wǎng)絡,隨機神經(jīng)網(wǎng)絡是統(tǒng)計力學思想引入神經(jīng)網(wǎng)絡研究的結果。 統(tǒng)計力學是研究大系統(tǒng)宏觀平衡性質的學科,這種大系統(tǒng)的組成元素服從微觀機制。統(tǒng)計力學的主要目的是尋找從微觀粒子(原子、電子)的運動開始的宏觀物體的熱力學性質,由于所遇到的自由度數(shù)目很大,因此只能使用概率的方法進行研究。,隨機神經(jīng)網(wǎng)絡,BP網(wǎng)絡是一種“貪心”算法,容易陷入局部最小點。 Hopfield網(wǎng)絡很難避免出現(xiàn)偽狀態(tài),網(wǎng)絡是嚴格按照能量減小的方向運行的,容易陷入局部極小點,而無法跳出。 所以,在用BP網(wǎng)絡和Hopfield網(wǎng)絡進行最優(yōu)化的計算時,由于限定條件的不足,往往會使網(wǎng)絡穩(wěn)定在誤差或能量函數(shù)的局部最小點,而不是全局最小點,即所得的解不是最優(yōu)解。,隨機神經(jīng)網(wǎng)絡,隨機神經(jīng)網(wǎng)絡,網(wǎng)絡陷入局部最小點的原因主要有兩點: (1)網(wǎng)絡結構上存在著輸入到輸出之間的非線性函數(shù)關系,從而使網(wǎng)絡誤差或能量函數(shù)所構成的空間是一個含有多極點的非線性空間。 (2)在算法上,網(wǎng)絡的誤差或能量函數(shù)只能單方向減小,不能有一點上升。,6,隨機神經(jīng)網(wǎng)絡,隨機神經(jīng)網(wǎng)絡的基本思想: 網(wǎng)絡向誤差或能量函數(shù)減小方向運行的概率大,同時向誤差或能量函數(shù)增大方向運行的概率存在,這樣網(wǎng)絡跳出局部極小點的可能性存在,而且向全局最小點收斂的概率最大。,模擬退火算法(Simulated Annealing)來源于固體退火原理,將固體加溫至充高,再讓其徐徐冷卻,加溫時,固體內部粒子隨溫度升高變?yōu)闊o序狀,內能增大,而徐徐冷卻時粒子漸趨有序,在每個溫度都達到平衡態(tài),最后在常溫時達到基態(tài),內能減為最小。 它由Metropolis算法和退火過程(Annealing Procedure,AP)組成。,模擬退火算法,模擬退火算法的基本思路,首先在高溫下進行搜索,此時各狀態(tài)出現(xiàn)概率相差不大,可以很快進入“熱平衡狀態(tài)”,這時進行的是一種“粗搜索”,也就是大致找到系統(tǒng)的低能區(qū)域; 隨著溫度的逐漸降低,各狀態(tài)出現(xiàn)概率的差距逐漸被擴大,搜索精度不斷提高。這就可以越來越準確的找到網(wǎng)絡能量函數(shù)的全局最小點。,9,模擬退火算法的基本思路,當使用最速下降法(gradient descent)時,系統(tǒng)可能陷入局部最小值(local minimum),模擬退火算法的基本思路,仿真退火算法 基本概念 改變系統(tǒng)能量 以組合最速下降與隨機過程的方式搜尋能量函數(shù)的總體最小值 在搜尋的過程中,通常以最速下降法使其解答狀態(tài)在搜尋空間中往能量函數(shù)值較低處移動,但透過隨機過程,偶而往能量函數(shù)值較高處移動,以跳過局部最小值,模擬退火算法的基本思路,最速下降 模擬退火,模擬退火概念,在模擬退火搜尋過程中,當次一個解的能量函數(shù)值比現(xiàn)行解的能量函數(shù)值低時,移至此解。 反之,則允許少許機率移動到能量函數(shù)值較高的次一個解,此機率通常假設為兩個解間能量函數(shù)差額的Boltzmann機率分布函數(shù)。,模擬退火算法的基本思路,模擬退火的最初目的是尋找代表復雜系統(tǒng)的代價函數(shù)的全局最小值。因此,這種方法為解決凹平面最優(yōu)問題提供了一個強有力的工具,其中心思想在于:在用模擬退火最優(yōu)化一個復雜系統(tǒng)(如:一個擁有很多自由度的系統(tǒng))時,誤差或能量函數(shù)絕大部分的時間在下降,但不是一直下降,即誤差或能量函數(shù)的總趨勢向減小的方向變化,但有時也向增大的方向變化,這樣可跳出局部極小點,向全局最小點收斂。,模擬退火與傳統(tǒng)迭代最優(yōu)算法的比較: (1)當系統(tǒng)在非零溫度下時,從局部最優(yōu)中跳出是非??赡艿模虼瞬粫萑刖植孔顑?yōu)。 (2)系統(tǒng)最終狀態(tài)的總特征可以在較高溫度下看到,而狀態(tài)的好的細節(jié)卻在低溫下表現(xiàn),因此,模擬退火是自適應的.。,模擬退火算法的基本思路,1. Metropolis抽樣過程,模擬退火算法原理,1. Metropolis抽樣過程 假定一隨機變量在某一時刻的狀態(tài)為vi。在另一時刻的狀態(tài)為vj。假設這種狀態(tài)的轉移滿足以下條件: E表示系統(tǒng)從狀態(tài)vi轉移至狀態(tài)vj所引起的能量差。 如果能量差E為負,這種轉移就導致狀態(tài)能量的降低,這種轉移就被接受。接下來,新狀態(tài)作為算法下一步的起始點。,模擬退火算法原理,模擬退火算法原理,若能量差為正,算法在這一點進行概率操作。首先,選定一個在0,1內服從均勻分布的隨機數(shù)。如果e-E/T,則接受這種轉移。否則,拒絕這種轉移;即在算法的下一步中拒絕舊的狀態(tài)。如此反復,達到系統(tǒng)在此溫度下的熱平衡。 這個過程稱作Metropolis抽樣過程。Metropolis抽樣過程就是在一確定溫度下,使系統(tǒng)達到熱平衡的過程。,模擬退火算法原理,2. 退火過程(降溫過程) 在Metropolis抽樣過程中溫度T緩慢的降低。模擬退火過程就是通過T參數(shù)的變化使狀態(tài)收斂于最小能量處。因而,T參數(shù)的選擇對于算法最后的結果有很大影響。初始溫度和終止溫度設置的過低或過高都會延長搜索時間。降溫步驟太快,往往會漏掉全局最優(yōu)點,使算法收斂至局部最優(yōu)點。降溫步驟太慢,則會大大延長搜索全局最優(yōu)點的計算時間,從而難以實際應用。因此,T可以理解為一個控制參數(shù)。,模擬退火算法原理,為尋找在有限時間逼近全局最優(yōu)的模擬退火算法,設置了許多控制算法收斂的參數(shù)。在退火過程中指定了有限的退火溫度值和在每一溫度下的轉移數(shù)目。Kirlpatrick等人在退火步驟中設定的參數(shù)如下: (1)初始溫度值:初始溫度值T0要選的足夠高,保證模擬退火算法中所有可能的轉移都能被接受。,2019年7月16日星期二,20,模擬退火算法原理,(2)溫度的下降:原先使用指數(shù)函數(shù)實現(xiàn)溫度的下降。但是這種方法使降溫幅度過小,從而延長搜索時間。在實際中,通常使用下式: 此處是一小于卻接近于1的常數(shù)。通常的取值在0.8至0.99之間。在每一溫度下,實驗足夠多的轉移次數(shù)。,2019年7月16日星期二,21,模擬退火算法原理,(3)終止溫度:如果在連續(xù)的若干個溫度下沒有可接受的新狀態(tài),系統(tǒng)凍結或退火停止。 模擬退火尤其適合解決組合優(yōu)化問題,下面以模擬退火算法解決組合優(yōu)化問題來進一步介紹模擬退火算法的步驟。,2019年7月16日星期二,22,許多工程上和理論上的問題,其目標都是在一個很大的解空間中尋求一個最優(yōu)解,這些問題統(tǒng)稱為組合優(yōu)化問題。 在許多組合優(yōu)化問題中,一個解通常是滿足一定規(guī)則的一些離散對象的排列,所有這些解的集合叫做解空間。通常用一個“代價函數(shù)”C(x)來衡量一個解的優(yōu)劣,目標就是選擇一個解使其代價函數(shù)C(x)最小,如TSP問題、大規(guī)模集成電路布局布線問題等。,2019年7月16日星期二,23,模擬退火求解組合優(yōu)化問題,2019年7月16日星期二,24,模擬退火求解組合優(yōu)化問題,設V=V1,V2,Vn為所有可能的組合(或狀態(tài))所構成的集合。C()是V的函數(shù),且 ,反映取狀態(tài)Vi為解的代價,目標是尋找 使 模擬退火算法應用于組合優(yōu)化問題的基本思想就是把每種組合狀態(tài)Vi看成某一物質體系的微觀狀態(tài),C(Vi)可看成該物質體系在Vi下的能量 ,溫度T為控制參數(shù)。,模擬退火求解組合優(yōu)化問題,讓T從一個足夠高的值慢慢下降,對于每個T,對當前狀態(tài)V作隨機擾動產(chǎn)生一個新狀態(tài)V,計算其增量C=C(V)-C(V),并以概率e-C/kT接受V作為新的當前狀態(tài)。根據(jù)統(tǒng)計力學的知識,當重復如此隨機擾動足夠次數(shù)后,狀態(tài)Vi的出現(xiàn)概率如下:,2019年7月16日星期二,26,模擬退火求解組合優(yōu)化問題,k為Boltzmann常數(shù),第一步:初始化。依據(jù)所要解決的組合優(yōu)化問題,確定代價函數(shù)C()的表達式,隨機選擇初始狀態(tài)V=V(0),設定初始溫度T0,終止溫度Tfinal,概率閾值。 第二步:Metropolis抽樣過程 (1)在溫度T下依據(jù)某一規(guī)定的方式,根據(jù)當前解所處的狀態(tài)V,產(chǎn)生一個近鄰子集N(V)(可包括V,也可不包括V),在N(V)內隨機尋找一個新狀態(tài)S作為下一個當前解的候選解,計算C=C(V)-C(V)。,2019年7月16日星期二,27,模擬退火求解組合優(yōu)化問題,模擬退火求解組合優(yōu)化問題,(2)若C0,則計算概率e-C/T,若其大于給定概率閾值,則取下一狀態(tài)為V=V,否則,保留這一狀態(tài)。 (3)按某一給定的收斂算法檢查算法在溫度T下是否應停止,若符合收斂條件則表示已達到熱平衡,轉向第三步的退火過程,若不符合收斂條件,則轉向(1)繼續(xù)迭代,直至在此溫度下收斂。,2019年7月16日星期二,28,模擬退火求解組合優(yōu)化問題,第三步:退火過程。 按照一定的降溫方法得到一個新的溫度T,檢查T是否小于給定的溫度終止閾值Tfinal。若小于,則退火過程結束,當前狀態(tài)V即為算法最終輸出解。若溫度T大于等于給定閾值,則轉至Metropolis抽樣過程,在新的溫度下搜索狀態(tài)。 注意:在上述退火過程中,模擬退火算法是否能達到能量E的最小值,取決于T0是否足夠高,和T下降得是否充分慢,以及對每個T時系統(tǒng)是否穩(wěn)定。,(1)T0的選擇方法: a. 均勻隨機抽樣Vi,取此時C(Vi)的方差為T0 b. 在所有可能的組合狀態(tài)中,選兩個狀態(tài)使C 最大,取T0為C的若干倍; c. 按經(jīng)驗給出。,2019年7月16日星期二,30,模擬退火參數(shù)控制,模擬退火參數(shù)控制,(2) 退火過程中Tfinal 的選取方法: a 依據(jù)經(jīng)驗確定 b 檢驗系統(tǒng)的熵是已否達到最小,若達到最小, 即可認為溫度已達到終止溫度。 c T下降n次后都沒有改善,即可認為能量已降 到最低,沒有必要再降溫。,2019年7月16日星期二,31,模擬退火參數(shù)控制,(3)Metropolis抽樣過程的收斂算法: a.檢驗目標函數(shù)C()的均值是否穩(wěn)定; b.繼續(xù)若干步,C()變化很小(設定閾值); c.按一個固定步數(shù)抽樣。 (4)降溫方法的確定: 根據(jù)Kirlpatrick的方法令 ,,模擬退火參數(shù)控制,模擬退火算法是一種通用的隨機搜索算法,它可用于解決眾多的優(yōu)化問題,并已經(jīng)廣泛的應用于其他領域。如VLSL設計、圖像識別等。當待解決的問題復雜性較高,而且規(guī)模較大時,在對問題的領域知識甚少的情況下,采用模擬退火算法最合適。因為模擬退火算法不像其他確定型啟發(fā)式算法那樣,需要依賴于問題的領域知識來提高算法的性能。,模擬退火參數(shù)控制,但是,從另一方面來說,已知有關待解決問題的一些知識后,模擬退火算法卻無法充分利用它們,這使得模擬退火算法的優(yōu)點就成了缺點。如何把傳統(tǒng)的啟發(fā)式搜索方法和模擬退火隨機搜索算法結合起來,這是一個有待研究的十分有意義的課題。,2019年7月16日星期二,34,模擬退火參數(shù)控制,模擬退火算法具有跳出局部最優(yōu)陷阱的能力,因此被Ackley、Hinton和Sejnowski用作Boltzmann機學習算法,從而使Boltzmann機克服了Hopfield網(wǎng)絡經(jīng)常收斂到局部最優(yōu)點的缺點。在Boltmann機中,即使系統(tǒng)落入局部最優(yōu)的陷阱,經(jīng)過一段時間后,它還能重新跳出來,使系統(tǒng)最終將往全局最優(yōu)點的方向收斂。,2019年7月16日星期二,35,模擬退火參數(shù)控制,模擬退火算法在求解規(guī)模較大的實際問題時,往往存在以下缺點: (1)收斂速度比較慢。 (2)盡管理論上只要計算時間足夠長,模擬退火法就可以保證以概率1收斂于全局最優(yōu)點。但是在實際算法的實現(xiàn)過程中,由于計算速度和時間的限制,在優(yōu)化效果和計算時間二者之間存在矛盾,因而難以保證計算結果為全局最優(yōu)點,優(yōu)化效果不甚理想。 (3)在每一溫度下很難判定是否達到了平衡狀態(tài)。,模擬退火參數(shù)控制,為此,人們對模擬退火算法提出了各種各樣的改進,其中包括并行模擬退火算法、快速模擬退火算法和對模擬退火算法中各個函數(shù)和參數(shù)的重新設計等。,Boltzmann機,20世紀80年代,Ackley, Hinton 和Sejnowski等人以模擬退火思想為基礎,對Hopfield網(wǎng)絡引入了隨機機制,推出Boltzmann機,Geoffrey Hinton,David H. Ackley,Boltzmann機,Boltzmann機是第一個受統(tǒng)計力學啟發(fā)的多層學習機,它是一類典型的隨機神經(jīng)網(wǎng)絡,屬于反饋神經(jīng)網(wǎng)絡類型 其命名來源于Boltzmann在統(tǒng)計熱力學中的早期工作和網(wǎng)絡本身的動態(tài)分布行為 Boltzmann機結合BP網(wǎng)絡和Hopfield網(wǎng)絡在網(wǎng)絡結構、學習算法和動態(tài)運行機制的優(yōu)點,是建立在Hopfield網(wǎng)基礎上的,具有學習能力,能夠通過一個模擬退火過程尋求解答。不過,其訓練時間比BP網(wǎng)絡要長。,40,Boltzmann機的網(wǎng)絡結構,Boltzmann機的網(wǎng)絡結構,Boltzmann機由輸入部、輸出部和中間部構成。輸入神經(jīng)元和輸出神經(jīng)元可稱為顯見神經(jīng)元,它們是網(wǎng)絡與外部環(huán)境進行信息交換的媒介。中間部的神經(jīng)元稱為隱見神經(jīng)元,它們通過顯見神經(jīng)元與外部進行信息交換。 每一對神經(jīng)元之間的信息傳遞是雙向對稱的,即wij= wji ,而且自身無反饋即wii=0。學習期間,顯見神經(jīng)元將被外部環(huán)境“約束”在某一特定的狀態(tài),而中間部隱見神經(jīng)元則不受外部環(huán)境約束。,41,2019年7月16日星期二,42,Boltzmann機的單個神經(jīng)元,Boltzmann機中每個神經(jīng)元的興奮或抑制具有隨機性,其概率取決于神經(jīng)元的輸入。 神經(jīng)元 i 的全部輸入信號的總和為 ui為:,2019年7月16日星期二,43,式中bi是該神經(jīng)元的閾值。,Boltzmann機的網(wǎng)絡結構,神經(jīng)元的輸出 vi 依概率取1或0 vi取1的概率: vi取0的概率:,44,由此可見, vi 取1的概率受兩個因素的影響: (1) ui 越大 vi 則取1的概率越大,而取0的概率越小。 (2) 參數(shù)T稱為“溫度”,在不同的溫度下vi 取1的概率P隨 ui 的變化如圖所示。,Boltzmann機的網(wǎng)絡結構,pu的關系,Boltzmann機的網(wǎng)絡結構,可見,T 越高時,曲線越平滑,因此,即使ui有很大變動,也不會對vi取1的概率變化造成很大的影響;反之,T 越低時,曲線越陡峭,當ui有稍許變動時就會使概率有很大差異。即溫度高時狀態(tài)變化接近隨機,隨著溫度的降低向確定性的動作靠近。 當T0時,每個神經(jīng)元不再具有隨機特性,而具有確定的特性,激勵函數(shù)變?yōu)殡A躍函數(shù),這時Boltzmann機趨向于Hopfield 網(wǎng)絡。,46,Boltzmann機的網(wǎng)絡結構,Boltzmann機的工作原理,Boltzmann機采用下式所示的能量函數(shù)作為描述其狀態(tài)的函數(shù)。 將Boltzmann機視為一動力系統(tǒng),能量函數(shù)的極小值對應系統(tǒng)的穩(wěn)定平衡點,由于能量函數(shù)有界,當網(wǎng)絡溫度以某種方式逐漸下降到某一特定值時,系統(tǒng)必趨于穩(wěn)定狀態(tài)Boltzmann機的運行過程就是逐步降低其能量函數(shù)的過程。,47,2019年7月16日星期二,48,每個神經(jīng)元 j 的能量為 Boltzmann機在運行時,假設每次只改變一個神經(jīng)元的狀態(tài),如第 i 個神經(jīng)元,t 時刻到 t+1時刻,它們的能量變化差值為Ei,Boltzmann機的工作原理,有一個凹凸不平的盆,要使一個小球穩(wěn)定在最低的地方,如果把小球輕輕地放入盆中,那么結果必然是小球穩(wěn)定在距放入地方最近的低洼處。 但是穩(wěn)定所在的地方并不保證是最低的地方,這一動作與Hopfield網(wǎng)絡相當。Boltzmann機則是大幅度搖晃剛放入小球的盆子,然后逐漸減小搖晃的幅度。這樣,小球才有可能到盆子的最低處處。,2019年7月16日星期二,49,Boltzmann機的學習算法,假定Boltzmann機中有V1和V2兩種狀態(tài):在V1狀態(tài)下神經(jīng)元i的輸出vi=1,V2狀態(tài)下神經(jīng)元i的輸出vi=0,而所有其他神經(jīng)元在這兩種狀態(tài)下的取值都是一致的,另外假設兩種狀態(tài)出現(xiàn)的概率分別是 和 :,2019年7月16日星期二,50,Boltzmann機的學習算法,k 為常數(shù),Boltzmann機的學習算法,對于網(wǎng)絡中任意兩個狀態(tài)V1和V2的出現(xiàn)概率分別為 和 。它們之間的關系為 上式符合統(tǒng)計理學中己知的Boltzmann分布。Boltzmann機由此得名。,2019年7月16日星期二,51,2019年7月16日星期二,52,一方面: 這就說明了能量低的狀態(tài)出現(xiàn)的概率大,能量高的狀態(tài)出現(xiàn)的概率小。 另一方面:溫度參數(shù)T也會影響B(tài)oltzmann機處于某種狀態(tài)的概率。,Boltzmann機的學習算法,(1) T 很高時,各狀態(tài)出現(xiàn)的概率差異大大減小,也就是說網(wǎng)絡停留在全局最小點的概率,并不比局部最小點的概率甚至非局部最小點高很多。也即網(wǎng)絡不會陷在某個極小點中拔不出來,網(wǎng)絡在搜索過程中能夠“很快”的穿行于各極小點之間,但落于全局最小點的概率還是最大的。這一點保證網(wǎng)絡狀態(tài)落入全局最小點的可能性大。,2019年7月16日星期二,53,Boltzmann機的學習算法,(2) T 很低時,情況正好相反。概率差距被加大,一旦網(wǎng)絡陷于某個極小點之后,雖然還有可能跳出該極小點,但是所需的搜索次數(shù)將是非常多的。這一點保證網(wǎng)絡狀態(tài)一旦達到全局最小點,跳出的可能性小。 (3) T0(Hopfield網(wǎng)絡)。差距被無限擴展,跳出局部最小點的概率趨于無窮小。這一點保證網(wǎng)絡狀態(tài)穩(wěn)定在全局最小點。,2019年7月16日星期二,54,Boltzmann機的學習算法,Boltzmann機的運行步驟,設一個Boltzmann機具有n個隨機神經(jīng)元(p個顯見神經(jīng)元,q個隱見神經(jīng)元),第i個神經(jīng)元與第j個神經(jīng)元的連接權值為wij,i,j1,2,n。T0為初始溫度,m1,2,M為迭代次數(shù)。Boltzmann機的運行步驟為: 第一步:對網(wǎng)絡進行初始化。設定初始溫度T0、終止溫度Tfinal和閾值,以及網(wǎng)絡各神經(jīng)元的連接權值wij。,2019年7月16日星期二,56,第二步:在溫度Tm條件下(初始溫度為T0)隨機選取網(wǎng)絡中的一個神經(jīng)元i,計算神經(jīng)元i的輸入信號總和ui: 第三步:若ui0,即能量差Ei0,取vi=1為神經(jīng)元i的下一狀態(tài)值。若ui0,計算概率:,Boltzmann機的運行步驟,2019年7月16日星期二,57,第四步:判斷網(wǎng)絡在溫度Tm下是否達到穩(wěn)定,若未達到穩(wěn)定,則繼續(xù)在網(wǎng)絡中隨機選取另一神經(jīng)元j,令ji,轉至第二步重復計算,直至網(wǎng)絡在Tm下達到穩(wěn)定。若網(wǎng)絡在Tm下已達到穩(wěn)定則轉至第五步計算。 第五步:以一定規(guī)律降低溫度,使Tm+1Tm,判斷Tm+1是否小于Tfinal,若Tm+1大于等于Tfinal,則Tm=Tm1,轉至第二步重復計算;若Tm+1小于Tfinal ,則運行結束。此時在Tm下所求得的網(wǎng)絡穩(wěn)定狀態(tài),即為網(wǎng)絡的輸出。,Boltzmann機的運行步驟,Boltzmann機學習注意問題,(1)初始溫度T0的選擇方法。初始溫度T0的選取主要有以下方法:隨機選取網(wǎng)絡中k個神經(jīng)元,選取這k個神經(jīng)元能量的方差作為T0;在初始網(wǎng)絡中選取使E最大的兩個神經(jīng)元,取T0為Emax的若干倍;按經(jīng)驗值給出T0等。 (2)確定終止溫度閾值Tfinal的方法。主要根據(jù)經(jīng)驗選取,若在連續(xù)若干溫度下網(wǎng)絡狀態(tài)保持不變,也可認為已達到終止溫度。,2019年7月16日星期二,58,Boltzmann機學習注意問題,(3)概率閾值的確定方法。的選取方法主要有:在網(wǎng)絡初始化時按照經(jīng)驗確定或在網(wǎng)絡每次運行過程中選取一個0,0.5之間均勻分布的隨機數(shù)。 (4)網(wǎng)絡權值wij的確定方法。 (5)在每一溫度下達到熱平衡的條件。通常在每一溫度下,實驗足夠多的次數(shù),直至網(wǎng)絡狀態(tài)在此溫度下不再發(fā)生變化為止。,2019年7月16日星期二,59,Boltzmann機學習注意問題,(6)降溫的方法。通常采用指數(shù)的方法進行降溫,即: 為加快網(wǎng)絡收斂速度也可采用倍乘一個小于1的降溫系數(shù)的方法進行快速降溫。,2019年7月16日星期二,60,Boltzmann機的學習規(guī)則,Boltzmann機是一種隨機神經(jīng)網(wǎng)絡,可使用概率中的似然函數(shù)量度其模擬外界環(huán)境概率分布的性能。因此,Boltzmann機的學習規(guī)則就是根據(jù)最大似然規(guī)則,通過調整權值wij,最小化似然函數(shù)或其對數(shù)。 假設給定需要網(wǎng)絡模擬其概率分布的樣本集合,Vx是樣本集合中的一個狀態(tài)向量,Vx即可代表網(wǎng)絡中顯見神經(jīng)元的一個狀態(tài),假設向量Vy表示網(wǎng)絡中隱見神經(jīng)元的一個可能狀態(tài),則V=Vx Vy即

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論