人工神經(jīng)網(wǎng)絡7Boltzma.pptVIP

1,人工神經(jīng)網(wǎng)絡 (Artifical Neural Network),張 凱 副教授,武漢科技大學 計算機學院,2,要點簡介,1. 研究背景,2. 隨機神經(jīng)網(wǎng)絡,3. 模擬退火算法,4. Boltzmann機,隨機神經(jīng)網(wǎng)絡,隨機神經(jīng)網(wǎng)絡是統(tǒng)計力學思想引入神經(jīng)網(wǎng)絡研究的結果。 統(tǒng)計力學是研究大系統(tǒng)宏觀平衡性質的學科，這種大系統(tǒng)的組成元素服從微觀機制。統(tǒng)計力學的主要目的是尋找從微觀粒子（原子、電子）的運動開始的宏觀物體的熱力學性質，由于所遇到的自由度數(shù)目很大，因此只能使用概率的方法進行研究。,隨機神經(jīng)網(wǎng)絡,BP網(wǎng)絡是一種“貪心”算法，容易陷入局部最小點。 Hopfield網(wǎng)絡很難避免出現(xiàn)偽狀態(tài)，網(wǎng)絡是嚴格按照能量減小的方向運行的，容易陷入局部極小點，而無法跳出。 所以，在用BP網(wǎng)絡和Hopfield網(wǎng)絡進行最優(yōu)化的計算時，由于限定條件的不足，往往會使網(wǎng)絡穩(wěn)定在誤差或能量函數(shù)的局部最小點，而不是全局最小點，即所得的解不是最優(yōu)解。,隨機神經(jīng)網(wǎng)絡,隨機神經(jīng)網(wǎng)絡,網(wǎng)絡陷入局部最小點的原因主要有兩點： (1)網(wǎng)絡結構上存在著輸入到輸出之間的非線性函數(shù)關系，從而使網(wǎng)絡誤差或能量函數(shù)所構成的空間是一個含有多極點的非線性空間。 (2)在算法上，網(wǎng)絡的誤差或能量函數(shù)只能單方向減小，不能有一點上升。,6,隨機神經(jīng)網(wǎng)絡,隨機神經(jīng)網(wǎng)絡的基本思想： 網(wǎng)絡向誤差或能量函數(shù)減小方向運行的概率大，同時向誤差或能量函數(shù)增大方向運行的概率存在，這樣網(wǎng)絡跳出局部極小點的可能性存在，而且向全局最小點收斂的概率最大。,模擬退火算法(Simulated Annealing)來源于固體退火原理，將固體加溫至充高，再讓其徐徐冷卻，加溫時，固體內部粒子隨溫度升高變?yōu)闊o序狀，內能增大，而徐徐冷卻時粒子漸趨有序，在每個溫度都達到平衡態(tài)，最后在常溫時達到基態(tài)，內能減為最小。 它由Metropolis算法和退火過程(Annealing Procedure，AP)組成。,模擬退火算法,模擬退火算法的基本思路,首先在高溫下進行搜索，此時各狀態(tài)出現(xiàn)概率相差不大，可以很快進入“熱平衡狀態(tài)”，這時進行的是一種“粗搜索”，也就是大致找到系統(tǒng)的低能區(qū)域； 隨著溫度的逐漸降低，各狀態(tài)出現(xiàn)概率的差距逐漸被擴大，搜索精度不斷提高。這就可以越來越準確的找到網(wǎng)絡能量函數(shù)的全局最小點。,9,模擬退火算法的基本思路,當使用最速下降法(gradient descent)時，系統(tǒng)可能陷入局部最小值(local minimum),模擬退火算法的基本思路,仿真退火算法 基本概念 改變系統(tǒng)能量 以組合最速下降與隨機過程的方式搜尋能量函數(shù)的總體最小值 在搜尋的過程中，通常以最速下降法使其解答狀態(tài)在搜尋空間中往能量函數(shù)值較低處移動，但透過隨機過程，偶而往能量函數(shù)值較高處移動，以跳過局部最小值,模擬退火算法的基本思路,最速下降 模擬退火,模擬退火概念,在模擬退火搜尋過程中，當次一個解的能量函數(shù)值比現(xiàn)行解的能量函數(shù)值低時，移至此解。 反之，則允許少許機率移動到能量函數(shù)值較高的次一個解，此機率通常假設為兩個解間能量函數(shù)差額的Boltzmann機率分布函數(shù)。,模擬退火算法的基本思路,模擬退火的最初目的是尋找代表復雜系統(tǒng)的代價函數(shù)的全局最小值。因此，這種方法為解決凹平面最優(yōu)問題提供了一個強有力的工具，其中心思想在于：在用模擬退火最優(yōu)化一個復雜系統(tǒng)（如：一個擁有很多自由度的系統(tǒng)）時，誤差或能量函數(shù)絕大部分的時間在下降，但不是一直下降，即誤差或能量函數(shù)的總趨勢向減小的方向變化，但有時也向增大的方向變化，這樣可跳出局部極小點，向全局最小點收斂。,模擬退火與傳統(tǒng)迭代最優(yōu)算法的比較： (1)當系統(tǒng)在非零溫度下時，從局部最優(yōu)中跳出是非?？赡艿模虼瞬粫萑刖植孔顑?yōu)。 (2)系統(tǒng)最終狀態(tài)的總特征可以在較高溫度下看到，而狀態(tài)的好的細節(jié)卻在低溫下表現(xiàn)，因此，模擬退火是自適應的.。,模擬退火算法的基本思路,1. Metropolis抽樣過程,模擬退火算法原理,1. Metropolis抽樣過程 假定一隨機變量在某一時刻的狀態(tài)為vi。在另一時刻的狀態(tài)為vj。假設這種狀態(tài)的轉移滿足以下條件： E表示系統(tǒng)從狀態(tài)vi轉移至狀態(tài)vj所引起的能量差。 如果能量差E為負，這種轉移就導致狀態(tài)能量的降低，這種轉移就被接受。接下來，新狀態(tài)作為算法下一步的起始點。,模擬退火算法原理,模擬退火算法原理,若能量差為正，算法在這一點進行概率操作。首先，選定一個在0,1內服從均勻分布的隨機數(shù)。如果e-E/T，則接受這種轉移。否則，拒絕這種轉移；即在算法的下一步中拒絕舊的狀態(tài)。如此反復，達到系統(tǒng)在此溫度下的熱平衡。 這個過程稱作Metropolis抽樣過程。Metropolis抽樣過程就是在一確定溫度下，使系統(tǒng)達到熱平衡的過程。,模擬退火算法原理,2. 退火過程（降溫過程） 在Metropolis抽樣過程中溫度T緩慢的降低。模擬退火過程就是通過T參數(shù)的變化使狀態(tài)收斂于最小能量處。因而，T參數(shù)的選擇對于算法最后的結果有很大影響。初始溫度和終止溫度設置的過低或過高都會延長搜索時間。降溫步驟太快，往往會漏掉全局最優(yōu)點，使算法收斂至局部最優(yōu)點。降溫步驟太慢，則會大大延長搜索全局最優(yōu)點的計算時間，從而難以實際應用。因此，T可以理解為一個控制參數(shù)。,模擬退火算法原理,為尋找在有限時間逼近全局最優(yōu)的模擬退火算法，設置了許多控制算法收斂的參數(shù)。在退火過程中指定了有限的退火溫度值和在每一溫度下的轉移數(shù)目。Kirlpatrick等人在退火步驟中設定的參數(shù)如下： (1)初始溫度值：初始溫度值T0要選的足夠高，保證模擬退火算法中所有可能的轉移都能被接受。,2019年7月16日星期二,20,模擬退火算法原理,(2)溫度的下降：原先使用指數(shù)函數(shù)實現(xiàn)溫度的下降。但是這種方法使降溫幅度過小，從而延長搜索時間。在實際中，通常使用下式： 此處是一小于卻接近于1的常數(shù)。通常的取值在0.8至0.99之間。在每一溫度下，實驗足夠多的轉移次數(shù)。,2019年7月16日星期二,21,模擬退火算法原理,(3)終止溫度：如果在連續(xù)的若干個溫度下沒有可接受的新狀態(tài)，系統(tǒng)凍結或退火停止。 模擬退火尤其適合解決組合優(yōu)化問題，下面以模擬退火算法解決組合優(yōu)化問題來進一步介紹模擬退火算法的步驟。,2019年7月16日星期二,22,許多工程上和理論上的問題，其目標都是在一個很大的解空間中尋求一個最優(yōu)解，這些問題統(tǒng)稱為組合優(yōu)化問題。 在許多組合優(yōu)化問題中，一個解通常是滿足一定規(guī)則的一些離散對象的排列，所有這些解的集合叫做解空間。通常用一個“代價函數(shù)”C(x)來衡量一個解的優(yōu)劣，目標就是選擇一個解使其代價函數(shù)C(x)最小，如TSP問題、大規(guī)模集成電路布局布線問題等。,2019年7月16日星期二,23,模擬退火求解組合優(yōu)化問題,2019年7月16日星期二,24,模擬退火求解組合優(yōu)化問題,設V=V1,V2,Vn為所有可能的組合（或狀態(tài)）所構成的集合。C()是V的函數(shù)，且 ，反映取狀態(tài)Vi為解的代價，目標是尋找 使 模擬退火算法應用于組合優(yōu)化問題的基本思想就是把每種組合狀態(tài)Vi看成某一物質體系的微觀狀態(tài)，C(Vi)可看成該物質體系在Vi下的能量 ，溫度T為控制參數(shù)。,模擬退火求解組合優(yōu)化問題,讓T從一個足夠高的值慢慢下降，對于每個T，對當前狀態(tài)V作隨機擾動產(chǎn)生一個新狀態(tài)V，計算其增量C=C(V)-C(V)，并以概率e-C/kT接受V作為新的當前狀態(tài)。根據(jù)統(tǒng)計力學的知識，當重復如此隨機擾動足夠次數(shù)后，狀態(tài)Vi的出現(xiàn)概率如下：,2019年7月16日星期二,26,模擬退火求解組合優(yōu)化問題,k為Boltzmann常數(shù),第一步：初始化。依據(jù)所要解決的組合優(yōu)化問題，確定代價函數(shù)C()的表達式，隨機選擇初始狀態(tài)V=V(0)，設定初始溫度T0，終止溫度Tfinal，概率閾值。 第二步：Metropolis抽樣過程 （1）在溫度T下依據(jù)某一規(guī)定的方式，根據(jù)當前解所處的狀態(tài)V，產(chǎn)生一個近鄰子集N(V)（可包括V，也可不包括V），在N(V)內隨機尋找一個新狀態(tài)S作為下一個當前解的候選解，計算C=C(V)-C(V)。,2019年7月16日星期二,27,模擬退火求解組合優(yōu)化問題,模擬退火求解組合優(yōu)化問題,（2）若C0，則計算概率e-C/T，若其大于給定概率閾值，則取下一狀態(tài)為V=V，否則，保留這一狀態(tài)。 （3）按某一給定的收斂算法檢查算法在溫度T下是否應停止，若符合收斂條件則表示已達到熱平衡，轉向第三步的退火過程，若不符合收斂條件，則轉向（1）繼續(xù)迭代，直至在此溫度下收斂。,2019年7月16日星期二,28,模擬退火求解組合優(yōu)化問題,第三步：退火過程。 按照一定的降溫方法得到一個新的溫度T，檢查T是否小于給定的溫度終止閾值Tfinal。若小于，則退火過程結束，當前狀態(tài)V即為算法最終輸出解。若溫度T大于等于給定閾值，則轉至Metropolis抽樣過程，在新的溫度下搜索狀態(tài)。 注意：在上述退火過程中，模擬退火算法是否能達到能量E的最小值，取決于T0是否足夠高，和T下降得是否充分慢，以及對每個T時系統(tǒng)是否穩(wěn)定。,（1）T0的選擇方法： a. 均勻隨機抽樣Vi，取此時C(Vi)的方差為T0 b. 在所有可能的組合狀態(tài)中，選兩個狀態(tài)使C 最大，取T0為C的若干倍； c. 按經(jīng)驗給出。,2019年7月16日星期二,30,模擬退火參數(shù)控制,模擬退火參數(shù)控制,(2) 退火過程中Tfinal 的選取方法： a 依據(jù)經(jīng)驗確定 b 檢驗系統(tǒng)的熵是已否達到最小，若達到最小， 即可認為溫度已達到終止溫度。 c T下降n次后都沒有改善，即可認為能量已降 到最低，沒有必要再降溫。,2019年7月16日星期二,31,模擬退火參數(shù)控制,（3）Metropolis抽樣過程的收斂算法： a.檢驗目標函數(shù)C()的均值是否穩(wěn)定； b.繼續(xù)若干步，C()變化很小（設定閾值）； c.按一個固定步數(shù)抽樣。 （4）降溫方法的確定： 根據(jù)Kirlpatrick的方法令 ，,模擬退火參數(shù)控制,模擬退火算法是一種通用的隨機搜索算法，它可用于解決眾多的優(yōu)化問題，并已經(jīng)廣泛的應用于其他領域。如VLSL設計、圖像識別等。當待解決的問題復雜性較高，而且規(guī)模較大時，在對問題的領域知識甚少的情況下，采用模擬退火算法最合適。因為模擬退火算法不像其他確定型啟發(fā)式算法那樣，需要依賴于問題的領域知識來提高算法的性能。,模擬退火參數(shù)控制,但是，從另一方面來說，已知有關待解決問題的一些知識后，模擬退火算法卻無法充分利用它們，這使得模擬退火算法的優(yōu)點就成了缺點。如何把傳統(tǒng)的啟發(fā)式搜索方法和模擬退火隨機搜索算法結合起來，這是一個有待研究的十分有意義的課題。,2019年7月16日星期二,34,模擬退火參數(shù)控制,模擬退火算法具有跳出局部最優(yōu)陷阱的能力，因此被Ackley、Hinton和Sejnowski用作Boltzmann機學習算法，從而使Boltzmann機克服了Hopfield網(wǎng)絡經(jīng)常收斂到局部最優(yōu)點的缺點。在Boltmann機中，即使系統(tǒng)落入局部最優(yōu)的陷阱，經(jīng)過一段時間后，它還能重新跳出來，使系統(tǒng)最終將往全局最優(yōu)點的方向收斂。,2019年7月16日星期二,35,模擬退火參數(shù)控制,模擬退火算法在求解規(guī)模較大的實際問題時，往往存在以下缺點： (1)收斂速度比較慢。 (2)盡管理論上只要計算時間足夠長，模擬退火法就可以保證以概率1收斂于全局最優(yōu)點。但是在實際算法的實現(xiàn)過程中，由于計算速度和時間的限制，在優(yōu)化效果和計算時間二者之間存在矛盾，因而難以保證計算結果為全局最優(yōu)點，優(yōu)化效果不甚理想。 (3)在每一溫度下很難判定是否達到了平衡狀態(tài)。,模擬退火參數(shù)控制,為此，人們對模擬退火算法提出了各種各樣的改進，其中包括并行模擬退火算法、快速模擬退火算法和對模擬退火算法中各個函數(shù)和參數(shù)的重新設計等。,Boltzmann機,20世紀80年代，Ackley, Hinton 和Sejnowski等人以模擬退火思想為基礎，對Hopfield網(wǎng)絡引入了隨機機制，推出Boltzmann機,Geoffrey Hinton,David H. Ackley,Boltzmann機,Boltzmann機是第一個受統(tǒng)計力學啟發(fā)的多層學習機，它是一類典型的隨機神經(jīng)網(wǎng)絡，屬于反饋神經(jīng)網(wǎng)絡類型 其命名來源于Boltzmann在統(tǒng)計熱力學中的早期工作和網(wǎng)絡本身的動態(tài)分布行為 Boltzmann機結合BP網(wǎng)絡和Hopfield網(wǎng)絡在網(wǎng)絡結構、學習算法和動態(tài)運行機制的優(yōu)點，是建立在Hopfield網(wǎng)基礎上的，具有學習能力，能夠通過一個模擬退火過程尋求解答。不過，其訓練時間比BP網(wǎng)絡要長。,40,Boltzmann機的網(wǎng)絡結構,Boltzmann機的網(wǎng)絡結構,Boltzmann機由輸入部、輸出部和中間部構成。輸入神經(jīng)元和輸出神經(jīng)元可稱為顯見神經(jīng)元，它們是網(wǎng)絡與外部環(huán)境進行信息交換的媒介。中間部的神經(jīng)元稱為隱見神經(jīng)元，它們通過顯見神經(jīng)元與外部進行信息交換。 每一對神經(jīng)元之間的信息傳遞是雙向對稱的，即wij= wji ，而且自身無反饋即wii=0。學習期間，顯見神經(jīng)元將被外部環(huán)境“約束”在某一特定的狀態(tài)，而中間部隱見神經(jīng)元則不受外部環(huán)境約束。,41,2019年7月16日星期二,42,Boltzmann機的單個神經(jīng)元,Boltzmann機中每個神經(jīng)元的興奮或抑制具有隨機性，其概率取決于神經(jīng)元的輸入。 神經(jīng)元 i 的全部輸入信號的總和為 ui為：,2019年7月16日星期二,43,式中bi是該神經(jīng)元的閾值。,Boltzmann機的網(wǎng)絡結構,神經(jīng)元的輸出 vi 依概率取1或0 vi取1的概率： vi取0的概率：,44,由此可見， vi 取1的概率受兩個因素的影響： (1) ui 越大 vi 則取1的概率越大，而取0的概率越小。 (2) 參數(shù)T稱為“溫度”，在不同的溫度下vi 取1的概率P隨 ui 的變化如圖所示。,Boltzmann機的網(wǎng)絡結構,pu的關系,Boltzmann機的網(wǎng)絡結構,可見，T 越高時，曲線越平滑，因此，即使ui有很大變動，也不會對vi取1的概率變化造成很大的影響；反之，T 越低時，曲線越陡峭，當ui有稍許變動時就會使概率有很大差異。即溫度高時狀態(tài)變化接近隨機，隨著溫度的降低向確定性的動作靠近。 當T0時，每個神經(jīng)元不再具有隨機特性，而具有確定的特性，激勵函數(shù)變?yōu)殡A躍函數(shù)，這時Boltzmann機趨向于Hopfield 網(wǎng)絡。,46,Boltzmann機的網(wǎng)絡結構,Boltzmann機的工作原理,Boltzmann機采用下式所示的能量函數(shù)作為描述其狀態(tài)的函數(shù)。 將Boltzmann機視為一動力系統(tǒng)，能量函數(shù)的極小值對應系統(tǒng)的穩(wěn)定平衡點，由于能量函數(shù)有界，當網(wǎng)絡溫度以某種方式逐漸下降到某一特定值時，系統(tǒng)必趨于穩(wěn)定狀態(tài)Boltzmann機的運行過程就是逐步降低其能量函數(shù)的過程。,47,2019年7月16日星期二,48,每個神經(jīng)元 j 的能量為 Boltzmann機在運行時，假設每次只改變一個神經(jīng)元的狀態(tài)，如第 i 個神經(jīng)元，t 時刻到 t+1時刻，它們的能量變化差值為Ei,Boltzmann機的工作原理,有一個凹凸不平的盆，要使一個小球穩(wěn)定在最低的地方，如果把小球輕輕地放入盆中，那么結果必然是小球穩(wěn)定在距放入地方最近的低洼處。 但是穩(wěn)定所在的地方并不保證是最低的地方，這一動作與Hopfield網(wǎng)絡相當。Boltzmann機則是大幅度搖晃剛放入小球的盆子，然后逐漸減小搖晃的幅度。這樣，小球才有可能到盆子的最低處處。,2019年7月16日星期二,49,Boltzmann機的學習算法,假定Boltzmann機中有V1和V2兩種狀態(tài)：在V1狀態(tài)下神經(jīng)元i的輸出vi=1，V2狀態(tài)下神經(jīng)元i的輸出vi=0，而所有其他神經(jīng)元在這兩種狀態(tài)下的取值都是一致的，另外假設兩種狀態(tài)出現(xiàn)的概率分別是 和 ：,2019年7月16日星期二,50,Boltzmann機的學習算法,k 為常數(shù),Boltzmann機的學習算法,對于網(wǎng)絡中任意兩個狀態(tài)V1和V2的出現(xiàn)概率分別為 和 。它們之間的關系為 上式符合統(tǒng)計理學中己知的Boltzmann分布。Boltzmann機由此得名。,2019年7月16日星期二,51,2019年7月16日星期二,52,一方面： 這就說明了能量低的狀態(tài)出現(xiàn)的概率大，能量高的狀態(tài)出現(xiàn)的概率小。 另一方面：溫度參數(shù)T也會影響B(tài)oltzmann機處于某種狀態(tài)的概率。,Boltzmann機的學習算法,(1) T 很高時，各狀態(tài)出現(xiàn)的概率差異大大減小，也就是說網(wǎng)絡停留在全局最小點的概率，并不比局部最小點的概率甚至非局部最小點高很多。也即網(wǎng)絡不會陷在某個極小點中拔不出來，網(wǎng)絡在搜索過程中能夠“很快”的穿行于各極小點之間，但落于全局最小點的概率還是最大的。這一點保證網(wǎng)絡狀態(tài)落入全局最小點的可能性大。,2019年7月16日星期二,53,Boltzmann機的學習算法,(2) T 很低時，情況正好相反。概率差距被加大，一旦網(wǎng)絡陷于某個極小點之后，雖然還有可能跳出該極小點，但是所需的搜索次數(shù)將是非常多的。這一點保證網(wǎng)絡狀態(tài)一旦達到全局最小點，跳出的可能性小。 (3) T0（Hopfield網(wǎng)絡)。差距被無限擴展，跳出局部最小點的概率趨于無窮小。這一點保證網(wǎng)絡狀態(tài)穩(wěn)定在全局最小點。,2019年7月16日星期二,54,Boltzmann機的學習算法,Boltzmann機的運行步驟,設一個Boltzmann機具有n個隨機神經(jīng)元（p個顯見神經(jīng)元，q個隱見神經(jīng)元），第i個神經(jīng)元與第j個神經(jīng)元的連接權值為wij，i，j1,2,n。T0為初始溫度，m1,2,M為迭代次數(shù)。Boltzmann機的運行步驟為： 第一步：對網(wǎng)絡進行初始化。設定初始溫度T0、終止溫度Tfinal和閾值，以及網(wǎng)絡各神經(jīng)元的連接權值wij。,2019年7月16日星期二,56,第二步：在溫度Tm條件下（初始溫度為T0）隨機選取網(wǎng)絡中的一個神經(jīng)元i，計算神經(jīng)元i的輸入信號總和ui： 第三步：若ui0，即能量差Ei0，取vi=1為神經(jīng)元i的下一狀態(tài)值。若ui0，計算概率：,Boltzmann機的運行步驟,2019年7月16日星期二,57,第四步：判斷網(wǎng)絡在溫度Tm下是否達到穩(wěn)定，若未達到穩(wěn)定，則繼續(xù)在網(wǎng)絡中隨機選取另一神經(jīng)元j，令ji，轉至第二步重復計算，直至網(wǎng)絡在Tm下達到穩(wěn)定。若網(wǎng)絡在Tm下已達到穩(wěn)定則轉至第五步計算。 第五步：以一定規(guī)律降低溫度，使Tm+1Tm，判斷Tm+1是否小于Tfinal，若Tm+1大于等于Tfinal，則Tm=Tm1，轉至第二步重復計算；若Tm+1小于Tfinal ，則運行結束。此時在Tm下所求得的網(wǎng)絡穩(wěn)定狀態(tài)，即為網(wǎng)絡的輸出。,Boltzmann機的運行步驟,Boltzmann機學習注意問題,（1）初始溫度T0的選擇方法。初始溫度T0的選取主要有以下方法：隨機選取網(wǎng)絡中k個神經(jīng)元，選取這k個神經(jīng)元能量的方差作為T0；在初始網(wǎng)絡中選取使E最大的兩個神經(jīng)元，取T0為Emax的若干倍；按經(jīng)驗值給出T0等。 （2）確定終止溫度閾值Tfinal的方法。主要根據(jù)經(jīng)驗選取，若在連續(xù)若干溫度下網(wǎng)絡狀態(tài)保持不變，也可認為已達到終止溫度。,2019年7月16日星期二,58,Boltzmann機學習注意問題,（3）概率閾值的確定方法。的選取方法主要有：在網(wǎng)絡初始化時按照經(jīng)驗確定或在網(wǎng)絡每次運行過程中選取一個0,0.5之間均勻分布的隨機數(shù)。 （4）網(wǎng)絡權值wij的確定方法。 （5）在每一溫度下達到熱平衡的條件。通常在每一溫度下，實驗足夠多的次數(shù)，直至網(wǎng)絡狀態(tài)在此溫度下不再發(fā)生變化為止。,2019年7月16日星期二,59,Boltzmann機學習注意問題,（6）降溫的方法。通常采用指數(shù)的方法進行降溫，即： 為加快網(wǎng)絡收斂速度也可采用倍乘一個小于1的降溫系數(shù)的方法進行快速降溫。,2019年7月16日星期二,60,Boltzmann機的學習規(guī)則,Boltzmann機是一種隨機神經(jīng)網(wǎng)絡，可使用概率中的似然函數(shù)量度其模擬外界環(huán)境概率分布的性能。因此，Boltzmann機的學習規(guī)則就是根據(jù)最大似然規(guī)則，通過調整權值wij，最小化似然函數(shù)或其對數(shù)。 假設給定需要網(wǎng)絡模擬其概率分布的樣本集合，Vx是樣本集合中的一個狀態(tài)向量，Vx即可代表網(wǎng)絡中顯見神經(jīng)元的一個狀態(tài)，假設向量Vy表示網(wǎng)絡中隱見神經(jīng)元的一個可能狀態(tài)，則V=Vx Vy即