神經(jīng)網(wǎng)絡 課程匯報PPT

神經(jīng)網(wǎng)絡原理及其在詞義消歧中的應用,張亞森2011202110090,1,內(nèi)容,介紹神經(jīng)網(wǎng)絡的基本原理BP神經(jīng)網(wǎng)絡在詞義消歧（WordSenseDisambiguation）中的應用總結(jié),2,背景,“人工神經(jīng)網(wǎng)絡”（ArtificialNeuralNetwork，ANN）是在對人腦組織結(jié)構(gòu)和運行機制的認識理解基礎(chǔ)之上模擬其結(jié)構(gòu)和智能行為的一種工程系統(tǒng)。早在20世紀40年代初期，心理學家McCulloch,數(shù)學家Pitts就提出了人工神經(jīng)網(wǎng)絡的第一個數(shù)學模型，從此開創(chuàng)了神經(jīng)科學理論的研究時代。其后，Rosenblatt,Widrow和Hopfield等學者又先后提出了感知模型，使得人工神經(jīng)網(wǎng)絡技術(shù)得以蓬勃發(fā)展。,3,基本特征,（1）神經(jīng)元及其連接。從系統(tǒng)構(gòu)成的形式上看，由于人工神經(jīng)網(wǎng)絡是受生物神經(jīng)系統(tǒng)的啟發(fā)構(gòu)成的，從神經(jīng)元本身到連接模式，基本上都是以與生物神經(jīng)系統(tǒng)相似的方式工作的。（2）信息的存儲與處理。從表現(xiàn)特征上看，人工神經(jīng)網(wǎng)絡也力求模擬生物神經(jīng)系統(tǒng)的基本運行方式，并且可以通過相應的學習/訓練算法，將蘊含在一個較大數(shù)據(jù)集中的數(shù)據(jù)聯(lián)系抽象出來，就像人們可以不斷地探索規(guī)律，總結(jié)經(jīng)驗一樣，可以從先前得到的例子中找出一般規(guī)律或一般框架，再按要求產(chǎn)生出新的實例。,4,人工神經(jīng)網(wǎng)絡的特點,可以充分逼近任意復雜的非線性關(guān)系所有定量或定性的信息都等勢分布存儲于網(wǎng)絡內(nèi)的各神經(jīng)元，故有很強的魯棒性和容錯性采用并行分布處理方法，使得快速進行大量運算成為可能可學習和自適應不知道或不確定的系統(tǒng)能夠同時處理定量,定性知識,5,人工神經(jīng)元的組成,一個神經(jīng)網(wǎng)絡由多個互連的神經(jīng)元組成，神經(jīng)元是神經(jīng)網(wǎng)絡的基本處理單元，它一般是多個輸入、一個輸出的非線性單元，如下圖,6,人工神經(jīng)元的組成,神經(jīng)元的輸入為其中，wij是單元j與前一層單元i之間的連接權(quán)值；Oi是單元i的輸出；為改變單元j活性的偏置，一般在區(qū)間-1，1上取值。神經(jīng)元的輸出Yj=f(netj)其中f(netj)為神經(jīng)元輸入/輸出關(guān)系的函數(shù)，稱為神經(jīng)元功能函數(shù),激活函數(shù)。通常，神經(jīng)元功能函數(shù)（激活函數(shù)）f描述了神經(jīng)元在輸入信號作用下產(chǎn)生的輸出信號的規(guī)律，這是神經(jīng)元模型的外特征,7,f函數(shù)形式多樣，根據(jù)激活函數(shù)的不同，相應的有不同的形式神經(jīng)元模型:(1)閾值型：激活函數(shù)f為一階躍函數(shù)(2)線性飽和型：輸入/輸出特性在一定的區(qū)間內(nèi)滿足線性關(guān)系。(3)S(sigmoid)型：f為sigmoid函數(shù)，它是一個有最大輸出值的非線性函數(shù)，其輸出值是在某個范圍內(nèi)連續(xù)取值的。S型激活函數(shù)反映了神經(jīng)元的非線性輸出特性。(4)子閾累積型(5)概率型,8,神經(jīng)網(wǎng)絡的互連結(jié)構(gòu),分層網(wǎng)絡結(jié)構(gòu)分層網(wǎng)絡結(jié)構(gòu)又稱為層次網(wǎng)絡結(jié)構(gòu)，按層的多少，可分為單層,雙層及多層的網(wǎng)絡結(jié)構(gòu)(1)單層或雙層網(wǎng)絡結(jié)構(gòu)。最早的神經(jīng)網(wǎng)絡模型的互連模式是單層或雙層結(jié)構(gòu)，這種互連模式是最簡單的層級結(jié)構(gòu)。感知機就是采用這種結(jié)構(gòu)，如下圖所示,9,單層與雙層神經(jīng)網(wǎng)絡互連結(jié)構(gòu),10,(2)多層網(wǎng)絡結(jié)構(gòu)。在神經(jīng)網(wǎng)絡模型中，有一種十分典型的互連模式，這就是多層神經(jīng)網(wǎng)絡結(jié)構(gòu)，這種互連模式的代表有簡單的前向網(wǎng)絡(BP神經(jīng)網(wǎng)絡)模式,多層側(cè)抑制(神經(jīng)網(wǎng)絡內(nèi)有相互連接的前向網(wǎng)絡)模式和帶有反饋的多層神經(jīng)網(wǎng)絡模型。如下圖所示，一個簡單的前向多層神經(jīng)網(wǎng)絡,11,輸入模式由輸入層進入網(wǎng)絡，經(jīng)過中間層的順序模式變換，最后由輸出層產(chǎn)生一個輸出模式，便完成一次網(wǎng)絡狀態(tài)更新。,12,神經(jīng)網(wǎng)絡模型分類,按學習方式分類按學習方式分為有導學習(有監(jiān)督訓練),強化學習和無導學習(無監(jiān)督訓練)3類網(wǎng)絡模型。(1)在有導的學習中，必須預先知道學習的期望結(jié)果，并按照某一學習規(guī)則來修正權(quán)值。(2)強化學習是利用某一技術(shù)表示“獎/懲”的全局信號，衡量與強化輸入相關(guān)的局部決策。(3)無導學習不需要指導信息，只要給定輸入信息，網(wǎng)絡能通過自組織，自調(diào)整，自學習并給出一定意義下的輸出響應。,13,神經(jīng)網(wǎng)絡的學習,確定了網(wǎng)絡結(jié)構(gòu)（網(wǎng)絡層數(shù)，各層單元數(shù)）之后，應該確定各單元的偏置及單元之間的連接權(quán)值。學習過程就是調(diào)整這組權(quán)值和偏置，使每個訓練樣本在輸出層單元上獲得期望輸出。學習目的就是找出一組權(quán)值和偏置，這組權(quán)值和偏置能使所有訓練樣本在輸出層單元上獲得期望輸出。,14,神經(jīng)網(wǎng)絡的學習算法,誤差向后傳播方法誤差修正學習方法是一種監(jiān)督學習（有導）過程，其基本思想是利用神經(jīng)網(wǎng)絡的期望輸出與實際輸出間的偏差作為調(diào)整連接權(quán)值的參考依據(jù)，并最終減少這種偏差。,15,誤差向后傳播方法的基本思想首先賦予每條有向加權(quán)邊初始權(quán)值、每個隱藏層與輸出層單元初始偏置；然后迭代地處理每個訓練樣本；輸入它的描述屬性值，計算輸出層單元的實際輸出；比較實際輸出與期望輸出（類別屬性值），將它們之間的誤差從輸出層經(jīng)每個隱藏層到輸入層“后向傳播”；根據(jù)誤差修改每條有向加權(quán)邊的權(quán)值及每個隱藏層與輸出層單元的偏置，使實際輸出與期望輸出之間的誤差最小。,16,對于某個訓練樣本，實際輸出與期望輸出的誤差Error定義為式中，c為輸出層的單元數(shù)目；Tk為輸出層單元k的期望輸出；Ok為輸出層單元k的實際輸出。,17,首先考慮輸出層單元k與前一層單元j之間的權(quán)值wjk的修改量wjk、單元k的偏置的修改量。式中，l為避免陷入局部最優(yōu)解的學習率，一般在區(qū)間0,1上取值。,18,求解上式可以得到權(quán)值,偏置的修改量為式中，Oj為單元j的輸出；Errk是誤差Error對單元k的輸入netk的負偏導數(shù)，即,19,類似地，隱藏層單元j與前一層單元i之間的權(quán)值wij的修改量wij、單元j的偏置的修改量為式中，l為學習率；Oi為單元i的輸出；Oj為單元j的輸出；Errk為與單元j相連的后一層單元k的誤差；wjk為單元j與單元k相連的有向加權(quán)邊的權(quán)值。,20,權(quán)值，偏置的修改公式為權(quán)值、偏置的更新有兩種策略：1）處理一個訓練樣本更新一次，稱為實例更新，一般采用這種策略。2）累積權(quán)值、偏置，當處理所有訓練樣本后再一次更新，稱為周期更新。,21,一般，在訓練前饋神經(jīng)網(wǎng)絡時，誤差后向傳播算法經(jīng)過若干周期以后，可以使誤差Error小于設(shè)定閾值，此時認為網(wǎng)絡收斂，結(jié)束迭代過程。此外，也可以定義如下結(jié)束條件：1）前一周期所有的權(quán)值變化都很小，小于某個設(shè)定閾值；2）前一周期預測的準確率很大，大于某個設(shè)定閾值；3）周期數(shù)大于某個設(shè)定閾值。,22,23,算法：誤差后向傳播算法輸入：訓練數(shù)據(jù)集S，前饋神經(jīng)網(wǎng)絡NT，學習率l輸出：經(jīng)過訓練的前饋神經(jīng)網(wǎng)絡NT步驟：（1）在區(qū)間-1,1上隨機初始化NT中每條有向加權(quán)邊的權(quán)值、每個隱藏層與輸出層單元的偏置（2）while結(jié)束條件不滿足（2.1）forS中每個訓練樣本s,24,（2.1.1）for隱藏層與輸出層中每個單元j/從第一個隱藏層開始向前傳播輸入（2.1.2）for輸出層中每個單元kErrk=Ok(1-Ok)(Tk-Ok),25,（2.1.3）for隱藏層中每個單元j/從最后一個隱藏層開始向后傳播誤差（2.1.4）forNT中每條有向加權(quán)邊的權(quán)值wijwij=wij+lErrjOi（2.1.5）for隱藏層與輸出層中每個單元的偏置jj=j+lErrj,一個學習的例子,例.假設(shè)訓練樣本s的描述屬性值與類別屬性值分別為1,0,1與1，前饋神經(jīng)網(wǎng)絡NT如下圖所示，NT中每條有向加權(quán)邊的權(quán)值、每個隱藏層與輸出層單元的偏置如表7.3所示，學習率為0.9。寫出輸入s訓練NT的過程。,26,前饋神經(jīng)網(wǎng)絡結(jié)構(gòu),27,28,wij和j是隨機產(chǎn)生的，l0.9,29,30,Errk=Ok(1-Ok)(Tk-Ok),31,wij=wij+lErrjOij=j+lErrj,神經(jīng)網(wǎng)絡分類,學習結(jié)束后，神經(jīng)網(wǎng)絡得到一組固定的權(quán)值及偏置。新樣本到來后，將其描述屬性值送入輸入層各單元，從輸入層到輸出層正向傳播，計算輸出層各單元的值O1,O2,On，令r=max(O1,O2,On)，則第r個輸出層單元所代表的類別就是該樣本所屬的類別。例如，在例7.6中，只有一個輸出層單元，表示只有兩個類別（A類、B類）。神經(jīng)網(wǎng)絡學習結(jié)束后，表7.6中的各權(quán)值和偏置都固定。將一個新樣本X=（x1,x2,x3）送入輸入層后可以計算出O6，若O61，則表示X應屬于A類；若O60，則表示X應屬于B類；若O60.5，則拒絕分類。,32,神經(jīng)網(wǎng)絡在詞義消歧中的應用,詞義消歧(WSD)一直是自然語言處理(NLP)領(lǐng)域一個非常重要的研究課題,詞義消歧問題幾乎覆蓋了各種自然語言處理系統(tǒng),其中包括信息檢索(IR)、機器翻譯(MT)、關(guān)鍵詞的提取、語音識別、文本分類和自動文摘等。據(jù)統(tǒng)計,在信息檢索中引入詞義消歧技術(shù)術(shù)后,可使檢索的準確率提高5.2%。可見,詞義消歧在自然語言處理中是不可避免的基礎(chǔ)問題。,33,Forinstance,considerthefollowingsentences:(a)Icanhearbasssounds.(b)Theylikegrilledbass.出現(xiàn)在上面兩個句子中的bass很明顯表示不同的意思:低音的(adj)和一種魚(n.鱸魚).,34,問題描述,多義詞的詞義消歧主要是為了解決自然語言中同形異義詞義在不同語境下的義項問題,因此主要利用多義詞的上下文信息來決定義項類別的歸屬問題。在早期主要采用規(guī)則方式來解決詞義消歧,此種方法主要通過約束性規(guī)則來定義上下文中帶消歧的詞義,這樣需要一個具有完備性、一致性、可擴充性和對開放領(lǐng)域適應性的語料庫,如何有效構(gòu)造規(guī)則庫和進行知識獲取是該方法的瓶頸問題。,35,隨著用在詞義消歧上的機器學習方法的增多,如決策樹、決策表、Nave-Bayes、神經(jīng)網(wǎng)絡、最大熵方法等,我們逐步使用基于語料庫的統(tǒng)計方法來進行詞義消歧?；谡Z料庫的統(tǒng)計方法根據(jù)訓練語料事先是否經(jīng)過人工標注又分為有指導的和無指導的兩類。,36,有指導的機器學習方法在此問題上取得了比較好的效果,但是它存在數(shù)據(jù)稀疏問題,要獲得更有效的消歧效果,必須要有一個規(guī)模大、覆蓋廣、有效的、帶標注的語料庫的支持。而語料庫始終難以覆蓋自然語言領(lǐng)域中所有的情況,并且?guī)俗⒌恼Z料庫需要大量的人工勞動,客觀上這些問題限制了該類方法的應用。,37,基于BP神經(jīng)網(wǎng)絡(Back-Propagation)的有導詞義消歧方法利用BP神經(jīng)網(wǎng)絡的泛化功能來解決傳統(tǒng)有導消歧中的數(shù)據(jù)稀疏問題，達到比較好的詞義消歧實驗結(jié)果,38,BP神經(jīng)網(wǎng)絡的體系結(jié)構(gòu),39,BP網(wǎng)絡對于在樣本集合中未訓練過的輸入,也能根據(jù)網(wǎng)絡的節(jié)點分析給出合適的輸出,即BP網(wǎng)絡的泛化(Generalization)功能。從函數(shù)擬合的角度看,這種泛化也說明BP網(wǎng)絡具有插值功能。這個功能也就是我們在詞義消歧中采用此種方法重要的原因之一,因為它可以很好地避免數(shù)據(jù)稀疏問題。,40,利用BP神經(jīng)網(wǎng)絡構(gòu)建WSD模型,對BP神經(jīng)網(wǎng)絡模型來說,如何較好地確定神經(jīng)網(wǎng)絡的拓撲結(jié)構(gòu)對神經(jīng)網(wǎng)絡的應用效果是非常重要的。在實驗過程中,對神經(jīng)網(wǎng)絡的參數(shù)要進行優(yōu)化和研究,主要有:輸入層節(jié)點數(shù),隱藏層節(jié)點數(shù),輸出層節(jié)點數(shù),激發(fā)函數(shù),學習因子等。,41,42,43,44,漢語多義詞統(tǒng)計,45,(4)確定輸出量對于每一個待消歧詞都會訓練一個模型,由表2可知,多義詞的平均義項在23個,因此,實驗中取每個待消歧詞的三個義項來構(gòu)成輸出向量。(5)確定隱藏層的節(jié)點數(shù)中間的隱含層的節(jié)點數(shù)比較靈活,在實驗中通過枚舉的辦法最終確定15個節(jié)點的實驗結(jié)果最優(yōu)。,46,(6)實驗的過程與結(jié)果利用BP神經(jīng)網(wǎng)絡進行詞義消歧主要包括兩個階段:訓練或?qū)W習階段(trainingorlearningphase),向神經(jīng)網(wǎng)絡提供一系列輸入-輸出數(shù)據(jù)組,通過數(shù)值計算方法和參數(shù)優(yōu)化技術(shù),使節(jié)點連接的權(quán)重因子不斷調(diào)整,直到從給定的輸入能產(chǎn)生所期望的輸出。預測(應用)階段(generalizationphase)。對訓練好的網(wǎng)絡(即網(wǎng)絡的誤差為0或接近于0),進行未知的樣本預測。結(jié)果如表3所示,47,48,總結(jié),利用BP神經(jīng)網(wǎng)絡模型和待消歧詞的上下文信息來進行詞義消歧,從實驗的結(jié)果也可看到此方法是切實可行的。選擇神經(jīng)網(wǎng)絡的方法,主要是由于它具有下面兩個非常顯著的特點:(1)神經(jīng)網(wǎng)絡強信息和知識分布儲存在大量的神經(jīng)元或整個系統(tǒng)中,很大地解決了有導消歧中,數(shù)據(jù)稀疏的問題,從而達到較高的準確性。,49,(2)有較強的容錯能力,部分節(jié)點不參加運算,不