歸納和分析學習的結(jié)合

歸納和分析學習的結(jié)合1第一頁，共二十七頁，2022年，8月28日2概述純粹的歸納學習方法通過在訓練樣例中尋找經(jīng)驗化的規(guī)律來形成一般假設純粹的分析方法使用先驗知識演繹推導一般假設本章考慮將歸納和分析的機制結(jié)合起來的方法，并獲得兩者的優(yōu)點：有先驗知識時獲得更高的泛化精度和依賴訓練數(shù)據(jù)克服先驗知識的不足所得到的結(jié)合的方法比純粹的歸納方法和分析方法的性能都要高第二頁，共二十七頁，2022年，8月28日3動機歸納學習尋找擬合訓練數(shù)據(jù)的一般假設，分析學習尋找擬合先驗知識的一般假設，同時使它覆蓋訓練數(shù)據(jù)歸納方法和分析方法對假設的論證方法有根本區(qū)別，因此優(yōu)缺點互為補充，將它們結(jié)合起來有可能得到更強有力的學習方法純粹的分析學習方法的優(yōu)缺點優(yōu)點：可用先驗知識從較少的數(shù)據(jù)中更精確地泛化以引導學習缺點：當先驗知識不足或不正確時，可能產(chǎn)生誤導純粹的歸納學習方法的優(yōu)缺點優(yōu)點：不需要顯示的先驗知識，主要基于訓練數(shù)據(jù)學習規(guī)律缺點：訓練數(shù)據(jù)不足時，會失敗，會被其中隱式的歸納偏置所誤導第三頁，共二十七頁，2022年，8月28日4表12-1純粹的分析學習和純粹的歸納學習的比較歸納學習分析學習目標擬合數(shù)據(jù)的假設擬合領(lǐng)域理論的假設論證統(tǒng)計推理演繹推理優(yōu)點需要很少先驗知識從稀少的數(shù)據(jù)中學習缺陷稀少的數(shù)據(jù)，不正確的偏置不完美的領(lǐng)域理論第四頁，共二十七頁，2022年，8月28日5動機（2）圖12-1概述了學習問題的分布范圍，它隨著可獲得的先驗知識和訓練數(shù)據(jù)不同而變化在一個極端，有大量的訓練數(shù)據(jù)，但沒有先驗知識在另一個極端，有很強的先驗知識，但訓練數(shù)據(jù)很少多數(shù)實際學習問題位于這兩個極端之間，通?？梢詮慕频南闰炛R開始本章考慮的問題是：什么樣的算法，使用近似的先驗知識結(jié)合可用數(shù)據(jù)來形成一般的假設第五頁，共二十七頁，2022年，8月28日6動機（3）即使使用最純粹的歸納學習算法，仍有機會基于特定學習任務的先驗知識來選擇設計方案通常設計者將領(lǐng)域特定的知識嵌入到學習算法中，但我們感興趣的是一個系統(tǒng)能將先驗知識和訓練數(shù)據(jù)作為顯示的輸入給學習器概括而言，我們感興趣的是領(lǐng)域無關(guān)算法，這種算法使用顯示輸入的領(lǐng)域相關(guān)的知識，這種算法具備以下的屬性：如果沒有領(lǐng)域理論，它至少能像純粹的歸納方法一樣有效學習如果沒有完美的領(lǐng)域理論，它至少能像純粹的分析方法一樣有效學習如果領(lǐng)域理論和訓練數(shù)據(jù)都不完美，它應能結(jié)合兩者的長處，比單純的歸納或分析方法的性能要好它應能處理訓練數(shù)據(jù)中未知程度的差錯它應能處理領(lǐng)域理論中未知程度的差錯這里列出的期望目標很難達到，目前沒有算法能以一般化的方式滿足所有這些約束第六頁，共二十七頁，2022年，8月28日7學習的歸納-分析途徑本章考慮的學習問題已知一個訓練樣例集合D，可能包含差錯一個領(lǐng)域理論B，可能包含差錯候選假設的空間H求解一個最好地擬合訓練樣例和領(lǐng)域理論的假設最好地擬合訓練樣例和領(lǐng)域理論的確切定義第七頁，共二十七頁，2022年，8月28日8學習的歸納-分析途徑（2）確定先驗知識和數(shù)據(jù)權(quán)值的一種解決方法是使用貝葉斯觀點貝葉斯定律描述了怎樣計算給定訓練數(shù)據(jù)D時假設h的后驗概率貝葉斯定律基于觀察到的數(shù)據(jù)D以及先驗知識計算后驗概率，以P(h),P(D)和P(D|h)的形式表示我們可以把P(h),P(D)和P(D|h)看作是某種形式的背景知識貝葉斯理論可看作一種為領(lǐng)域理論加權(quán)的方法，它與觀察到的數(shù)據(jù)D一起，賦予h的后驗概率為P(h|D)貝葉斯公式提供了為先驗知識和觀察到數(shù)據(jù)的貢獻加權(quán)的方法但是，貝葉斯公式隱含假定了關(guān)于P(h),P(D),P(D|h)概率分布的完美知識貝葉斯公式?jīng)]有提供將這些近似已知的概率分布與觀察數(shù)據(jù)結(jié)合起來的方法第八頁，共二十七頁，2022年，8月28日9假設空間搜索大多數(shù)學習任務可以刻畫為假設空間上的搜索任務,而決定這個搜索任務的4個參數(shù)是：假設空間H搜索的初始假設h0定義單個搜索步的搜索算子集合O指定搜索目標的判據(jù)G本章探索了3種方法，它們用先驗知識來改變純歸納方法執(zhí)行的搜索使用先驗知識推導出搜索起步的初始假設：Kbann使用先驗知識來改變假設空間搜索的目標：Ebnn使用先驗知識改變可用的搜索步：Focl第九頁，共二十七頁，2022年，8月28日10使用先驗知識得到的初始假設KBANN技術(shù)：一種使用先驗知識的方法是將假設初始化為完美擬合領(lǐng)域理論，然后按照需要歸納地精化初始假設以擬合訓練數(shù)據(jù)這種技術(shù)的動機是：如果領(lǐng)域理論是正確的，初始假設將正確分類所有訓練樣例，而無需再修正；如果初始假設不能完美地分類訓練樣例，那么它需要被歸納精華，以改進它在訓練樣例上的擬合度在純粹歸納的反向傳播算法中，權(quán)值一般被初始化為小的隨機值，KBANN的含義是：即使領(lǐng)域理論是近似正確的，將網(wǎng)絡初始化為擬合領(lǐng)域理論，比初始化為隨機值有更好的近似開端第十頁，共二十七頁，2022年，8月28日11KBANN算法KBANN假定領(lǐng)域理論用一組命題形式的非遞歸的Horn子句來表示，輸入和輸出如下：已知：一組訓練樣例由非遞歸命題型Horn子句組成的領(lǐng)域理論求解：一個擬合訓練樣例的被領(lǐng)域理論偏置的人工神經(jīng)網(wǎng)絡KBANN算法包含兩個階段創(chuàng)建一個完美擬合領(lǐng)域理論的人工神經(jīng)網(wǎng)絡使用反向傳播算法來精化初始網(wǎng)絡以擬合訓練樣例第十一頁，共二十七頁，2022年，8月28日12表12-2KBANN算法KBANN(Domain_Theory,Training_Examples)Domain_Theory：非遞歸命題型Horn子句集Training_Examples：目標函數(shù)的<input,output>對的集合分析步：創(chuàng)建一個等價于領(lǐng)域理論的初始網(wǎng)絡對每個實例屬性創(chuàng)建一個網(wǎng)絡輸入對Domain_Theory的每個Horn子句，創(chuàng)建如下的網(wǎng)絡單元連接此單元的輸入到此子句的先行詞測試的屬性對子句的每個非負先行詞，賦予權(quán)值W給對應的sigmoid單元輸入對子句的每個負先行詞，賦予權(quán)值-W給對應的sigmoid單元輸入設置此單元的閾值w0為-(n-0.5)W，其中n為子句的非負先行詞的數(shù)目在網(wǎng)絡單元之間增加附加的連接，連接深度為i的每個網(wǎng)絡單元到深度為i+1的所有網(wǎng)絡單元的輸入層上，賦予這些附加的連接為接近0的隨機權(quán)值歸納步：精化此初始網(wǎng)絡應用反向傳播算法來調(diào)整初始網(wǎng)絡權(quán)值以擬合Training_Examples第十二頁，共二十七頁，2022年，8月28日13舉例表12-3Cup學習任務領(lǐng)域理論訓練樣例在KBANN算法的第一步，構(gòu)建一個與領(lǐng)域理論一致的初始網(wǎng)絡，見圖12-2對領(lǐng)域理論中每個Horn子句建立一個sigmoid單元對該Horn子句的每個先行詞，建立其對應的Sigmoid單元作為輸入對于每個對應于非負先行詞的輸入，權(quán)值被設置為某正常量W，對每個對應于負先行詞的輸入，權(quán)值為-W單元的閾值權(quán)w0設為-(n-0.5)W，其中n為非負先行詞的數(shù)目附加許多輸入到每個閾值單元，它們的權(quán)值設置為近似0，從而允許網(wǎng)絡能夠?qū)W習到超出領(lǐng)域理論的依賴關(guān)系在KBANN算法的第二步，使用訓練樣例和反向傳播算法來精化網(wǎng)絡權(quán)值圖12-3在歸納步發(fā)現(xiàn)了全新的依賴關(guān)系第十三頁，共二十七頁，2022年，8月28日14KBANN算法說明KBANN的好處和局限好處：在給定近似正確領(lǐng)域理論時，能夠比反向傳播有更高的泛化精度，特別是在訓練數(shù)據(jù)稀少時局限：只能使用命題領(lǐng)域理論，如果給予很不精確的領(lǐng)域理論，KBANN也可能被誤導，從而其泛化精度變得低于反向傳播第十四頁，共二十七頁，2022年，8月28日15使用先驗知識改變搜索目標將先驗知識合并到梯度下降中需最小化的誤差判據(jù)，這樣網(wǎng)絡需要擬合的是訓練數(shù)據(jù)和領(lǐng)域理論的組合函數(shù)TangentProp算法TangentProp算法接受的領(lǐng)域知識被表示為對應于其輸入變換的目標函數(shù)的導數(shù)例如，對每個實例xi描述為一個實數(shù)，那么每個訓練樣例的形式可能是<xi,f(xi),>圖12-5，基于3個訓練樣例學習目標函數(shù)f，通過擬合訓練值f(xi)的同時擬合相應的導數(shù)，學習器能夠?qū)崿F(xiàn)更好的泛化概括而言，包含訓練導數(shù)的效果是為了克服反向傳播算法中的歸納偏置，將其替換為所希望的導數(shù)的顯示輸入信息？？？P248-P249第十五頁，共二十七頁，2022年，8月28日16TangentProp舉例Simardetal.提供了TangentProp的泛化精度與純歸納反向傳播之間的比較結(jié)果針對任務是為單個數(shù)字0到9的圖像做標注給予TangentProp的先驗知識是：數(shù)字的分類不因圖像的水平和垂直平移而改變表12-4，顯示TangentProp的泛化精度高于純反向傳播算法第十六頁，共二十七頁，2022年，8月28日17TangentProp的說明TangentProp使用的先驗知識形式為目標函數(shù)對應其輸入變換的所希望的導數(shù)TangentProp通過使一個指標函數(shù)最小化來結(jié)合先驗知識和觀察到的訓練數(shù)據(jù)，這個指標函數(shù)同時度量了網(wǎng)絡對應訓練樣例值的誤差和網(wǎng)絡對應于導數(shù)的誤差值決定了網(wǎng)絡在中個誤差中擬合這兩部分的程度，它由設計者選擇TangentProp的不足：對于先驗知識中的錯誤健壯性不強，而且不能預先知道訓練導數(shù)中的錯誤出現(xiàn)程度，因而不能很好地選擇常量以確定擬合訓練值和訓練導數(shù)的相對重要程度第十七頁，共二十七頁，2022年，8月28日18TangentProp的說明（2）TangentProp和反向傳播的搜索方法比較TangentProp通過改變梯度下降最小化的指標函數(shù)來影響假設搜索，相當于改變了搜索目標如果訓練樣例和先驗知識都正確，并且目標函數(shù)可用ANN精確表示，那么滿足TangentProp指標的權(quán)向量集合將為滿足反向傳播指標的權(quán)向量集合的子集，一些不正確的假設會被TangentProp剔除掉對目標函數(shù)的訓練導數(shù)擬合的另一種方法是，簡單地將觀察到的訓練樣例附近的附加訓練樣例綜合起來，使用已知的訓練導數(shù)來估計這些附近的實例的訓練值第十八頁，共二十七頁，2022年，8月28日19EBNN算法EBNN是基于解釋的神經(jīng)網(wǎng)絡，它用兩種方式改進了TangentProp算法它不依靠用戶提供訓練導數(shù)，而是對每個訓練樣例自行計算訓練導數(shù)，計算方法是通過用一套給定的領(lǐng)域理論來解釋每個訓練樣例涉及了如何確定學習過程中歸納和分析部分相對重要程度的問題，的值是對每個訓練樣例獨立選擇的，它基于一個啟發(fā)式規(guī)則，考慮領(lǐng)域理論能否精確預測特定樣例的訓練值因此，對于那些能由領(lǐng)域理論正確解釋的訓練樣例，學習的分析成分被強化，而對不能正確解釋的樣例，分析成分被弱化第十九頁，共二十七頁，2022年，8月28日20EBNN算法（2）EBNN的輸入包括：形式為<xi,f(xi)>的一組訓練樣例，不包含訓練導數(shù)一組領(lǐng)域理論，表示為一組預先訓練過的神經(jīng)網(wǎng)絡，而不是KBANN采用的Horn子句EBNN的輸出：一個能逼近目標函數(shù)f的新的神經(jīng)網(wǎng)絡，學習到的網(wǎng)絡能夠擬合訓練樣例以及從領(lǐng)域理論中抽取的f的訓練導數(shù)圖12-7，圖的上面部分顯示的是目標函數(shù)Cup的領(lǐng)域理論，每一方塊表示領(lǐng)域理論中一個神經(jīng)網(wǎng)絡，圖的下面是要學習的新神經(jīng)網(wǎng)絡，稱為目標網(wǎng)絡第二十頁，共二十七頁，2022年，8月28日21EBNN算法（3）EBNN通過執(zhí)行TangentProp算法來學習目標網(wǎng)絡EBNN把接收到的輸入訓練值<xi,f(xi)>和從領(lǐng)域理論中計算出的導數(shù)提供給TangentPropEBNN計算訓練導數(shù)的方法？？？第二十一頁，共二十七頁，2022年，8月28日22EBNN算法的說明概括地說，EBNN算法使用的領(lǐng)域理論被表示為一組預先學習到的神經(jīng)網(wǎng)絡，然后領(lǐng)域理論與訓練樣例一起訓練其輸出假設對每個訓練樣例，EBNN使用其領(lǐng)域理論來解釋它，然后從此解釋中抽取訓練導數(shù)對實例的每個屬性計算出一個訓練導數(shù)，以描述按照領(lǐng)域理論，目標函數(shù)值是怎樣被屬性值的微小變化影響的Prolog-EBG與EBNN的區(qū)別EBNN能夠處理不完美的領(lǐng)域知識，而Prolog-EBG不能Prolog-EBG學習到逐漸增長的Horn子句集，而EBNN學習到固定大小的神經(jīng)網(wǎng)絡第二十二頁，共二十七頁，2022年，8月28日23使用先驗知識來擴展搜索算子FOCL是純歸納算法FOIL的一個擴展，它們的區(qū)別在于：搜索單個Horn子句的一般到特殊過程中候選假設生成的方法FOIL生成每個候選特化式是通過加入一個新文字到子句前件中得到的FOCL使用同樣的方法產(chǎn)生候選特化式，但還基于領(lǐng)域理論生成了附加的特化式操作型文字和非操作型文字操作型文字：當一個文字可被用于描述一個輸出假設非操作型文字：只出現(xiàn)在領(lǐng)域理論中作為中間特征但不是實例的原子屬性的文字第二十三頁，共二十七頁，2022年，8月28日24FOCL算法FOCL使用下面兩種算子擴展當前假設h對不是h一部分的每個操作型文字，創(chuàng)建h的一個特化式，方法是加入文字到前件中按照領(lǐng)域理論，創(chuàng)建一個操作型的且是目標概念的邏輯充分條件，將這組文字加入到h的當前前件中，最后修剪h的前件，移去對于訓練數(shù)據(jù)不需要的文字，具體過程如下：首先選擇一條領(lǐng)域理論子句，它的頭部匹配目標概念，如果有多個這樣的子句，選擇其中子句體關(guān)于訓練樣例有最高信息增益的所選子句的前件形成了目標概念的一個邏輯充分條件，在這些充分條件中，再次使用領(lǐng)域理論，每個非操作型文字被替換掉，將子句前件代入到子句后件中這個展開的過程持續(xù)到充分條件被表述為操作型文字，如果有多個可選的展開，那么用貪婪法選擇有最大信息增益的一個最后，修剪充分條件。對表達式中的每個文字，除非文字的移除會降低訓練樣例上的分類精度，否則它被移去上面的討論很容易擴展到一階表示中，類似第10章第二十四頁，共二十七頁，2022年，8月28日25FOCL的說明圖12-9