《神經網絡模型》PPT課件.ppt

1、第8章神經網絡模型前介紹的分析方法是利用了統(tǒng)一手法的推論原理。 對邏輯性推定數量資料是統(tǒng)一訂正方法的特色，也是其限制。 因為人類對事物的判斷不僅僅依靠邏輯數量分析，大多數都要參照各方面的信息，包括文字、畫面的抽象信息，才能做出最后的判斷和決定。 實際上，人腦組織可以縱向分為左腦和右腦兩部分。 左腦負責邏輯和算術功能，右腦負責感情、形象識別和直覺。 普通人必須在生活中應用雙方，但是很多人只擅長某一方。 科學家和數學家為左腦指向型，藝術工作者和作家傾向于右腦指向，即借用右腦處理感覺抽象概念。 在傳統(tǒng)財務學或投資學的基本分析和技術分析中，兩者都傾向于面向左腦，需要大量的數學運算或邏輯推論。 但在做評

2、估信用風險時，除了數量方面的客觀分析外，主觀定性方面的評價也具有極其重要的分量。 也就是說，各信息在人腦所積蓄的知識結構下，經過復雜的接收、處理、傳輸等過程，做出了最后的判斷和決定。 這一處理過程仍然像黑匣子一樣難以把握，需要用面向右腦的工具進行處理，而人工神經網絡和模糊分析就是在這一目的下發(fā)展起來的處理工具。 人工神經網絡識別投入資料中的隱藏關系，通過預測未來趨勢進行類似右腦功能的模糊分析允許模糊數據概念，不求非黑白數值特性，接近人的思維模式。 第一人工神經網絡典型地估計為人腦包括大約000億個神經元細胞，并且各自的神經元細胞是接收和合并來自其他神經元細胞的信息的處理單元針織面料。 在云同步

3、中，大腦中無數的神經元細胞都在向云同步處理各種信息的接收和傳遞。 這個復雜而細微的過程，使人們能夠有記憶、思考、積累經驗，具有極高的學習能力，不能模擬任何一種修正方法都能完全取代。 在此基礎上，模仿生物神經系統(tǒng)，將學習經驗內投射評價模型，這就是社會科學努力的目標。 人工神經網絡是在這個信念下發(fā)展起來的一種方法。 人工神經網絡的發(fā)展可以追溯到1943年宏命令克和坑兩位教授發(fā)表的論文“alogicalcalculusofideasimmanentinnervousactivity”，這篇論文是人工的一、基本屬性和結構一基本屬性人工神經網絡的建構是從生物神經網絡得到的靈感，希望基本模擬生物神經系統(tǒng)，

4、結合相關知識，建構簡化的神經系統(tǒng)模型，具有人腦平行計算和自學的能力。 自我學習就是利用反復的訓練過程，讓系統(tǒng)自身積累經驗，達到學習效果。 在人工神經網絡中，使用了很多并行網絡，在網絡上充滿非線性的補正演算針織面料(節(jié)點)。 網絡上的前一個動作周期是由信號運算特性、網絡拓撲結構、學習算法組成的訓練過程。 訓練中的所有知識都按權重積累在各個節(jié)點上，并且從其它神經元發(fā)送的信號經由節(jié)點上的匹配函數的加權總和，經由非線形函數的變換向其它神經元輸出這些信號。 該工藝通過大量神經元的復雜交織，形成基本的人工神經網絡結構。 其中每次經過訓練過程，將仿真結果與實際情況進行比較，將該差異種子文件回系統(tǒng)，調節(jié)節(jié)點強

5、度，可以達到自組織和自學習的效果。與環(huán)境交互時，也可以調整自己的構造，使系統(tǒng)的結果接近實際情況。人工神經網絡還具有“容錯性”(fault tolerance )的特性，即使網絡中的幾個用戶針織面料被破壞，也不會影響網絡整體的功能。 的雙曲馀弦值。 經過培訓的網絡具有智能模塊，只要有數據輸入，就可以利用隱藏的知識來判斷輸入數據的屬性。 2基本結構生物的神經元細胞可分為三大部分：感知神經元、運動神經元、聯(lián)系神經元。等。等。 感知神經元負責消息的接收和傳遞，運動神經元從大腦傳遞信號，聯(lián)系神經元作為神經之間的連接。 人工神經網絡的基本結構是模仿生物的神經元細胞，可分為輸入層、隱蔽層、輸出層3層。 每一

6、層都包含代表處理單元針織面料的多個節(jié)點。 輸入層的節(jié)點接收外部信息(參見圖161 )。 與人腦的輸入反應歷程是五官，能夠接收各種影像、聲音、味道、觸摸等輸入信息，而人工神經網絡接收的輸入是各種變量的量化資料，一個輸入變量對應于一個輸入節(jié)點。 隱藏層的節(jié)點處理來自輸入層的信息，將其轉換為中間結果并傳遞到輸出層。 隱藏層不限定在一個層中，也可以添加到兩個或多個層中，而輸出層的節(jié)點將其輸出值與所需的輸出值進行比較，得到系統(tǒng)的最后結果，輸出結果。 同一層中的節(jié)點不相互耦合，相鄰層中的節(jié)點完全耦合。 每個連接都有權重，用權重的大小來表示所傳達的信息的重要性水平。 實際上，權重代表網絡上的知識，是經過多次

7、訓練應該學習的結果。 圖181的人工神經網絡結構和第三學習模式人工神經網絡可通過調節(jié)處理單元針織面料之間的權重來學習投入產出之間的關系，并且使網絡結構接近真實。 但是，必須強調人工神經網絡的修訂基本上是模仿人類右腦識別型的功能。 屬于正確邏輯的運算，人工神經網絡修正3后，人類可以利用左腦正確地計算出答案6，但人工神經網絡不具有該能力，可以推斷為5.933或6.007，換句話說，如果是明確定義的數學問題，則人工神經人工神經網絡最擅長的地方是復雜關系的認識和類型的對比。 人工神經網絡的學習模式是根據網絡神經網絡之間連接的強弱來分類的，(1)固定加權型：不需要學習規(guī)則。 (2)監(jiān)督學習：在訓練過程中

8、，將網絡結果與實際(正確)結果進行直接比較，不斷調整連接強度，使實際輸出資料與目標輸出資料之間的差值降低到一定的閾值以下。 的雙曲馀弦值。 這種學習模式叫做監(jiān)督式學習。 在監(jiān)視方式學習模式中，可以根據解碼方式分為正向傳播方式和反向傳播方式兩種監(jiān)視學習方法。 (3)無監(jiān)視式學習(unsupervised learning ) :訓練中，只有輸入值，沒有目標輸出資料，使網絡自我學習和調整，也稱為自我組織學習(self-organization )。 運用在信用風險管理中，以監(jiān)視方式中的逆?zhèn)鞑シ绞綖橹?，以下對該方法進行簡單說明。 既然是“監(jiān)視式”學習模式，就把各種各樣的書的實際成績輸入人工神經網絡系

9、統(tǒng)，作為每次學習修正的指標。 在反向傳播算法中，以種子文件反向方式修正權重，首先從輸出層修正各節(jié)點的實際輸出值和目標輸出值的平均誤差，以求出最小誤差為目的，以梯度下降方式依次減少實際輸出和目標輸出的平均誤差，調整權重和閾值。各權重的調整幅度與平均方差的大小成正比，平均方差越大，表示當前的權重結構越遠離實際，所需的調整幅度越大。 全部樣本傳送到網絡完成學習，稱為第一期(epoch )。 經過多期學習，誤差一直下降到穩(wěn)定的極小值。 的雙曲馀弦值。 在各種轉換函數中，Sigmoid函數最為常見。 Sigmoid轉換函數的示例如下所示。 用Hk表示隱蔽層的第k節(jié)點的輸出值：表示隱蔽層的第k節(jié)點的閾值的

10、Wik表示輸入層第I節(jié)點對隱藏層第k節(jié)點的權重。 由于在運用人工神經網絡的過程中，干網絡本身很復雜，很難找到中間進程可以遵循的脈絡，所有的“經驗”都是通過學習過程加權存儲在網絡連接中，但訓練和執(zhí)行的詳細過程完全是黑匣子操作在一般的統(tǒng)一訂正模型和決策樹模型中，規(guī)則與專門人才制定的正好相反。 二、實際應用中需要考慮的幾個問題1、應用范圍。 由于神經網絡模型是通過樣本的學習來建構的，所以應用范圍受到一定的限制，特別是訓練樣本不清楚，或者訓練定徑套和測試集之間有很大偏差，或者要求精度的系統(tǒng)2 .模型選擇。 目前，人們已經發(fā)布了一百種神經網絡，原則上可以用于信用風險的估計，而BP(Back Propag

11、ation )神經網絡卻經常被使用。 3、訓練樣本特征提取。 這是神經網絡建模的最重要和困難的事情。 其困難在于樣本本身含有不真實自我和噪聲。 4 .結構設置修訂。 包括網絡層數、節(jié)點數等，其中心問題是默認層應該取多少層，每層的節(jié)點數應該取多少。 隱式層具有抽象作用，可從輸入中提取特征。 正確地確定隱式層的節(jié)點數是困難的，且一般來說，為了改進網絡的泛化能力(反映網絡對噪聲和失真的處理能力)必須盡可能減少隱式層的節(jié)點數。 5、激勵函數設定修訂。 激勵函數是神經元的核心，決定神經元的運動功能。 現(xiàn)在常用的是Sigmoid函數。 6 .收斂穩(wěn)定問題。 網絡訓練最終要求收斂于規(guī)定的精度，其收斂速度、精

12、度等與訓練算法有關。 后向傳播(BP )神經網絡算法問題畢竟是非線性優(yōu)化設置校正問題。 7、性能評價(檢驗)問題。 與傳統(tǒng)模型一樣，網絡也需要用測試集進行驗證和評估。 主要考察網絡測試集的學習精度、穩(wěn)定性、泛化能力等指標。 三、神經網絡的優(yōu)點1，它主要基于樣本數據，通過學習和訓練找出投入產出之間的內在聯(lián)系，尋求問題的解決。 它不是完全基于對問題的經驗知識和規(guī)則，而是具有適應能力。 2 .能夠處理噪音和不完整的數據，具有泛化功能。 3 .人工神經網絡是處理非線性問題的有力工具。 第二節(jié)的修訂算例以上述銀行信用樣本為例，將128份資料輸入人工神經網絡標準軟件，將所有樣本分為信用高、中、低及最低四組(參照表183 )，分類正確率93%，其他6%左右的樣本“未知” 組數從4組減少到信用額、中、低3組時(參照表184