《神經(jīng)網(wǎng)絡(luò)模型》PPT課件.ppt

1、第8章神經(jīng)網(wǎng)絡(luò)模型前介紹的分析方法是利用了統(tǒng)一手法的推論原理。 對邏輯性推定數(shù)量資料是統(tǒng)一訂正方法的特色，也是其限制。 因?yàn)槿祟悓κ挛锏呐袛嗖粌H僅依靠邏輯數(shù)量分析，大多數(shù)都要參照各方面的信息，包括文字、畫面的抽象信息，才能做出最后的判斷和決定。 實(shí)際上，人腦組織可以縱向分為左腦和右腦兩部分。 左腦負(fù)責(zé)邏輯和算術(shù)功能，右腦負(fù)責(zé)感情、形象識別和直覺。 普通人必須在生活中應(yīng)用雙方，但是很多人只擅長某一方。 科學(xué)家和數(shù)學(xué)家為左腦指向型，藝術(shù)工作者和作家傾向于右腦指向，即借用右腦處理感覺抽象概念。 在傳統(tǒng)財務(wù)學(xué)或投資學(xué)的基本分析和技術(shù)分析中，兩者都傾向于面向左腦，需要大量的數(shù)學(xué)運(yùn)算或邏輯推論。 但在做評

2、估信用風(fēng)險時，除了數(shù)量方面的客觀分析外，主觀定性方面的評價也具有極其重要的分量。 也就是說，各信息在人腦所積蓄的知識結(jié)構(gòu)下，經(jīng)過復(fù)雜的接收、處理、傳輸?shù)冗^程，做出了最后的判斷和決定。 這一處理過程仍然像黑匣子一樣難以把握，需要用面向右腦的工具進(jìn)行處理，而人工神經(jīng)網(wǎng)絡(luò)和模糊分析就是在這一目的下發(fā)展起來的處理工具。 人工神經(jīng)網(wǎng)絡(luò)識別投入資料中的隱藏關(guān)系，通過預(yù)測未來趨勢進(jìn)行類似右腦功能的模糊分析允許模糊數(shù)據(jù)概念，不求非黑白數(shù)值特性，接近人的思維模式。 第一人工神經(jīng)網(wǎng)絡(luò)典型地估計為人腦包括大約000億個神經(jīng)元細(xì)胞，并且各自的神經(jīng)元細(xì)胞是接收和合并來自其他神經(jīng)元細(xì)胞的信息的處理單元針織面料。 在云同步

3、中，大腦中無數(shù)的神經(jīng)元細(xì)胞都在向云同步處理各種信息的接收和傳遞。 這個復(fù)雜而細(xì)微的過程，使人們能夠有記憶、思考、積累經(jīng)驗(yàn)，具有極高的學(xué)習(xí)能力，不能模擬任何一種修正方法都能完全取代。 在此基礎(chǔ)上，模仿生物神經(jīng)系統(tǒng)，將學(xué)習(xí)經(jīng)驗(yàn)內(nèi)投射評價模型，這就是社會科學(xué)努力的目標(biāo)。 人工神經(jīng)網(wǎng)絡(luò)是在這個信念下發(fā)展起來的一種方法。 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展可以追溯到1943年宏命令克和坑兩位教授發(fā)表的論文“alogicalcalculusofideasimmanentinnervousactivity”，這篇論文是人工的一、基本屬性和結(jié)構(gòu)一基本屬性人工神經(jīng)網(wǎng)絡(luò)的建構(gòu)是從生物神經(jīng)網(wǎng)絡(luò)得到的靈感，希望基本模擬生物神經(jīng)系統(tǒng)，

4、結(jié)合相關(guān)知識，建構(gòu)簡化的神經(jīng)系統(tǒng)模型，具有人腦平行計算和自學(xué)的能力。 自我學(xué)習(xí)就是利用反復(fù)的訓(xùn)練過程，讓系統(tǒng)自身積累經(jīng)驗(yàn)，達(dá)到學(xué)習(xí)效果。 在人工神經(jīng)網(wǎng)絡(luò)中，使用了很多并行網(wǎng)絡(luò)，在網(wǎng)絡(luò)上充滿非線性的補(bǔ)正演算針織面料(節(jié)點(diǎn))。 網(wǎng)絡(luò)上的前一個動作周期是由信號運(yùn)算特性、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、學(xué)習(xí)算法組成的訓(xùn)練過程。 訓(xùn)練中的所有知識都按權(quán)重積累在各個節(jié)點(diǎn)上，并且從其它神經(jīng)元發(fā)送的信號經(jīng)由節(jié)點(diǎn)上的匹配函數(shù)的加權(quán)總和，經(jīng)由非線形函數(shù)的變換向其它神經(jīng)元輸出這些信號。 該工藝通過大量神經(jīng)元的復(fù)雜交織，形成基本的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。 其中每次經(jīng)過訓(xùn)練過程，將仿真結(jié)果與實(shí)際情況進(jìn)行比較，將該差異種子文件回系統(tǒng)，調(diào)節(jié)節(jié)點(diǎn)強(qiáng)

5、度，可以達(dá)到自組織和自學(xué)習(xí)的效果。與環(huán)境交互時，也可以調(diào)整自己的構(gòu)造，使系統(tǒng)的結(jié)果接近實(shí)際情況。人工神經(jīng)網(wǎng)絡(luò)還具有“容錯性”(fault tolerance )的特性，即使網(wǎng)絡(luò)中的幾個用戶針織面料被破壞，也不會影響網(wǎng)絡(luò)整體的功能。 的雙曲馀弦值。 經(jīng)過培訓(xùn)的網(wǎng)絡(luò)具有智能模塊，只要有數(shù)據(jù)輸入，就可以利用隱藏的知識來判斷輸入數(shù)據(jù)的屬性。 2基本結(jié)構(gòu)生物的神經(jīng)元細(xì)胞可分為三大部分：感知神經(jīng)元、運(yùn)動神經(jīng)元、聯(lián)系神經(jīng)元。等。等。 感知神經(jīng)元負(fù)責(zé)消息的接收和傳遞，運(yùn)動神經(jīng)元從大腦傳遞信號，聯(lián)系神經(jīng)元作為神經(jīng)之間的連接。 人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)是模仿生物的神經(jīng)元細(xì)胞，可分為輸入層、隱蔽層、輸出層3層。 每一

6、層都包含代表處理單元針織面料的多個節(jié)點(diǎn)。 輸入層的節(jié)點(diǎn)接收外部信息(參見圖161 )。 與人腦的輸入反應(yīng)歷程是五官，能夠接收各種影像、聲音、味道、觸摸等輸入信息，而人工神經(jīng)網(wǎng)絡(luò)接收的輸入是各種變量的量化資料，一個輸入變量對應(yīng)于一個輸入節(jié)點(diǎn)。 隱藏層的節(jié)點(diǎn)處理來自輸入層的信息，將其轉(zhuǎn)換為中間結(jié)果并傳遞到輸出層。 隱藏層不限定在一個層中，也可以添加到兩個或多個層中，而輸出層的節(jié)點(diǎn)將其輸出值與所需的輸出值進(jìn)行比較，得到系統(tǒng)的最后結(jié)果，輸出結(jié)果。 同一層中的節(jié)點(diǎn)不相互耦合，相鄰層中的節(jié)點(diǎn)完全耦合。 每個連接都有權(quán)重，用權(quán)重的大小來表示所傳達(dá)的信息的重要性水平。 實(shí)際上，權(quán)重代表網(wǎng)絡(luò)上的知識，是經(jīng)過多次

7、訓(xùn)練應(yīng)該學(xué)習(xí)的結(jié)果。 圖181的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和第三學(xué)習(xí)模式人工神經(jīng)網(wǎng)絡(luò)可通過調(diào)節(jié)處理單元針織面料之間的權(quán)重來學(xué)習(xí)投入產(chǎn)出之間的關(guān)系，并且使網(wǎng)絡(luò)結(jié)構(gòu)接近真實(shí)。 但是，必須強(qiáng)調(diào)人工神經(jīng)網(wǎng)絡(luò)的修訂基本上是模仿人類右腦識別型的功能。 屬于正確邏輯的運(yùn)算，人工神經(jīng)網(wǎng)絡(luò)修正3后，人類可以利用左腦正確地計算出答案6，但人工神經(jīng)網(wǎng)絡(luò)不具有該能力，可以推斷為5.933或6.007，換句話說，如果是明確定義的數(shù)學(xué)問題，則人工神經(jīng)人工神經(jīng)網(wǎng)絡(luò)最擅長的地方是復(fù)雜關(guān)系的認(rèn)識和類型的對比。 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)模式是根據(jù)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)之間連接的強(qiáng)弱來分類的，(1)固定加權(quán)型：不需要學(xué)習(xí)規(guī)則。 (2)監(jiān)督學(xué)習(xí)：在訓(xùn)練過程中

8、，將網(wǎng)絡(luò)結(jié)果與實(shí)際(正確)結(jié)果進(jìn)行直接比較，不斷調(diào)整連接強(qiáng)度，使實(shí)際輸出資料與目標(biāo)輸出資料之間的差值降低到一定的閾值以下。 的雙曲馀弦值。 這種學(xué)習(xí)模式叫做監(jiān)督式學(xué)習(xí)。 在監(jiān)視方式學(xué)習(xí)模式中，可以根據(jù)解碼方式分為正向傳播方式和反向傳播方式兩種監(jiān)視學(xué)習(xí)方法。 (3)無監(jiān)視式學(xué)習(xí)(unsupervised learning ) :訓(xùn)練中，只有輸入值，沒有目標(biāo)輸出資料，使網(wǎng)絡(luò)自我學(xué)習(xí)和調(diào)整，也稱為自我組織學(xué)習(xí)(self-organization )。 運(yùn)用在信用風(fēng)險管理中，以監(jiān)視方式中的逆?zhèn)鞑シ绞綖橹?，以下對該方法進(jìn)行簡單說明。 既然是“監(jiān)視式”學(xué)習(xí)模式，就把各種各樣的書的實(shí)際成績輸入人工神經(jīng)網(wǎng)絡(luò)系

9、統(tǒng)，作為每次學(xué)習(xí)修正的指標(biāo)。 在反向傳播算法中，以種子文件反向方式修正權(quán)重，首先從輸出層修正各節(jié)點(diǎn)的實(shí)際輸出值和目標(biāo)輸出值的平均誤差，以求出最小誤差為目的，以梯度下降方式依次減少實(shí)際輸出和目標(biāo)輸出的平均誤差，調(diào)整權(quán)重和閾值。各權(quán)重的調(diào)整幅度與平均方差的大小成正比，平均方差越大，表示當(dāng)前的權(quán)重結(jié)構(gòu)越遠(yuǎn)離實(shí)際，所需的調(diào)整幅度越大。 全部樣本傳送到網(wǎng)絡(luò)完成學(xué)習(xí)，稱為第一期(epoch )。 經(jīng)過多期學(xué)習(xí)，誤差一直下降到穩(wěn)定的極小值。 的雙曲馀弦值。 在各種轉(zhuǎn)換函數(shù)中，Sigmoid函數(shù)最為常見。 Sigmoid轉(zhuǎn)換函數(shù)的示例如下所示。 用Hk表示隱蔽層的第k節(jié)點(diǎn)的輸出值：表示隱蔽層的第k節(jié)點(diǎn)的閾值的

10、Wik表示輸入層第I節(jié)點(diǎn)對隱藏層第k節(jié)點(diǎn)的權(quán)重。 由于在運(yùn)用人工神經(jīng)網(wǎng)絡(luò)的過程中，干網(wǎng)絡(luò)本身很復(fù)雜，很難找到中間進(jìn)程可以遵循的脈絡(luò)，所有的“經(jīng)驗(yàn)”都是通過學(xué)習(xí)過程加權(quán)存儲在網(wǎng)絡(luò)連接中，但訓(xùn)練和執(zhí)行的詳細(xì)過程完全是黑匣子操作在一般的統(tǒng)一訂正模型和決策樹模型中，規(guī)則與專門人才制定的正好相反。 二、實(shí)際應(yīng)用中需要考慮的幾個問題1、應(yīng)用范圍。 由于神經(jīng)網(wǎng)絡(luò)模型是通過樣本的學(xué)習(xí)來建構(gòu)的，所以應(yīng)用范圍受到一定的限制，特別是訓(xùn)練樣本不清楚，或者訓(xùn)練定徑套和測試集之間有很大偏差，或者要求精度的系統(tǒng)2 .模型選擇。 目前，人們已經(jīng)發(fā)布了一百種神經(jīng)網(wǎng)絡(luò)，原則上可以用于信用風(fēng)險的估計，而BP(Back Propag

11、ation )神經(jīng)網(wǎng)絡(luò)卻經(jīng)常被使用。 3、訓(xùn)練樣本特征提取。 這是神經(jīng)網(wǎng)絡(luò)建模的最重要和困難的事情。 其困難在于樣本本身含有不真實(shí)自我和噪聲。 4 .結(jié)構(gòu)設(shè)置修訂。 包括網(wǎng)絡(luò)層數(shù)、節(jié)點(diǎn)數(shù)等，其中心問題是默認(rèn)層應(yīng)該取多少層，每層的節(jié)點(diǎn)數(shù)應(yīng)該取多少。 隱式層具有抽象作用，可從輸入中提取特征。 正確地確定隱式層的節(jié)點(diǎn)數(shù)是困難的，且一般來說，為了改進(jìn)網(wǎng)絡(luò)的泛化能力(反映網(wǎng)絡(luò)對噪聲和失真的處理能力)必須盡可能減少隱式層的節(jié)點(diǎn)數(shù)。 5、激勵函數(shù)設(shè)定修訂。 激勵函數(shù)是神經(jīng)元的核心，決定神經(jīng)元的運(yùn)動功能。 現(xiàn)在常用的是Sigmoid函數(shù)。 6 .收斂穩(wěn)定問題。 網(wǎng)絡(luò)訓(xùn)練最終要求收斂于規(guī)定的精度，其收斂速度、精

12、度等與訓(xùn)練算法有關(guān)。 后向傳播(BP )神經(jīng)網(wǎng)絡(luò)算法問題畢竟是非線性優(yōu)化設(shè)置校正問題。 7、性能評價(檢驗(yàn))問題。 與傳統(tǒng)模型一樣，網(wǎng)絡(luò)也需要用測試集進(jìn)行驗(yàn)證和評估。 主要考察網(wǎng)絡(luò)測試集的學(xué)習(xí)精度、穩(wěn)定性、泛化能力等指標(biāo)。 三、神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)1，它主要基于樣本數(shù)據(jù)，通過學(xué)習(xí)和訓(xùn)練找出投入產(chǎn)出之間的內(nèi)在聯(lián)系，尋求問題的解決。 它不是完全基于對問題的經(jīng)驗(yàn)知識和規(guī)則，而是具有適應(yīng)能力。 2 .能夠處理噪音和不完整的數(shù)據(jù)，具有泛化功能。 3 .人工神經(jīng)網(wǎng)絡(luò)是處理非線性問題的有力工具。 第二節(jié)的修訂算例以上述銀行信用樣本為例，將128份資料輸入人工神經(jīng)網(wǎng)絡(luò)標(biāo)準(zhǔn)軟件，將所有樣本分為信用高、中、低及最低四組(參照表183 )，分類正確率93%，其他6%左右的樣本“未知” 組數(shù)從4組減少到信用額、中、低3組時(參照表184