神經(jīng)網(wǎng)絡(luò)模型原理

1、2 BP神經(jīng)網(wǎng)絡(luò)模型原理2.1 BP模型概述BP ( Back-Propagation )神經(jīng)網(wǎng)絡(luò)是一類前饋型神經(jīng)網(wǎng)絡(luò)，它由輸入層、中間層和輸出層 組成，中間層也就是隱含層，可以是一個或多個。每層包含若干互不連接的神經(jīng)元節(jié)點，相鄰層之間各神經(jīng)元通過不斷變化的連接強(qiáng)度或權(quán)值進(jìn)行全連接。圖1所示為BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。其中：輸入層有n個節(jié)點，對應(yīng)輸入x1xn ;輸出層有m個節(jié)點，對應(yīng)輸出y1ym ； 隱含層有q個節(jié)點，對應(yīng)的輸出 z1zq ;輸入層與隱含層之間的權(quán)值vik，隱含層與輸出層之間的權(quán)值為wkj。BP網(wǎng)絡(luò)中隱含層激活函數(shù)通常采用S型的對數(shù)或正切函數(shù)和線性函數(shù)。由于激活函數(shù)是連續(xù)可微的，不

2、僅使得網(wǎng)絡(luò)的容錯性較好，而且可以嚴(yán)格利用剃度法進(jìn)行推算，權(quán)值修正的解析式十分明確7。W I抽埠坤冏帝峯事錯擱BP網(wǎng)絡(luò)中隱含層激活函數(shù)通常采用 S型的對數(shù)或正切函數(shù)和線性函數(shù)。 由于激活函數(shù)是連 續(xù)可微的，不僅使得網(wǎng)絡(luò)的容錯性較好， 而且可以嚴(yán)格利用剃度法進(jìn)行推算， 權(quán)值修正的解 析式十分明確7。2.2 BP學(xué)習(xí)算法BP學(xué)習(xí)算法是一種有監(jiān)督的學(xué)習(xí)過程，它是根據(jù)給定的(輸入、輸出)樣本數(shù)據(jù)來進(jìn)行學(xué) 習(xí)，并通過調(diào)整網(wǎng)絡(luò)連接權(quán)值來體現(xiàn)學(xué)習(xí)的效果。就整個神經(jīng)網(wǎng)絡(luò)來說，一次學(xué)習(xí)過程由輸入數(shù)據(jù)的正向傳播和誤差的反向傳播兩個子過程構(gòu)成。設(shè)有N個學(xué)習(xí)樣本(Xk，Y*k )，k=1 ,2,，N，對樣本(Xk ,

3、Y*k ),在正向傳播過程中，樣本k的輸入向量Xk=(x1k , x2k,，xnk)從輸入層的n個節(jié)點輸入，經(jīng)隱含層逐層處理，在輸出層的m個節(jié)點的輸出端得到樣本k的網(wǎng)絡(luò)計算輸出向量 Yk=(y1k , y2k , ymk)。比較Yk和樣本k的期望輸出向量 Y*k =(y *1k , y *2k，y *mk )，若N個學(xué)習(xí)樣本的計算輸出都達(dá)到期望的結(jié)果，則學(xué)習(xí)過程 結(jié)束；否則，進(jìn)入誤差反向傳播過程，把Yk與Y*k的誤差由網(wǎng)絡(luò)輸出層向輸入層反向傳播，在反向傳播過程中，修改各層神經(jīng)元的連接權(quán)值8。BP反向傳播算法的具體步驟可歸納如下：(1) 輸入N個學(xué)習(xí)樣本(Xk , Y*k ) , k=1, 2,

4、，N。(2) 建立BP網(wǎng)絡(luò)結(jié)構(gòu)。確定網(wǎng)絡(luò)層數(shù)L > 3和各層節(jié)點數(shù)，由學(xué)習(xí)樣本輸入向量Xk的長度n確定網(wǎng)絡(luò)輸入層節(jié)點數(shù)為n;由學(xué)習(xí)樣本輸出向量Y*k的長度m確定網(wǎng)絡(luò)輸出節(jié)點數(shù)為m ;第I層的節(jié)點數(shù)為n(l)。定義各層間連接權(quán)矩陣，第I層連接第1+1層的連接權(quán)矩 陣為W(l)=W(l)ij n(l) x n(l+1)(l=1 , 2，L-1)，初始化各連接權(quán)矩陣的元素值。(3) 輸入允許誤差£和學(xué)習(xí)率n ,初始化迭代計算次數(shù)t=1，學(xué)習(xí)樣本序號k=1。(4) 取第 k 個學(xué)習(xí)樣本(Xk，Y*k )，Xk=(x1k，x2k，xnk)，Y*k =(y*1k，y*2k，y *mk )

5、。( 5)由 Xk 進(jìn)行正向傳播計算，計算輸入層各節(jié)點的輸出為O(l)jk=f (xjk) (j=1, 2,，n) (1)逐層計算各層的各節(jié)點輸入和輸出為I(l)jk=n(l-1)i =1 工 w(l-1)ij O(l-1)ik (2)O(l)jk=f(l(l)jk ) (l=2，L;j=1 , 2,，n(l)(3)(6) 計算輸出層(第L 層)的各輸出節(jié)點誤差為yjk=O(l)k ( 4)Ejk=12(y*jk-yjk)2 (j=1, 2，m) (5)(7) 若對N個學(xué)習(xí)樣本的任一樣本k有Ejk w & (j=1 , 2，m),則學(xué)習(xí)過程結(jié)束；否 則，進(jìn)行誤差反向傳播修改各連接權(quán)矩陣

6、。(8) 誤差反向傳播計算。修改第L-1 層隱含層至輸出層(第 L 層)的連接權(quán)矩陣為3 ( L)jk =-(y*jk-yjk) f (l(L)jk )( 6)w(L-1)ij (t)=n3(L+1)ji O(L)ik ( 7)w(L-1)ij (t+1)=w(L-1)ij (t)+ w(L-1)ij (t)(8)(j=1 , 2,，m； i=1 , 2,，n(L-1) 反向逐層修改連接各隱含層的連接權(quán)矩陣：3( l)jk =f(l(l)jk )n(l+1)q=1 2 3 (l+1) qk w(l) jq( 9)w(l-1)ij (t)=-n 3 (l)jkO(l-1)ik ( 10)w(l-

7、1)ij (t+1)=w(l-1)ij (t)+ w(l-1)ij (t) (11)(I=L-1 ,，2, 1; j=1 , 2,，n(l) ; i=1 , 2，n(1-1)(9) k=k+1(modN) ， t=t+1 轉(zhuǎn)步驟( 4)。3 樣本選取與模型設(shè)計3.1 樣本選取和分析本文主要針對滬深 300 指數(shù)的日內(nèi)高頻數(shù)據(jù),對其收益率進(jìn)行建模和預(yù)測。所用數(shù)據(jù)全部 來自同花順股票交易系統(tǒng), 采用滬深 300 指數(shù) 2008 年 7 月 1 日至 9 月 18 日每日的 1 分 鐘高頻數(shù)據(jù) , 共 13817 個有效樣本,其中包括 10658 個學(xué)習(xí)樣本和 3159 個測試樣本。本文的研究對象是

8、高頻金融時間序列的收益率,并采用下面的公式來表示：Rt(i)= Pt-Pt-iPt-ii=1 , 2,，n (12)式中： Rt 為滬深 300 指數(shù)時刻(以 1 分鐘為單位)的收益率， Pt 為 t 時刻的收盤價格， Pt-i 為 t-i 時刻的收盤價格。在金融文獻(xiàn)中,資本資產(chǎn)定價模型( CAPM )理論就假定資產(chǎn)收益率序列是不可預(yù)測的,應(yīng) 沒有自相關(guān)性。零自相關(guān)系數(shù)的檢驗被用來作為有效市場假定是否成立的判定工具。然而, 股價的決定方式和指數(shù)收益率的計算方式可導(dǎo)致在觀察到的收益率序列中有自相關(guān)性, 尤其 是分析高頻數(shù)據(jù)時。 為研究樣本時期內(nèi)高頻金融時間序列的計量統(tǒng)計特點, 本文采用 Evie

9、ws 對該數(shù)據(jù)進(jìn)行相關(guān)性檢驗,并得到高頻金融數(shù)據(jù)波動率自相關(guān)及偏相關(guān)分析如表 1 所示：« I高頻數(shù)據(jù)收益率相關(guān)性檢騎表AultJCiLjrFa ImI i uhI 'or 11 >11 - ur trS"|上111n .蘆&之8.jo口 ,自4<_»ItjU11o加)yClrorIeLI127401S3IflD102f 1a1衛(wèi)OLtots*1 3aI IAf1 44J11七1yen；iri! 7I16u 1啟11兮白4口1SO171-<：Tr il *J *DO3323a 8 JI4MJa nos nT(1i13 87In O

10、4tfIn niH<-O LXJSeoo $-IU Uihj0 039innjic4nCM曰o liQ f ?gO I" 2Q CKJilO-O LIJ! V-o mft CLOU# O I3&S o r Hi I47 PW O £»3O tK» «i ULft. O (XK o n?o o fl 1 2C EKJ2 ru* o ijm o m i n mov m 1O 022 n UTMo I I 1 o薩鼻"f *11 口i in4 4 G OOO &<i4? 4 口 ODQ Wti O t«

11、Xl 61 出3 O dJU 6? J r o ODO fi Q CWCMl 已 1 7 4 Li I JLM 6B39 < 0 DOO 召GST O HOCisuc f ro«tl m t?m n 產(chǎn)斗口 E77 3 71 F&LMj u4 14< I| H4fi 型 丁肩作I 777 呂 戶呦2 * FT J rrn?亍 /74 j 1 F7O® s roi i o mifi ? 戸刨右Q wi y n7 nli rm： u uoo o nm o notO LILJO n ooo n nm LUJ e goU I K i O I Ol O OCKJ

12、a aoa u uuu Q QDC o nm o aoci o «>xj o ocm n mi 心0UU O CMTH n ncm尸/ £J LXJU 'GA 2 O COO ziriT v n o a i從表1可以發(fā)現(xiàn)，在0.05的臨界水平下，高頻金融時間序列收益率與其37階以內(nèi)的滯后項存在較為顯著的相關(guān)性，但是與37階以后的滯后項不存在明顯的相關(guān)性。因此，在對高頻金融時間序列收益率進(jìn)行建模時，可以選擇當(dāng)前收益率及其37階滯后項作為變量。3.2輸入出層的向量確定神經(jīng)網(wǎng)絡(luò)不需要任何已知的統(tǒng)計或數(shù)學(xué)知識描述輸入一輸出模式間的映像，它是根據(jù)已 選取的樣本數(shù)據(jù)，通過

13、學(xué)習(xí)和訓(xùn)練，憑自身的網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)對信息的記憶，然后對測試樣本進(jìn)行預(yù)測。因此，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練時，訓(xùn)練數(shù)據(jù)應(yīng)包含所研究對象的全部模式。即，本文輸 入向量的各個分量應(yīng)該選取能充分反映滬深300指數(shù)收益率的定量指標(biāo)。通過對高頻金融時間序列波動率相關(guān)性表的研究，確立了 38個輸入層節(jié)點(神經(jīng)元)，包括時刻的收益率 及其前37分鐘每分鐘的收益率，即 Rt(1)、Rt(2)、Rt(37)、Rt(38)。輸出層是對基于高頻數(shù)據(jù)的收益率進(jìn)行預(yù)測，即以時刻的滬深300指數(shù)收益率作為輸出神經(jīng)元。輸入及輸出變量的樣本數(shù)據(jù)見表2:表2輸入及輸出變量樣本數(shù)據(jù)片斷高頻數(shù)據(jù)時點 Rt(1) Rt(2) Rt(3)Rt(38)

14、 Rt+1第 1 分鐘 0.002643 0.002564 0.002852 0.011275 0.002858第 2 分鐘 0.002858 0.005509 0.005430 0.013909 -0.00079第 3 分鐘-0.00079 0.002068 0.004717 0.0112150 -0.00125 3.3隱層神經(jīng)元數(shù)目的確定隱層神經(jīng)元負(fù)責(zé)實現(xiàn)非線性樣本的線性轉(zhuǎn)換，所以在 BP 網(wǎng)絡(luò)設(shè)計中具有十分重要的作用。 隱含層層數(shù)和節(jié)點個數(shù)可自行指定， 一般在神經(jīng)網(wǎng)絡(luò)中選擇一層隱含層， 而確定合適的隱層 神經(jīng)元數(shù)目是設(shè)計 BP 網(wǎng)絡(luò)的關(guān)鍵。在以往的眾多研究中，人們總結(jié)出一些關(guān)于確定隱層神

15、 經(jīng)元個數(shù)的經(jīng)驗公式，其中，Mirchadani認(rèn)為隱含層單元數(shù) J與輸入模式P的關(guān)系為：J=log2 P。本文根據(jù)Clementine神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法中的快速訓(xùn)練法，運用多層感知機(jī)模型， 確定為一層隱含層，而隱含層的節(jié)點數(shù)目依據(jù)公式 max(3， (ni+n0)/20) ，其中： ni 為輸入節(jié)點數(shù)； n0 為輸出節(jié)點數(shù)。根據(jù)以上公式，可以計算隱含層的神經(jīng)元數(shù)目為3。3.4 激活函數(shù)的確定 激活函數(shù)是一個神經(jīng)元及網(wǎng)絡(luò)的核心，網(wǎng)絡(luò)的預(yù)測能力在很大程度上取決于所采用的激活函數(shù)。激活函數(shù)f(x)的作用是激活神經(jīng)元，使其對輸入產(chǎn)生響應(yīng)。在實際應(yīng)用中，可根據(jù) 需要選取適當(dāng)?shù)募せ詈瘮?shù)，常用的是Sigmo

16、id類型的函數(shù)。由于激活函數(shù)f(x)所具有的非線性特征， 使 BP 算法訓(xùn)練的多層前饋式網(wǎng)絡(luò)建立了從輸入到輸出的高度非線性映射，可以表達(dá)復(fù)雜的客觀現(xiàn)象。而且，由于其導(dǎo)數(shù)常常可用 f(x) 自身表示，所以在誤差反向傳播的過程 中，不需要另外計算激活函數(shù)的導(dǎo)數(shù)，大幅度地減少了計算量，提高了網(wǎng)絡(luò)的效率。在實際 應(yīng)用中，通過對股票樣本數(shù)據(jù)的學(xué)習(xí)訓(xùn)練，可以發(fā)現(xiàn)采用 f(x)=tan!1/1+exp(-x)" 作為激活函 數(shù)，網(wǎng)絡(luò)的收斂速度最快。4 實證結(jié)果與分析本文運用 SPSS Clementine 數(shù)據(jù)挖掘軟件，以高頻數(shù)據(jù)為樣本對滬深 300 指數(shù)的日內(nèi)收 益率構(gòu)建 BP 神經(jīng)網(wǎng)絡(luò)模型。

17、其基本過程是， 首先將 2008 年7 月1 日至 8 月 29 日的 10658 個樣本數(shù)據(jù)作為學(xué)習(xí)和訓(xùn)練樣本，建立一個三層 BP 神經(jīng)網(wǎng)絡(luò)模型，然后用剩余的 3159 個 樣本數(shù)據(jù)作為測試樣本， 來進(jìn)行模式識別， 再判斷神經(jīng)網(wǎng)絡(luò)模型對滬深指數(shù)收益率的擬合程 度及預(yù)測效果。用樣本數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時，需要網(wǎng)絡(luò)訓(xùn)練參數(shù)進(jìn)行設(shè)置，本文確定動力因子a=0.9,較高的a值有助于避免網(wǎng)絡(luò)的局部極小值，使神經(jīng)網(wǎng)絡(luò)的權(quán)數(shù)調(diào)整更加平滑；預(yù)測精 度為 90%，迭代周期為 250 次，控制誤差取為 0.0001。最大容許誤差設(shè)為 0.005，學(xué)習(xí)步長 為 0.01，最大訓(xùn)練次數(shù)為 500。利用上述神經(jīng)網(wǎng)絡(luò)及

18、其網(wǎng)絡(luò)規(guī)則，可以得到預(yù)測精度為 98.72%的神經(jīng)網(wǎng)絡(luò)模型?；谝褬?gòu) 建的 BP 神經(jīng)網(wǎng)絡(luò)模型 , 再將其對剩余 3159 個測試樣本進(jìn)行判斷， 來驗證系統(tǒng)的預(yù)測結(jié)果。 在 Clementine 中，將 BP 神經(jīng)網(wǎng)絡(luò)加入到測試樣本的數(shù)據(jù)流中，可以得到測試樣本相對應(yīng) 的滬深指數(shù)收益率預(yù)測值。再將收益率預(yù)測值和收益率實際值做比較分析，如圖2 所示：00 2收益率實際値與預(yù)測值比較從圖2可以發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)模型較好地擬合了測試樣本的收益率，僅僅有幾個時點預(yù)測效果不佳。由于測試樣本較大， 為了更加直觀清楚地判斷收益率的預(yù)測效果，選取了預(yù)測周期第一天的收益率實際值與預(yù)測值進(jìn)行比較，得到圖3的時間序列圖：

19、圖3股指收益率預(yù)測値與實際值時序比較圖由圖3可見，BP神經(jīng)網(wǎng)絡(luò)對于滬深 300指數(shù)收益率的擬合效果相當(dāng)不錯，就整體趨勢而 言，網(wǎng)絡(luò)模型基本上模擬出實際收益率的特征，說明BP神經(jīng)網(wǎng)絡(luò)對于指數(shù)收益率的預(yù)測能力是較強(qiáng)的。為檢驗?zāi)Ｐ偷念A(yù)測效果，引入MAPE指標(biāo)，MAPE平均相對誤差絕對值的定義為：MAPE=1 nni =1 工 yi-y 贊 i yi(13)式中，yi為實際值，y贊i為預(yù)期值。根據(jù)上述公式，計算得到BP神經(jīng)網(wǎng)絡(luò)3159個測試樣本的 MAPE=1.66% ,表明神經(jīng)網(wǎng)絡(luò)的 預(yù)測精度非常高， BP 神經(jīng)網(wǎng)絡(luò)對于高頻金融時間序列收益率的預(yù)測是有效的，而且預(yù)測效 果非常好。5 結(jié)論與啟示股票市

20、場高頻數(shù)據(jù)是當(dāng)前金融計量研究的熱點問題， 基于高頻數(shù)據(jù)的股指日內(nèi)收益率建模與 預(yù)測對于深入研究證券市場具有十分重大的意義。 本文采用數(shù)據(jù)挖掘中的神經(jīng)網(wǎng)絡(luò)對高頻數(shù) 據(jù)進(jìn)行建模與預(yù)測， 實證研究表明其預(yù)測能力是非常有效的， 可以有效地模擬出短期的滬深 300 股票指數(shù)時間序列收益率的趨勢特征。 這不僅僅驗證了數(shù)據(jù)挖掘技術(shù)在高頻數(shù)據(jù)中應(yīng)用 的可行性， 而且也為進(jìn)一步測算股票市場波動率與金融領(lǐng)域的衍生工具定價、 風(fēng)險管理與控 制及投資組合等提供了一個可靠的工具。參考文獻(xiàn)1 Ruey S.Tsay.Analysis of Financcial Time SeriesM. 北京：機(jī)械工業(yè)出版社， 2006. 234-263.2 Atiya A F.Bankrucy prediction for credit risk using neural networks: A survey and new results.Neural Networks,IEEE Transactions on,2001,(12):929-935.3 Chen J F.Analysis of an adaptive time-