有理式二階前饋型神經(jīng)網(wǎng)絡(luò)

1、有理式二階前饋型神經(jīng)網(wǎng)絡(luò)梁久禎梁久禎（1968-），男，博士，副教授，副院長，研究方向：智能計算與并行計算，電話 E-mail: liangjz（浙江師范大學(xué)信息科學(xué)與工程學(xué)院，浙江金華 321004）摘 要：文章提出了二階有理式多層前饋神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型。有理式多層神經(jīng)網(wǎng)絡(luò)的思想來源于函數(shù)逼近理論中的有理式逼近。有理式前饋神經(jīng)網(wǎng)絡(luò)模型是傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)模型的推廣，能有效地求解函數(shù)逼近問題。文章給出了有理式多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，即誤差反傳播學(xué)習(xí)算法。就計算復(fù)雜度而言，有理式神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法與傳統(tǒng)的多層神經(jīng)網(wǎng)絡(luò)反傳播算法是同階的。文章還給出了函數(shù)逼近和模式識別兩個

2、應(yīng)用實例，實驗結(jié)果說明二階有理式多層神經(jīng)網(wǎng)絡(luò)在解決傳統(tǒng)的問題上是有效的。關(guān)鍵詞：有理式；神經(jīng)網(wǎng)絡(luò)；學(xué)習(xí)算法；函數(shù)逼近；模式識別1. 引 言前向型多層神經(jīng)網(wǎng)絡(luò)是目前研究的較為成熟的神經(jīng)網(wǎng)絡(luò)模型之一，自從1984年Rumeihart 等1提出該網(wǎng)絡(luò)模型的誤差反向傳播算法（BP算法），前向型多層神經(jīng)網(wǎng)絡(luò)在很多方面得以應(yīng)用，另一方面，關(guān)于這種網(wǎng)絡(luò)模型的各種性質(zhì)的研究也引起了廣泛的重視，如網(wǎng)絡(luò)的函數(shù)逼近能力2，網(wǎng)絡(luò)的計算能力3，網(wǎng)絡(luò)的映射能力4，網(wǎng)絡(luò)隱層節(jié)點的選擇5等。這些性質(zhì)的研究對我們認識前向型多層神經(jīng)網(wǎng)絡(luò)具有重要的意義，同時也為人們應(yīng)用前向型多層神經(jīng)網(wǎng)絡(luò)解決實際問題提供了理論基礎(chǔ)。20世紀(jì)80年代

3、末興起了神經(jīng)網(wǎng)絡(luò)的熱潮，很快神經(jīng)網(wǎng)絡(luò)就滲透到各個應(yīng)用領(lǐng)域，似乎任何問題都可以用神經(jīng)網(wǎng)絡(luò)來解決。雖然從理論上證明了在不受隱層神經(jīng)元個數(shù)限制的情況下，任何復(fù)雜的連續(xù)映射關(guān)系都可以用前饋型神經(jīng)網(wǎng)絡(luò)來實現(xiàn)，但實際應(yīng)用表明：訓(xùn)練網(wǎng)絡(luò)的學(xué)習(xí)算法的計算復(fù)雜度是個NP完全問題，即受到樣本量和映射復(fù)雜度的影響，學(xué)習(xí)算法是神經(jīng)網(wǎng)絡(luò)解決實際問題的最大瓶頸。特別是對于一些特殊問題的解決，如高度振蕩問題，奇異值問題，用前饋型神經(jīng)網(wǎng)絡(luò)來模擬實現(xiàn)就存在難以克服的學(xué)習(xí)時間較長，算法不收斂的問題。對于這類問題，如何用神經(jīng)網(wǎng)絡(luò)的方法，通過選擇合適的模型結(jié)構(gòu)，避免算法的不收斂，是一個較為有意義的研究課題。文6中提出了一種有理式前饋

4、型神經(jīng)網(wǎng)絡(luò)模型，旨在解決上述特殊問題。這種網(wǎng)絡(luò)的拓撲結(jié)構(gòu)類似于實現(xiàn)有理式函數(shù)逼近中的思想。并給出了一階有理式前向型網(wǎng)絡(luò)結(jié)構(gòu)及其學(xué)習(xí)算法。本文的工作是在此基礎(chǔ)上提出一種二階結(jié)構(gòu)的有理式前饋型神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)，利用有監(jiān)督學(xué)習(xí)推導(dǎo)出相應(yīng)的網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)算法，并用實例來驗證算法的有效性和實用性。2. 二階有理式前饋型神經(jīng)網(wǎng)絡(luò)模型二階有理式多層前饋神經(jīng)網(wǎng)絡(luò)可以看作是對有理式多層前饋神經(jīng)網(wǎng)絡(luò)模型的改進。設(shè)輸入層有n2+n個神經(jīng)元，輸入向量為X=(x1, xn, x1x1, xnxn)，即樣本輸入的一次項和二次項。輸出層有m個神經(jīng)元，輸出向量為Y=(y1, y2, , ym)。隱層有2p個神經(jīng)元，分為兩個部分

5、，即分子和分母部分，其中分子部分和分母部分各有p個神經(jīng)元；輸入層到隱層分子部分的連接權(quán)向量為, i=1,2,n; j=0,1,n; k=1,2,p。輸入層到隱層分母部分的連接權(quán)向量為, i=1,2,n; j=0,1,n; k=1,2,p。隱層的輸出函數(shù)為f, 隱層單元到輸出層的連接權(quán)為ukl, k=1,2,p; l=1,2,m。二階有理式前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示，為清楚起見，圖中只給出了分子部分的連接權(quán)表示，分母部分的表示與分子部分完全對稱。圖中第二層(隱層)第k個單元與輸入層第ij個單元的連接為雙連接，即和，它們分別代表有理式分子和分母部分的連接權(quán)。第二層每個單元實現(xiàn)來自輸入層輸入的分子

6、分母加權(quán)求和以及求商運算。第二層到第三層神經(jīng)元之間為全連接。圖1 二階有理式前饋型神經(jīng)網(wǎng)絡(luò)模型隱層分子部分單元的輸入為： (1)其中x0=1, k=1, 2, , p。隱層分母部分單元的輸入為： (2)其中x0=1, k=1, 2, , p。隱層單元的商運算為：, k=1, 2, , p (3)隱層各單元的輸出為：, k=1, 2, , p (4)輸出層各單元的輸出為： l=1, 2, , m (5)其中z0=1。3. 學(xué)習(xí)算法的推導(dǎo)對具有連續(xù)傳遞函數(shù)的二階有理式前饋神經(jīng)網(wǎng)絡(luò)，其學(xué)習(xí)算法可借鑒傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)的誤差反向傳播算法，即具有一階梯度的下降搜索算法。定義網(wǎng)絡(luò)實際輸出與期望輸出的平方和誤

7、差函數(shù)如下： (6)其中，表示期望輸出。由梯度下降算法，網(wǎng)絡(luò)權(quán)值修正公式如下： (7) (8) (9)上述三式中，i=1,2,n; j=0,1,n; k=1,2, p; l=1, 2, , m; 系數(shù)，, 為學(xué)習(xí)步長，而 (10) (11) (12)二階有理式前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法描述如下：步1. 給定學(xué)習(xí)誤差精度，最大學(xué)習(xí)次數(shù)M，學(xué)習(xí)次數(shù)記數(shù)N=1；初始化網(wǎng)絡(luò)參數(shù)：n, m；連接權(quán)值,和ukl,其中i=1,2,n; j=0,1,n; k=1,2, p; l=1, 2, , m;步2. 按式(1)(5)計算網(wǎng)絡(luò)各層的輸出；步3. 按式(6)計算網(wǎng)絡(luò)的誤差E；步4. 若EM，則學(xué)習(xí)結(jié)束；否則N=N

8、+1, 轉(zhuǎn)步5；步5. 按式(7)(9)修正權(quán)值，轉(zhuǎn)步2。4. 應(yīng)用實例例1. 函數(shù)逼近問題。計算函數(shù)在區(qū)間,1上11個節(jié)點的函數(shù)值(即在1, 2+1上的等距節(jié)點的函數(shù)值)。函數(shù)值列表如表1所示：表1 函數(shù)值表x0.13730.15030.16590.18530.20970.24150.28460.34660.44310.61411.0000f(x)0.84140.3630-0.2540-0.7740-0.9984-0.8414-0.36310.25390.77390.99830.8415設(shè)計有理式前饋神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)為：1-10-1，即輸入層只有1個神經(jīng)元，隱層有10個神經(jīng)元(分子分母各有

9、10個神經(jīng)元), 輸出層有1個神經(jīng)元。經(jīng)過5805次學(xué)習(xí)之后，網(wǎng)絡(luò)的輸出誤差為：9.99910315547846E-02。如圖1所示。圖1 有理式神經(jīng)網(wǎng)絡(luò)函數(shù)逼近例2. 隨機模式識別7. 該問題目的是建立5維輸入與輸出向量之間的映射關(guān)系，其中向量的每個分量為區(qū)間0.05, 0.95上的隨機數(shù)。表2給出了6個這樣的樣本。選取前饋神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)為5-6-5，即5個輸入節(jié)點，6個隱節(jié)點，5個輸出節(jié)點。前饋神經(jīng)網(wǎng)絡(luò)和有理式前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)結(jié)果對比情況結(jié)果如表3。 表2 輸入和輸出向量之間為隨機映射的關(guān)系問題樣本序號輸入向量輸出向量10.050.950.050.70.70.40.60.80.950.

10、620.70.60.30.20.80.050.20.60.90.0530.60.30.10.70.10.950.20.10.30.840.50.40.30.050.70.950.90.950.80.850.90.60.60.50.90.50.30.30.10.160.20.50.80.950.050.30.50.60.80.7表3 隨機模式識別前饋神經(jīng)網(wǎng)絡(luò)和有理式前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)結(jié)果對比情況誤差精度前饋神經(jīng)網(wǎng)絡(luò)BP算法有理式前饋神經(jīng)網(wǎng)絡(luò)BP算法學(xué)習(xí)次數(shù)學(xué)習(xí)時間(秒)收斂率學(xué)習(xí)次數(shù)學(xué)習(xí)時間(秒)收斂率=0.17435.334883%2723.6100秒73%=0.01218417.742278%

11、7088.3751秒67%表3的結(jié)果說明，有理式前饋神經(jīng)網(wǎng)絡(luò)BP算法與前饋神經(jīng)網(wǎng)絡(luò)BP算法相比，學(xué)習(xí)的收斂速度有一定的改進，但同時收斂率有一定程度的下降，隨著精度的提高，收斂率下降的幅度增大。這說明有理式前饋神經(jīng)網(wǎng)絡(luò)BP算法的穩(wěn)定性有待于進一步的改進。參考文獻:1 Rumeihart D.E., Hinton G.E., and Williams R.J., “Learning internal representations by error propagation”, in Parallel Distributed Proceeding. Vol.1 Ch.8, D.E. Rumeihar

12、t and J.L. McChelland, Eds., Cambridge, MA: M.I.T. Press, 1986.2 Hornik K, Stinchcombe M, White H. Multilayer feed forword networks are universal approximators. Neural Networks, 1989: pp.359-366.3 劉曉鴻, 戴汝為. 線性閾值單元神經(jīng)元網(wǎng)絡(luò)的圖靈等價性. 計算機學(xué)報, 1995, 18(6): pp.438442。4 Shah J V, Poon Chi-Sang. Linear independen

13、ce of internal representations in multilayer perceptrons. IEEE Trans. on Neural Networks. Vol.10(1):pp.10-18,1999.5 Sontag E D. Shattering all sets of k points in general position requires (k-1)/2 parameters. Neural Comput. Vol.9(2): pp.337-348,1997. 6 梁久禎，何新貴，有理式前饋神經(jīng)網(wǎng)絡(luò)，控制與決策，2004, Vol.19(3): pp.349

14、-354。7 Fukuoka Y., et al., A modified back-propagation method to avoid false local minima, Neural Networks vol.11, pp. 1059-1-72, 1998.Two order rational fraction feedforward neural networksLIANG Jiuzhen (School of Information Science & Engineering, Zhejiang Normal University, Jinhua, Zhejiang 32100

15、4, China) Abstract: This paper deals with the mathematic model of two order rational fraction feedforward neural networks. The idea of rational fraction feedforward neural networks comes from rational fraction approximation in function approximation theories. This model is the general form of tradit

16、ional multiplayer neural networks, and it is adaptive to solve function approximation issues. It proposes the learning paradigm for rational fraction multiplayer neural networks, i.e. error back propagation algorithm. From the view of computing complex, the learning algorithm for rational fraction m

17、ultiplayer neural networks is the same degree as traditional multiplayer neural networks. This paper also proposes two application examples, and one is function approximation issue and the other is a pattern recognition problem. Experiment results illustrate the fitness of two order rational fractio

18、n multiplayer neural networks in solving traditional problems.Key words: rational fraction; neural networks; learning algorithm; function approximation; pattern recognition（上接第81頁）10 S.C. Bayliss, et al. The Culture of Neurons on Silicon. Sensors and Actulators, 1999, 74：pp.139-142. 11 呂曉迎,等.天然羥基磷灰石

19、納米粉體制備初步研究.中國粉體技術(shù) 2001,7：pp.16-19。12 X.Y. L, et al. Evaluation of protein adsorption on chitosan surfaces with reflectometry interference spectroscopy Sensor， 2001, 1：pp.148-160.13 王曉冬, 顧曉松等. 人工組織神經(jīng)移植物輔加神經(jīng)再生素修復(fù)大鼠周圍神經(jīng)缺損的實驗研究. 解剖學(xué)報 2002，33（2）：134。Study of Detecting, Processing and Rebuilding of Central Neural Signals by Using Microelectronics WANG ZhiGong 1, L Xiaoying 2, GU Xiaosong 3（1,2 Institute of RF- & OE-ICs and Key Lab of Molecular and Biomolecular Electronics of Ministry of