FPGA實(shí)現(xiàn)自建式模糊類神經(jīng)網(wǎng)路的推論輸出

1、FPGA實(shí)現(xiàn)自建式模糊類神經(jīng)網(wǎng)路的推論輸出林瑞昌2 翁萬德1 薛仲達(dá)1 沈仲晃21國立雲(yún)林科技大學(xué)電機(jī)工程系 2南開技術(shù)學(xué)院電資學(xué)群.tw摘 要SCFNN（Self constructing fuzzy neural network）是一個可即時學(xué)習(xí)自行建立系統(tǒng)的模糊類神經(jīng)網(wǎng)路12。以FPGA硬體實(shí)現(xiàn)模糊類神經(jīng)網(wǎng)路的論文也陸續(xù)被發(fā)表16,17，但是具自建結(jié)構(gòu)與學(xué)習(xí)能力的模糊類神經(jīng)硬體網(wǎng)路比較少見。硬體實(shí)現(xiàn)SCFNN，必須對原始的演算法與方程式略作修改以適用於硬體實(shí)現(xiàn)。本小組進(jìn)行SCFNN數(shù)位通道等化器模擬與FPGA硬體實(shí)現(xiàn)實(shí)現(xiàn)已一段時間18。受限於篇幅本文簡短描述SCF

2、NN的演算法與修改SCFNN的推論輸出演算法成為可硬體實(shí)現(xiàn)的形式。1 簡介類神經(jīng)網(wǎng)路在通訊領(lǐng)域有廣泛的應(yīng)用範(fàn)圍 1，因其輸出入間的非線性對應(yīng)關(guān)係很適用於非線性分類問題，因此使用類神經(jīng)網(wǎng)路來執(zhí)行等化器工作是適當(dāng)?shù)?。較常用來處理數(shù)位通道等化問題的類神經(jīng)網(wǎng)路有多層神經(jīng)元類神經(jīng)網(wǎng)路 ( multi layer perceptron ,MLP ) 2、輻狀基底類神經(jīng)網(wǎng)路 ( radial basis function, RBF ) 3、回授型類神經(jīng)網(wǎng)路 ( recurrent neural network, RNN ) 4、函數(shù)鏈結(jié)人工類神經(jīng)網(wǎng)路 ( functional link artificial

3、 neural network, FLANN ) 5。近來以模糊類神經(jīng)網(wǎng)路理念建立系統(tǒng)模型的做法逐漸風(fēng)行，在很多領(lǐng)域諸如：控制、通訊、系統(tǒng)辨識都有工程人員建立模糊類神經(jīng)網(wǎng)路去解決他們所碰到的問題 6-7。專業(yè)人員以適當(dāng)?shù)姆椒ǘǔ瞿：?guī)則與類神經(jīng)網(wǎng)路結(jié)構(gòu)，並輔以適當(dāng)演算法調(diào)整歸屬函數(shù)與類神經(jīng)網(wǎng)路鏈結(jié)參數(shù)，完成學(xué)習(xí)動作後的模糊類神經(jīng)網(wǎng)路即代替過去系統(tǒng)的數(shù)學(xué)模型來操控系統(tǒng)。除此之外，模糊類神經(jīng)網(wǎng)路相較於單獨(dú)的使用模糊推論方法或類神經(jīng)網(wǎng)路，模糊類神經(jīng)網(wǎng)路方法包含上述二個方法的優(yōu)點(diǎn)，它將低階學(xué)習(xí)與類神經(jīng)網(wǎng)路的計算能量帶入模糊系統(tǒng)，也將高階類似人類思考模式與模糊系統(tǒng)的推論引入類神經(jīng)網(wǎng)路 8-9。Juang

4、 10等提出一個具有線上自建構(gòu)能力的類神經(jīng)模糊推論網(wǎng)路 ( on-line self-constructing neural fuzzy inference network, SONFIN )，在線上學(xué)習(xí)期間，SONFIN可同時進(jìn)行結(jié)構(gòu)與相關(guān)參數(shù)調(diào)整機(jī)制找出結(jié)構(gòu)的最佳參數(shù)，因此SONFIN不必事先指定任何模糊規(guī)則，即使面對一個複雜系統(tǒng)的模型，也能產(chǎn)生適當(dāng)?shù)臍w屬函數(shù)與規(guī)則。經(jīng)過不同領(lǐng)域像控制、通訊、信號處理的模擬，他們證實(shí)SONFIN可以應(yīng)用在數(shù)種領(lǐng)域。Lin 11等提出SCFNN並實(shí)現(xiàn)於永久磁鐵式同步馬達(dá)速度控制器 ( speed controller for permanent-magnet

5、ic synchronous motor drive )，這是一個具有線上結(jié)構(gòu)學(xué)習(xí)與參數(shù)學(xué)習(xí)能力的模糊類神經(jīng)網(wǎng)路，相較於SONFIN的複雜與實(shí)用性較困難，SCFNN的推論輸出與參數(shù)學(xué)習(xí)都較為簡單容易實(shí)現(xiàn)。而ANFIS ( artificial neural fuzzy inference system ) 在1993年由Jang 12所提出是近年來頗具代表性的類神經(jīng)模糊推論系統(tǒng)，在不同的領(lǐng)域有許多成功的應(yīng)用實(shí)例，例如Altug的馬達(dá)故障偵測系統(tǒng) 13、Djukanovic的動態(tài)電力負(fù)載系統(tǒng) 14、Chang的水庫即時操作系統(tǒng) 15。貝氏最佳解法 ( Bayesian decision theo

6、ry ) 首先計算測試樣本與所有訓(xùn)練樣本之間的歐式距離 ( Euclidean distance )，再依計算結(jié)果判別測試中的樣本對應(yīng)輸出值應(yīng)是1或0，亦即分析訓(xùn)練樣本的群聚現(xiàn)象，直接計算判別測試樣本的輸出。本論文描述以FPGA ( field programmable gate array ) 硬體實(shí)現(xiàn)SCFNN的部份動作。基本上硬體實(shí)現(xiàn)SCFNN數(shù)位通道等化器已由本實(shí)驗(yàn)室開發(fā)完成，在維持SCFNN原始演算法精神下，本小組提出適合硬體實(shí)現(xiàn)的改良演算法，並且利用分時多工的方法大幅降低了硬體成本，我們也對硬體化的效能做詳細(xì)的評估與分析，受限於篇幅此次論文僅描述修改SCFNN的自建結(jié)構(gòu)成為在FPG

7、A環(huán)境下可以執(zhí)行的形式。2 SCFNN結(jié)構(gòu)與推論輸出SCFNN是一個四層結(jié)構(gòu)的模糊類神經(jīng)網(wǎng)路，圖1是SCFNN的結(jié)構(gòu)，運(yùn)作之初僅有輸入節(jié)點(diǎn)與輸出節(jié)點(diǎn)，隨著即時學(xué)習(xí) ( on line learning ) 的進(jìn)行，訓(xùn)練樣本逐一進(jìn)入SCFNN，然後是結(jié)構(gòu)學(xué)習(xí)、計算推論輸出值、參數(shù)學(xué)習(xí)三個動作直至學(xué)習(xí)完成。所謂學(xué)習(xí)完成有兩個要點(diǎn)，一是建立完整的模糊規(guī)則其次是調(diào)整相關(guān)參數(shù)至最佳值?；叵?( recalling ) 是SCFNN另外一個重要的動作，也可以說是測試學(xué)習(xí)完成的SCFNN工作表現(xiàn)。以本文模擬的數(shù)位通道信號重建為例，我們將失真信號輸入給完成學(xué)習(xí)動作的SCFNN，檢視SCFNN輸出，並與正確輸出

8、值比較，計算位元錯誤率就是SCFNN的回想動作。SCFNN的推論輸出值依下列的過程計算：Layer 1：此層是輸入節(jié)點(diǎn)，數(shù)位序列r1(k)與r2(k)透過此節(jié)點(diǎn)進(jìn)入下一層，並沒有計算動作。其中r1(k)：傳送端經(jīng)通道效應(yīng)與白色高斯雜訊後的同相數(shù)位序列ri(k)；r2(k)：傳送端經(jīng)通道效應(yīng)與白色高斯雜訊後的正交相數(shù)位序列rq(k)。Layer 2：此層的每一節(jié)點(diǎn)相當(dāng)於是第一層輸入變數(shù)的語意項 ( linguistic label )，亦即算出輸入變數(shù)i屬於此歸屬函數(shù)的程度Aji，本研究中採用高斯函數(shù)做為歸屬函數(shù) ( membership function )(1)mji：信號ri(k)對第j個

9、歸屬函數(shù)的中點(diǎn)（mean）；ji ：信號ri(k)對第j個歸屬函數(shù)的標(biāo)準(zhǔn)差 ( standard deviation ）。Layer 3：此層的每一節(jié)點(diǎn)表示模糊規(guī)則的後鍵部 ( consequent part )，其函數(shù)是 (2)亦即此層各節(jié)點(diǎn)的輸出是輸入信號的乘積。Layer 4：此層僅有一個節(jié)點(diǎn)主要的動作是解模糊化 ( defuzzify )，若以表示推論輸出值，則 (3)其中 表示第三層的輸出，表示第三層每一節(jié)點(diǎn)與第四層輸出節(jié)點(diǎn)之間的鏈結(jié)權(quán)重，M是系統(tǒng)學(xué)習(xí)過程中已建立的規(guī)則數(shù)。圖1 自建型模糊類神經(jīng)網(wǎng)路結(jié)構(gòu)圖3 SCFNN 結(jié)構(gòu)學(xué)習(xí)演算法當(dāng)?shù)谝还P訓(xùn)練樣本進(jìn)入，則SCFNN直接建立2個高斯

10、型歸屬函數(shù)，以輸入變數(shù)值為高斯函數(shù)中點(diǎn)m，標(biāo)準(zhǔn)差採固定值，完成第一個模糊規(guī)則建立SCFNN的雛形。自第二筆訓(xùn)練樣本起，對已建立之歸屬函數(shù)依公式(1)，求出2M個歸屬函數(shù)值（M是目前已存在的歸屬函數(shù)數(shù)目）。接著，在每一組Aj1與Aj2中，尋找較小的值令為Aj,min，並且在所有的Aj,min中，尋找出最大的值令為Amax。最後，將Amax與既定值Umin做比較，若Amax大於Umin則表示目前規(guī)則適當(dāng)可涵蓋所有資料分佈，不必增加新的規(guī)則，否則需建立一個新的規(guī)則以涵蓋這筆資料；亦即第二層每群增加一個歸屬函數(shù)，增加的兩個歸屬函數(shù)平均值mji分別等於r1(k)與r2(k)，標(biāo)準(zhǔn)差ji則採隨機(jī)值。因?yàn)獒?/p>

11、續(xù)尚需調(diào)整，第三層增加一個乘積運(yùn)作節(jié)點(diǎn)，鏈結(jié)權(quán)重值j亦採隨機(jī)值。這個動作在每筆訓(xùn)練樣本進(jìn)入SCFNN時都會執(zhí)行一次，Umin的數(shù)值設(shè)定為0.01以控制建立規(guī)則數(shù)在一定範(fàn)圍內(nèi)。4 SCFNN參數(shù)學(xué)習(xí)演算法SCFNN的參數(shù)學(xué)習(xí)與計算推論輸出值方向相反，由離輸出端最近的參數(shù)先調(diào)整，逐步調(diào)整相關(guān)的參數(shù)。首先定義誤差函數(shù)E如下： (4)y：對應(yīng)每一訓(xùn)練樣本的正確輸出值，y*：SCFNN推論輸出值。Layer 4：鏈結(jié)權(quán)重j變化量j及更新方式如下： (5)其中j是第三層節(jié)點(diǎn)編號，是計算鏈結(jié)權(quán)重差距量的係數(shù).。計算出鏈結(jié)權(quán)重j的變化量，j之後，以 (6)更新j，其中N是樣本序號。Layer 3：歸屬函數(shù)的平

12、均值 （mean）與標(biāo)準(zhǔn)差 （standard deviation）之差距量公式如下： (7) (8)上式中分別是歸屬函數(shù)平均值與標(biāo)準(zhǔn)差差距量的係數(shù)，可用錯誤嘗試法調(diào)整以得到較快較好的收斂。接著以 (9) (10)更新高斯歸屬函數(shù)的與。每一筆訓(xùn)練樣本進(jìn)入SCFNN，上述三個動作都需完整執(zhí)行一次，所有訓(xùn)練樣本都執(zhí)行過一次叫一個學(xué)習(xí)循環(huán) （learning cycle），一般用均方根值 （mean square error，MSE）評估SCFNN是否完成學(xué)習(xí)，均方根值的定義如下式： (11)P：總訓(xùn)練樣本數(shù)，y：期望輸出值或正確輸出值，y*：SCFNN推論輸出值。在模擬過程中，為了達(dá)即時控制效果，

13、我們都僅執(zhí)行一個學(xué)習(xí)循環(huán)。5 SCFNN推論輸出的硬體實(shí)現(xiàn)在圖2中，因?yàn)榭紤]到結(jié)構(gòu)自建的因素，而將完整的推論輸出部份切割分成前推論輸出與後推論輸出兩部份，其細(xì)部方塊圖如圖3(a)(b)所示。圖3(a)即是前推論輸出部份，此圖在實(shí)體上存在著相同的兩個部份，一個輸入為ri，另一個的輸入則為rq，基於圖形的簡單化，只畫出一組為示意圖。前推論輸出部份的輸入變數(shù)為r (ri與rq)，系統(tǒng)參數(shù)m (m1與m2)與(1與2)，輸出值為與。其中r為通訊系統(tǒng)接收端所接受到的信號大小，在此系統(tǒng)中以15位元的定點(diǎn)數(shù)來表示，最高1位元表示符號，接下來的2位元表示整數(shù)，剩下的12位元均用來表示小數(shù)。m為系統(tǒng)參數(shù)，就是高

14、斯歸屬函數(shù)中的平均值參數(shù)，其定點(diǎn)數(shù)的表示方式也跟r是相同地。系統(tǒng)參數(shù)也是高斯歸屬函數(shù)中的標(biāo)準(zhǔn)差參數(shù)，其只用了9位元來表示。此參數(shù)只有正數(shù)，故不用符號位元，整數(shù)用1位元表示，8位元表示小數(shù)。輸出值由1-bit sign與16-bits unsigned number所組成，儲存到暫存器供參數(shù)修正使用。為12-bits unsigned number，此數(shù)值為前推輸出部份的最後一級輸出，提供到結(jié)構(gòu)學(xué)習(xí)運(yùn)算，決定是否進(jìn)行結(jié)構(gòu)增加。圖2 (a) SCFNN運(yùn)作流程 (b) 訓(xùn)練過程運(yùn)作流程圖3 (a) 前推論輸出部份圖3 (b) 後推論輸出部分(12)根據(jù)公式(1)-(3)，我們推導(dǎo)出公式(12)，以

15、清楚的表示整個推論輸出得運(yùn)算過程。並且此公式簡化了原始的演算法，將原來的exp(a)*exp(b)化簡成exp(a+b)，間接的影響了之後硬體實(shí)現(xiàn)的成本。依照公式(12)運(yùn)算的順序，從最高順序的括弧算起由內(nèi)到外，第一個運(yùn)算是r(k)-m，配合到圖3(a)即做減法運(yùn)算，其結(jié)果為16-bits signed number?？山逵捎^察圖3(a)可得知，下一個運(yùn)算方塊為除法運(yùn)算，此除法器方塊為無號數(shù)除法。因此，必須將符號與數(shù)值分開表示，將其轉(zhuǎn)換為1-bit sign與16-bits unsigned number。經(jīng)除法器運(yùn)算可得到1-bit signed與16-bits unsigned numbe

16、r，此數(shù)值部份為12位元表示整數(shù)，4位元表示小數(shù)。在實(shí)際的運(yùn)算上，的數(shù)值範(fàn)圍大約介於-4到4之間，故整數(shù)部分並不需要用到12位元來表示。為了節(jié)省運(yùn)算量與硬體成本，我們在除法器之後增加了限制器，此運(yùn)算並不包含在原始演算法裡。限制器將16-bits unsigned number縮減到6-bits unsigned number，僅用2位元表示整數(shù)，小數(shù)部份依舊用4位元表示。限制器的輸出除了進(jìn)入乘法器做平方運(yùn)算，另一方面則儲存到暫存器供參數(shù)修正使用。此乘法器的大小為輸入6*6-bits，輸出為12-bits unsigned number (整數(shù)4位元，小數(shù)8位元)。前推論輸出部份的運(yùn)算至此已經(jīng)告

17、一段落，接下來將進(jìn)入結(jié)構(gòu)學(xué)習(xí)的部份。但是，為求文章的一貫性，結(jié)構(gòu)學(xué)習(xí)的部份將留待下一節(jié)再詳細(xì)說明，本節(jié)先只討論推論輸出部份。在完成結(jié)構(gòu)學(xué)習(xí)的步驟後，即繼續(xù)執(zhí)行後推論輸出的部份，如圖3(b)所示。後推論輸出部分的輸入即為前推論輸出的輸出值，包含了兩個部份與。假若在經(jīng)過結(jié)構(gòu)學(xué)習(xí)後，隱藏層的節(jié)點(diǎn)有再增加，則新增的節(jié)點(diǎn)其輸入值設(shè)定為0。為系統(tǒng)內(nèi)部參數(shù)，屬於類神經(jīng)網(wǎng)路中的鏈結(jié)權(quán)重值，用13-bits signed number ( 1-bit符號，1-bit整數(shù)，12-bits小數(shù)) 來表示。第一個輸出值u只有正數(shù)，故只需用10-bits unsigned number所表示，其所有位元均為小數(shù)；第二個

18、輸出值u由1-bit sign與13-bits unsigned number ( 1-bit整數(shù)，12-bits小數(shù)) 所組成，以上兩個輸出值均儲存到暫存器供參數(shù)修正使用。後推論輸出的最後一級輸出值為y*，為整個SCFNN的最終結(jié)果，用15-bits signed number ( 1-bit符號，2-bits整數(shù)，12-bits小數(shù)) 來表示。圖3所顯示的後推論輸出是公式(12)的運(yùn)算流程。首先，將兩部分的做相加運(yùn)算，得到結(jié)果為13-bits unsigned number ( 5-bits整數(shù)，8-bits小數(shù))。藉由觀察公式(12)顯示，接下來要做的運(yùn)算為exp(-S)，S為加法器的輸

19、出。對於exp(-S)的運(yùn)算，我們採用查表法的方式來實(shí)現(xiàn)，將對映到exp(-S)的數(shù)值儲存到唯讀記憶體。爲(wèi)了減少記憶體的容量，先在exp(-S)查表前先加入一個限制器，exp(-S)函數(shù)映射到的數(shù)值範(fàn)圍，輸入一但超過7，其輸出可視為0。限制器將數(shù)值限制在8以下；此外，小數(shù)也只需取到10-bits即可達(dá)到精確度的要求。因此，限制器的輸出為11-bits unsigned number ( 3-bits整數(shù)，8-bits小數(shù))。唯讀記憶體為11-bits的輸入，輸出10-bits unsigned number，由於exp()函數(shù)的輸出並無負(fù)數(shù)，故不需符號位元。換言之，此唯讀記憶體有11條位址線，

20、共有2048個位址，每個位址儲存10-bits的資料。若未加入限制器，則此記憶體的容量會是目前的4倍。如此，以增加限制器的成本來換取記憶體容量是很劃算的考量。查表所得到的值將會先儲存到暫存器，供參數(shù)學(xué)習(xí)使用。在做乘法前，必須先將由14-bits signed number轉(zhuǎn)換成1-bit sign與13-bits unsigned number，才能送到乘法器做無號數(shù)乘法。乘法器的輸出為1-bit sign與23-bits unsigned number ( 1-bit整數(shù)，22-bits小數(shù))，而小數(shù)只需要取12-bits即足夠，變成13-bits unsigned number ( 1-b

21、it整數(shù)，12-bits小數(shù))。根據(jù)圖3(b)所示，輸出值u依然存到暫存器供參數(shù)學(xué)習(xí)使用。依照公式(12)，將所有的項做加總動作即可得到最後的推論輸出值。此加總的作法，在本文中採用階層式加法器來完成。所謂的階層式加法器即為一個狀似二元樹的加法器，每一個節(jié)點(diǎn)都是一個加法器。再加入一個限制器，將其範(fàn)圍限制在-4到4之間，輸出為15-bits signed number ( 1-bit符號，2-bits整數(shù)，12-bits小數(shù))。最後，將推論輸出值y*儲存到暫存器中，送到差距量方塊計算差距量，即成完整的推論輸出部份。6 結(jié)論本文數(shù)位通道等化器為範(fàn)例簡短描述自建型模糊類神經(jīng)網(wǎng)路（SCFNN）的演算法與

22、硬體實(shí)現(xiàn)SCFNN推論輸出的技術(shù)。硬體實(shí)現(xiàn)過程中加上部分限制器，雖然會引起些許誤差但都在可接受範(fàn)圍之內(nèi)；規(guī)劃部分暫存器儲存重複使用的資料；指數(shù)計算部份則以查表法處理，上述皆對執(zhí)行速度有顯著的助益。本研究小組進(jìn)行SCFNN數(shù)位通道等化器模擬與FPGA硬體實(shí)現(xiàn)實(shí)現(xiàn)已一段時間18。受限於篇幅本文簡短描述SCFNN的演算法與SCFNN的推論輸出演算法硬體實(shí)現(xiàn)的技術(shù)。參考文獻(xiàn)1 M. Ibnkahla. Applications of neural networks to digital communications. Signal Processing, pp. 1185-1215, 80(2000)

23、.2 S. Chen, G. Gibson, C. Cowan, and P. Grant. Adaptive equalization of finite non-linear channels using multi-layer perceptron. Signal Processing, pp.107-119, 20(1990).3 S. Chen, B. Mulgrew, and P. M. Grant. A clustering technique for digital communica- tion channel equalization. IEEE Trans. on Sig

24、nal Processing, pp. 107-119, 20(1990).4 G. Kechriotis, E. Zervas, and E. S. Manolakos. Using recurrent neural networks for adaptive communication channel equalization. IEEE Trans. on Neural Networks, vol. 5, pp. 267- 278, Mar. 1994.5 J. C. Patra, R. N. Pal, R. Baliarsinghn and G. Panda. Nonlinear ch

25、annel equalization for QAM signal constellation using artificial neural networks. IEEE Trans. on System, Man, Cybernetics, vol. 29, no. 2, Apr. 1999.6 S. Ong, S. Choi, C. You and D. Hong. A decision feedback recurrent equalizer for digital communication. IEEE Trans. on magnetic, vol. 33, pp. 2967-29

26、69, Sep. 1997.7 S. Horokawa, T. Furnhashi, and Y. Uchikawa. On fuzzy modeling using neural networks with the backpropagation algorithm. IEEE Trans. on Neural Networks, vol. 3, pp. 801- 806, Sep. 1992.8 Y. Lin and G. A. Cunningham. A new approach to fuzzy-neural system modeling. IEEE Trans. on Fuzzy

27、System, vol. 3, pp. 190-197, May 1995.9 B. Kosko. Neural networks and fuzzy systems. Englewood Cliffs, NJ: Prentice-Hall, 1992.10 C. T. Lin. Neural fuzzy control systems with structure and parameter learning. New York: World Scientific, 1994.11 I. Cha and S. Kassam. Channel equalization using adapti

28、ve complex radial basis function networks. IEEE J. Select. Areas Commun., vol. 13, pp122-131, Jan. 1995.12 F. J. Lin, C. H. Lin, and P. H. Shen, Self-constructing fuzzy neural network speed controller for permanent-magnetic synchro- nous motor drive, IEEE Trans. on Fuzzy System, vol. 9, no.5, pp.751-759, Oct. 2001.13 J. Shing and R. Jang. ANFIS: Adaptive- network-based fuzzy inference system. IEEE Trans. on Systems, Man, and Cybernetics, vol. 23, no.3, pp. 665-685, May/Jun. 1993.14 Altug S., Chow M. Y. and Trussell H. J. Fuzzy inference system implemented on neural network architectu