（電路與系統(tǒng)專業(yè)論文）卷積Turbo碼的RBF神經網絡譯碼算法[電路與系統(tǒng)專業(yè)優(yōu)秀論文].pdf

摘要 卷積t u r b o 碼的r b f 神經網絡譯碼算法 電路與系統(tǒng) 碩士生：王一波 指導教師：劉星成副教授 摘要 t u r b o 碼是一類新的糾錯控制碼，并已被確定為第3 代移動通信系統(tǒng)的標準 之一，如c d m a 2 0 0 0 和w c d m a 。自從1 9 9 3 年c b e 打o u 等人提出t u r b o 碼 后，大量的研究都集中在t u r b o 碼的譯碼算法上。本文從考慮降低卷積t u r b o 碼 的譯碼復雜度，便于硬件實現(xiàn)的角度出發(fā)，提出卷積t u r b o 碼的r b f 神經網絡 譯碼算法，并討論了三種譯碼算法。分別是： ( 1 ) 卷積碼的r b f 神經網絡譯碼算法。采用該算法的時候，引入了滑動窗 口的方法，將卷積碼譯碼和r b f 神經網絡結合，用并行處理的方式降低了譯碼 時延。經過仿真可知，隨著窗口的增大，這種譯碼算法的性能會越來越接近v i t e r b i 軟判決譯碼的性能。 ( 2 ) 沒有外信息的卷積t u r b o 碼的r b f 神經網絡譯碼算法。該方法在卷積 碼的r b f 神經網絡譯碼算法的基礎上，將這種譯碼算法推廣到卷積t u r b o 碼的 譯碼。仿真結果表明，所提出的算法能獲得較好的譯碼性能。同時，譯碼復雜度 相比m a p 算法和m a x l o g - m a p 算法都有很大程度的降低。 ( 3 ) 帶有外信息的卷積t u r b o 碼的r b f 神經網絡譯碼算法。該方法在沒有 外信息的卷積t u r b o 碼的r b f 神經網絡譯碼算法的基礎上，進行了更深一步的 研究，提取了外信息。仿真表明，所提出的算法在不提高復雜度的情況下，可以 摘要 獲得更好的譯碼性能。 卷積t u r b o 碼的r b f 神經網絡譯碼算法是一種新的譯碼算法。該算法具有 并行處理能力，能夠對卷積t u r b o 碼進行有效的迭代譯碼，譯碼性能較好，運算 復雜度相比m a p 算法和m a x l o g - m a p 算法都有很大程度的降低。因此，該方 法使得卷積t u r b o 碼的譯碼算法更為簡潔，易于硬件實現(xiàn)和實際系統(tǒng)中的應用。 關鍵詞： 卷積t u r b o 碼，迭代譯碼，徑向基函數(shù)( r b f ) ，神經網絡，誤比特率( b e r ) 壘! 坐型 d e c o d i n ga l g o r i t h mo fc o n v o l u t i o n a lt u r b oc o d e sw i t h m a j o r ： n a m e ： r b fn e u r a ln e t w o r k s c i r c u i ta n d s y s t e m w a n g y i - b o s u p e r v i s o r ：a s s o c i a t ep r o f e s s o rl i ux i n g - c h e n g a b s t r a c t t u r b oc o d e sa r eac l a s so fn e w l yi n t r o d u c e de r r o rc o n t r o lc o d e sa d o p t e di n c o m m u n i c a t i o np r o p o s a l sa n ds t a n d a r d s ，s u c ha sc d m a - 2 0 0 0a n dw c d m a t h e r e s e a r c ho ft h ec o d e sh a sb e e nf o c u s e do ni t sd e c o d i n ga l g o r i t h m ss i n c ei t si n v e n t i o n i n1 9 9 3b yc b e r r o ue ta 1 i nt h i st h e s i sw ep r o p o s e dd e c o d i n ga l g o r i t h mo f c o n v o l u t i o n a lt u r b oc o d e sw i t hr b fn e u r a ln e t w o r k s t h ea l g o r i t h mc o u l dr e d u c e c o m p l e x i t yi nd e c o d i n ga n db ee a s i l yi m p l e m e n t e dw i t hh a r d w a r e t h r e ea l g o r i t h m s w e r ed i s c u s s e d ( 1 ) d e c o d i n ga l g o r i t h mo fc o n v o l u t i o n a lc o d e s 塒t hr b fn e u r a ln e t w o r k s t h e p r o p o s e da l g o r i t h mc o u l dd e c o d ec o n v o l u t i o n a lc o d e sw i t ht i m e - s l i d i n gw i n d o wa n d s h o r t e nt i m e 。d e l a y s i m u l a t i o nr e s u l t ss h o wt h a tt h ed e c o d i n gp e r f o r m a n c ew i t ht h e p r o p o s e da l g o r i t h mc o u l db em u c hu l o r ed o s et os o f t d e c i s i o nv i t e r b ia l g o r i t h mw h e n t h ew i n d o ws i z ej si n c r e a s e d ( 2 ) n o th a v i n ge x t e r i o ri n f o r m a t i o nd e c o d i n ga l g o r i t h mo fc o n v o l u t i o n a lt u r b o c o d e sw i t hr b fn e u r a ln e t w o r k s t h ep r o p o s e da l g o r i t h mw a sb a s e do i lt h ed e c o d i n g a l g o r i t h mo fc o n v o l u t i o n a lc o d e sw i t hr b fn e u r a ln e t w o r k s s i m u l a t i o nr e s u l t ss h o w t h a tt h ed e c o d i n gp e r f o r m a n c ew i t ht h ep r o p o s e da 1 9 6 r i t h mi sb e t t e r f u r t h e r m o r e ，i t h a st h ei n h e r e n ta d v a n t a g e so fh i g h e rs p e e di nd e c o d i n g p r o c e s sa n dl e s sc o m p l i c a t e d 1 1 1 a b s t r a c t i nc o m p u t a t i o nt h a nm a p a l g o r i t h ma n dm a x l o g - m a pa l g o r i t h m ( 3 ) h a v i n ge x t e r i o ri n f o r m a t i o nd e c o d i n ga l g o r i t h mo fc o n v o h t i o n a lt u r b o c o d e sw i t hr b fn e u r a ln e t w o r k s t h ep r o p o s e da l g o r i t h mw a sb a s e do nt h en o t h a v i n ge x t e r i o ri n f o n n a t i o nd e c o d i n ga l g o r i t h mo fc o n v o l u t i o n a lt u r b oc o d e sw i t h r b fn e u r a ln e t w o r k sa n do b t a i n e de x t e r i o ri n f o r m a t i o n s i m u l a t i o nr e s u l t ss h o wt h a t t h ed e c o d i n gp e r f o r m a n c ew i t ht h ep r o p o s e da l g o r i t h mc o u l db em u c hb e t t e rt h a nt h e a l g o r i t h mw i t h o u t e x t e r i o ri n f o r m a t i o n f u r t h e r m o r e ，i t s c o m p l e x i t y w a sn o t i n c r e a s c d d e c o d i n ga l g o r i t h mo fc o n v o l u t i o n a lt u r b oc o d e sw i t hr b f n e u r a ln e t w o r k si sa n o v e ld e c o d i n ga l g o r i t h mf o rc o n v o l u t i o n a lt u r b oc o d e s t h ea l g o r i t h mh a st h e p a r a l l e lp r o c e s s i n gc a p a b i l i t ya n di sl e s sc o m p l i c a t e di nc o m p u t a t i o nt h a nm a p a l g o r i t h ma n dm a x - l o g - m a pa l g o r i t h m i t se l t o rc o r r e c t i o np e r f o r m a n c ei sb e t t e r t h ea l g o r i t h mc o u l db ee a s i l yi m p l e m e n t e dw i t hh a r d w a r e k e yw o r d s ： c o n v o i n t i o n a lt u r b oc o d e ，i t e r a t i v ed e c o d i n g , r a d i a lb a s i sf u n c t i o no m f ) ，n e u r a l n e t w o r k s n ) ，b i te r r o rr a t e ( b e r ) 第1 章緒論 第1 章緒論 隨著現(xiàn)代通信技術和計算機技術的迅速發(fā)展，每天都在不斷涌現(xiàn)新的通信 業(yè)務和信息業(yè)務，同時用戶對通信質量和數(shù)據(jù)傳輸速率的要求也在不斷提高。由 于通信信道固有的噪聲和衰落特性，信號在經過信道傳輸?shù)竭_通信接受端的過程 中不可避免地會收到干擾而造成信號失真。通常需要采用差錯控制碼來檢測和糾 正由信道失真引起的信息傳輸錯誤。由于差錯控制碼主要用于實現(xiàn)信道糾錯，因 此又稱為糾錯碼或信道碼。最早的差錯控制碼主要是用于深空通信和衛(wèi)星通信， 隨著數(shù)字蜂窩電話、數(shù)字電視以及高分辨率數(shù)字存儲設備的出現(xiàn)，編碼技術的應 用已經不僅僅局限于科研和軍事領域，而是逐漸在各種實現(xiàn)信息交流和存儲的設 備中得到成功應用。 1 1 數(shù)字通信系統(tǒng)的結構 隨著對高效、高可靠性數(shù)字通信系統(tǒng)需求的迅猛增長，大規(guī)模高速寬帶網 絡的發(fā)展使語音、圖像和其他多媒體信息的傳輸成為可能。通信系統(tǒng)設計人員最 關心的是如何在數(shù)據(jù)源功率和傳輸帶寬有限，系統(tǒng)復雜性和設備造價盡可能小的 條件下實現(xiàn)盡可能準確的信息傳輸，即使信息傳輸?shù)恼`碼率最小化。信道編碼是 消除或降低信息傳輸錯誤概率的有效手段之一。下面首先介紹通用數(shù)字通信系統(tǒng) 【1 】的基本組成結構，如圖i - 1 所示。 第l 章緒論 啦 圖1 - 1 數(shù)字通信系統(tǒng)基本組成結構 圖中，信源編碼器是把信源發(fā)出的消息如語言、圖像、文字等轉換成為二 進制( 或多進制) 形式的信息序列，并且為了使傳輸有效，還去掉了一些與傳輸信 息無關的多余度。為了抗擊傳輸過程中的各種干擾，往往要人為地增加一些多余 度，使其具有自動檢錯或糾錯能力，這種功能由圖中的信道編碼器即糾錯編碼器 完成。調制器的功用是把糾錯碼送出的信息序列通過調制器變換成適合于信道傳 輸?shù)男盘?。?shù)字信號在信道傳輸過程中，總會遇到各種干擾而使信號失真，這種 失真信號傳輸?shù)浇邮斩说慕邮諜C，進行解調，變成二進制( 或多進制) 信息序列。 由于信道干擾的影響，該信息序列中可能已有錯誤，經過信道譯碼器即糾錯碼譯 碼器，對其中的錯誤進行糾正，再通過信源譯碼器恢復成原來的消息送給用戶。 1 2t u r b o 碼的發(fā)展及研究現(xiàn)狀 1 2 1t u r b o 碼編譯碼方案的提出 信息與通信系統(tǒng)中的編碼有4 種形式【2 】：信源編碼、信道編碼、密碼編碼 和多址編碼。信源編碼解決了通信系統(tǒng)的有效性問題，通過壓縮信源冗余信息來 提高通信的效率；信道編碼則是通過增加冗余位來達到保證通信系統(tǒng)的可靠性 ( 通過犧牲帶寬或傳輸速率來換取可靠性) ；密碼編碼則是保證了系統(tǒng)的安全性； 多址編碼主要是解決多用戶通信問題。s h a i l n o r l 第二編碼定理證明，用任意接近 信道容量c 的傳輸速率r 傳送，并且傳輸?shù)牟铄e率可以任意小的編碼方法是存 在的。信道編碼的任務就是尋找這種編碼。 2 第1 章緒論 根據(jù)s h a n n o n 有噪信道編碼定理，在信道傳輸速率r 不超過信道容量c 的 前提下，只有在碼組長度無限的碼集合中隨機的選擇編碼碼字并且在接收端采用 最大似然譯碼算法時，才能使誤碼率接近為零。但是最大似然譯碼的復雜性隨編 碼長度的增加而加大，當編碼長度趨于無窮大時，最大似然譯碼是不可能實現(xiàn)的。 所以人們認為隨機性編譯碼僅僅是為證明定理存在性而引入的一種數(shù)學方法和 手段，在實際的編碼構造中是不可能實現(xiàn)的。， 在t u r b o 碼問世以前，前向差錯控制碼主要包括分組碼、卷積碼以及級聯(lián) 碼等結構形式。雖然軟判決譯碼、級聯(lián)碼和編碼調制技術都對信道碼的設計和發(fā) 展產生了重大影響，但是其增益與s h a n n o n 理論極限始終都存在2 3 d b 的誤差。 因此在t u r b o 碼提出以前，信道截止速率硒一直被認為是差錯控制碼性能的實 際極限，s h a n n o n 極限僅僅是理論上的極限，是不可能達到的。 在1 9 9 3 年于瑞士日內瓦召開的國際通信會議( i c c 9 3 ) 上，兩位任教于法國 不列顛通信大學的教授c b c r r o u 、ag l a v i c u x 和他們的緬甸藉博士生首次提出 了一種新型信道編碼方案_ t 1 l r b o 碼【3 】【4 】，由于很好的應用了s h a n n o n 信道編 碼定理中的隨機性編譯碼條件，從而獲得了幾乎接近s h a n n o n 理論極限的譯碼性 能，巧妙地將卷積碼和隨機交織器結合在一起，實現(xiàn)了隨機編碼的思想：同時， 采用軟輸出迭代譯碼來逼近最大似然譯碼。計算機仿真結果表明：若采用大小為 6 5 5 3 6 的隨機交織器，并進行了1 8 次迭代，則在e b n o o 7 d b 時，碼率r 為 1 2 的t u r b o 碼在a w g n 信道上的誤比特率( b e r ) 1 0 4 ，達到了接近s h a n n o n 界的性能( 碼率r 為1 2 的s h a n n o n 界是0 d b ) 。 到目前為止，t u r b o 碼在現(xiàn)有信道編碼方案中是很好的。t u r b o 碼一出現(xiàn)， 就在編碼理論界引起了轟動，成為自信息論提出一來最重大的研究進展。但由于 凡位發(fā)明者僅給出了一定參數(shù)下的計算機仿真結果，而沒有嚴格的理論分析和解 釋，所以近些年在編碼界掀起了t u r b o 碼的研究熱潮。t u r b o 碼論壇的成立以及 于1 9 9 7 年9 月和2 0 0 0 年9 月在法國布萊斯特召開的兩次t u r b o 碼及相關主題國 際會議都吸引了更多的編碼界人士投身到t u r b o 碼的研究中來，第三屆t u r b o 碼 及相關主題國際會議也已經于2 0 0 3 年9 月在法國布萊斯特召開。t u r b o 的出現(xiàn) 為編碼理論和實踐帶來了一場革命，標志著長期將信道截止速率島作為實際容 量限的歷史結束，同時t u r b o 碼還改變了人們設計信道碼的傳統(tǒng)觀點，使信道編 3 第1 章緒論 碼理論與技術的研究進入了一個嶄新的階段。 盡管目前對t u r b o 碼的作用機制尚不十分清楚，對迭代譯碼算法的性能也 還缺乏有效的理論解釋，但它無疑為最終達到s h a n n o n 信道容量開辟了一條新的 途徑，其原理思想在相關研究領域中具有廣闊的應用前景。目前，t u r b o 碼被看 作1 9 8 2 年t c m 技術問世以來，信道編碼理論與技術研究上所取得的最偉大的 技術成就，具有里程碑的意義。 1 2 2t u r b o 碼的研究狀況 在t u r b o 碼的設計和理論研究方面，首先進行了t u r b o 碼的結構研究。組 成t u r b o 碼的子碼的選擇，可以是典型的卷積碼，也可以是分組碼【5 】【6 】。t u r b o 碼的結構可以是并行級聯(lián)，也可以是串行級聯(lián)，還可以是混合結構。交織器的設 計對t u r b o 碼至關重要，開始的研究主要注意的是交織器對t u r b o 碼的b e r 性 能和時延的影響。隨著t u r b o 碼逐步走向應用，人們注意到改進交織器的結構可 以使t u r b o 碼譯碼并行進行【7 】，即使應用雙精度的s o v a 譯碼算法性能也不會降 低很多非常接近l o g - m a p 譯碼的性能。國內在交織器設計方面也有較多的 研究，如王育民等研究組設計的復合型交織器【8 】。在t u r b o 碼距離譜的研究方面， p o d e m s k i 和d a n e s h g a r a n 等人提出了計算漢明距離譜的算法，p e m z 則通過距離 譜解釋了t u r b o 碼性能曲線在大信噪比時變平坦差錯平底的現(xiàn)象。i s a s o n 和t - m d u m a l l 等人分別對交織衰落信道和高速t u r b o 碼的性能限作了研究【9 】。 在譯碼算法研究方面，主要時在最大后驗概率( m a p ) 算法【1 0 和軟輸出 v i t e r b i 算法( s o v a ) 的基礎上尋求新的算法和對原有的算法進行改進，降低譯碼 復雜度。t u r b o 碼的譯碼算法主要有上述兩種迭代算法( m a p 和s 0 、0 d 。這方面 的研究特別活躍，國內外有大量的研究論文涌現(xiàn)。例如：王新梅等對級聯(lián)系統(tǒng)的 軟輸出譯碼算法作了研究【1 1 】。吳偉陵等對r a l y e i g h 衰落信道進行了分析【1 2 】， 提出了r a k e 接收，最大比合并、除以信道幅度參數(shù)的平方之和，以此為基礎對 以t u r b o 譯碼的算法進行改進，結果表明糾錯性能得到很大提高。李建東等針對 無線o f d m 系統(tǒng)中的頻率選擇性衰落信道進行了s o v a 譯碼算法研究【1 3 】，提 出了盲信道估計的s o v a 和差分s o v a 兩種譯碼算法。王東明等人( 1 4 】將基于 4 第1 章緒論 m m s e 的t u r b o 檢測譯碼方案應用于空時分組碼分塊傳輸系統(tǒng)，利用信道矩陣的 循環(huán)特性，t u r b o 信道檢測算法可以用劂f f t 快速實現(xiàn)，并且矩陣求逆運算 量非常低。采用t u r b o 碼的s t b c c p s c b t ( 空時分組編碼力循環(huán)前綴的單載波 分塊傳輸) 系統(tǒng)經過6 次迭代檢測后可以得到2 d b 的增益 1 4 1 。研究譯碼算法的 同時，研究人員對譯碼的收斂性也沒有忽視。m i h a l j e v i c 和g o l i c 對概率譯碼的 收斂性進行了分析，這種分析對減少譯碼日出延起了積極作用。m i c h a e l t u c h l e r 1 5 1 的研究則表明，根據(jù)簡化的外部信息轉換圖，可以優(yōu)化級聯(lián)系統(tǒng)譯碼的收斂性， 且在有限次迭代后的性能非常好。 t u r b o 碼的應用研究主要集中在如下一些方面：t u r b o 編碼調制、t u r b o 信 道檢測和均衡、t u r b o 碼與o l d m 、t u r b o 碼與m d 涯o 系統(tǒng)的結合改善系統(tǒng)糾錯 性能和提高系統(tǒng)容量，抵抗符號間干擾等等。例如，以r o b e r t s o n 、d i v s a l a r 等人 為代表進行的網格編碼調制( t c m ) 和t u r b o 編碼相結合的所謂t - t c m 聯(lián)合編碼 調制研究；以h a n z o 等人為代表的基于t u r b o 碼的多用戶檢測、t u r b o 均衡和干 擾對消等方面的研究；以及民m o h a m e d - p o u r 等人提出的在t u r b o 碼迭代譯碼系 統(tǒng)中使用判決反饋均衡等等，這些都屬于應用基礎研究【1 6 】【1 7 】【1 8 】【1 9 】【2 0 】【2 1 】 【2 2 。國內在這方面的研究也非?；钴S。姚彥等人的自適應編碼調制方案可以獲 得較大的s n r 增益，利用t u r b o 編碼調制在o f d m 子載波上的分機能力有效對 抗信道時變帶來的吞吐性能惡化【2 3 】。宋文濤等人提出的t u r b o 編碼多元調制方 案是一種功率和頻譜高效的編碼調制方式，它比傳統(tǒng)的網格編碼調制( t c m ) 方 式有更好的性能【2 4 】。對于低復雜性的t u r b o 編碼調制技術，劉增基等人也證實 了它具有高頻帶利用率的特征，而且譯碼無需先驗信道狀態(tài)信息，在衰落因子 ，b 瓦不大的平坦衰落信道中，基于q p s k 等調制的d d t p c m 系統(tǒng)在1 0 - 5 誤比特 率時都沒有差錯平底，這是迄今為止所取得的相當好的結果【2 5 】。在t u r b o 碼與 空時碼、o f d m 系統(tǒng)、m i m o 系統(tǒng)以及分集接收技術中的應用，也有大量的研 究成果報道1 2 2 2 3 1 2 6 。在t u r b o 碼的混合糾錯方面，利用t u r b o 碼的編碼和譯 碼特點進行混合a r q 設計，可以提高系統(tǒng)的整體性能【2 7 】。 1 3 人工神經網絡的特性 5 第l 章緒論 i 3 1 人工神經網絡簡介 人工神經網絡( a n n ) ，亦稱為神經網絡( n n ) ，是由大量處理單元( 神經元 n c u m n s ) 廣泛互連而成的網絡，是對人腦的抽象、簡化和模擬，反映人腦的基本 特征。人工神經網絡的研究是從人腦的生理結構出發(fā)來研究人的智能行為，模擬 人腦信息處理的功能。 神經網絡也經常被稱為神經計算機，但它與現(xiàn)代數(shù)字計算機的不同之處主 要表現(xiàn)在以下方面： ( 1 ) 神經網絡的信息存儲與處理( 計算) 是合二為一的，即信息的存儲體現(xiàn) 在神經元互連的分布上；傳統(tǒng)計算機的存儲與計算機是獨立的，因而在存儲與計 算之間存在著瓶頸。 ( 2 ) 神經網絡具有很強的魯棒性和容錯性，善于聯(lián)想、概括、類比和推廣， 任何局部的損傷不會影響整體結果。 ( 3 ) 神經網絡具有很強的自學習能力，能為新的輸入產生合理的輸出，可在 學習過程中不斷完善自己，具有創(chuàng)新特點。 ( 4 ) 神經網絡是一大規(guī)模自適應非線性動力系統(tǒng)，具有集體運算的能力。這 與本質上是線性系統(tǒng)的現(xiàn)代數(shù)字計算機迥然不同。 人工神經網絡是近年來的熱點研究領域，涉及到電子科學與技術、信息與 通信工程、計算機科學與技術、電氣工程、控制科學與技術等諸多學科，其應用 領域包括：建模、時間序列分析、模式識別和控制等，并在不斷的拓展。 1 。3 2 人工神經網絡的信息處理能力 人工神經網絡的計算機能力有三個顯著的特點：一是它的非線性特性；二 是大量的并行分布結構；三是它的學習和歸納能力。歸納指神經網絡在學習( 訓 練) 過程中能為新的輸入產生合理的輸出。具有了這些特性的人工神經網絡能夠 解決許多復雜的問題。 按照s h n o nh a y k m 的觀點，人工神經網絡具有如下的信息處理能力： ( 1 ) 非線性。一個人工神經元可以是線性或非線性的。 ( 2 ) 輸入一輸出映射。人工神經網絡具有學習能力，通過學習，人工神經網 6 第1 章緒論 絡具有很好的輸入一輸出映射能力。一個流行的學習范例稱為有導師學習或監(jiān)督 學習，它利用一組被標記的訓練樣本或任務實例對神經網絡的突觸權值進行調 整。每一組訓練樣本包含一個給定的輸入信號和對應的期望輸出。對應給定的輸 入信號，網絡產生實際的輸出，實際輸出與期望輸出之間存在誤差，通過某些規(guī) 則反復修正網絡的突觸權值，可使實際輸出與期望輸出之間的誤差減小到滿意的 程度，這樣就完成了輸入到輸出的映射。 ( 適應性。神經網絡具有調整突觸權值以適應周圍環(huán)境的變化能力，尤 其在特定環(huán)境中訓練過的神經網絡能很容易地被再次訓練以處理環(huán)境條件微小 的變化，這反映了神經網絡的適應性。 ( 4 ) 容錯性。容錯包括空間上的容錯、時間上的容錯和故障檢測。 ( 5 ) 超大規(guī)模集成的可執(zhí)行能力。神經網絡所具有的大量并行特性使其對特 定任務的計算變得很快，這種特性也使神經網絡非常適合超大規(guī)模集成技術的執(zhí) 行。 1 3 3 神經網絡譯碼的研究現(xiàn)狀 在利用神經網絡對糾錯碼譯碼的研究方面【2 8 】【2 9 】【3 0 】 3 1 】，在1 9 9 0 年，c a i d w 蛐如r 和m e a n sr o b e r tw 利用b p ( 誤差反向傳播算法) 神經網絡對h a m m i n g ( 7 ，4 ) 分組碼和( 2 ，1 ，2 ) 系統(tǒng)和非系統(tǒng)卷積碼進行譯碼【2 8 】；1 9 9 4 年，e e 1 k h a m y s a i de ，y o u s s e fe l s a y e d 八和a b d o uh o s s a m e l - d i nm 利用b p 神經網絡對分組 碼進行軟判決譯碼【2 9 】；1 9 9 9 年，a n n a n t hr 和r u g h o o p u t hh a r r yc s 利用b p 神經網絡對卷積t u r b o 碼進行譯碼【3 1 】。雖然已經將神經網絡應用到糾錯碼譯碼 方面，但是譯碼性能相比較一些傳統(tǒng)的算法差，在降低誤碼率時不夠理想。 1 4 本文研究意義和創(chuàng)新點 1 4 1 研究意義 由于t u r b o 碼具有接近s h a n n o n 理論的性能，尤其是低信噪比下的優(yōu)異性 能使t u r b o 碼在許多通訊系統(tǒng)都有非常大的應用潛力。除了在深空通信、衛(wèi)星通 7 第l 章緒論 信以及多媒體通信等領域應用外，t u r b o 碼在無線移動通信系統(tǒng)中的應用是目前 研究的熱點 3 2 1 1 3 3 3 4 。cs c h u r g e r s 研究了通過自適應調整迭代次數(shù)實現(xiàn)室內 無線環(huán)境下t u r b o 碼迭代譯碼的方案。t k e l l e r 和j p w o o d a r d 等人考察了基于 t u r b o 碼的并行m o d e m 在個人通信中的應用問題。目前，t u r b o 碼已經成為第3 代通信系統(tǒng)的標準之一，有關其關鍵技術的標準化也已經出現(xiàn)。在第3 代移動通 信系統(tǒng)i m t 2 0 0 0 中，由于移動信道傳輸媒質的不穩(wěn)定性和噪聲的不確定性， 一般的糾錯碼很難達到較高要求的業(yè)務質量，而t u r b o 碼因其具有獨特的優(yōu)勢， 已經被確定為c d m a 2 0 0 0 輔助業(yè)務信道中高質量、高速率傳輸業(yè)務的可選編碼 方案。c d m a 2 0 0 0 前向和反向業(yè)務信道編碼中，采用了碼率為1 2 、1 3 、1 4 的 t u r b o 碼。在c d m a 移動通信系統(tǒng)中，由于系統(tǒng)容量( 每個小區(qū)的最大用戶數(shù)) 與信噪比( s t c g ) 近似成反比，則對于給定的誤比特率( b l ；對，若降低s n r ，則系 統(tǒng)容量增大。所用卷積碼的約束長度一般都比較大僅= 9 ) ，這樣使設備復雜度和 成本都上升。而t u r b o 碼能提供比一般的糾錯碼多幾d b 的編碼增益。使用t u r b o 碼在達到同樣效果時，可降低設備復雜度和成本。故在c d m a 系統(tǒng)中采用t u r b o 碼技術可進一步提高容量。 t u r b o 碼還可以推廣到c d m a 多用戶檢測中，實現(xiàn)基于t u r b o 碼譯碼原 理的c d m a 多用戶檢測接收機。在c d m a 系統(tǒng)中，大量用戶在同一傳輸媒質 的同一頻段、同一時間傳輸，而且各用戶分配的編碼波形不是正交的，另外由于 實際條件的限制( 如有限傳輸帶寬、用戶數(shù)、功率、信道、同步等) ，使得在接收 機中存在嚴重的多址干擾。多址干擾主要是由用戶問擴頻序列的相關性造成，而 t u r b o 碼在其編碼系統(tǒng)中采用交織器，從而可以通過分散信息碼元的位置來降低 擴頻碼問的相關性，最終達到提高系統(tǒng)性能的目的。在實際的應用中，把t u r b o 碼與d s c d m a 系統(tǒng)的擴頻編碼結合起來，t u r b o 碼編碼作為外碼，擴頻編碼 作為內碼，其間用交織器級聯(lián)起來，類似于級聯(lián)碼的形式。在接收端，先通過匹 配濾波器分離出各個用戶的接收信息，然后根據(jù)信道模型計算傳遞條件概率并進 行解擴，經過分支概率產生器后得到各個用戶接收信息的后驗概率，分別送入相 應的t u r b o 碼譯碼器。每個t u r b o 碼譯碼器得到一個軟判決輸出和一個外部信 息。其中外部信息送回到分支概率產生器，作為下一次迭代譯碼的先驗信息，從 而實現(xiàn)t u r b o 碼的迭代譯碼。此外，t u r b o 碼在文本傳輸和數(shù)據(jù)存儲等方面也有 8 第1 章緒論 應用。 由于t u r b o 碼以前的各種譯碼算法都存在算法復雜度與它們可獲得的性能 及可實現(xiàn)性之間的矛盾，因此，目前國內外在t u r b o 碼的譯碼算法實現(xiàn)上沒有 形成定論。 選擇譯碼用神經網絡算法來代替以前的各種譯碼算法，也正是基于上述原 因的考慮。神經網絡算法的主要問題是訓練網絡的權值，在訓練網絡權值方面所 需要的計算量和時間相對較多，一旦網絡的權值能夠確定，在譯碼的時候只是將 所接收到的碼字和權值進行加減運算就可以得到輸出。通過對r b f 神經網絡譯 碼算法的仿真實驗，相比較以前的譯碼算法而言，在利用r b f 神經網絡算法譯 碼時所用到的計算量會減少許多，運算復雜度降低很多。在硬件實現(xiàn)方面，由于 輸出的計算方法會比較簡單，這樣比較易于硬件電路的設計和實現(xiàn)，使t u r b o 碼 在現(xiàn)實中較為方便的應用。 1 4 2 本文創(chuàng)新點 在目前所掌握的文獻中，還沒有關于利用r b f 神經網絡對卷積t u r b o 碼進 行譯碼的文章?？梢哉f，在這個領域，還沒有學者進行研究。r b f 神經網絡結 構簡單、訓練簡潔而且學習收斂速度快，能夠逼近任意非線性函數(shù)。同時，r b f 神經網絡使用局部指數(shù)衰減的非線性函數(shù)( 如高斯函數(shù)) 對非線性輸入輸出映射 進行局部逼近。這就意味著，逼近非線性輸入輸出映射，要達到相同的精度， r b f 神經網絡所需要的參數(shù)要更少。通過對r b f 神經網絡特點的研究，提出卷 積t u r b o 碼的r b f 神經網絡譯碼算法，提出兩種算法一無外信息和有外信息， 并用m a t l a b 編程對譯碼性能進行了仿真，取得了比較好的效果。具體算法及性 能仿真詳見第3 章。 1 4 3 文章內容安排 第1 章即本章，介紹移動通信的發(fā)展簡史，簡述目前3 g 通信的關鍵技術之一 m l r b o 碼，介紹國內外一些卷積t u r b o 碼譯碼的研究成果。同時，闡 述論文選題意義，簡要介紹文章的內容安排。 9 第1 章緒論 第2 章介紹本文涉及的信道編碼基礎知識和t u r b o 碼的編譯碼原理。 第3 章介紹r b f 神經網絡譯碼算法，并對提出的卷積碼的r b f 神經網絡算法、 卷積t u r b o 碼的r b f 神經網絡譯碼算法，利用m a t l a b 編程進行性能仿 真，并對不同算法進行比較和分析。 第4 章對研究結果進行分析和總結，提出了有待進一步研究的問題。 1 0 第2 章t u r b o 碼編譯碼原理 第2 章t u r b o 碼編譯碼原理 2 1 基礎知識介紹 ( 1 ) 隨機錯誤：由隨機噪聲引起的錯誤，由于隨機噪聲的特性，該錯誤的特 點是各碼元是否發(fā)生錯誤是互相獨立的，通常不會成片地出現(xiàn)錯誤。 ( 2 ) 突發(fā)錯誤：由突發(fā)噪聲引起的錯誤。由于突發(fā)噪聲的特性，使“各個碼 元是否錯誤”存在相關性。因此，該錯誤是成片出現(xiàn)的。在一個突發(fā)錯誤持續(xù)長 度內，開頭和最末的碼元總是錯的，中間的一些碼元則可以出錯也可以不出錯， 單從統(tǒng)計角度看，中間的碼元出錯的幾率較高。 - ( 3 ) 高斯正態(tài)分布： 高斯正態(tài)分布的表達式和高斯概率密度函數(shù)曲線如圖2 - 1 所示。其中：o r 表 示標準差，z 為均值。高斯分布以均值對稱，峰值處于均值處，最小值在* 處， 形狀如同“鐘形”。 了1 ， ； ，：云 。 p x 圖2 - 1 高斯正態(tài)分布 唧爿) 第2 章t u r b o 碼編譯碼原理 2 2 最大似然譯碼 譯碼器的基本任務就是根據(jù)一套譯碼規(guī)則，由接收序列r ( 經過噪聲信道) 給出與發(fā)送的信息序列m 最接近( 最好是相同) 的估值序列m 。由于m 與碼字c 之間存在一一對應關系，所以這等價于譯碼器根據(jù)r 產生一個c 的估值序列c 。 顯然，當且僅當c = c 時，m ；m ，這時譯碼器正確譯碼。 如果譯碼器輸出的c ，c ，則譯碼器產生了錯誤譯碼。之所以產生錯誤譯 碼是由于：信道干擾很嚴重，超過了碼本身的糾錯能力；其次，由于譯碼設備的 故障。當給定接收序列r 時，譯碼器的條件譯碼錯誤概率定義為 p 但l r ) i p ( c c i r ) 。 ( 2 1 ) 所以譯碼器的錯誤譯碼概率 最4 善聊i r)p(r)，(2-2) p 僳) 是接收r 的概率，與譯碼方法無關，所以譯碼錯誤概率最小的最佳譯碼規(guī)則 是使 m i l l p ( c c i r ) m a x p ( c = c i r ) ，( 2 3 ) 因此，如果譯碼器對輸入的r ，能在磐個碼字中選擇一個使 e ( c = c i r ) ( f 一1 ，2 ，) 最大的碼字g 作為c 的估計序列c ，則這種譯碼規(guī) 則一定使譯碼器輸出錯誤概率最小，稱這種譯碼規(guī)則為最大后驗概率譯碼。 由貝葉斯公式 p ( c , i r ) 一警，( 2 - 4 ) 可知，若發(fā)送端發(fā)送每個碼字的概率e ( c i ) 均相同，且由于p 彤與譯碼方法無關， 所以 m a x p ( gi r ) 一m a x p ( rlcj)。(2-5) i - l , 7 , ，2 ki - 1 , 2 , - 一 對于d m c 而言 p ( r i c , ) 2n 盹i t , j ) ，( 2 - 6 ) 這里碼字c = 。，q ：，) ，i = 1 ，2 ，2 t 。 一個譯碼器的譯碼規(guī)則若能在2 個碼字c 中選擇某一個c f 使式( 2 5 ) 成為最 1 2 第2 章t u r b o 碼編譯碼原理 大，則這種譯碼規(guī)則稱為最大似然譯碼( m l d ) ，p ( n i c ) 稱為似然函數(shù)，相應的 譯碼器稱為最大似然譯碼器。由于1 0 x 與工是單調關系，因此式( 2 5 ) 與( 2 - 6 ) 可 寫成 。器1 0 即l c ) f f i m m a ，x ，筒了l o g b p ( i q j ) ，( 2 - 7 ) 稱1 0 p 僻i c ) 為對數(shù)似然函數(shù)或似然函數(shù)。對于d m c 信道，m l d 是使譯碼器 錯誤概率最小的一種最佳譯碼準則或方法，但此時要求發(fā)端發(fā)送每一碼字的概率 p ( r i c , ) o - 1 , 2 , ，) 均相等，否則m i d 不是最佳的。 2 3 卷積碼 卷積碼是1 9 5 5 年由e l i a s 提出的，它與分組碼不同。分組碼編碼時，本組 中的萬一七個校驗元與本組的k 個信息元有關，而與其它各組碼元無關。分組碼 譯碼時，也僅從本碼組中的碼元內提取有關譯碼信息，而與其它各組無關。卷積 碼( ，l d ，m ) ，其中n d 為碼長，七d 為信息位，m 為編碼存貯。在其編碼時，本 組的1 1 0 一島個校驗元不僅與本組的如個信息元有關，而且還與以前各時刻輸入 至編碼器的信息組有關。同樣在卷積碼譯碼過程中，不僅從此時刻收到的碼組中 提取譯碼信息，而且還要利用以前或以后各時刻收到的碼組中提取有關信息。此 外，卷積碼中每組的信息位島和碼長1 , l 口，通常也比分組碼的k 和n 要小。 正由于在卷積碼的編碼過程中，充分利用了各組之間的相關性，且島和i l t 。 也較小，因此，在與分組碼同樣的碼率尺和設備復雜的條件下，無論從理論上 還是從實際上均已證明卷積碼的性能至少不比分組碼差，且實現(xiàn)最佳和準最佳譯 碼也較分組碼容易。所以，從信道編碼定理看，卷積碼是一種非常有前途的，能 達到信道編碼定理所提出的碼類。但由于卷積碼各組之間相互有關，因此在卷積 碼分析過程中，至今仍未找到像分組碼那樣有效的數(shù)據(jù)工具，以致性能分析比較 困難，從分析上得到的成果也不像分組碼那樣多，而往往還要借助計算機的搜尋 來找尋好碼。 但由于卷積碼各組的n o 、k o 均比分組碼小，譯碼似乎比分組碼要容易，并 且卷積碼有三種比較好的譯碼方法：( 1 ) 1 9 6 3 年由m a s s e y 提出的門限譯碼，這是 第2 章t u r b o 碼編譯碼原理 一種利用碼代數(shù)結構的代數(shù)譯碼，類似與分組碼中的大數(shù)邏輯譯碼：( 2 ) 1 9 6 1 年 由w o z c n c r a f l 提出，1 9 6 3 年由f a n o 改進的序列譯碼，這是基于碼樹圖結構上的 一種準最佳概率譯碼；( 3 ) 1 9 6 7 年由v i t e r b i 算法，這是基于碼的網( t r e l l i s ) 圖基礎 上的一種最大似然譯碼算法，是一種最佳的概率譯碼方法。 2 4t u r b o 碼編譯碼原理 c e s h a n n o n 在其“通信的數(shù)學理論”一文中提出并證明了著名的有噪信 道編碼定理，他在證明信息速率達到信道容量可實現(xiàn)無差錯傳輸時引用了3 個基 本條件： ( 1 ) 采用隨機性編碼。 ( 2 ) 編碼長度工一m ，即分組的碼組長度無限。 ( 3 ) 譯碼過程采用最佳的最大似然譯碼( m l d ) 方案。 在信道編碼的研究與發(fā)展過程中，基本上是以后兩個條件為主要方向的。 而對于條件( 1 ) ，雖然在碼集合中隨機選擇編碼碼字可以使獲得好碼的概率增大， 但是最大似然譯碼器的復雜性隨碼字數(shù)目的增加而加大，當編碼長度很大時，譯 碼幾乎不可能實現(xiàn)。所以人們認為條件( 1 ) 僅僅是為證明定理存在性而引入的一 種數(shù)學方法，在實際的編碼構造中是不能實現(xiàn)的。事實上，分組碼和卷積碼都具 有非常規(guī)則的結構，因此它們的編碼器和譯碼器在一定的復雜性條件下是可實現(xiàn) 的。但同時這種規(guī)則的編譯碼結構也使這些編碼方法的性能與s h a n n o n 理論極限 存在一定的差距。 t u r b o 碼通過在編碼器中引入隨機交織器，使碼字具有近似隨機的特性；通 過分量碼的并行級聯(lián)實現(xiàn)了通過短碼( 分量碼) 構造長碼( t u r b o 碼) 的方法；在接 收端雖然采用了次最優(yōu)的迭代算法，但分量碼采用的最優(yōu)的最大后驗概率譯碼算 法，同時通過迭代過程可使譯碼接近最大似然譯碼。綜合上述分析可見，t u r b o 碼充分考慮了s h a n n o n 信道編碼定理證明時所假設的條件，從而獲得了接近 s h a n n o n 理論極限的性能。t u r b o 碼同時也第一次從實踐中證明了信道編碼定理 的正確性。 1 4 第2 章t u r b o 碼編譯碼原理 2 4 1t u r b o 碼的編碼結構 t u r b o 碼的最大特點在于它通過在編譯碼器中交織器和解交織器的使用，有 效地實現(xiàn)了隨機性編譯碼的思想，通過短碼的有效結合實現(xiàn)長碼，達到了接近 s h a n n o n 理論極限的性能。 c b e r r o u 等人最初提出的t u r b o 碼采用的是并行級聯(lián)卷積碼的結構。圖2 - 2 給出了由兩個分量編碼器組成的t u r b o 碼的編碼框圖。 圖2 - 2t u r b o 碼的編碼結構 t u r b o 碼編碼器【3 5 】主要由分量編碼器、交織器以及刪余矩陣和復接器組成。 分量碼一般選擇為的遞歸系統(tǒng)卷積碼，當然也可以是分組碼、非遞歸卷積碼以及 非系統(tǒng)卷積碼。通常兩個分量碼采用相同的生成矩陣，當然，分量碼也可以是不 同的。 在t u r b o 編碼過程中，兩個分量碼的輸入信息序列是相同的，長度為的 信息序列恤。 在送入第一個分量編碼器進行編碼的同時作為系統(tǒng)輸出w ) 直接 送至復接器，同時“) 經過交織器，后的交織序列舡：) 送入第二個分量編碼器。 兩個分量編碼器輸入序列僅僅是碼元的輸入順序不同