第一章 緒論_純中文_20130926

1、主講人：束鋒 糾錯(cuò)編碼技術(shù) 主要內(nèi)容 緒論: 應(yīng)用，基本原理，發(fā)展簡(jiǎn)史，與信息論基礎(chǔ) 編碼的數(shù)學(xué)基礎(chǔ)：代數(shù)引論 線(xiàn)性分組碼 卷積碼 先進(jìn)的編碼技術(shù)簡(jiǎn)介： Turbo Code, LPDC, Polar code, Furtain code 參考書(shū) 差錯(cuò)控制編碼（英文名為：Error Control Coding），第2版，Shu Lin and D. J. Costello, 機(jī)械工業(yè)出版社， 2007.6； 如何在噪聲信道上實(shí)現(xiàn)可靠通信？ 為什么需要糾錯(cuò)編碼（信道編碼）？ 常見(jiàn)的噪聲信道1-模擬電話(huà)線(xiàn) （ADSL） 調(diào)制解調(diào)器電話(huà)線(xiàn)調(diào)制解調(diào)器 一根電話(huà)受到其他電話(huà)線(xiàn)干擾， 硬件電路導(dǎo)致信號(hào)失

2、真，線(xiàn)路會(huì) 產(chǎn)生加性熱噪聲 常見(jiàn)的噪聲信道2-深空通信 伽利略號(hào) 飛船 無(wú)線(xiàn)電波地球 伽利略號(hào) 飛船發(fā)射信號(hào)到達(dá)地球是非常微弱的信 號(hào)，受到地面和太空干擾源的背景輻射 常見(jiàn)的噪聲信道3-細(xì)胞復(fù)制 父/母細(xì)胞 子細(xì)胞 子細(xì)胞 DNA會(huì)產(chǎn)生突變， 變異（惡劣環(huán)境產(chǎn) 生的輻射，污染） 常見(jiàn)的噪聲信道4-計(jì)算機(jī)磁盤(pán)驅(qū) 動(dòng)器 內(nèi)存/硬盤(pán)/ 光盤(pán) 磁盤(pán)驅(qū)動(dòng)器 內(nèi)存/硬盤(pán)/ 光盤(pán) 磁盤(pán)驅(qū)動(dòng)器通過(guò)將一小塊磁介質(zhì)校準(zhǔn)到兩 個(gè)方向(1或0），磁介質(zhì)小材料可能改變 磁化方向，或者一個(gè)短時(shí)脈沖干擾會(huì)導(dǎo)致 數(shù)據(jù)讀取電路讀出錯(cuò)誤值，磁盤(pán)運(yùn)輸或保 存過(guò)程中會(huì)出現(xiàn)磨損、損壞或灰塵 信道非理想和噪聲會(huì)導(dǎo)致傳輸發(fā) 生過(guò)程錯(cuò)誤！

3、0 1 0 1 1-p 1-p p p BSC P(y=0/x=0)=1-f, P(y=1/x=1)=1-f, P(y=0/x=1)=f, P(y=1/x=0)=f, Solutions 第一章 緒論 1.1 引言 1.2 碼類(lèi)型 1.3 調(diào)制編碼 1.4 最大似然譯碼(MLD, Maximum likelihood decoding) 1.5 錯(cuò)誤類(lèi)型 1.6 差錯(cuò)控制策略 1.7 性能衡量 1.8 編碼調(diào)制 1.9 熵、互信息量、信道容量與編碼 引言 主要用于：信息傳輸和信息存儲(chǔ)，過(guò)程中信息出錯(cuò)， 檢測(cè)或糾正錯(cuò)誤。 信息傳輸： 無(wú)線(xiàn)通信-移動(dòng)通信，無(wú)線(xiàn)網(wǎng)絡(luò)（無(wú)線(xiàn)局域網(wǎng) （WLAN）,有線(xiàn)網(wǎng)

4、絡(luò)（有線(xiàn)電視，.） 信息存儲(chǔ)：光盤(pán)光驅(qū)，硬盤(pán)和硬盤(pán)驅(qū)動(dòng)系統(tǒng) 典型信息傳輸和數(shù)據(jù)存儲(chǔ)框圖 發(fā)射機(jī) 接收機(jī) 框圖功能模塊介紹（一） 發(fā)射機(jī)：發(fā)射機(jī)： 信源：是人或計(jì)算機(jī)，輸出是連續(xù)的聲音，視頻， 或離散的信息。 信源編碼器：將信源輸出轉(zhuǎn)化為二進(jìn)制01信息序列， 對(duì)應(yīng)連續(xù)波形，就是A/D轉(zhuǎn)換（模數(shù)轉(zhuǎn)換），采 樣量化。理想信源編碼兩個(gè)原則：編碼輸出比特?cái)?shù) 最小化（Huffman編碼）；可完全重構(gòu)連續(xù)波形。 屬于信息論范疇 框圖功能模塊介紹（二） 信道編碼：二進(jìn)制信息序列u變換成離散的編碼序列v， 稱(chēng)之為碼字。V可為二進(jìn)制或非二進(jìn)制，對(duì)抗信道噪聲 （Why？模擬信號(hào)無(wú)對(duì)抗噪聲能力？數(shù)字或幅度離散信 號(hào)可

5、以？）。 信道編碼和信源編碼區(qū)別：前者在信息中引入冗余性， 糾正錯(cuò)誤；后者壓縮信源輸出波形中冗余性。是否相同 冗余性？ 調(diào)制器：將信道編碼器每個(gè)輸出的符號(hào)轉(zhuǎn)變?yōu)檫m合信道 傳輸?shù)牟ㄐ?。舉例：廣播 信道：信道： 信道：波形進(jìn)入信道后會(huì)收到噪聲干擾，比如電話(huà)線(xiàn)， 干擾-開(kāi)關(guān)脈沖噪聲，熱噪聲和其他線(xiàn)串音， 框圖功能模塊介紹（三） 信道：光盤(pán)，灰塵，劃痕和表面缺陷。 接收機(jī)：接收機(jī)： 解調(diào)器(demodulator):處理收到T秒波形，產(chǎn)生離 散或連續(xù)的輸出r； 信道譯碼：將r轉(zhuǎn)化為二進(jìn)制輸出序列uhat, 此為 估計(jì)信息序列。尋找使譯碼的誤碼率最小的信道譯 碼器； 信源譯碼器：將估計(jì)的信息序列uhat

6、變換為信源 輸出估計(jì)，恢復(fù)發(fā)射機(jī)信源編碼輸出 第一章 緒論 1.1 引言 1.2 碼類(lèi)型 1.3 調(diào)制編碼 1.4 最大似然譯碼(MLD, Maximum likelihood decoding) 1.5 錯(cuò)誤類(lèi)型 1.6 差錯(cuò)控制策略 1.7 性能衡量 1.8 編碼調(diào)制 1.9 熵、互信息量、信道容量與編碼 兩種不同類(lèi)型信道編碼 分組碼（Block codes）：將信息流或序列分成多塊或組， 假定每組由k個(gè)比特（符號(hào)）組成?？捎?u u=u_0,u_1,u_(k-1), 稱(chēng)為一個(gè)消息（message）,總共 有2k不同信息，如果是M進(jìn)制呢？ 編碼器會(huì)將每個(gè)消息轉(zhuǎn) 化為n維離散符號(hào)向量，v v

7、=v_0,v_1,v_(n-1), 稱(chēng)之為 碼字(codeword), 一共多少碼字？此？個(gè)碼字集合稱(chēng)之為 （n,k) 分組碼，比值k/n=R為碼率（code rate） 0000100010010011 0000100010010011 000000011010000111001 0100011 信息流 分組后 信息 編碼后 碼字 R1， kn,每個(gè)消息附加n-k比特有規(guī)律的冗余信息，可對(duì)抗信道噪聲 (7,4)分組碼例子 MessageMessage Codeword CodewordMessage Message Codeword Codeword 00000000000000110100

8、01 1000110100010010111001 0100011010001011100101 1100101110011010001101 0010111001000110100011 1010001101010111001011 0110100011001110010111 1110010111011111111111 第二種類(lèi)型碼 卷積碼：同分組碼一樣，同樣分組，不像分組碼， 每個(gè)編碼分組不僅取決于當(dāng)前時(shí)刻對(duì)應(yīng)的k比特消息， 而且與前m個(gè)信息組有關(guān)。此時(shí)編碼器有存儲(chǔ)級(jí)數(shù)為 m?？赏ㄟ^(guò)時(shí)序邏輯電路實(shí)現(xiàn)。 移位寄存器 異或門(mén) u v 第二種類(lèi)型碼：卷積碼： 移位寄存器 異或門(mén) u v 求輸

9、入比特流為：1101000時(shí)編碼輸出？請(qǐng)同學(xué)們0011001, 計(jì) 算卷積碼輸出？ 什么是 異或門(mén)？ 11,10,10,00,01,11,00,00,00， 第一章 緒論 1.1 引言 1.2 碼類(lèi)型 1.3 調(diào)制編碼 1.4 最大似然譯碼(MLD, Maximum likelihood decoding) 1.5 錯(cuò)誤類(lèi)型 1.6 差錯(cuò)控制策略 1.7 性能衡量 1.8 編碼調(diào)制 1.9 熵、互信息量、信道容量與編碼 調(diào)制與編碼 對(duì)于二進(jìn)制通信系統(tǒng)中信道編碼器每輸出一個(gè)符號(hào)， 調(diào)制器必須選中一個(gè)適合信道傳輸,持續(xù)時(shí)間為T(mén)秒 的波形， 比如“1”對(duì)應(yīng)于s1(t), “0”對(duì)應(yīng)于 s0(t),

10、00 100 2 ( )cos(20),0 22 ( )cos(2)cos(2),0 s ss E s tf ttT T EE s tf tf ttT TT Es為功率還是能量？為什么？ 二進(jìn)制相移健控調(diào)制（BPSK，Binary phase shift keying ）, 實(shí)際上存在成形濾波器？作用？頻譜線(xiàn)性搬移到射頻段！頻譜線(xiàn)性搬移到射頻段！ 系統(tǒng)模型 各種通信系統(tǒng)中噪聲一般近似為加性白高斯噪聲(白噪聲？)如果發(fā) 射的信號(hào)為s(t), 則接收信號(hào)為 r(t)=a(t) s(t)+n(t) 式中n(t)高斯隨機(jī)過(guò)程，單邊帶功率譜密度為N0. a(t)是信道衰落因子，對(duì)于加性白高斯信道（AWG

11、N： Additive white Gaussian noise），其是常數(shù)；對(duì)于市區(qū)信道，信號(hào)帶寬較窄時(shí)，多條路徑合成復(fù)高斯分布， 其包絡(luò)是瑞利分布或賴(lài)斯分布（慢變化隨機(jī)過(guò)程），相位是均勻分布。 解調(diào)器 在每T秒間隔上，解調(diào)的器產(chǎn)生一個(gè)相應(yīng)于接收 的輸出： 0 ( )cos2 T s c E yr tf t dt T 最優(yōu)檢測(cè)器，匹配濾波器，想干 檢測(cè)器，輸出實(shí)數(shù)，需要 什么是 匹配濾 波器？ 多進(jìn)制調(diào)制器 對(duì)于多(M)進(jìn)制通信系統(tǒng)，先將二進(jìn)制信 道編碼器輸出的輸出序列按l比特為組進(jìn)行 分段，M=2l, 存在M個(gè)波形, 例如MPSK： 0 2 ( )cos(2),0,1,2, s ii E

12、s tf ttT iM T s1 s2 s3 s4 s1s2 s1 s2 s3 s4 s5 s6 s7 s8 a) BPSK b) QPSK c) 8-PSK 45 BPSK、QPSK和8-PSK 的信號(hào)星座圖 適用于信道編碼的離散信道模型 給定當(dāng)前T秒內(nèi)檢測(cè)器只與該間隔內(nèi)傳輸?shù)男盘?hào)有 關(guān)，與以前傳輸符號(hào)無(wú)關(guān)，稱(chēng)該信道為無(wú)記憶信道 (memoryless). 前面AWGN信道屬于此信道，將M 進(jìn)制調(diào)制器，信道和Q進(jìn)制的解調(diào)器輸出合成一個(gè) 大的信道，可建模為離散的無(wú)記憶信道(DMC: Discrete memoryless channel) 適用于信道編碼的離散信道模型 uv r u ( )s

13、t ( )r t ( )n t 離散記憶信道 解調(diào)器 幾種典型的離散信道模型 1 - p 1 - p p p 00 11 (a) 0 0 1 1 Q - 1 P(0|0) P(1|0) P(1|1) P(Q 1|0) P(Q 1|1) (c) 11 0 0 1 p q 1 p q p p q q (b) 可擦除 傳輸概率示意圖:(a)二進(jìn)制對(duì)稱(chēng)信道（BSC）；（b）二進(jìn)制對(duì)稱(chēng)可 擦除信道；（c）二進(jìn)制輸入，Q進(jìn)制輸出離散無(wú)記憶信道 BSPK在AWGN等價(jià)于BSC 非編碼的二進(jìn)制的誤比特率為 2 2 0 /2 0 /2 ( 2/) 1 ( ),0 2 1 ( ),0 2 s x x pQEN Q

14、 xex Q xex 其中 當(dāng)采用二進(jìn)制編碼，調(diào)制器也是二進(jìn)制，如果解調(diào)器的輸出是二進(jìn)制量化Q=2， 此時(shí)譯碼器只有二進(jìn)制輸入，解調(diào)器采用硬判決(hard-decision),譯碼器為硬 判決譯碼(hard-decision decoding); 如果Q2, 軟判決(soft decision), 軟 判決譯碼(soft decision decoding) 離散信道模型和條件概率 如圖1-7所示，編碼器輸出（調(diào)制器輸入）為離散 的星座圖符號(hào)，解調(diào)器輸出是未經(jīng)量化的隨機(jī)向量 y屬于-到+，此處調(diào)制器，信道和解調(diào)器合成 了一個(gè)離散輸入連續(xù)輸出離散信道。如果信道噪聲 是AWGN，0均值和方差為No

15、/2, 該信道可用M個(gè)調(diào)件 概率密來(lái)刻畫(huà)。對(duì)于M=2， 2 0 0 () 1 (0/1)exp s yE p x x NN 符號(hào)傳輸速率和信息傳輸速率 如果每T秒傳輸一個(gè)符號(hào)，則符號(hào)傳輸速率為1/T符 號(hào)/秒(Symbol/s)，波特率; 對(duì)于于編碼系統(tǒng)，如 果信道編碼碼率為R，信息傳輸速率為log2MR/T, M=2, 為R/T；為了減少符號(hào)間干擾W至少為0.5/THz, 因此數(shù)據(jù)速率受帶寬限制2W，編碼系統(tǒng)信道速率 =2log2MRW，非編碼系統(tǒng)為 2log2MW，考慮到成形濾 波器，實(shí)際的信息速率為 2 2log ,0.2 1 RWM a a 頻譜效率？ Bandwidth effici

16、ency 第一章 緒論 1.1 引言 1.2 碼類(lèi)型 1.3 調(diào)制編碼 1.4 最大似然譯碼(MLD, Maximum likelihood decoding) 1.5 錯(cuò)誤類(lèi)型 1.6 差錯(cuò)控制策略 1.7 性能衡量 1.8 編碼調(diào)制 1.9 熵、互信息量、信道容量與編碼 MLD 上圖在AWGN信道中采用輸出有限量化的編碼系統(tǒng)，對(duì)于分組碼，u表示一個(gè)k比特 消息，編碼輸出代表v代表n個(gè)符號(hào)碼字，解調(diào)器輸出r代表Q進(jìn)制的n維向量，譯 碼器的輸出uhat代表k比特消息估值，u和v有一一對(duì)應(yīng)關(guān)系； 譯碼器主要任務(wù)：根據(jù)接收序列r估計(jì)發(fā)射信息序列u ! 數(shù)字信源信道編碼 離散信道 數(shù)字信宿信道譯碼

17、u v r uhat MLD 假定接收為r，則譯碼器條件錯(cuò)誤概率為： ( / )(/ )P E rP vv r 譯碼器錯(cuò)誤概率為： ( )(/ ) ( ) r P EP vv r P r P(r)為接收序列為r的條件概率，其獨(dú)立于譯碼規(guī)則。最優(yōu)的譯碼規(guī) 則應(yīng)該對(duì)于每個(gè)r使P(E/r)最小，也就是最大化P(v_hat=v/r), why? ( / ) ( ) ( / ) ( ) P r v P v P v r P r MLD P(v)=1/2k max ( / )max ( / ) vv P v rP r v 對(duì)于無(wú)記憶信道 ( / )( /) ii i P r vP r v 由于logx是？

18、log ( / )( /) ii i P r vP r v MLD=最小距離（BSC信道） 解調(diào)器輸出二進(jìn)制r，由于信道噪聲影響，發(fā)生的 碼字v可能不等于r，n位置某些位不同， ,(/); ,(/)(1) iiii iiii rvP rvp rvP rvp (,)d rv 兩者距離，等價(jià)于碼字發(fā)生錯(cuò) 誤個(gè)數(shù)，Why？ 碼字長(zhǎng)度為 n的分組碼 ( , )( , ) ( / )(1) d r vn d r v P r vpp MLD=最小距離（BSC信道） ( ( / )( , )log( , )log(1) ( , )log(/(1)log(1) log P r vd r vpnd r vp d

19、 r vppnp p0.5, MLD等價(jià)于最小化d(r,v), Why? 有噪聲信道編碼定理 C. E. Shannon 于1948年在他的著名論文“A mathematical theory of communication”給出AWGN信道的可靠的信息傳 輸能力，他證明： 每個(gè)信道都存在一個(gè)信道容量C（最大信息速率），只要需要傳輸 的信息速率R低于C，則存在速率為R的碼，用MLD可到任意小的錯(cuò) 誤概率P(E) 對(duì)于任意RC, 存在分組碼，存在分組長(zhǎng)度n足夠大的分組碼使 ( ) ( )2 b nER P E 同時(shí)存在存儲(chǔ)級(jí)數(shù)m足夠大的卷積碼(n,k保持不變) ( ) ( )2 c mnER

20、P E 第一章 緒論 1.1 引言 1.2 碼類(lèi)型 1.3 調(diào)制編碼 1.4 最大似然譯碼(MLD, Maximum likelihood decoding) 1.5 錯(cuò)誤類(lèi)型 1.6 差錯(cuò)控制策略 1.7 性能衡量 1.8 編碼調(diào)制 1.9 熵、互信息量、信道容量與編碼 錯(cuò)誤類(lèi)型一：隨機(jī)錯(cuò)誤 隨機(jī)錯(cuò)誤信道（random-error channels）: 在無(wú) 記憶信道上，例如AWGN， 噪聲對(duì)每個(gè)傳輸符號(hào)影 響是獨(dú)立的，以圖1-6a的BSC為例，每個(gè)傳輸比特 被錯(cuò)誤接收的概率為p，被正確接收概率？與其他 比特?zé)o關(guān)。 典型的隨機(jī)錯(cuò)誤信道:深空通信信道，衛(wèi)星通信信 道，一些視距傳輸信道。 糾隨機(jī)

21、錯(cuò)誤碼: 為糾正隨機(jī)錯(cuò)誤的而設(shè)計(jì)的碼。 錯(cuò)誤類(lèi)型二：突發(fā)錯(cuò)誤 突發(fā)錯(cuò)誤信道（random-error channels）: 在 有記憶信道，各次傳輸信道噪聲不是獨(dú)立，或信道 增益a(t)是慢變化的（比如步行到高大建筑物后面， 信道處于深度衰落） Rayleigh Fading (瑞利衰落) Deep fadin g 有記憶信道簡(jiǎn)化模型：兩個(gè)狀態(tài)：好狀態(tài)（傳輸錯(cuò) 誤概率大）和壞狀態(tài)（傳輸錯(cuò)誤概率大）。 第一章 緒論 1.1 引言 1.2 碼類(lèi)型 1.3 調(diào)制編碼 1.4 最大似然譯碼(MLD, Maximum likelihood decoding) 1.5 錯(cuò)誤類(lèi)型 1.6 差錯(cuò)控制策略 1.

22、7 性能衡量 1.8 編碼調(diào)制 1.9 熵、互信息量、信道容量與編碼 單向傳輸系統(tǒng)：前向糾錯(cuò)(FEC) 如第6頁(yè)的通信系統(tǒng)框圖是單向系統(tǒng)，信息傳輸方 向嚴(yán)格按照從發(fā)射機(jī)向接收機(jī)。該系統(tǒng)差錯(cuò)控制策 略必須采用前向糾錯(cuò)(Forward error correction, FEC), 接收機(jī)利用糾錯(cuò)碼糾錯(cuò)碼自動(dòng)糾正和檢測(cè)錯(cuò) 誤。典型例子如下：深空通信，數(shù)字存儲(chǔ)系統(tǒng)，數(shù) 字調(diào)幅廣播（DRM），數(shù)字陸地電視(DVB-T), 數(shù)字 有線(xiàn)電視(DVB-C), 2G,3G. 雙向傳輸系統(tǒng)：自動(dòng)請(qǐng)求重傳(ARQ) 有些情況下，系統(tǒng)是雙向，信息沿兩個(gè)方向傳輸， 發(fā)射機(jī)可作為接收機(jī)。 發(fā)送機(jī)接收機(jī) 信道 反 饋 雙

23、向系統(tǒng)的差錯(cuò)控制策略同時(shí)采用檢測(cè)錯(cuò)誤和重傳，稱(chēng)為自動(dòng)請(qǐng)求重傳(ARQ: Automatic repeat request)，ARQ系統(tǒng)中接收機(jī)檢測(cè)出錯(cuò)誤，就向發(fā)送端發(fā)出 要求重傳該消息的要求，直到消息被正確接收。ARQ有兩種：等待式和連續(xù)ARQs。 傳送 等待ARQ（Stop-and-wait） 碼字1碼字2 碼字1碼字1譯碼 失敗 NACK 碼字1碼字1譯碼 成功 ACK 碼字2碼字2譯碼 失敗 NACK 發(fā)送機(jī) 接收機(jī) 發(fā)送端發(fā)射一個(gè)碼字到接收端，同時(shí)等待接收接收端返回一個(gè)確認(rèn)信號(hào)(ACK)或否 定應(yīng)答(NACK, NAK),如果是ACK，表示成功，傳送下個(gè)碼字；如果Fail，重傳前碼 字

24、。 連續(xù)ARQ 兩種類(lèi)型：退N步ARQ、選擇重傳ARQ 發(fā)生端連續(xù)將碼字發(fā)生到接收端，同時(shí)通過(guò) Feedback信道接收應(yīng)答信號(hào)，當(dāng)接收到NAK時(shí)，發(fā) 送端重傳。有兩種選擇，第一，發(fā)送端回退到發(fā)生 錯(cuò)誤碼字，并重傳該碼字和其后的N-1個(gè)碼字，稱(chēng) 為退N步ARQ(Go-back-N); 另外一種可選方案，發(fā) 送端僅傳輸那些有否定應(yīng)答的碼字，稱(chēng)為選擇重傳 ARQ(Selective repeat ARQ). ARQ, FEC 連續(xù)ARQ比等待式效率高，比如衛(wèi)星通信，速率高 延時(shí)大，一般采用連續(xù)ARQ； 無(wú)線(xiàn)通信網(wǎng)絡(luò) Layers 應(yīng)用層 壓縮和錯(cuò)誤隱藏技術(shù) 傳輸層 端到端差錯(cuò)恢復(fù),，重傳， 流量控

25、制 網(wǎng)絡(luò)層 鄰居發(fā)現(xiàn)，路由， 資源配置 接入層 信道接入, 功率控制, 糾錯(cuò), 重傳 物理層 調(diào)制， 編碼， MIMO功率控制， 抗衰落, MIMO 第一章 緒論 1.1 引言 1.2 碼類(lèi)型 1.3 調(diào)制編碼 1.4 最大似然譯碼(MLD, Maximum likelihood decoding) 1.5 錯(cuò)誤類(lèi)型 1.6 差錯(cuò)控制策略 1.7 性能衡量 1.8 編碼調(diào)制 1.9 熵、互信息量、信道容量與編碼 譯碼錯(cuò)誤概率和編碼增益(coding gain) 碼字錯(cuò)誤概率(word erro rate, WER)或分組錯(cuò)誤 概率（Block error rate, BLER）和比特錯(cuò)誤概率

26、(bit error rate,BER); 比特信噪比=Eb/No=Es/RNo=PsTs/RNo=Ps/Pn/R =SNR/R 其中SNR=Ps/Pn 編碼閾值：Eb/No低于此值，編碼將毫無(wú)效果， 譯碼后效果更糟糕！ 左圖給出Golay碼 (23,12) 最大似然硬判決譯碼和 軟判決譯碼的誤碼率曲 線(xiàn)，圖中包括未編碼系 統(tǒng)BER作為參考。由圖 可知，當(dāng)Eb/No大于某 個(gè)閾值時(shí)，無(wú)論采用硬 判決還是軟判決，在相 同Eb/No, 編碼比不編 碼要好。 差錯(cuò)控制碼設(shè)計(jì)目標(biāo) 信道編碼和譯碼的最終目標(biāo) 是總是希望獲得特定BER， 所需Eb/No最小化； 根據(jù)香農(nóng)有噪聲編碼定理可 推導(dǎo)出一個(gè)碼率為R

27、的編碼 通信系統(tǒng)達(dá)到無(wú)誤碼傳輸時(shí) 所需最小Eb/No的理論極限， 下界，這個(gè)理論極限為香農(nóng) 限(Shannon limit). 上圖繪出碼率R=0.5,存儲(chǔ)級(jí)數(shù)為m=6的卷積碼在采用軟判決MLD時(shí) BER曲線(xiàn)， 當(dāng)BER=10-5, 該碼EbNo=4.15dB, 同未編碼的BER相 比有5.35dB編碼增益，同香農(nóng)限比還差3.962dB 上圖繪出LDPC（65520,61425）逼近MLD的譯碼算法BER性能，該碼碼 率為R=15/16=0.9375, 這個(gè)碼率下的香農(nóng)限為3.91dB，從上圖我們發(fā) 現(xiàn)，BER為10-5,我們發(fā)現(xiàn)該碼所需SNR與比香農(nóng)限高0.5dB 第一章 緒論 1.1 引言

28、 1.2 碼類(lèi)型 1.3 調(diào)制編碼 1.4 最大似然譯碼(MLD, Maximum likelihood decoding) 1.5 錯(cuò)誤類(lèi)型 1.6 差錯(cuò)控制策略 1.7 性能衡量 1.8 編碼調(diào)制 1.9 熵、互信息量、信道容量與編碼 參考書(shū) T. M. Cover and J. A . Thomas. 信息論基礎(chǔ) （Elements of Information Theory），清華大 學(xué)出版社 第一作者：Stanford University 59 熵(Entropy) SX ii i XPXPXH)(log)()( S xfxfXh)(log)()( xdxxfxf xxfxxfxx

29、f xxfxxfppXH iii iiii log)(log)( log)()(log)( )(log)(log)( 式中 h(X) 成為微分熵. 熵與微分熵之間區(qū)別： 對(duì)應(yīng)離散的隨機(jī)變量X 對(duì)于連續(xù)的隨機(jī)變量 60 熵計(jì)算的例子 1)1log()1 (log)(aaaaXH 2 2 2 2 2 2 2 2 2log 2 1 2 1 2log 2 1 )()( 2 1 2log)( )( 2 )( 2log)( )(log)()( e dxxfmxdxxf dxxf mx dxxf dxxfxfXh SS SS S 對(duì)于離散的隨機(jī)變量, P(X=0)=a,P(X=1)=1-a 對(duì)于連續(xù)的隨機(jī)變

30、量，N(m,2) 61 相對(duì)熵和Jensen不等式 Sx xq xp xpqpD )( )( log)()/( )(EXfXfE 0)(log )( )( )(log )( )( log)()/( xq xp xq xp xp xq xpqpD 請(qǐng)證明?，F(xiàn)在我們用它來(lái)推導(dǎo)相對(duì)熵的性質(zhì)： 相對(duì)熵, Jensen不等式, f(x) 是一個(gè)凸函數(shù)， X 是一個(gè)隨機(jī)變量 62 Jensen不等式的證明 )(EXfXfE 12 1212 0 1 11 , , , , ()()() () Forx xa b fxxf xf x 證明: 函數(shù)f(x)在區(qū)間（a，b） 上是一個(gè)凸函數(shù) Jensens 不等式:

31、 f(x)是一個(gè)凸函數(shù)，X是一個(gè)隨機(jī)變量 X1 x x2 63 高斯分布熵最大定理 )()( )log()( )log()( )log()log( )/log()|(0 ghfh dxggfh dxgffh dxgff dxgffgfD 2 2 2 222 2 )( exp 2 1 )( )()()()( mx xg dxxgmxdxxfmx g(x), f(x)有相同的協(xié)方差 定理的證明 64 互信息量與維恩圖 )/()()/()( )()(|),( )()( ),( log),(),( XYHYHYXHXH yfxfyxfD dxdy yfxf yxf yxfYXI I(X,Y) H(X)

32、 H(Y) 維恩圖 65 互信息量（Mutal Information） ),(max )( YXIC xp 信道容量=一個(gè)通信信道中能夠以任意小的錯(cuò)誤率傳遞信息時(shí)可達(dá)的速率上限 (數(shù)據(jù)壓縮與傳輸：冗余) 66 信道容量（Channel Capacity） ),(max )( YXIC xp 信道容量=一個(gè)通信信道中能夠以任意小的錯(cuò)誤率傳遞信息時(shí)可達(dá)的速率上限 (數(shù)據(jù)壓縮與傳輸：冗余) 67 白高斯噪聲信道容量 ntransmisioper P Ph PPYXI ENEXh ENEXhNhXNhXEYYE NHYH XNHYH XYHYH XYHYHYXI N X NY 2 222 222 1

33、log 2 1 2log 2 1 2log 2 1 ),( )()( )()( )/X()( )/()( )/()(),( XAWGNY Y=h*X+N N是加性高斯白噪聲， h是恒定的 通道增益 SNR=h2E(X2)/E(N2) 克勞德香農(nóng)(Claude Elwood Shannon， 1916-2001)1916年4月30日誕生于美國(guó)密西 根州的Petoskey。在Gaylord小鎮(zhèn)長(zhǎng)大，當(dāng) 時(shí)鎮(zhèn)里只有三千居民。父親是該鎮(zhèn)的法官， 他們父子的姓名完全相同，都是Claude Elwood Shannon。母親是鎮(zhèn)里的中學(xué)校長(zhǎng)， 姓名是Mabel Wolf Shannon。他生長(zhǎng)在一個(gè) 有良

34、好教育的環(huán)境，不過(guò)父母給他的科學(xué)影 響好像還不如祖父的影響大。香農(nóng)的祖父是 一位農(nóng)場(chǎng)主兼發(fā)明家，發(fā)明過(guò)洗衣機(jī)和許多 農(nóng)業(yè)機(jī)械，這對(duì)香農(nóng)的影響比較直接。此外， 香農(nóng)的家庭與大發(fā)明家愛(ài)迪生(Thomas Alva Edison，1847-1931)還有遠(yuǎn)親關(guān)系。 2001年2月24日，香農(nóng)在馬薩諸塞州Medfod辭世，享年85歲。貝爾實(shí) 驗(yàn)室和MIT發(fā)表的訃告都尊崇香農(nóng)為信息論及數(shù)字通信時(shí)代的奠基人 。 1948年香農(nóng)在Bell System Technical Journal（貝爾系統(tǒng)技術(shù)雜志） 上發(fā)表了A Mathematical Theory of Communication 。 克勞德香農(nóng)

35、在公眾中并不特別知名，但他是使我們的世界能進(jìn)行即 時(shí)通信的少數(shù)科學(xué)家和思想家之一。他是美國(guó)科學(xué)院院士、美國(guó)工程 院院士、英國(guó)皇家學(xué)會(huì)會(huì)員、美國(guó)哲學(xué)學(xué)會(huì)會(huì)員。他獲得過(guò)許多榮譽(yù) 和獎(jiǎng)勵(lì)。例如1949年Morris獎(jiǎng)、1955年Ballantine獎(jiǎng)、1962年Kelly獎(jiǎng)、 1966年的國(guó)家科學(xué)獎(jiǎng)?wù)?、IEEE的榮譽(yù)獎(jiǎng)?wù)隆?978年Jaquard獎(jiǎng)、1983年 Fritz獎(jiǎng)、1985年基礎(chǔ)科學(xué)京都獎(jiǎng)。他接受的榮譽(yù)學(xué)位不勝枚舉，不再 贅述。 今天，我們懷念香農(nóng)，要熟悉他的兩大貢獻(xiàn)：一是信息理論、信 息熵的概念；另一是符號(hào)邏輯和開(kāi)關(guān)理論。 70 香農(nóng)信道容量公式香農(nóng)信道容量公式 （1948） 兩部分:

36、當(dāng)傳輸速率RC, 任何方式的編碼都無(wú)法實(shí)現(xiàn)可靠的信息傳輸 )sec/)(1 (log2ondbit P P BC N S 71 頻譜效率頻譜效率 )M(bit/s/Hzlog n k 2 1a 2 b R (bit / s / Hz) B 傳輸速率 信道帶寬 72 最大頻譜效率最大頻譜效率 最大頻譜效率: BNP CEER T kE T E P N bbb bs S 0 )1 (log)1 (log 0 max2 0 2max N E N E B R bbb )1 (log2 max Hzsbits P P B C N S 73 香農(nóng)限香農(nóng)限 max0 12 max N Eb dB N Eb 59.1)2ln( 12 lim max0 max 0max 香農(nóng)界(為可靠的傳輸需要的最小能量): 香農(nóng)極限(帶寬無(wú)限的情況下) 74 香農(nóng)界與香農(nóng)限圖解 75 應(yīng)用 YearYearRate Rate Code CodeSNR Required for BER 10SNR Required for B