第四章：信道及其容量

1、2021-12-141第四章：第四章：信道及其容量4.1 信道分類信道分類4.2 離散無記憶信道離散無記憶信道4.5 信道的組合信道的組合4.6 時間離散的無記憶連續(xù)信道時間離散的無記憶連續(xù)信道4.7 波形信道波形信道2021-12-1424.1 信道分類信道分類信道是傳輸信息的媒質(zhì)或通道。（輸入信道輸出）說明說明（1）信道輸入是隨機過程。（2）信道響應特性是條件概率P(輸出值為y|輸入值為x)，又稱為轉移概率。（3）信道輸出是隨機過程，輸出的概率分布可以由輸入的概率分布和信道的響應特性得到。（全概率公式）（4）根據(jù)信道輸入、信道響應特性、信道輸出的情況，可將信道分類：離散信道（又稱為數(shù)字信道

2、）；連續(xù)信道（又稱為模擬信道）；特殊的連續(xù)信道波形信道；恒參信道和隨參信道；無記憶信道和有記憶信道；等等。2021-12-1434.2 離散無記憶信道離散無記憶信道定義定義4.2.1和定義和定義4.2.2(p81) 設（1）信道的輸入為隨機變量序列X1, X2, X3, ，其中每個隨機變量Xu的事件集合都是0, 1, , K-1。（2）信道的輸出為隨機變量序列Y1, Y2, Y3, ，其中每個隨機變量Yu的事件集合都是0, 1, , J-1。（3）P(Y1Y2YN)=(y1y2yN)|(X1X2XN)=(x1x2xN)=P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)P(YN=yN|X

3、N=xN)。則稱該信道為離散無記憶信道。（DMC）如果對任意x0, 1, , K-1，y0, 1, , J-1，任意兩個時刻u和v，還有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)，則稱該信道為離散無記憶平穩(wěn)信道。 2021-12-1444.2 離散無記憶信道離散無記憶信道關于關于定義定義4.2.1和定義和定義4.2.2的注解的注解n“離散”的含義是時間離散，事件離散。即：信道的輸入、輸出時刻是離散的，且輸入隨機變量和輸出隨機變量都是離散型的隨機變量。n“無記憶”的含義是信道響應沒有時間延遲，當時的輸出只依賴于當時的輸入。n“平穩(wěn)”的含義是信道在不同時刻的響應特性是相同的。n“離散無記憶

4、平穩(wěn)信道”是最簡單的信道，信道在某一時刻u的響應特性P(Yu=y|Xu=x)； x0, 1, , K-1，y0, 1, , J-1，就能很簡單地計算出信道在任意時間段的響應特性。2021-12-1454.2 離散無記憶信道離散無記憶信道一、有關一、有關DMC的容量定理的容量定理（所說的（所說的DMC都是離散無記憶平穩(wěn)信道）都是離散無記憶平穩(wěn)信道）設nDMC在某個時刻輸入隨機變量為X，輸出隨機變量為Y。n信道響應特性為轉移概率矩陣p(y|x)，x0, 1, , K-1，y0, 1, , J-1，它是一個KJ階矩陣（其中p(y|x)=P(Y=y|X=x)）。nX的概率分布為x, q(x), x0,

5、 1, , K-1。nY的概率分布為y, w(y), y0, 1, , J-1。以下的結論是我們已知的。2021-12-1464.2 離散無記憶信道離散無記憶信道（1）轉移概率矩陣的每一行都是一個概率向量。 ) 1| 1() 1| 0 () 1| 0 () 1 | 1() 1 | 1 () 1 | 0 () 0 | 1() 0 | 1 () 0 | 0 (JKpJpJpKpppKppp1)| 1, 1 , 0()|(10 xXJYPxypxJy，對任意2021-12-1474.2 離散無記憶信道離散無記憶信道（2）對任意y0, 1, , J-1，由全概率公式有10)|()()(Kxxypxqy

6、w) 1| 1() 1| 0() 1| 0() 1 | 1() 1 | 1 () 1 | 0() 0| 1() 0| 1 () 0| 0()1(,),1 (),0()1(,),1 (),0(JKpJpJpKpppKpppJqqqJwww2021-12-1484.2 離散無記憶信道離散無記憶信道（3）I(X; Y)是概率向量q(x), x0, 1, , K-1和轉移概率矩陣p(y|x)，x0, 1, , K-1，y0, 1, , J-1的函數(shù)。 1010101010)|()()|(log)|()()()|(log)()();(KzKxJyKxJyzypzqxypxypxqywxypxyXYPYX

7、I2021-12-1494.2 離散無記憶信道離散無記憶信道（4）設轉移概率矩陣p(y|x)，x0, 1, , K-1，y0, 1, , J-1確定，希望選擇概率向量q(x), x0, 1, , K-1使I(X; Y) 達到最大。則見定理2.6.2。定義定義4.2.3(p82) 離散無記憶信道的信道容量信道容量定義為如下的C。達到信道容量的輸入概率分布x, q(x), x0, 1, , K-1稱為最佳輸入分布最佳輸入分布。 其中);(max1, 1 , 0),(YXICKKxxqq維概率向量跑遍所有的2021-12-14104.2 離散無記憶信道離散無記憶信道定理定理4.2.2(p84) （1

8、）輸入概率分布x, q(x), x0, 1, , K-1是最佳輸入分布的充分必要條件為：對任何滿足q(k)0的k，都取一個相同的值；對任何滿足q(k)=0的k，I(X=k; Y)此相同的值。（2）此時此相同的值恰好就是信道容量C。 （定理4.2.2實際上敘述了定理2.6.2的含義。）1010)|()()|(log)|();(JyKzzypzqkypkypYkXI2021-12-14114.2 離散無記憶信道離散無記憶信道注解注解給定一個DMC信道的響應特性，也就是說給定一個信道的轉移概率矩陣p(y|x)，x0, 1, , K-1，y0, 1, , J-1，n達到信道容量時所對應的最佳輸入分布是

9、滿足定理4.2.2條件的概率向量q(x), x0, 1, , K-1 。n其信道容量是每個使得q(k)0的k所對應的半平均互信息量I(X=k; Y)。如果對DMC信道沒有任何簡化，要計算最佳輸入分布并不容易。但是，通常使用的DMC是很簡單的（比如，以下的準對稱信道和對稱信道），最佳輸入分布很容易求出。2021-12-14124.2 離散無記憶信道離散無記憶信道二、對稱二、對稱DMC和準對稱和準對稱DMC的的信道容量與最佳輸入分布的計算信道容量與最佳輸入分布的計算 定義定義4.2.45(p85) 設DMC的轉移概率矩陣為 若P的任一行是第一行的置換，則稱信道關于輸入為對稱的關于輸入為對稱的。若P

10、的任一列是第一列的置換，則稱信道關于輸出為對稱的關于輸出為對稱的。) 1| 1() 1| 0 () 1| 0 () 1 | 1() 1 | 1 () 1 | 0 () 0 | 1() 0 | 1 () 0 | 0 (JKpJpJpKpppKpppP2021-12-14134.2 離散無記憶信道離散無記憶信道命題命題1 若DMC關于輸入為對稱的，則對任意k0, 1, , K-1都成立。證明 p(y|x)，y=0 J-1與p(y|k)，y=0 J-1互為置換，所以)|()|(1log)|()|(10kXYHkypkypXYHJy10101010101010)|(1log)|()|(1log)|()

11、()|(1log)|()()|(1log)|()()|(JyKxJyKxJyKxJykypkypkypkypxqxypxypxqxypxypxqXYH2021-12-14144.2 離散無記憶信道離散無記憶信道命題命題2 若DMC關于輸出為對稱的，則當輸入分布等概時，輸出分布等概。證明 此時p(y|x)，x=0 K-1與p(0|x)，x=0 K-1互為置換。設q(x)=1/K，x0, 1, , K-1。則無關。與即，yywxpKxypKxypxqywKxKxKx)()|0(1)|(1)|()()(1010102021-12-14154.2 離散無記憶信道離散無記憶信道定義定義4.2.6(p85

12、) 若DMC的轉移概率矩陣P的列的全體可分成若干個列子集，每個列子集所對應的P的子陣都滿足以下兩條性質(zhì)：（1）任一行是第一行的置換，（2）任一列是第一列的置換。則稱信道為準對稱信道準對稱信道。特別若列子集只有一個（即轉移概率矩陣P本身的任一行是第一行的置換，任一列是第一列的置換），則稱信道為對稱對稱信道信道。例例4.2.2 準對稱信道的例子。(見p8586) 2021-12-14164.2 離散無記憶信道離散無記憶信道幾個簡單的結論：（1）準對稱信道一定是關于輸入為對稱的。（2）對稱信道不僅關于輸入為對稱的，也關于輸出為對稱的。（3）對稱DMC當輸入分布等概時，輸出分布等概。（4）準對稱DMC

13、當輸入分布等概時，輸出分布局部等概。（準對稱DMC當輸入分布等概時，若j和l屬于轉移概率矩陣的同一個列子集，則wj=wl。）（5）對稱信道未必有J=K。（即p85倒數(shù)第二行錯）2021-12-14174.2 離散無記憶信道離散無記憶信道定理定理4.2.3(p86) 對于準對稱DMC信道，（1）達到信道容量的最佳輸入分布為等概分布；（2）信道容量為都成立。對任何；1, 1 , 0);()|(1)|(log)|(1010KkYkXIzypKkypkypCJyKz2021-12-14184.2 離散無記憶信道離散無記憶信道證明 根據(jù)定理4.2.2的含義，只需要證明：當輸入分布為等概時，對任意k0,

14、1, , K-1，半平均互信息量I(X=k; Y)都取相同的值。（此時，該相同的半平均互信息量I(X=k; Y)就是準對稱信道容量C。）換句話說，只需要證明：當輸入分布為等概時，對任意k0, 1, , K-1，I(X=k; Y)與k無關。設轉移概率矩陣P的列的全體被分成S個互不相交的列子集：0, 1, , J-1=Y1Y2YS；Y1、Y2、YS互不相交；對任意s1, 2, , S，列子集Ys所對應的子陣都滿足：任一行是第一行的置換，任一列是第一列的置換。自然有以下三個結論。2021-12-14194.2 離散無記憶信道離散無記憶信道結論一：準對稱信道是關于輸入為對稱的，所以對任意k0, 1,

15、, K-1，結論二：對每個列子集Ys，結論三：對每個列子集Ys，取定ysYs。則對任意yYs，。1010)|()|(KzsKzzypzyp。ssYyYyypkyp)0|()|(1010)0|(log()0|()|(log()|(JyJyyKpypkyKpkyp2021-12-14204.2 離散無記憶信道離散無記憶信道于是無關。它與。kypzypkypzypzypkypzypkypzypkypSsYySsYyKzsKzsSsYyKzsSsYyKzJyKzssss1110101101101010) 0|( )|(log)|( )|(log)|(log)|()|(log)|()|(log)|(20

16、21-12-14214.2 離散無記憶信道離散無記憶信道于是無關。它與kypzypyKpypzypkypkyKpkypzypKkypkypYkXISsYyKzsJyJyKzJyJyKzs110101010101010)0|( )|(log)0|(log()0|() )|(log()|()|(log()|()|(1)|(log)|();(2021-12-14224.2 離散無記憶信道離散無記憶信道例例4.2.3 特殊的對稱DMC：KSC（見p86）例例4.2.4 特殊的準對稱DMC：2元對稱刪除信道（見p87）定義定義4.2.7 （p88）特殊的對稱DMC：模K加性噪聲信道。設lDMC的輸入隨機

17、變量為X，X的所有事件為0, 1, , K-1；lDMC的噪聲隨機變量為Z，Z的所有事件為0, 1, , K-1；lDMC的輸出隨機變量為Y，Y的所有事件為0, 1, , K-1；lX與Z相互獨立；lY=X+Z(modK)。稱此DMC為模K加性噪聲信道。2021-12-14234.2 離散無記憶信道離散無記憶信道此時，p(y|x)=P(Y=y|X=x)=P(X+Z(modK)=y|X=x)=P(x+Z(modK)=y|X=x)=P(Z=y-x(modK)|X=x)=P(Z=y-x(modK)。這就是說，如果記P(Z=z)=sz，則轉移概率矩陣為0321301221011210sssssssss

18、sssssssKKKKKK2021-12-14244.2 離散無記憶信道離散無記憶信道顯然模K加性噪聲信道是對稱DMC。信道容量為)(log)1(log1log1010)(mod10ZHKKsssKssCyKyyKxKyxyKyy2021-12-14254.2 離散無記憶信道離散無記憶信道三、一般三、一般DMC的信道容量與最佳輸入分布的計算的信道容量與最佳輸入分布的計算 （p88） （當DMC不是準對稱信道時，求解信道容量和最佳輸入分布并不容易）若DMC的轉移概率矩陣P是可逆方陣（此時K=J）。則可以先假設最佳輸入分布q(x), x0, 1, , K-1 中每個概率q(x)都滿足q(x)0。在

19、這個假設下，n求出信道容量C；n然后求出最佳輸入分布對應的“最佳輸出分布” w(y), y0, 1, , K-1 ；n然后求出最佳輸入分布q(x), x0, 1, , K-1。2021-12-14264.2 離散無記憶信道離散無記憶信道此時，10)()|(log)|();(10KkywkypkypYkXICKy；10)|(log)|()(log)|(1010KkkypkypywCkypKyKy；合并：將方程變形，使未知量2021-12-14274.2 離散無記憶信道離散無記憶信道；101010) 1|(log) 1|() 1 |(log) 1 |()0|(log)0|() 1(log) 1 (

20、log)0(log) 1| 1() 1| 1 () 1|0() 1 | 1() 1 | 1 () 1 |0()0| 1()0| 1 ()0|0(KyKyKyKypKypypypypypKwCwCwCKKpKpKpKpppKppp2021-12-14284.2 離散無記憶信道離散無記憶信道這是K個未知量0, 1, , K-1 =C+logw(0), C+logw(1), , C+logw(K-1)的線性方程組，系數(shù)矩陣是可逆方陣，因此唯一解出0, 1, , K-1 為1010101110) 1|(log) 1|() 1 |(log) 1 |()0|(log)0|() 1| 1() 1| 1 ()

21、 1|0() 1 | 1() 1 | 1 () 1 |0()0| 1()0| 1 ()0|0(KyKyKyKKypKypypypypypKKpKpKpKpppKppp2021-12-14294.2 離散無記憶信道離散無記憶信道求出了0, 1, , K-1 =C+logw(0), C+logw(1), , C+logw(K-1)，還不能確定C和w(0), w(1), , w(K-1)的值。但是我們還有另一個等式： w(0)+w(1)+w(K-1)=1。于是; 1222110CCCK;2222110CK)222log(110KC2021-12-14304.2 離散無記憶信道離散無記憶信道求出了信道容量C，立即得到了“最佳輸出分布”