第四章信道及其容量

1、第四章第四章 信道及其容量信道及其容量信道及其容量信道及其容量l4.1信道分類l4.2離散無記憶信道l4.3信道的組合l4.4時(shí)間離散的無記憶信道l4.5波形信道4.1信道分類信道分類4.1信道分類信道分類l離散信道：輸入輸出均為離散事件集l連續(xù)信道：輸入輸出空間均為連續(xù)事件集l半連續(xù)信道：輸入和輸出一個(gè)是離散的，一個(gè)是連續(xù)的l時(shí)間離散的連續(xù)信道：信道輸入和輸出是連續(xù)的時(shí)間序列l(wèi)波形信道：輸入和輸出都是時(shí)間的實(shí)函數(shù)x(t), y(t)4.1 信道分類信道分類l兩端信道l多端信道l恒參信道：參數(shù)不隨時(shí)間變化l隨參信道：參數(shù)隨時(shí)間變化l無記憶信道和有記憶信道l對(duì)稱信道和非對(duì)稱信道4.2 離散無記憶

2、信道離散無記憶信道離散無記憶信道離散無記憶信道(定義定義4.2.1,4.2.2)NnnnNxypxyp1)|()|(平穩(wěn)信道)|()|(kxjypkxjypmmnn例：二元對(duì)稱信道例：二元對(duì)稱信道lp=0.11-p1-ppp1100信道容量信道容量111000( | )(; )( | )log( | )KJkKkjiip j kI X YQ p j kQ p j i信道容量信道容量l定義4.2.3 離散無記憶信道的信道容量定義為：即C為改變輸入分布時(shí)，使每個(gè)符號(hào)所能含有的平均互信息量的最大值。相應(yīng)的分布稱為最佳分布。信道容量表示了信道傳送信息的最大能力max (; )kQCI X Y定理定理4

3、.2.1NCYXIYXIYXINNNnnnNN);();();(1對(duì)于DMC，N長序列的信息傳輸問題可以歸結(jié)為單個(gè)符號(hào)的信息傳輸問題定理定理4.2.2lQ=Q0,Q1,QK-1達(dá)到信道容量的充要條件 0);(0);(kkQCYkxIQCYkxI在給定輸入分布下，若某個(gè)輸入k與所有輸出事件之間的平均互信息量大于其它任何輸入與所有輸出之間的平均互信息，則可以通過經(jīng)常的采用該特定輸入k增大I(X ; Y)對(duì)稱對(duì)稱DMC容量的計(jì)算容量的計(jì)算l信道轉(zhuǎn)移概率矩陣(0|0)(1|0).(1|0)(0|1)(1|1).(1|1) ( | )(0|1)(1|1) .(1|1)ppp Jppp JPp j kpK

4、pKp JK對(duì)稱對(duì)稱DMC容量的計(jì)算容量的計(jì)算l若信道轉(zhuǎn)移概率矩陣所有行矢量都是第一行的置換，稱為關(guān)于輸入對(duì)稱。)|(log)|()|()|(10kjpkjpxYHXYHJj對(duì)稱對(duì)稱DMC容量的計(jì)算容量的計(jì)算lP的所有列都是第一列的一種置換，關(guān)于輸出是對(duì)稱的l當(dāng)輸入事件等概，Qk=1/KJkjpKkjpQjKkKkkj1)|(1)|(1010對(duì)稱對(duì)稱DMC的容量計(jì)算的容量計(jì)算l輸出集Y可劃為若干和子集,每個(gè)子集對(duì)應(yīng)的信道轉(zhuǎn)移概率矩陣P中列所組成的子陣具有下列性質(zhì)l每一行都是第一行的置換l每一列都是第一列的置換 該信道稱為準(zhǔn)對(duì)稱信道l關(guān)于輸入對(duì)稱lY的劃分只有一個(gè)時(shí)，關(guān)于輸入和輸出均對(duì)稱，稱為對(duì)

5、稱信道 （例）對(duì)稱對(duì)稱DMC容量的計(jì)算容量的計(jì)算l定理4.2.3 實(shí)現(xiàn)準(zhǔn)對(duì)稱DMC信道容量的輸入分布為等概分布 sYjKiJjKiSijpKkjpkjpijpKkjpkjpYkxI101010)|(1)|(log)|()|(1)|(log)|();(YS：子陣中每一列都是第一列置換對(duì)每個(gè)j相同對(duì)每個(gè)k相同對(duì)稱對(duì)稱DMC容量計(jì)算容量計(jì)算lK元對(duì)稱信道: C = logK - H(p) - plog(K-1)l二元對(duì)稱信道: C = 1 - H(p)l準(zhǔn)對(duì)稱信道:C=(1-p-q)log(1-p-q)+plogp-(1-q)log(1-q)/2)l二元純刪除信道: C=1-q10log( | )l

6、og( | )JjCJp j kp j k離散無記憶模離散無記憶模K加性噪聲信道加性噪聲信道lZ=X=Y=0,1,K-1ly=x+z mod K)(log)()(log)()()|(log)|()()|(,ZHKCZHzpzpxQxypxypxQXYHzxyx一般一般DMC的容量計(jì)算的容量計(jì)算l信道轉(zhuǎn)移矩陣是非奇異方陣，假定所有Qk010101010101,.,1 , 0)|(log)|(log)|(1,.,1 , 0log)|()|(log)|(1,.,1 , 0)|(JjJjjJjjJjKkkjKkkjpkjpCkjpKkCkjpkjpkjpKjkjpQ一般一般DMC的容量計(jì)算的容量計(jì)算j

7、jjCjjjjjCC2log12log4.3 信道的組合信道的組合積信道積信道lC1maxI(X1;Y1)lC2maxI(X2;Y2)l信道1和信道2同時(shí)傳遞消息，輸入集X=X1X2,輸出集Y=Y1Y2,轉(zhuǎn)移概率p(jj|kk)=p(j|k)p(j|k)lC=C1+C2信道1P(j|k)X1Y1信道2P(j|k)X2Y2和信道和信道l單位時(shí)間內(nèi)可隨機(jī)選用信道1和信道2中的一個(gè)，選用信道1的概率為p1，選用信道2的概率為p2， p1p21l輸入空間X=X1+X2， Y=Y1+Y2，nnCCnNnCCCpCCPHpYXIpYXIYXI22log22log)();();();(1222211121級(jí)

8、聯(lián)信道級(jí)聯(lián)信道l信道1的輸出作為信道2的輸入jjkjpkjpkjp)| ()|()| (4.4 時(shí)間離散的無記憶連時(shí)間離散的無記憶連續(xù)信道續(xù)信道時(shí)間離散的連續(xù)信道時(shí)間離散的連續(xù)信道l時(shí)間離散信道l無記憶信道l平穩(wěn)(恒參)信道NCYXIYXIYXINNNnnnNN);();();(1可加噪聲信道可加噪聲信道lp(y|x)=p(y-x)=p(z)()();()()|(ZHYHYXIZHXYHccccxy=x+zz信道容量為對(duì)于所有的輸入分布求H(Y)的最大值可加噪聲信道可加噪聲信道l高斯噪聲信道)1log(21)()();(22zxcXHYHYXI輸入為正態(tài)分布,在此條件下,輸出也為正態(tài)分布平均功

9、率受限的可加噪聲信道平均功率受限的可加噪聲信道nxnnnNnnxdxQxxSxNn)(12212功率受限的時(shí)間離散信道容量功率受限的時(shí)間離散信道容量l輸入信號(hào)平均功率不超過S的時(shí)間離散信道容量定義為：l無記憶平穩(wěn)條件下( )max (; )SCI X Y,( )1sup(;)NNNNSCI XYN平均功率受限的時(shí)間離散、恒參、平均功率受限的時(shí)間離散、恒參、可加高斯噪聲信道容量可加高斯噪聲信道容量)1log(212SC最佳輸入分布是均值為0，方差為S的高斯型分布平均功率受限時(shí)間離散恒參可加平均功率受限時(shí)間離散恒參可加噪聲信道容量噪聲信道容量22222222log21)1log(21xyxSCS給

10、定信號(hào)功率，高斯信道是最差的信道，在它的作用下信道容量最小平行可加高斯噪聲信道平行可加高斯噪聲信道(注水定理注水定理)lx=(x1,xN), y=(y1,yN)BSESBSCnnNnnBnnNnnnn21:212,log21)1log(212注水定理的說明注水定理的說明l積信道l當(dāng)各分信道的干擾功率不等，需要對(duì)輸入信號(hào)總能量進(jìn)行適當(dāng)分配l比較門限Bl迭代算法4.5 波形信道波形信道波形信道波形信道l信道的輸入、輸出都是任意時(shí)間的函數(shù)波形信道或時(shí)間連續(xù)的連續(xù)信道可加波形信道可加波形信道ly(t)=x(t)+z(t),(),()()()()()()()()(1100NNTnnTnnnnnnnnyy

11、yxxxdtttyydtttxxtytytxtx可加波形信道可加波形信道);(sup1,lim);(lim)();()|()()|(log);();(lim)();(NNTTTNNNTNNNNTYXITCCCYXItYtXIdxxypxQxypyxIyxItytxI可加波形信道可加波形信道STSxESTdttxEzxydtttzztztznnnnTnnnTnnnnn)()()()()()(2020波形信道波形信道波形信道x(t)z(t)(白高斯過程)y(t)=x(t)+z(t)x1Z1（高斯隨機(jī)變量）y1=x1+z1x2z2 （高斯隨機(jī)變量）y2=x2+z2可加波形信道可加波形信道)21log(2)21log(2);(max)21log(21);();(00101NNSTTNCNNSTNYXINSYXIYXITNNNnnNnnnNNShannon公式公式lN=2WT)/(44. 1)1log(00NSCWNSWCW趨于無窮大，單位時(shí)間的信道