離散信道及其容量

離散信道及其容量 第 6 章 北京郵電大學 信息工程學院 信道是信號的傳輸媒介 ， 是傳送信息的物理通道 。 研究信道的目的主要是為了解決信息如何有效 、 可靠地傳輸?shù)膯栴} 。 本章重點解決某些特殊信道容量的計算問題 。 第 4章 離散信道及其容量 概述 單符號離散信道及其容量 級聯(lián)信道及其容量 信道容量的迭代計算 本章主要內(nèi)容 多維矢量信道及其容量 6.1 概述 信道的分類 離散 信道的數(shù)學模型 信道容量的定義 信源A信宿 譯碼器連續(xù)信道編碼器 數(shù)字調(diào)制器數(shù)字解調(diào)器噪 聲A CCBB 6.1.1 信道的分類 數(shù)字通信系統(tǒng)的基本模型 依據(jù)不同的條件，不同模塊之間的通道可以劃分為不同的信道 6.1.1 信道的分類 按輸入、輸出集合的取值分類 按輸入、輸出集合的個數(shù)分類 按信道轉(zhuǎn)移概率的性質(zhì)分類 根據(jù)信道統(tǒng)計特性劃分 根據(jù)信道噪聲性質(zhì)劃分 6.1.1 信道的分類 1) 離散信道：輸入和輸出均為離散集，如 B-B 2) 連續(xù)信道：輸入和輸出均為連續(xù)集，也稱波形信道，其特點是時間與取值都連續(xù)，如 C-C 3) 半連續(xù)（或半離散）信道：輸入和輸出一個為連續(xù)、一個為離散，如 B-C 或 C-B 4) 時間離散連續(xù)信道：連續(xù)取值但時間離散，例如信道的輸入和輸出為模擬信號抽樣的情況。 按輸入、輸出集合的取值分類 6.1.1 信道的分類 1) 單用戶信道： X,Y中各有一個事件集，稱單路或單端信道 2) 多用戶信道： X,Y中至少有一端是多個事件集，也稱多端信道。多用戶信道包含兩種特殊的信道，即多元接入信道和廣播信道。 多元接入信道就是多個輸入、單個輸出的信道 廣播信道就是單個輸入、多個輸出的信道 按輸入、輸出集合的個數(shù)分類 無損信道 （每個輸入對應(yīng)多個輸出） 確定信道 （多個輸入對應(yīng)單個輸出） 無擾信道 （一個輸入對應(yīng)一個輸出） 按信道轉(zhuǎn)移概率的性質(zhì)分類 6.1.1 信道的分類 1）無噪聲信道 2）有噪聲信道 無記憶信道 給定時間輸出僅依賴于當前輸入 有記憶信道 輸出值不僅依賴于當前輸入又依賴于以前的輸入 根據(jù)信道統(tǒng)計特性劃分 1）恒參信道 6.1.1 信道的分類 2）變參信道 統(tǒng)計特性不隨時間變化（也稱平穩(wěn)信道）例如：衛(wèi)星通信信道 統(tǒng)計特性隨時間變化。例如：短波，移動通信信道 根據(jù)信道噪聲性質(zhì)劃分 1）高斯噪聲信道 6.1.1 信道的分類 2）非高斯噪聲信道 信道噪聲為高斯分布（白噪聲或有色噪聲） 信道噪聲分布不是高斯分布 信道噪 聲X YP(y|x) 6.1.2 離散信道的數(shù)學模型 離散無記憶信道 一般的信道數(shù)學模型 離散無記憶信道 平穩(wěn)（或恒參）信道 單符號離散信道 ),|,()|( 2121 NN xxxyyypxyp NN YxypX ),|(, 一般信道的數(shù)學模型 信道模型 NN XXXX 21 Nxxxx , 21 NXx NN YYYY 21 Nyyyy , 21 NYy Nnnn xypxyp1)|()|( ),|(, YxypX nn離散無記憶信道 則稱為此信道為離散無記憶信道（ DMC），其數(shù)學模型為： 利用給定時刻的輸出符號僅依賴于當前輸入符號的條件可以推出。 若信道的轉(zhuǎn)移概率滿足 )|()|( imjminjn axbypaxbyp 平穩(wěn) (或恒參 )信道 BbAa ii , 如果對于任意正整數(shù) m、 n，和 離散無記憶信道的轉(zhuǎn)移概率滿足： 則稱為平穩(wěn)或恒參信道 可見，對于平穩(wěn)信道， 不隨時間變化。這樣，平穩(wěn)信道的模型就是 )|( nn xyp , ( | ) , X p y x Y其中，信道的輸入 X與輸出 Y都是一維隨機變量集合，xX ，取自字母表 , 。 yY ，取自字母表 ,., 1 raaA ,., 1 sbbB /( | ) ( | ) ( | )j i Y X j i i jp y x p y b x a P b a p 單符號離散信道 對于離散平穩(wěn)無記憶信道，可以用一維條件概率描述 這種用一維條件概率描述的信道為為：單符號離散信道 信道轉(zhuǎn)移概率簡記為： rsrrsspppppppppP212222111211的概率轉(zhuǎn)移到是由 jiij bap單符號離散信道 信道轉(zhuǎn)移概率矩陣 單符號離散信道 二元對稱信道 (BSC)，輸入與輸出符號集分別為 ，信道轉(zhuǎn)移概率 p(y/x)滿足 ， 稱為錯誤率 。 寫出信道的轉(zhuǎn)移概率矩陣并畫出轉(zhuǎn)移概率圖。 1,0,1,0 BA/( 0 | 0 ) ( 1 | 1 ) 1Y X Y XPP 11 P6.1.1 例 解： 轉(zhuǎn)移概率矩陣 轉(zhuǎn)移概率圖 0 1- 1 0 1 1- qqppP1001單符號離散信道 二元刪除信道：其中 A=0,1, B=0,2,1畫 出轉(zhuǎn)移概率圖和轉(zhuǎn)移概率矩陣。 6.1.2 例 解： 轉(zhuǎn)移概率矩陣 轉(zhuǎn)移概率圖 0 1-p 1 0 1 1-q 2 q p 單符號離散信道 6.1.3 例 解： 四個等概消息，編成的碼字為 ，當通過 下 圖所示二進制對稱無記憶信道傳輸時，求 : 0 1 10 0 0 21 ，MM110101 43 ，MM1)“ 接收到第一個數(shù)字為 0” 與 “ 發(fā) M1” 的互信息 2)當 “ 接收到第二個數(shù)字也為 0” 時，關(guān)于 M1的附加信息 3)當 “ 接收到第三個數(shù)字也為 0” 時，又增加多少關(guān)于 M1的信息？ 1) 41 212)1(241)|0()()0(iii MpMpq )1(2l o g 2/11l o g)0()|0(l o g)0;( 11 qMpMI互信息)1(2l o g 24/1)1(l o g)00()|00(l o g)00;(211 qMpMI互信息)1(2log)1(2log)1(2log2 附加信息41)1(2)1(41 22 41)1|0()1|0()0|0()1|0()1|0()0|0()0|0()0|0(41)|00()()00(iii ppppppppMpMpq2) )124)(1(41)1(3)1(41)|000()()000( 24123 iii MpMpq)124l o g ( 2 又增加的信息)124l o g ()1(2l o g 2)000()|000(l o g)000;( 211 qMpMI互信息3) 單符號離散信道 );(m a x)(YXICxp 6.1.3 信道容量的定義 平穩(wěn)離散無記憶信道的容量 C定義為輸入與輸出平均互信息 I(X;Y)的最大值： 1）單位為 : 比特 /信道符號（奈特 /信道符號 ) 2）當信道給定后 ,p(y|x)就固定，所以 C 僅與p(y|x)有關(guān)，而與 p(x)無關(guān) 3） C是信道傳輸最大信息速率能力的度量 多維矢量信道 );(m a x )(1NNxxp IC N YX 若 和 分別為信道的 N維輸入與輸出隨機矢量集合，則信道容量定義為： NX NY其中， 為信道輸入矢量的聯(lián)合概率 )( 1 Nxxp 6.2 單符號離散信道及其容量 離散無噪信道的容量 一般離散信道的容量 離散對稱信道的容量 )/( l og)(m a x 符號比特rXHC 6.2.1 離散無噪信道的容量 無損信道： 輸出符號只對應(yīng)一個輸入符號。 其中 r為輸入符號集的大小 a1a2b1b2b3b4b51 / 21 / 21 / 31 / 61 / 2X Y 6.2.1 離散無噪信道的容量 確定信道： 每個輸出符號都對應(yīng)一個輸出符號 )/( l og)(m a x 符號比特sYHC 其中 s為輸入符號集的大小 a1b1b2a2a3a4a511111X Y)/( l ogl og)(m a x 符號比特rsYHC 無損確定信道： 輸入符號與輸出符號是一一對應(yīng)關(guān)系 其中 r、 s為輸入與輸出字母表的大小，且 r=s 6.2.1 離散無噪信道的容量 a1a2a3b1b2b3111X Y00.21020.210.70.70.10.100.21020.110.70.10.20.7(b)(a) 6.2.2 離散對稱道的容量 若一個信道的轉(zhuǎn)移概率矩陣按 輸出 可分為若干子集，其中每個子集都有如下特性：即每一行是其他行的置換，每一列是其他列的置換，則信道稱為 對稱信道 6.2.1 例 分析 下 圖信道的對稱性 0 .20 .20 .7 0 .10 .1 0 .70 . 7 0 . 2 0 . 10 . 2 0 . 1 0 . 7 6.2.2 離散對稱道的容量 解： (a)可分成兩個子矩陣 所以為 對稱信道 (b)的概率轉(zhuǎn)移矩陣為 所以不是對稱信道 有時將轉(zhuǎn)移概率矩陣可分成多個子集的對稱信道為準對稱或弱對稱信道 ，而只有一個子集的對稱信道稱 強對稱信道 ), . . . ,(l o g 11211 spppHsC ), . . . ,()( 21 spppHYHC 6.2.2 離散對稱道的容量 定理 6.2.1 對于離散對稱信道，當輸入等概率時達到信道容量： H(Y)為輸入等概率時輸出的熵 H(p1,p2, ,ps)為信道轉(zhuǎn)移概率矩陣某行元素 注釋 : 對強對稱信道 ,輸入等概率時達到容量，此時輸出等概率。 2/16/13/13/12/16/16/13/12/1 6.2.2 離散對稱道的容量 6.2.2 例 解： 一信道的轉(zhuǎn)移概率矩陣 如圖， 求信道容量和達到容量時的輸出概率。 1 2 3,q q q設(shè)輸出概率為 。由于信道為強對稱信道，故當輸入等概率時達到容量 C，此時輸出也等概率 3/1321 qqq符號比特 / 126.1)61,31,21(3l og HCprprprpprprprpp1. . .11. . . . . . . . .1. . .111. . .11 6.2.2 離散對稱道的容量 6.2.3 例 解： 一信道的轉(zhuǎn)移概率矩陣 如圖， 求信道容量和達到容量時的輸 入 概率。 設(shè)輸入輸出概率為 由于信道為強對稱信道，故當 時 ,達到容量。 r , , 2 , 1 i，q，p jirpp r /1.1 1l og1)1()1l og()1(l og r pr prpprC)1l o g ()(l o g rppHr特別是，當 r=2時，信道容量為 C=1-H(p)比特 /符號。 1 1 1 13 3 6 61 1 1 16 3 6 3413161211 q 313131212 q 616161213 q 414 q 6.2.2 離散對稱道的容量 6.2.4 例 解： 一信道的轉(zhuǎn)移概率矩陣 如圖， 求信道容量和達到容量時的輸出概率。 設(shè)輸出概率為 準對稱信道，當輸入等概率時達到信道容量?？捎嬎爿敵龈怕蕿?4321 , qqqq)61,61,31,31()41,61,31,41( HHC 符號比特 / 041.0上凸函數(shù)為 )();( xpYXI 6.2.3 一般離散信道的容量 極大值存在 件要滿足非負且歸一化條 )( xp求信道容量歸結(jié)為求有約束極值的問題 )(q , )|( , )( j yqxyPpxpp iji 下的極值在約束求 0,1 l og);( , iiijijjiiji ppqpppYXI的極值求函數(shù)利用拉格朗日乘子法 iipYXIJ );(, 0并使其為計算kpJ , l o g l o g i i j i j j j ii j j ikkJ p p p q q ppp j jkjjkjkjkj epqppp 0)l o gl o g(l o g riijij ppq1考慮到 l o g l o gkjkjj jppeq 6.2.3 一般離散信道的容量 ( ; ) l o g 1 , . . . ,kjk k jj jpI a Y p k rq( ; ) ( ; )kkkp I a Y I X Y( ; ) l o gkkkC p I a Y e l o g l o gkjkjj jppeq 6.2.3 一般離散信道的容量 j j jjijijijjijij qcpppcqpp )l og(l ogl og j jijijjijjj pppqc l o gl o g 令jjcjjjjjj cqqc2l o g121l o gcjjq 2 iiijij pppq 驗證 C的正確性 6.2.3 一般離散信道的容量 j jijijjij ppp l o g用矩陣表示 hP 1l o gsi i j i jjh p p 1 1 1 2 12 1 2 2 212. . . . . . . . . . . . .ssijr r r sp p pp p pPpp p p 1 hP 6.2.3 一般離散信道的容量 例 一信道的轉(zhuǎn)移概率如圖所示，求信道容量和達到容量時的輸出概率。 0 1 2 0 1 2 1/2 1/2 1/4 1/4 1/4 1/4 1 6.2.3 一般離散信道的容量 214141414121010p202l o gl o gl o g0l o gl o gl o g3214141414121213212411412414141412121341241121符號比特 /585.0l og)222l og( 23202 c95192203216120pppqqq解： 6.2.3 一般離散信道的容量 例 解： 利 用 求例 6.1.1中二元對稱信道容量。 1 hP 1 11112P ( 1 ) l o g ( 1 ) l o g( 1 ) l o g ( 1 ) l o gh 1 ( 1 ) l o g ( 1 ) l o g11 ( 1 ) l o g ( 1 ) l o g12 ( 1 ) l o g ( 1 ) l o g( 1 ) l o g ( 1 ) l o g 1 hP 2/111P 6.2.3 一般離散信道的容量 信道 容量 為 ) / ( )(1l o g)1l o g ()1(122l o g l og)1l og ()1(2 符號比特 HC 21 21 qq輸出概率為對應(yīng)的輸入概率為 cjjq 2 iiijij pppq 21 21 pp輸入概率為 6.2.3 一般離散信道的容量 0 , );( ii pCYaI 對于0 , );( ii pCYaI 對于 定理 6.2.2 對于離散無記憶信道，當且僅當 I(X;Y)達到最大值，此時 C為信道容量 6.2.3 一般離散信道的容量 000 1 211l o g ( 0 )11 l o g ( 0 )2l o g ( 0 )q C pq q C pq C p fff6.2.6 例 解： 信道的轉(zhuǎn)移概率如 下圖 所示，求信道容量和達到容量時的輸入出概率。 設(shè)輸入、輸出概率為 p0,p1,p2.q0,q1 1）達到容量時，若輸入概率全不為零 01 1 / 2qq解得 ， C=1比特，但將結(jié)果代入第 2式，使該式左邊的值為 0，出現(xiàn)矛盾。 6.2.3 一般離散信道的容量 01l o g l o gq q C 0 1 21 ,02p p p 2）設(shè) p2=0， p0,p1,不為零 符號比特 / 1 ， 2/110 Cqq將結(jié)果代入第 2式 ， 該式左邊的值為 0C。所以，信道容量C=1比特 /符號，達到容量時的輸入概率為概率為 6.2.3 一般離散信道的容量 6.3 級聯(lián)信道及其容量 級聯(lián)的含義是被連接的信道輸入只依賴于前面相鄰信道的輸出而和前面的其它信道的輸出無直接關(guān)系 P(y|x) P(z|y)X ZY( ; | ) 0I X Z Y ( ; ) ( ; )I X Y Z I Y Z 若隨機變量集合 (X,Y,Z)構(gòu)成馬氏鏈，則稱信道 X-Y與 Y-Z構(gòu)成級聯(lián)信道。由于當 Y給定時，Z不依賴于 X，即 P(z|y)=P(z|xy) );();( YXIZXI );();( ZYIZXI 證 定理 6.3.1 若 X,Y,Z構(gòu)成一馬氏鏈，則： )|;();()|;();();( ZYXIZXIYZXIYXIYZXI 0)|;( YZXI馬氏鏈得證 );();( YXIZXI );();( ZXIZXI 同理可證 6.3 級聯(lián)信道及其容量 U L譯碼器信道編碼器X N Y N V L信源 通信系統(tǒng)模型各部分的級聯(lián) 信道傳輸后，譯碼器收到 N長序列為 ，譯碼后傳給信宿的消息序列為 。 NYNV 6.3 級聯(lián)信道及其容量 );();( NNLL YXIVUI 構(gòu)成馬氏鏈),( NNL YXU ( ; ) ( ; )L N N NI U Y I X Y( ; ) ( ; )L L L NI U V I U Y證 定理 6.3.2(數(shù)據(jù)處理定理 ) 構(gòu)成馬氏鏈),( LNL VYU 定理的含義：從信宿得到的關(guān)于信源的信息經(jīng)過編 譯碼器、信道的處理后會減少，而且處理的次數(shù)越 多，減少得越多。 6.3 級聯(lián)信道及其容量 級聯(lián)信道為馬氏鏈 級聯(lián)信道的轉(zhuǎn)移概率矩陣 一級級聯(lián)相當于狀態(tài)的一步轉(zhuǎn)移 級聯(lián)信道的轉(zhuǎn)移概率矩陣為級聯(lián)信道中各矩陣依次相乘 6.3 級聯(lián)信道及其容量 級聯(lián)信道的容量 根據(jù)級聯(lián)信道的轉(zhuǎn)移矩陣特點，按照前面介紹的離散信道容量的計算方法即可計算其信道容量。 222211 ( 1 ) 2 ( 1 ) 11 2 ( 1 ) ( 1 )PP 給定二元對稱信道其狀態(tài)轉(zhuǎn)移矩陣如下，計算兩級級聯(lián)信道的概率轉(zhuǎn)移矩陣。如果信道輸入 0、 1 等概率，求在兩級級聯(lián)和三級級聯(lián)情況下輸入與輸出的平均互信息。 6.3.1 例 解： 11 P1)兩級級聯(lián)信道的概率轉(zhuǎn)移矩陣 6.3 級聯(lián)信道及其容量 011 / 2 1 / 2XXP 011 / 2 1 / 2YYP 011 / 2 1 / 2ZZP ( ; ) ( ) ( | ) 1 ( )( ; ) 1 ( | ) 1 2 ( 1 ) I X Y H Y H Y X HI X Z H Z X H 23( ; ) 1 3 ( 1 ) I X U H 2)設(shè)原信道輸入與輸出集分別為 X、 Y，兩級級聯(lián)和三級級聯(lián)情況下輸出集合分別為 Z、 U ( ) l o g ( 1 ) l o g ( 1 )H 其中 類似地 ,可計算三級信，級聯(lián)的情況： 結(jié)論：信道串聯(lián)后增加信息損失，串聯(lián)級數(shù)越多，損失越大。 6.3 級聯(lián)信道及其容量 設(shè)錯誤概率 為 1/3，計算兩級級聯(lián)信道的容量及達到容量時的輸出概率。 6.3.1(續(xù) ) 例 解： 兩級級聯(lián)信道的轉(zhuǎn)移矩陣為 6.3 級聯(lián)信道及其容量 9/59/49/49/53/23/13/13/23/23/13/13/2P該級聯(lián)信道是一個強對稱信道，因此當輸入等概時達到信道容量，此時輸出也等概。所以 2/121 qq991.1)94l og9495l og95(2l og)94,95(2l og HC 比特 /符號 多維矢量信道輸入與輸出的性質(zhì) 并聯(lián)信道及其容量 離散無記憶擴展信道及其容量 6.4 多維矢量信道及其容量 和信道及其容量 )|()();( NNNNN YXHXHYXI )|()( NNN XYHYH NN YX yqxypyxp, )()|(l o g)( 6.4.1 多維矢量信道輸入與輸出的性質(zhì) 對于 多維矢量信道 ，輸入與輸出平均互信息為 : NiiiNN YXHYXH1)|()|(時等式成立當且僅當 )|()|( 1Niii yxpyxpNiiiNN XYHXYH1)|()|( 引理 6.4.1 NN YX , ,1 NN XXX 設(shè)信道的輸入輸出分別為 ，其中 ，則： NN YYY 11） 成立僅當信道無記憶時等式2） 6.4.1 多維矢量信道輸入與輸出的性質(zhì) NiiiNN YXIYXI1);();(NiiiNNNNNN XYHYHXYHYHYXI1)|()()|()();( 定理 6.4.1 對于離散無記憶信道，有： 證 1 1 1( ; ) ( ) ( | )N N Ni i i i ii i iI X Y H Y H Y X 11( ) ( . . . ) ( )NNNiiH Y H Y Y H Y 僅當輸出獨立時等式成立。 6.4.1 多維矢量信道輸入與輸出的性質(zhì) 當輸入獨立時 即當信源信道都無記憶時，等式成立。 1( ) ( ) . . . ( )Np x p x p xr NiNiiXiiiXNiiiiXXypxypxpxypxpxypxpypiNN 1 11)()|()()|()()|()()(1 6.4.1 多維矢量信道輸入與輸出的性質(zhì) 證 NiiiNN YXIYXI1);();( 定理 6.4.2 對于無記憶信源，有： )|()();( NNNNN YXHXHYXI NiiiNiiNiii YXHXHYXI111)|()();( 1( ) ( )NNiH X H X Niii yxpyxp1)|()|( 等式成立條件： 6.4.1 多維矢量信道輸入與輸出的性質(zhì) 當信道無記憶時 即當信源信道都無記憶時，等式成立。 121 1 1 2 2 1,1 ( ) ( | )( ) ( | )( | )( ( ) ( | ) ( ) ( | ) . . .( ) ( | )( | )()Ni i iix x xi i i Niiiiiip x p y xp x p y xp x yp y p x p y x p x p y xp y p x yp x ypyLr r rrrr） 6.4.1 多維矢量信道輸入與輸出的性質(zhì) 結(jié)論： 1） 對于無記憶信源和無記憶信道，有： NiiiNN YXIYXI1);();(2） 對于平穩(wěn)信源，因為 Xi、 Yi同分布 ,因此： ( ; ) ( ; )iiI X Y I X Y1( ; ) ( ; )NiiiI X Y N I X Y對于平穩(wěn)離散無記憶信道 (DMC)的 N次擴展信道，當信源無記憶時 ,有 ( ; ) ( ; )NNI X Y N I X Y 6.4.1 多維矢量信道輸入與輸出的性質(zhì) 1 2 3 4 53 2 5 1 4設(shè)無記憶信源 X的 5次擴展源為 X5，信道為下面矩陣所示的置換信道，其中第 1行為輸入的序號，第 2行為信道輸出的序號，例如 X1輸出到 Y4， X2輸出到 Y2等 。 計算 6.4.1 例 解： 155 );( );(iji YXIYXI 和1 1 1 32 2 2 23 3 4 4 5 5( ; ) ( ; ) 0( ; ) ( ; )( ; ) ( ; ) ( ; ) 0I X Y I X XI X Y I X X HI X Y I X Y I X Y HXHYXI 5)();( 555 51( ; )iiiI X Y H 6.4.1 多維矢量信道輸入與輸出的性質(zhì) 6.4.2 例 解： 設(shè) 離散 無記憶信 道的輸入 ，輸出 ，且有 計算 NN XXX .1NN YYY .1 1 1 2 2 , . . . , NNX Y X Y X Y X NijiNN YXIYXI1);( );( 和1( ; ) ( ) ( | ) ( ) ( | ) ( )NN N N N N N NiiiI X Y H Y H Y X H Y H Y X H Y ).|(.)|()().( 111211 NNN XXXHXXHXHXXH11( ) ( ) ( )H X H X N H X 1 1 1( ; ) ( ) ( | ) ( ) ( )N N Ni i i i i ii i iI X Y H X H X Y H X N H X NiiiNN YXIYXI1);();( 此時 6.4.1 多維矢量信道輸入與輸出的性質(zhì) N次擴展信道 單符號離散信道 N長的隨機序列 N長的隨機序列 新信道 原序列的 N次擴展信道 6.4.2 離散無記憶擴展信道及其容量 11/1( | ) ( | ) ( . . . | . . . ) ( | )NNNk l l k N N i iYXiP y x p y x p y y x x p y x r r r r N次擴展信道的描述要滿足一般的信道數(shù)學模型的描述，但符號集為同分布符號的擴展，即各 Xi的分布都相同 信道可通過下式來計算 ,.1 Nxxx 信道的輸入和輸出集合分別為 和 ，所包含的矢量分別為 12N NX X X X L12N NY Y Y Y LNyyy .1 6.4.2 離散無記憶擴展信道及其容量 RSRRSS.212222111211 一個信道的 N次擴展信道是 N個原信道的 Kroneck乘積 例 設(shè)輸入與輸出符號集的尺寸分別為 r、 s， 則 N次擴展信道的輸入與輸出符號集的尺寸分別為 NN sSrR ,則， 信道的轉(zhuǎn)移概率為： NslNkl rk，1,.,11 對所有滿足 6.4.2 離散無記憶擴展信道及其容量 pppppppp1111求錯誤概率為 p的二元對稱信道的二次擴展信道的轉(zhuǎn)移概率矩陣。 6.4.3 例 解： 2次擴展信道的轉(zhuǎn)移概率矩陣： )|()|()|(11,10,01,0011,10,01,002211| 22 xypxypxyP，klXYkllk22222222)1()1()1()1()1()1()1()1()1()1()1()1(pppppppppppppppppppppppp 6.4.2 離散無記憶擴展信道及其容量 NiNiiiixpNNxpN CYXIYXICi1 1)()();(m a x);(m a x);(m a x )( iixpi YXICiCC i NCC N 6.4.2 離散無記憶擴展信道及其容量 當信源為無記憶時，等式成立 離散無記憶 N次擴展信道的容量 求該二次擴展信道的容量 。 6.4.3(續(xù) ) 例 解： 由例 6.2.3可得，錯誤概率為 p的二元對稱信道的容量 ，根據(jù)式 (6.4.6),該信道的二次擴展信道容量為 6.4.2 離散無記憶擴展信道及其容量 )(2222 pHCC 1 .N NX X