信息論與編碼-第三章

1、信息論與編碼-第三章第1頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量由于一般信道中總是存在噪聲和干擾，在這樣的信道中進(jìn)行信息傳輸會(huì)造成損失。那么在有噪信道中怎么能夠使消息通過(guò)傳輸后發(fā)生的錯(cuò)誤最少？在有噪信道中無(wú)錯(cuò)誤傳輸可以達(dá)到的最大信息率是多少？這就是本章研究的內(nèi)容。第2頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量信道分類(lèi)和表示參數(shù)通信系統(tǒng)中，信道是非常重要的部分。信道的任務(wù)是以信號(hào)方式傳輸信息。在信道中會(huì)引入噪聲，這些都會(huì)使信號(hào)通過(guò)信道后產(chǎn)生錯(cuò)誤和失真，故信道的輸入和輸出之間一般不是確定的函數(shù)關(guān)系，而是統(tǒng)計(jì)依賴(lài)關(guān)

2、系。只要知到了信道的輸入信號(hào)和輸出信號(hào)以及它們之間的統(tǒng)計(jì)依賴(lài)關(guān)系，則信道的全部特性就確定了。所以可以用信道的轉(zhuǎn)移概率矩陣P(Y/X)來(lái)描述信道、信道的數(shù)學(xué)模型及分類(lèi)研究信道，就要研究信道中能夠傳送的最大信息量，即信道容量問(wèn)題。第3頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量信道的分類(lèi)：從不同的角度，有不同的分類(lèi)方法。根據(jù)信道的參數(shù)是否隨時(shí)間變化，可以分為：（1）固定參數(shù)信道：信道的參數(shù)不隨時(shí)間變化；（2）時(shí)變參數(shù)信道：信道的參數(shù)隨時(shí)間變化。根據(jù)輸入和輸出信號(hào)的特點(diǎn)，可以分為：（1）離散信道：信道的輸入和輸出的隨機(jī)序列取值都是離散的；（2）連續(xù)信道：信道的

3、輸入和輸出的隨機(jī)序列的取值都是連續(xù)的；第4頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量（3）半離散或半連續(xù)信道：輸入序列是離散的但相應(yīng)的輸出序列是連續(xù)的，或者反過(guò)來(lái)；（4）波形信道：信道的輸入輸出不但取值是連續(xù)的，而且還隨時(shí)間連續(xù)變化。一般可用隨機(jī)過(guò)程來(lái)描述其輸入輸出。由于實(shí)際信道的帶寬總是有限的，所以輸入信號(hào)和輸出信號(hào)總可以分解成時(shí)間離散的隨機(jī)序列。序列的取值可以是連續(xù)的，也可以是離散的，因此，波形信道可以分解成連續(xù)信道或離散信道或半離散半連續(xù)信道。第5頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量信道參數(shù)設(shè)信道的

4、輸入矢量和輸出矢量分別是通常采用條件概率 來(lái)描述信道輸入輸出信號(hào)之間統(tǒng)計(jì)的依賴(lài)關(guān)系。該條件概率通常稱(chēng)為轉(zhuǎn)移概率第6頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量根據(jù)信道是否存在干擾以及有無(wú)記憶，可將信道分為下面三類(lèi)無(wú)干擾信道：信道的輸出符號(hào)Y與輸入符號(hào)X之間又確定的關(guān)系Y=f(X),已知X后就確知Y。有干擾無(wú)記憶信道：信道的輸出符號(hào)Y與輸入符號(hào)X之間沒(méi)有確定的關(guān)系，但轉(zhuǎn)移概率滿足即每個(gè)輸出符號(hào)只與當(dāng)前輸入符號(hào)之間有概率轉(zhuǎn)移關(guān)系。在這種情況下，只需分析單個(gè)符號(hào)的轉(zhuǎn)移概率即可第7頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容

5、量有干擾有記憶信道：一般情況都是如此，常用的方法有兩種將記憶很強(qiáng)的L個(gè)符號(hào)當(dāng)矢量符號(hào)，各矢量符號(hào)之間是無(wú)記憶的，但此事會(huì)引入誤差，L越大，誤差越小將轉(zhuǎn)移概率看成馬爾科夫鏈的形式，記憶有限，信道的統(tǒng)計(jì)特性可用在已知現(xiàn)在時(shí)刻輸入符號(hào)和前信道所處的狀態(tài)的條件概率來(lái)描述，這種處理方法比較復(fù)雜，通常取一階時(shí)稍簡(jiǎn)單第8頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量下面我們討論幾種常用信道。 （1）二進(jìn)制離散信道 二進(jìn)制離散信道的輸入值集合是0，1，輸出值集合也是0，1，再加上一組描述信道統(tǒng)計(jì)特性的轉(zhuǎn)移概率，就可以完全確定信道。二進(jìn)制離散信道的一個(gè)特例：二進(jìn)制對(duì)稱(chēng)信道（

6、BSC-Binary Symmetric Channel）。如果描述二進(jìn)制離散信道的轉(zhuǎn)移概率對(duì)稱(chēng)，即 則稱(chēng)這種二進(jìn)制輸入、二進(jìn)制輸出的信道為二進(jìn)制對(duì)稱(chēng)信道。第9頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量如圖所示。BSC信道是無(wú)記憶信道。BSC信道是研究二元編解碼最簡(jiǎn)單也是最常用的信道模型。輸入011-p1-ppp輸出01第10頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量（2）離散無(wú)記憶信道設(shè)信道的輸入符號(hào)集合是 ，輸出符號(hào)集合是 再加上一組（mn個(gè)）轉(zhuǎn)移概率 這樣的一種信道稱(chēng)為離散無(wú)記憶信道（DMC:Discre

7、te Memoryless Channel）。第11頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量可以把轉(zhuǎn)移概率寫(xiě)成矩陣的形式，即第12頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量圖示a0an-1a1b0b1bm-1第13頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量（3）離散輸入、連續(xù)輸出信道 信道輸入符號(hào)選自一個(gè)有限離散的符號(hào)集合信道輸出時(shí)未經(jīng)量化的任意值，即 m-信道特性由轉(zhuǎn)移概率密度函數(shù)決定典型信道是加性高斯白噪聲信道（AWGN）第14頁(yè)，共93頁(yè)，2022年，5月20日

8、，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量（4）波形信道輸入和輸出都是隨機(jī)過(guò)程x(t)和y(t)，模擬系統(tǒng)。對(duì)于頻帶受限的波形信道，可以用抽樣的方法變成時(shí)間離散信道。設(shè)帶寬為W，則在T時(shí)間間隔內(nèi)，根據(jù)抽樣定理，應(yīng)該抽樣至少2WT個(gè)點(diǎn)，分別記為輸入 和輸出這樣波形信道就轉(zhuǎn)化為多維連續(xù)信道第15頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量信道轉(zhuǎn)移概率密度函數(shù)為且滿足完備性。連續(xù)無(wú)記憶信道，滿足一般情況下，是有記憶信道第16頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量對(duì)于加性噪聲，單符號(hào)信道可以表示為 y(t)=x

9、(t)+n(t) n(t) 為噪聲過(guò)程的一個(gè)樣本函數(shù)由于噪聲和信號(hào)相互獨(dú)立，所以有轉(zhuǎn)移概率為即信道的轉(zhuǎn)移概率密度函數(shù)等于噪聲的概率密度函數(shù)第17頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量條件熵第18頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量上式說(shuō)明條件熵是由噪聲引起的，它等于噪聲信源的熵。故條件熵也稱(chēng)噪聲熵。在加性多維連續(xù)信道中，輸入矢量X、輸出矢量Y和噪聲矢量n之間的關(guān)系是 Y=X+n可得第19頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量3.2離散單個(gè)符號(hào)信道及其容量我

10、們研究信道的目的是要討論信道中平均每個(gè)符號(hào)所能傳送的信息量，即信息傳輸率R。而信道的信息傳輸率就是平均互信息，即 bit/符號(hào)若已知平均傳輸一個(gè)符號(hào)所需的時(shí)間為t(s)，則將信道在單位時(shí)間內(nèi)平均傳輸?shù)男畔⒘慷x為信息傳輸速率：bit/符號(hào)s/符號(hào)=bit/s 即 單位為bit/s第20頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量前面我們已經(jīng)討論過(guò)，I(X;Y)是輸入隨機(jī)變量X的概率分布p(xi)和信道轉(zhuǎn)移概率p(yj/xi)的函數(shù)。對(duì)于一特定信道，若轉(zhuǎn)移概率已確定，則互信息就是就是關(guān)于輸入符號(hào)概率分布的函數(shù)。因此對(duì)于一個(gè)固定的信道，總存在一種信源符號(hào)的概

11、率分布，使傳輸每個(gè)符號(hào)平均獲得的信息量最大。這個(gè)最大的信息傳輸率 就稱(chēng)為信道容量C。即 此時(shí)相應(yīng)的輸入概率分布稱(chēng)為最佳輸入分布。第21頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量有時(shí)候也把單位時(shí)間內(nèi)信道平均傳輸?shù)淖畲笮畔⒘拷凶鲂诺廊萘浚葱诺廊萘緾已與輸入信源的概率分布無(wú)關(guān)，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計(jì)特性有關(guān)。所以，信道容量是完全描述信道特性的參量，是信道每符號(hào)能夠傳輸?shù)淖畲笮畔⒘?。?duì)于特定的信道，信道容量是個(gè)定值，但在傳輸信息時(shí)信道能否提供其最大傳輸能力，則取決于輸入端的概率分布。第22頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星

12、期一信息論與編碼-信道與信道容量無(wú)干擾離散信道設(shè)信道的輸入符號(hào)集合是 輸出符號(hào)集合是 按照X與Y的對(duì)應(yīng)關(guān)系，可以分為如下幾類(lèi)無(wú)噪無(wú)損信道無(wú)噪有損信道有噪無(wú)損信道這些信道是部分理想化的，使用中比較少第23頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一3.2離散單個(gè)符號(hào)信道及其容量無(wú)干擾離散信道的信道容量X、Y一一對(duì)應(yīng)Clog n多個(gè)輸入變成一個(gè)輸出CmaxH(Y)一個(gè)輸入對(duì)應(yīng)多個(gè)輸出CmaxH(X)第24頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量DMC信道的信道容量 設(shè)DMC信道的輸入符號(hào)集合是 輸出符號(hào)集合是 轉(zhuǎn)移概率由信道特性決定。第25頁(yè)

13、，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量給定信道，就是給定信道的轉(zhuǎn)移概率。此時(shí)有所以信道容量為由上式可以看出，信道容量C只是轉(zhuǎn)移概 率的函數(shù)，也就是說(shuō)，信道容量由信道唯一決定。第26頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量因?yàn)?是最佳輸入分布， 是信道特性，一旦這兩個(gè)參數(shù)確定， 就被確定了：對(duì)于信道容量，一個(gè)是其存在性問(wèn)題，一個(gè)是它的計(jì)算。關(guān)于存在性問(wèn)題，在這里我們不做討論，主要看它的計(jì)算問(wèn)題。第27頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量對(duì)稱(chēng)DMC信道的容量 對(duì)稱(chēng)

14、DMC信道的定義：如果一個(gè)DMC信道的轉(zhuǎn)移概率矩陣P中的每一行都是第一行的置換（包含同樣的元素，但位置可以不同），則稱(chēng)該矩陣是輸入對(duì)稱(chēng)的，如果轉(zhuǎn)移概率矩陣P的每一列都是第一列的置換，則稱(chēng)該矩陣是輸出對(duì)稱(chēng)的，如果一個(gè)DMC信道的輸入、輸出都對(duì)稱(chēng)，則稱(chēng)該DMC信道為對(duì)稱(chēng)DMC信道。第28頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量對(duì)稱(chēng)DMC信道:第29頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量對(duì)稱(chēng)DMC信道的性質(zhì)： i）對(duì)稱(chēng)DMC信道的條件熵H(Y/X)與信道輸入符號(hào)的概率分布無(wú)關(guān)，且有這是因?yàn)?與 無(wú)關(guān)。第30頁(yè)，

15、共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量ii）當(dāng)信道輸入符號(hào)等概分布時(shí)，信道輸出符號(hào)也等概分布；反之亦然(列對(duì)稱(chēng)）容量公式：第31頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量iii）當(dāng)信道輸入符號(hào)等概分布時(shí)，對(duì)稱(chēng)DMC信道達(dá)到其信道容量，為第32頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量例題3-1：某對(duì)稱(chēng)DMC信道，信道轉(zhuǎn)移矩陣為求信道容量。解：第33頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一例題3-2：強(qiáng)對(duì)稱(chēng)信道（均勻信道），信道轉(zhuǎn)移概率矩陣輸入符號(hào)和輸出符

16、號(hào)的個(gè)數(shù)相同，都為n，正確的傳輸概率為1-，錯(cuò)誤概率，均勻的分配給n-1各輸出符號(hào)。信道容量為信息論與編碼-信道與信道容量第34頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量（2）BSC信道的信道容量BSC信道是均勻DMC信道在輸入輸出在n=m=2時(shí)的特例，所以對(duì)于轉(zhuǎn)移概率為p(0/1)=p(1/0)=p， p(0/0)=p(1/1)=1-p的信道，當(dāng)時(shí)，其平均互信息量最大，即其信道容量為：第35頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量第36頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信

17、道與信道容量C與信道轉(zhuǎn)移概率的關(guān)系如下圖所示。當(dāng)p=0時(shí)，即信道無(wú)誤碼時(shí)，C=H(X)=1bit/符號(hào)，達(dá)到了信道容量的最大值，相當(dāng)于沒(méi)有噪聲損失。CpC-p曲線0.20.40.60.81.00.20.40.60.81.00當(dāng)p=0.5時(shí)，信道容量C=0，這時(shí)候由于輸入輸出完全獨(dú)立，從輸出端得不到任何關(guān)于輸入的信息第37頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量例3-3 設(shè)有兩個(gè)離散BSC信道，其轉(zhuǎn)移概率矩陣都為01YXZ1-1-1-1-01第38頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量可以求得I(X;Y)=

18、1-H(), I(X;Z)=1-H(2(1- )第39頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量（3）準(zhǔn)對(duì)稱(chēng)DMC信道的信道容量如果信道轉(zhuǎn)移矩陣P是輸入對(duì)稱(chēng)而輸出不對(duì)稱(chēng)，即轉(zhuǎn)移概率矩陣的每一行都包含同樣的元素，但每一列包含的元素可以不同，則稱(chēng)這樣的信道為準(zhǔn)對(duì)稱(chēng)DMC信道。例如：就是準(zhǔn)對(duì)稱(chēng)DMC信道。第40頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量由于每列元素不相同，所以信道的輸入和輸出概率可能不等，此時(shí)H(Y)的最大值可能小于Y等概率時(shí)的熵，因而準(zhǔn)對(duì)稱(chēng)DMC信道的容量可以證明，對(duì)于準(zhǔn)對(duì)稱(chēng)DMC信道，當(dāng)輸入概率分

19、布為等概分布時(shí)，達(dá)到其信道容量，為第41頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量n是輸入符號(hào)集中符號(hào)個(gè)數(shù)， 是轉(zhuǎn)移概率矩陣中一行的元素，即 是信道轉(zhuǎn)移矩陣的第k個(gè)子矩陣中行元素之和， 是信道轉(zhuǎn)移矩陣的第k個(gè)子矩陣中列元素之和。r是互不相交的子集個(gè)數(shù)第42頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量轉(zhuǎn)移矩陣的子矩陣是這樣得到的：由于轉(zhuǎn)移矩陣中每一行都包含同樣的元素，而每一列則可以包含不同的元素，因此，我們可以把轉(zhuǎn)移矩陣分成n個(gè)互不相交的子集，每一個(gè)子集構(gòu)成的子矩陣都是對(duì)稱(chēng)的。第43頁(yè)，共93頁(yè)，2022年，5月2

20、0日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量例如：設(shè)轉(zhuǎn)移矩陣為則可以分成三個(gè)子集，每個(gè)子集組成的子矩陣為第44頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量又例如：設(shè)轉(zhuǎn)移矩陣為則可以分成二個(gè)子集，每個(gè)子集組成的子矩陣為因此第45頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量例題3-5：已知一個(gè)信道的信道轉(zhuǎn)移概率矩陣為求該信道的信道容量。解：將P劃分成兩個(gè)子矩陣：則 第46頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量最佳輸入分布為等概分布，即故第47頁(yè)，共93頁(yè)，2022年

21、，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量解法2：求I(X;Y)的極大值設(shè)則第48頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量由 得所以第49頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量由得解之得：此時(shí)信道模型：二進(jìn)制對(duì)稱(chēng)刪除信道第50頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量一般DMC信道的信道容量以輸入符號(hào)概率矢量Px為自變量求函數(shù)I(Px)極大值，即信道容量的問(wèn)題，已經(jīng)得到解決，稱(chēng)Blahut-Arimoto算法。定理：一般離散信道的平均互信息I(X

22、;Y)達(dá)到極大值（等于信道容量）的充要條件是輸入概率分布 滿足 其中的C為信道容量。第51頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量從定理中可以得出這樣的結(jié)論：當(dāng)信道平均互信息達(dá)到信道容量時(shí)，輸入信源符號(hào)集中每一個(gè)信源符號(hào) 對(duì)輸出端Y提供相同的信息量，只是概率為零的符號(hào)除外。定理只是給出了達(dá)到信道容量時(shí)，最佳輸入概率分布應(yīng)滿足的條件，但是并沒(méi)有給出輸入符號(hào)的最佳概率分布值，也沒(méi)有給出信道容量的數(shù)值。另外，定理也隱含著，達(dá)到信道容量的最佳分布不一定是唯一的。第52頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量在一些特

23、殊的情況下，我們可以利用這個(gè)定理找出所求的最佳輸入概 率分布和信道容量。例題：設(shè)信道的轉(zhuǎn)移概率矩陣為該信道為非對(duì)稱(chēng)DMC信道，求其信道容量。XY01201111/21/2第53頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量解：仔細(xì)觀察此信道，設(shè)想輸入端輸入符號(hào)1的概率為0，則該信道就成了一一對(duì)應(yīng)信道。如果符號(hào)1的概率不等于0，就會(huì)增加不確定性，而確定性信道的互信息量最大，因此，我們可以設(shè)想，p(0)=p(2)=1/2，p(1)=0，此時(shí)有第54頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量它們滿足定理中的充要條件，因此

24、，這就是我們要尋找的最佳輸入分布，該信道的信道容量為 C=log2=1對(duì)于一般的DMC信道，很難用上述定理來(lái)求其信道容量和對(duì)應(yīng)的最佳輸入概率分布，此時(shí)只能用求極大值的方法來(lái)求解。例3.8第55頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量3.3離散序列信道及其容量信道模型信道第56頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量對(duì)于無(wú)記憶離散序列信道，其信道轉(zhuǎn)移概率為若信道是平穩(wěn)的，則有根據(jù)平均互信息的定義，第57頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量可以證明，該互信息有兩個(gè)

25、性質(zhì)：如果信道無(wú)記憶，則如果輸入矢量X中的各個(gè)分量相互獨(dú)立，則如果信道無(wú)記憶，輸入矢量X中的各個(gè)分量相互獨(dú)立，則上式取等號(hào)。第58頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量當(dāng)輸入矢量達(dá)到最佳分布時(shí)，平穩(wěn)信道一般情況下第59頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量最典型的無(wú)記憶離散序列信道是擴(kuò)展信道。如果對(duì)離散單符號(hào)信道進(jìn)行L次擴(kuò)展，就形成了L次離散無(wú)記憶序列信道。信道輸入序列為X=XL,信道輸入序列為Y=YL,信道的序列轉(zhuǎn)移概率為第60頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道

26、與信道容量例3-7 BSC信道的二次擴(kuò)展BSC信道 P(0/0)= P(1/1)= 1-P, P(0/1)= P(1/0)= P,P(00/00)=p(0/0)p(0/0)=(1-P)2P(01/00)=p(0/0)p(1/0)=P(1-P)P(10/00)=p(1/0)p(0/0)=P(1-P)P(11/00)=p(1/0)p(1/0)=P20000010110101111XY第61頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量轉(zhuǎn)移矩陣為是一個(gè)對(duì)稱(chēng)DMC信道，當(dāng)輸入序列等概分布時(shí)，達(dá)到信道容量第62頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一

27、信息論與編碼-信道與信道容量信道容量為若p=0.1，信道容量為C2=(2-0.938)bit/序列=1.062bit/序列BSC單符號(hào)時(shí)信道容量為C1=1-H(0.1)=0.531bit/序列=1/2 C2第63頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量3.4連續(xù)信道及其容量在連續(xù)信源情況下，可用兩個(gè)相對(duì)熵之差來(lái)表征互信息?；バ畔⒌淖畲笾稻褪切诺廊萘俊Ｒ蚨?，連續(xù)信道具有與離散信道類(lèi)似的信息傳輸率和信道容量表達(dá)式。只考慮加性噪聲第64頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量連續(xù)單符號(hào)加性信道由于 I(X;Y)=

28、h(X)-h(X|Y)=h(Y)-h(Y|X)，信道容量為由限平均功率最大熵定理，當(dāng)信道輸出Y正態(tài)分布時(shí)，熵最大。第65頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量設(shè)py(y)=N(0,P)，其中P為Y的平均功率限制值。由于信道輸入X與噪聲統(tǒng)計(jì)獨(dú)立，且y=x+n，所以，其功率可以相加，即P=S+2，S為信道輸入X的平均值。顯然，若 py(y)=N(0,P)，則px(y)=N(0,S),這時(shí)，信息傳輸率達(dá)到最大式中，S/2是信號(hào)功率與噪聲功率之比，稱(chēng)為信噪比，用SNR表示信道容量?jī)H取決于信道的信噪比。第66頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，

29、星期一信息論與編碼-信道與信道容量對(duì)于均值為零、平均功率為2的非高斯噪聲，其信道容量為上式說(shuō)明在同樣平均功率受限的情況下，非高斯噪聲信道的容量要大于高斯噪聲信道的容量因此，在實(shí)際處理問(wèn)題時(shí)，通常采用計(jì)算高斯噪聲信道的容量的方法保守地估計(jì)容量，且高斯噪聲信道的容量容易計(jì)算。第67頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量多維無(wú)記憶加性連續(xù)信道無(wú)記憶加性隨機(jī)噪聲統(tǒng)計(jì)獨(dú)立可以等價(jià)為L(zhǎng)個(gè)獨(dú)立的并聯(lián)高斯加性信道第68頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量X=(x1,x2,xL)n=(n1,n2,nL)y=(y1,y2

30、,yL)加性信道x1n1y1= x1 +n1xLnLyL= xL +nL第69頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一703.4連續(xù)信道及其容量 連續(xù)單符多維無(wú)記憶高斯加性信道就可等價(jià)成L個(gè)獨(dú)立的并聯(lián)高斯加性信道號(hào)加性信道 比特/L維自由度 因此當(dāng)且僅當(dāng)輸入隨機(jī)矢量X中各分量統(tǒng)計(jì)獨(dú)立，且是均值為零、方差為Pl的高斯變量時(shí)，才能達(dá)到此信道容量 第70頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一713.4連續(xù)信道及其容量 均值為零、方差相同 均值為零、方差不同，總平均功率受限 ：在總輸入功率不變的情況下，合理分配輸入功率，使得信道容量最大。 第71頁(yè)，共93頁(yè)，2022

31、年，5月20日，1點(diǎn)13分，星期一723.4連續(xù)信道及其容量 各個(gè)時(shí)刻的信道輸出功率相等設(shè)為常數(shù) 第72頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一733.4連續(xù)信道及其容量 注水原理：(water-filling)各個(gè)子信道的功率合理分配，使得信道容量最大。各個(gè)時(shí)刻的信道輸出功率（信號(hào)功率+噪聲功率）是相等的當(dāng)噪聲功率大時(shí)，減小信號(hào)功率，甚至使信號(hào)功率為零；當(dāng)噪聲功率小時(shí)，增大信號(hào)功率；例3-10第73頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量限時(shí)限頻限功率的加性高斯白噪聲信道波形信道除了輸入輸出信號(hào)的取值是連續(xù)的，而且還隨時(shí)間連續(xù)變化。

32、但是，對(duì)于頻帶受限的波形信道，可以用抽樣的方法變成時(shí)間離散信道。設(shè)帶寬為W，則在tB時(shí)間間隔內(nèi)，根據(jù)抽樣定理，應(yīng)該抽樣至少2WtB個(gè)點(diǎn)，分別記為輸入 和輸出以及噪聲 ，并且有 。如果噪聲是高斯白噪聲，則該信道稱(chēng)為高斯白噪聲加性信道（AWGN），其中每一個(gè) 都是一個(gè)隨機(jī)變量。第74頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量如果這些隨機(jī)變量統(tǒng)計(jì)無(wú)關(guān)，則信道容量第75頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一763.4連續(xù)信道及其容量 限時(shí)限頻限功率加性高斯白噪聲信道 限時(shí)：tB,限頻|f|=W，高斯噪聲過(guò)程可分解為L(zhǎng)維統(tǒng)計(jì)獨(dú)立的隨機(jī)序列，在0

33、，tB內(nèi)，L=WtB 多維無(wú)記憶加性高斯信道：式中， 是每個(gè)噪聲分量的功率， 是每個(gè)信號(hào)樣本值的平均功率，設(shè)信號(hào)的平均功率受限于Ps, 則第76頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一773.4連續(xù)信道及其容量 限時(shí)限頻限功率加性高斯白噪聲信道 信道的容量 單位時(shí)間的信道容量 香農(nóng)公式 Ct W log(1+SNR) 比特/秒 輸入信號(hào)x(t)滿足均值為零、平均功率Ps的高斯白噪聲的特性 第77頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量另一種算法：如果信號(hào) 是平均功率受限的，即于是有則第78頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13

34、分，星期一信息論與編碼-信道與信道容量 這就是著名的香農(nóng)公式，在通信原理里面經(jīng)常要用到，它是帶限AWGN波形信道在平均功率受限條件下信道容量的基本公式。根據(jù)香農(nóng)公式，可以得到以下一些結(jié)果或結(jié)論：（1）利用關(guān)系式 ，可得第79頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量（2）歸一化信道容量所謂歸一化信道容量，就是平均單位帶寬的信道容量，即C/W設(shè)每傳輸一比特的信息需要的能量為 ，則信號(hào)的平均功率為第80頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量因此或者寫(xiě)為上式是歸一化信道容量C/W和信噪比 之間的關(guān)系，也稱(chēng)頻帶利用

35、率。第81頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量由此可知： （i）C/W=1時(shí)（每赫茲帶寬傳一比特）， 即此時(shí)要求信噪比為0dB.（ii） 時(shí)， 也就是說(shuō)，此時(shí)對(duì) 的要求是指數(shù)增加的。第82頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量（iii） 時(shí)， 也就是說(shuō)，當(dāng)信噪比 時(shí)，信道完全喪失了通信能力，因此，-1.6dB稱(chēng)作香農(nóng)限，是一切編碼方式所能達(dá)到的理論極限。第83頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一84信息論與編碼-信道與信道容量Ct/W (bit/s/Hz) 不可實(shí)現(xiàn)區(qū)域 1 可實(shí)現(xiàn)區(qū)域 -1.6 0 SNR(dB)第84頁(yè)，共93頁(yè)，2022年，5月20日，1點(diǎn)13分，星期一信息論與編碼-信道與信道容量（iV）信噪比