幻燈片 武漢大學

1、2022-2-1312022-2-132內容提要 信道對于信息率的容納并不是無限制的，它不僅與物理信道本身的特性有關，還與信道輸入信號的統(tǒng)計特性有關，它有一個極限值，即信道容量，信道容量是有關信道的一個很重要的物理量。這一章研究信道，研究在信道中傳輸的每個符號所攜帶的信息量，并定義信道容量。 2022-2-1334 信道容量n信道的功能：信道的功能：以信號形式傳輸和存儲信息。以信號形式傳輸和存儲信息。n信道傳輸信息的速率：信道傳輸信息的速率：與物理信道本身的特性、載荷信息的信號形式與物理信道本身的特性、載荷信息的信號形式和信源輸出信號的統(tǒng)計特性有關。和信源輸出信號的統(tǒng)計特性有關。n信道容量研究

2、內容：信道容量研究內容：在什么條件下，通過信道的信息量最大在什么條件下，通過信道的信息量最大。4.1 信道的數學模型和分類信道的數學模型和分類4.2 單符號離散信道的信道容量單符號離散信道的信道容量4.3 多符號離散信道多符號離散信道4.4 多用戶信道多用戶信道4.5 連續(xù)信道連續(xù)信道4.6 信道編碼定理信道編碼定理2022-2-134引言n什么是信道？什么是信道？q信道是傳送信息的載體信道是傳送信息的載體信號所通過的通道。信息是抽象信號所通過的通道。信息是抽象的，信道則是具體的。比如：二人對話，二人間的空氣就是的，信道則是具體的。比如：二人對話，二人間的空氣就是信道；打電話，電話線就是信道；

3、看電視，聽收音機，收、信道；打電話，電話線就是信道；看電視，聽收音機，收、發(fā)間的空間就是信道。發(fā)間的空間就是信道。 n信道的作用信道的作用 q在信息系統(tǒng)中信道主要用于傳輸與存儲信息，而在通信系統(tǒng)在信息系統(tǒng)中信道主要用于傳輸與存儲信息，而在通信系統(tǒng)中則主要用于傳輸。中則主要用于傳輸。 n研究信道的目的研究信道的目的 q在通信系統(tǒng)中研究信道，主要是為了描述、度量、分析不同在通信系統(tǒng)中研究信道，主要是為了描述、度量、分析不同類型信道，計算其容量，即極限傳輸能力，并分析其特性。類型信道，計算其容量，即極限傳輸能力，并分析其特性。 2022-2-1354.1 信道的數學模型和分類(1) 一般信道的數學模

4、型一般信道的數學模型(2) 信道的分類信道的分類(3) 實際的信道實際的信道2022-2-136(1) 一般信道的數學模型 信道的輸入輸出關系信道的輸入輸出關系 一般信道的數學模型一般信道的數學模型2022-2-137 信道的輸入輸出關系n信號在信道中傳輸會引入噪聲或干擾，它使信號信號在信道中傳輸會引入噪聲或干擾，它使信號通過信道后產生錯誤和失真；通過信道后產生錯誤和失真；n信道的輸入和輸出之間一般不是確定的函數關系，信道的輸入和輸出之間一般不是確定的函數關系，而是而是統(tǒng)計依賴關系統(tǒng)計依賴關系；n知道了信道的輸入信號、輸出信號以及它們之間知道了信道的輸入信號、輸出信號以及它們之間的依賴關系，信

5、道的全部特性就確定了。的依賴關系，信道的全部特性就確定了。一般來說，一般來說，輸入和輸出信號都是廣義的時間連續(xù)的隨機信號，可用輸入和輸出信號都是廣義的時間連續(xù)的隨機信號，可用隨隨機過程機過程來描述。來描述。2022-2-138 一般信道的數學模型n信道的一般數學模型如下圖所示信道的一般數學模型如下圖所示n數學模型的數學符號表示數學模型的數學符號表示 X P(Y/X) Yn實際信道帶寬總是有限的，所以輸入和輸出信號總可以分實際信道帶寬總是有限的，所以輸入和輸出信號總可以分解成隨機序列來研究。解成隨機序列來研究。隨機序列中每個隨機變量的取值可以是可隨機序列中每個隨機變量的取值可以是可數的離散值，也

6、可以是不可數的連續(xù)值。數的離散值，也可以是不可數的連續(xù)值。2022-2-139(2) 信道的分類 根據輸入輸出隨機信號的特點分類根據輸入輸出隨機信號的特點分類 根據輸入輸出隨機變量個數的多少分類根據輸入輸出隨機變量個數的多少分類 根據輸入輸出個數分類根據輸入輸出個數分類 根據信道上有無干擾分類根據信道上有無干擾分類 根據信道有無記憶特性分類根據信道有無記憶特性分類2022-2-1310 根據輸入輸出隨機信號的特點分類n離散信道：離散信道：輸入、輸出隨機變量都取離散值。輸入、輸出隨機變量都取離散值。n連續(xù)信道：連續(xù)信道：輸入、輸出隨機變量都取連續(xù)值。輸入、輸出隨機變量都取連續(xù)值。n半離散半離散/

7、半連續(xù)信道：半連續(xù)信道：輸入變量取離散值而輸輸入變量取離散值而輸出變量取連續(xù)值，或反之。出變量取連續(xù)值，或反之。2022-2-1311 根據輸入輸出隨機變量個數的多少分類n單符號信道：單符號信道：輸入和輸出端都只用一個輸入和輸出端都只用一個隨機變量隨機變量來表示。來表示。n多符號信道：多符號信道：輸入和輸出端用輸入和輸出端用隨機變量序列隨機變量序列/ /隨機隨機矢量矢量來表示。來表示。2022-2-1312 根據輸入輸出個數分類n單用戶信道：單用戶信道：只有一個輸入和一個輸出的信道。只有一個輸入和一個輸出的信道。n多用戶信道：多用戶信道：有多個輸入和多個輸出的信道。有多個輸入和多個輸出的信道。

8、2022-2-1313 根據信道上有無干擾分類n有干擾信道：有干擾信道：存在干擾或噪聲或兩者都有的信存在干擾或噪聲或兩者都有的信道。道。實際信道一般都是有干擾信道。實際信道一般都是有干擾信道。n無干擾信道：無干擾信道：不存在干擾或噪聲，或干擾和噪不存在干擾或噪聲，或干擾和噪聲可忽略不計的信道。聲可忽略不計的信道。計算機和外存設備之間的信道計算機和外存設備之間的信道可近似看作是無干擾信道?？山瓶醋魇菬o干擾信道。2022-2-1314 根據信道有無記憶特性分類n無記憶信道：無記憶信道：輸出僅與當前輸入有關，而與過輸出僅與當前輸入有關，而與過去輸入無關的信道。去輸入無關的信道。n有記憶信道：有記憶

9、信道：信道輸出不僅與當前輸入有關，信道輸出不僅與當前輸入有關，還與過去輸入和（或）過去輸出有關。還與過去輸入和（或）過去輸出有關。2022-2-1315光纜波導混合介質光波衛(wèi)星電離層對流層散射視距接力移動微波超短波短波中波長波空氣介質中同軸（長途）小同軸（長途）對稱平衡電纜（市內）電纜明線固體介質傳輸媒介類型12022-2-1316碼間干擾衰落交調乘性干擾脈沖噪聲有源散彈噪聲無源熱噪聲線性疊加干擾有干擾略；無干擾：干擾少到可忽干擾類型有記憶無記憶半連續(xù)半離散連續(xù)離散信號類型信號與干擾類型2變參信道（時變信道）恒參信道（時不變信道信道參量類型3多用戶信道（通信網）信）二用戶信道（點對點通用戶類型

10、42022-2-1317(3) 實際的信道n實際信道的帶寬總是有限的，所以輸入和輸出信實際信道的帶寬總是有限的，所以輸入和輸出信號總可以分解成隨機序列來研究。號總可以分解成隨機序列來研究。n一個實際信道可同時具有多種屬性。一個實際信道可同時具有多種屬性。 最簡單的信道是單符號離散信道。最簡單的信道是單符號離散信道。2022-2-13184.2 單符號離散信道的信道容量4.2.1 信道容量定義信道容量定義4.2.2 幾種特殊離散信道的信道容量幾種特殊離散信道的信道容量4.2.3 離散信道容量的一般計算方法離散信道容量的一般計算方法2022-2-13194.2.1 信道容量定義(1) 單符號離散信

11、道的數學模型單符號離散信道的數學模型(2) 信息傳輸率信息傳輸率(3) 信道容量信道容量(4) 信道基本符號信道基本符號(5) 結論結論2022-2-1320(1) 單符號離散信道的數學模型 信道模型信道模型 信道統(tǒng)計特性信道統(tǒng)計特性2022-2-1321 信道模型n設輸入設輸入Xx1,x2,xi,xn 輸出輸出Yy1,y2,yj,ymn其信道模型如下圖所示。其信道模型如下圖所示。2022-2-1322 信道統(tǒng)計特性n信道統(tǒng)計特性描述：信道統(tǒng)計特性描述：由信道轉移概率描述。由信道轉移概率描述。n信道轉移概率信道轉移概率/信道傳遞概率信道傳遞概率：條件概率條件概率p(yj /xi)。n信道特性表

12、示：信道特性表示：用信道轉移概率矩陣，簡稱用信道轉移概率矩陣，簡稱信道矩陣信道矩陣。n反信道矩陣：反信道矩陣：由條件概率由條件概率p(xi /yj)表示。表示。)/()/()/()/()/()/()/()/()/(2122221112112121nmnnmmnmxypxypxypxypxypxypxypxypxypxxxyyy信道矩陣)/()/()/()/()/()/()/()/()/(2122221112112121mnmmnnmnyxpyxpyxpyxpyxpyxpyxpyxpyxpyyyxxx反信道矩陣2022-2-1323(2) 信道的信息傳輸率n定義：定義： 消息在信道的傳輸過程中，

13、單位時間消息在信道的傳輸過程中，單位時間內所傳輸的信息量，稱為消息在信道中的內所傳輸的信息量，稱為消息在信道中的，簡稱為，簡稱為，通常用，通常用R表示。表示。q當信息量單位用比特、時間單位為碼元或符號當信息量單位用比特、時間單位為碼元或符號或符號序列等所占用的時間時，信息傳輸速率或符號序列等所占用的時間時，信息傳輸速率的量綱為比特的量綱為比特/碼元（或比特碼元（或比特/符號、比特符號、比特/符號符號序列等），通常用序列等），通常用R表示；表示；q當信息量單位用比特、時間單位為秒時，信息當信息量單位用比特、時間單位為秒時，信息傳輸速率的量綱為傳輸速率的量綱為 bit/s 或或bps（bit pe

14、r second），），通常用通常用Rt表示。表示。 2022-2-1324(2) 信道的信息傳輸率n消息在無擾離散信道上傳輸不會損失信息量，消息在無擾離散信道上傳輸不會損失信息量，所以在這種信道上的信息傳輸速率就等于信所以在這種信道上的信息傳輸速率就等于信源的時間熵，即源的時間熵，即 Rt = Ht bit/s n平均互信息量實質上就是量綱為比特平均互信息量實質上就是量綱為比特/碼元碼元（或比特（或比特/符號、比特符號、比特/符號序列等）的信息符號序列等）的信息傳輸速率。如果改變其時間單位，則有傳輸速率。如果改變其時間單位，則有);(1YXItRtt為為1碼元（或符號、符號序列等）所占用的時

15、間，主碼元（或符號、符號序列等）所占用的時間，主單位為單位為s。 2022-2-1325(2) 信道的信息傳輸率n如果信源熵為如果信源熵為H(X)，希望在信道輸出端接收的信息量就是，希望在信道輸出端接收的信息量就是H(X)，由于干擾的存在，一般只能接收到，由于干擾的存在，一般只能接收到I(X;Y)。n信道的信息傳輸率：信道的信息傳輸率：就是平均互信息就是平均互信息 R=I(X;Y)。n輸出端輸出端Y往往只能獲得關于輸入往往只能獲得關于輸入X的部分信息，這是由于的部分信息，這是由于平均互信息性質決定的：平均互信息性質決定的：I(X;Y)H(X)。nI(X;Y)是信源輸入概率分布是信源輸入概率分布

16、p(xi)和信道轉移概率和信道轉移概率p(yj /xi)的的二元函數：二元函數：nimjxypxpxypijinimjypxypjiijijiniijijniijiijjijxypxpyxpYXIxypxpyxpxypxpyp11)/()()/(211)()/(211log)/()(log)();()/()()()/()()(2022-2-1326(3) 信道容量n當信道特性當信道特性p(yj /xi)固定后，固定后，I(X;Y)隨信源概率分布隨信源概率分布p(xi)的變化而變化。的變化而變化。n調整調整p(xi)，在接收端就能獲得不同的信息量。由平均互信息的性質已，在接收端就能獲得不同的信息

17、量。由平均互信息的性質已知，知，I(X;Y)是是p(xi)的上凸函數，因此總能找到一種概率分布的上凸函數，因此總能找到一種概率分布p(xi)（即某（即某一種信源），使信道所能傳送的信息率為最大。一種信源），使信道所能傳送的信息率為最大。n信道容量信道容量C：在信道中最大的信息傳輸速率，單位是比特在信道中最大的信息傳輸速率，單位是比特/信道符號。信道符號。n單位時間的信道容量單位時間的信道容量Ct：若信道平均傳輸一個符號需要若信道平均傳輸一個符號需要t秒鐘，則秒鐘，則單位時間的信道容量為單位時間的信道容量為 Ct實際是信道的最大信息傳輸速率。實際是信道的最大信息傳輸速率。)/();(maxmax

18、)()(信道符號比特YXIRCiixpxp)/();(max)(1秒比特YXICixptt2022-2-1327(4) 信道基本符號n定義：定義：信道基本符號信道基本符號是指信道上允許是指信道上允許傳送的符號，是信源編碼器的輸出。傳送的符號，是信源編碼器的輸出。n例如：二進制信道只有例如：二進制信道只有1 1、0 0兩個基本兩個基本符號；多進制信道有多個基本符號，符號；多進制信道有多個基本符號，如如1616進制信道包括進制信道包括0 F 0 F 這這1616種基本符種基本符號。號。2022-2-1328(5) 結 論nC和和Ct都是求平均互信息都是求平均互信息I(X;Y)的條件極大值問題，的條

19、件極大值問題，當輸入信源概率分布當輸入信源概率分布p(xi)調整好以后，調整好以后， C和和Ct已已與與p(xi)無關，而僅僅是信道轉移概率的函數，只無關，而僅僅是信道轉移概率的函數，只與信道統(tǒng)計特性有關；與信道統(tǒng)計特性有關；n信道容量是完全信道容量是完全描述信道特性描述信道特性的參量；的參量；n信道容量是信道信道容量是信道能夠傳送的最大信息量能夠傳送的最大信息量。2022-2-13294.2.2 幾種特殊離散信道的信道容量(1) 離散無噪信道的信道容量離散無噪信道的信道容量(2) 強對稱離散信道的信道容量強對稱離散信道的信道容量(3) 對稱離散信道的信道容量對稱離散信道的信道容量(4) 準對

20、稱離散信道的信道容量準對稱離散信道的信道容量 2022-2-1330(1) 離散無噪信道的信道容量 具有一一對應關系的無噪信道具有一一對應關系的無噪信道 具有擴展性能的無噪信道具有擴展性能的無噪信道 具有歸并性能的無噪信道具有歸并性能的無噪信道 小結小結2022-2-1331 具有一一對應關系的無噪信道n這種信道如這種信道如右圖所示右圖所示n對應的信道對應的信道矩陣是矩陣是000100100100100010000100001000012022-2-1332n因為信道矩陣中所有元素均是因為信道矩陣中所有元素均是“1”或或“0”，X和和Y有確定的有確定的對應關系：對應關系：已知已知X后后Y沒有不

21、確定性，噪聲熵沒有不確定性，噪聲熵 H(Y/X)=0；反之，收到反之，收到Y后，后，X也不存在不確定性，損失熵也不存在不確定性，損失熵 H(X/Y)=0;故有故有 I(X;Y)=H(X)=H(Y)。n接收到符號接收到符號Y后，平均獲得的信息量就是信源發(fā)出每個符號后，平均獲得的信息量就是信源發(fā)出每個符號所含有的平均信息量，信道中無信息損失，而且噪聲熵也所含有的平均信息量，信道中無信息損失，而且噪聲熵也等于零，輸出端等于零，輸出端Y的不確定性沒有增加。嚴格地講，這種輸的不確定性沒有增加。嚴格地講，這種輸入輸出有確定的一一對應關系的信道，應稱為入輸出有確定的一一對應關系的信道，應稱為無噪無損信無噪無

22、損信道道。n當信源呈等概率分布時，具有一一對應確定關系的無噪信當信源呈等概率分布時，具有一一對應確定關系的無噪信道達到信道容量道達到信道容量nXHYXICiixpxp2)()(log)(max);(max2022-2-1333 具有擴展性能的無噪信道n此信道的舉例如右圖所示。此信道的舉例如右圖所示。nnm，輸入，輸入X的符號集個的符號集個數小于輸出數小于輸出Y的符號集個的符號集個數。其信道矩陣如下：數。其信道矩陣如下：)/()/(00000000)/()/()/(00000000)/()/()/(3837262524131211xypxypxypxypxypxypxypxyp2022-2-13

23、34n雖然信道矩陣中的元素不全是雖然信道矩陣中的元素不全是“1”或或“0”，但由于每列中，但由于每列中只有一個非零元素：只有一個非零元素：已知已知Y后，后，X不再有任何不確定度，損失熵不再有任何不確定度，損失熵 H(X/Y)=0， I(X;Y)= H(X) -H(X/Y)= H(X) 。例如，輸出端收到例如，輸出端收到y(tǒng)2后可以確定輸入端發(fā)送的是后可以確定輸入端發(fā)送的是x1，收到，收到y(tǒng)7后可以確后可以確定輸入端發(fā)送的是定輸入端發(fā)送的是x3，等等。，等等。n接收到符號接收到符號Y后，對發(fā)送的符號后，對發(fā)送的符號X是完全確定的，損失熵為是完全確定的，損失熵為零，但噪聲熵不為零。這類信道被稱為零，

24、但噪聲熵不為零。這類信道被稱為有噪無損信道有噪無損信道。n若信道的傳遞矩陣中每一列有一個也僅有一個非零元素時，若信道的傳遞矩陣中每一列有一個也僅有一個非零元素時，該信道一定是該信道一定是有噪無損信道有噪無損信道，其平均互信息等于信源熵。，其平均互信息等于信源熵。即信道容量為即信道容量為n與一一對應信道不同的是，此時輸入端符號熵小于輸出端與一一對應信道不同的是，此時輸入端符號熵小于輸出端符號熵，符號熵， H(X) m，輸入，輸入X的符號集個數大于輸出的符號集個數大于輸出Y的符號集個數。其的符號集個數。其信道矩陣如下：信道矩陣如下：1000100100010012022-2-1336n信道矩陣中的

25、元素非信道矩陣中的元素非“0”即即 “1” ，每行僅有一個非零元，每行僅有一個非零元素，但每列的非零元素個數大于素，但每列的非零元素個數大于1：已知某一個已知某一個xi后，對應的后，對應的yj完全確定，信道噪聲熵完全確定，信道噪聲熵H(Y/X)=0。但是收到某一個但是收到某一個yj后，對應的后，對應的xi不完全確定，信道損失熵不完全確定，信道損失熵 H(X/Y)0。 n在這類信道中，接受到符號在這類信道中，接受到符號Y后不能完全消除對后不能完全消除對X的不確的不確定性，信息有損失。但輸出端定性，信息有損失。但輸出端Y的平均不確定性因噪聲熵的平均不確定性因噪聲熵等于零而沒有增加，所以這類信道稱為

26、等于零而沒有增加，所以這類信道稱為無噪有損信道無噪有損信道也稱也稱確定信道確定信道。n信道容量為信道容量為n這種信道輸入端符號熵大于輸出端符號熵，這種信道輸入端符號熵大于輸出端符號熵，H(X)H(Y)。n注意：注意：在求信道容量時，調整的始終是輸入端的概率分在求信道容量時，調整的始終是輸入端的概率分布布p(xi) ，盡管信道容量式子中平均互信息，盡管信道容量式子中平均互信息I(X;Y)等于輸出等于輸出端符號熵端符號熵H(Y)，但是在求極大值時調整的仍然是輸入端的，但是在求極大值時調整的仍然是輸入端的概率分布概率分布p(xi) ，而不能用輸出端的概率分布，而不能用輸出端的概率分布p(yj)來代替

27、來代替。mYHYXICiixpxp2)()(log)(max);(max2022-2-1337舉例：下圖的信道容量是舉例：下圖的信道容量是log23=1.585(比特比特/信道符號信道符號)， 求要達到這一信道容量對應的信源概率分布。求要達到這一信道容量對應的信源概率分布。p由信道矩陣得由信道矩陣得 p(y1)= p(x1)1+ p(x2)1 p(y2)= p(x3)1+ p(x4)1 p(y3)= p(x5)1p只要只要p(y1)= p(y2)= p(y3)= (1/3)，H(Y)達到最大值，即達到達到最大值，即達到信道容量信道容量C。p此時使此時使p(y1)= p(y2)= p(y3)=

28、(1/3)的信源概率分布的信源概率分布p(xi),i=1,2,3,4,5存在，但不是惟一的。存在，但不是惟一的。 p這種信道的輸入符號熵大于這種信道的輸入符號熵大于 輸出符號熵，即輸出符號熵，即H(X) H(Y)。1000100100010012022-2-1338 結 論n綜合上述三種情況，若嚴格區(qū)分的話，凡損失熵等于綜合上述三種情況，若嚴格區(qū)分的話，凡損失熵等于零的信道稱為零的信道稱為無損信道無損信道；凡噪聲熵等于零的信道稱為；凡噪聲熵等于零的信道稱為無噪信道無噪信道，而一一對應的無噪信道則為，而一一對應的無噪信道則為無噪無損信道無噪無損信道。n對于對于無損信道無損信道，其信息傳輸率，其信

29、息傳輸率R就是輸入信源就是輸入信源X輸出每輸出每個符號攜帶的信息量個符號攜帶的信息量(信源熵信源熵H(X)，因此其信道容量，因此其信道容量為為 式中假設輸入信源式中假設輸入信源X的符號共有的符號共有n個，所以等概率分布個，所以等概率分布時信源熵最大。時信源熵最大。2()max()logip xCH Xn2022-2-1339 結 論n對于對于無噪信道無噪信道，其信道容量為，其信道容量為 式中假設輸出信源式中假設輸出信源Y的符號共有的符號共有m個，等概率分布時個，等概率分布時H(Y)最大最大,而且一定能找到一種輸入分布使得輸出符號而且一定能找到一種輸入分布使得輸出符號Y達到等概率分布。達到等概率

30、分布。n可見這些信道的信道容量可見這些信道的信道容量C只決定于信道的輸入符號只決定于信道的輸入符號數數n，或輸出符號數，或輸出符號數m，與信源無關。，與信源無關。2()max( )logip xCH Ym2022-2-1340(2) 強對稱離散信道的信道容量 什么是強對稱離散信道什么是強對稱離散信道 強對稱信道矩陣特點強對稱信道矩陣特點 強對稱離散信道的信道容量強對稱離散信道的信道容量 輸入是什么概率分布時達到信道容量輸入是什么概率分布時達到信道容量 二進制均勻信道二進制均勻信道2022-2-1341 什么是強對稱離散信道n單符號離散信道的單符號離散信道的X和和Y取值均由取值均由n個不同符號組

31、成，即個不同符號組成，即nXx1,x2,xi,xn，Yy1,y2,yj,ynn信道矩陣為信道矩陣為n這種信道稱為這種信道稱為強對稱強對稱/均勻均勻信道。信道。n這類信道中：總的錯誤概率是這類信道中：總的錯誤概率是p，對稱平均地分配給，對稱平均地分配給(n-1)個輸出符號。個輸出符號。n信道矩陣中每行之和等于信道矩陣中每行之和等于1，每列之和也等于，每列之和也等于1。 pppPnpnpnpnpnpnpnn1111111) 1(1npnpp為個符號的錯誤傳遞概率，其它率每個符號的正確傳遞概2022-2-1342 強對稱信道矩陣特點n強對稱信道矩陣，它的每一行和每一強對稱信道矩陣，它的每一行和每一

32、列都是同一集合各個元素的不同排列。列都是同一集合各個元素的不同排列。n由平均互信息定義：由平均互信息定義：nHni的意義的意義：是固定是固定X=xi時對時對Y求和，相當于在信道矩陣中選定了某求和，相當于在信道矩陣中選定了某一行，對該行上各列元素的自信息求加權和。由于信道的對稱性，每一行，對該行上各列元素的自信息求加權和。由于信道的對稱性，每一行都是同一集合的不同排列，所以一行都是同一集合的不同排列，所以n當當xi不同時，不同時，Hni只是求和順序不同，求和結果完全一樣。只是求和順序不同，求和結果完全一樣。所以所以Hni與與X無關無關，是一個常數。，是一個常數。 個)1(11,nnpnppnji

33、jijnininiiijninjijixypxypHHxpxypxypxpXYHXYHYHYXI121112)/(log)/()()/(log)/()()/()/()();(其中令其中條件熵)log() 1(log1212npnpninppH2022-2-1343 強對稱離散信道的信道容量n因此因此n如何達到信道容量：如何達到信道容量：求一種輸入分布使求一種輸入分布使H(Y)取最大值。取最大值?，F已知輸出符號集現已知輸出符號集Y共有共有n個符號，則個符號，則H(Y)log2n。根據最大離散熵定理，。根據最大離散熵定理，只有當只有當p(yj)= (1/n)，即輸出端呈等概率分布時，即輸出端呈等概

34、率分布時， H(Y)才達到最大值才達到最大值log2n 。要獲得這一最大值，可通過公式要獲得這一最大值，可通過公式 尋找相應的輸入概率分布；尋找相應的輸入概率分布；一般情況下不一定存在一種輸入符號的概率，使輸出符號達到等概率一般情況下不一定存在一種輸入符號的概率，使輸出符號達到等概率分布。但強對稱離散信道存在。分布。但強對稱離散信道存在。)(max)()/()();()()/()(1nixpninininiiHYHCHYHXYHYHYXIHHxpXYHi于是得信道容量njxypxpypniijij, 2 , 1)/()()(12022-2-1344 輸入是什么概率分布時達到信道容量n強對稱離散

35、信道的輸入和輸出之間概率關系可用矩陣表示為強對稱離散信道的輸入和輸出之間概率關系可用矩陣表示為n信道矩陣中的每一行都是由同一集合信道矩陣中的每一行都是由同一集合 中的諸元素的不同排列組成，所以保中的諸元素的不同排列組成，所以保 證了證了當輸入符號當輸入符號X是等概率分布，是等概率分布， 即即p(xi)=(1/n)時，輸出符號時，輸出符號Y一定是等概率分布，這時一定是等概率分布，這時H(Y)=log2n。相應。相應的信道容量為的信道容量為 nnTnnnnTnnnnpnpnpnpnpnpnTnnnPPPPxpxpxppppxpxpxpPypypyp，的轉置，對于對稱矩陣是其中)()()()()()

36、()()()(211111112121 個)1(11,nnpnpp)/(logloglog,loglog12221122信道符號比特npnpnpnipppnpHnHnC2022-2-1345n結論：結論：當信道輸入呈等概率分布時，強對稱離散信當信道輸入呈等概率分布時，強對稱離散信道能夠傳輸最大的平均信息量，即達到信道容量。道能夠傳輸最大的平均信息量，即達到信道容量。 這個信道容量只與信道的輸出符號數這個信道容量只與信道的輸出符號數n和相應信道矩陣中和相應信道矩陣中的任一行矢量有關的任一行矢量有關。 個)1(11,nnpnpp2022-2-1346 二進制均勻信道n當當n=2時的強對稱離散信道就

37、是二進制均勻信道。時的強對稱離散信道就是二進制均勻信道。n二進制均勻信道二進制均勻信道 的信道容量為：的信道容量為：n二進制均勻信道容量二進制均勻信道容量 曲線如右圖所示。曲線如右圖所示。22221loglog1( )( )loglogCppppH pH ppppp 其中2022-2-1347(3) 對稱離散信道的信道容量 可排列性可排列性 對稱離散信道定義對稱離散信道定義 對稱離散信道的信道容量對稱離散信道的信道容量2022-2-1348 可排列性n行可排列：行可排列：一個矩陣的每一行都是同一集合一個矩陣的每一行都是同一集合Qq1,q2,qm中諸元素的不同排列。中諸元素的不同排列。n列可排列

38、：列可排列：一個矩陣的每一列都是同一集合一個矩陣的每一列都是同一集合Pp1,p2,pn中諸元素的不同排列。中諸元素的不同排列。n矩陣可排列矩陣可排列/具有可排列性具有可排列性：一個矩陣的行和列都是可排一個矩陣的行和列都是可排列的。列的。2022-2-1349 對稱離散信道定義n對稱離散信道：對稱離散信道：信道矩陣具有可排列性信道矩陣具有可排列性。n行、列集合的特點行、列集合的特點當當mn時，時，P是是Q的子集。的子集。當當mn時，時，Q和和P兩個集合中，一個必定是另一個的子集。兩個集合中，一個必定是另一個的子集。因為矩陣中的每一個元素既是行集合因為矩陣中的每一個元素既是行集合Q中的元素，又是中

39、的元素，又是列集合列集合P中的元素。中的元素。當當m=n時，時，Q和和P中的所有元素重合，中的所有元素重合，Q和和P是同一集合。是同一集合。2022-2-1350n舉例：舉例： 的子集是，是同一集合和，對稱信道QPnmQPnmPQPP613121613161613131216131312161613121231316161616131311 1111336634111163630.70.20.10.20.10.7PP不對稱信道2022-2-1351 對稱離散信道的信道容量n平均互信息平均互信息),(log)(max),()()();()/()/(log)/()()()/(log)/()()()

40、/()();(212)(21121211mmixpmmimimimjijijmiminiiijnimjijiqqqHmHYHCqqqHYHHYHYXIHXYHXHxypxypHHxpYHxypxypxpYHXYHYHYXIi信道容量為因此，無關的常數，故也是與輸入所以素的不同排列，一行都是同一集合諸元由于信道的對稱性，每其中2022-2-1352n對稱離散信道的信道容量與強對稱的形式相同，只是這對稱離散信道的信道容量與強對稱的形式相同，只是這里里mn。n由于對稱信道的特點，由于對稱信道的特點，X等概率分布時，等概率分布時，Y也是等概率分也是等概率分布，從而使布，從而使Y的熵達到最大值的熵達到最

41、大值log2m，即信道容量。，即信道容量。2022-2-1353(4) 準對稱離散信道的信道容量n準對稱離散信道定義：準對稱離散信道定義：一個一個n行行m列單符號離散信道矩陣列單符號離散信道矩陣P的行可排列，列不可排列。但是矩陣中的的行可排列，列不可排列。但是矩陣中的m列可分成列可分成S個不相交的子集，各子集分別有個不相交的子集，各子集分別有m1,m2,ms個元素個元素(m1+m2+ms=m)，由，由n行行mk(k=1,2,s)列組成的子矩陣列組成的子矩陣Pk具有可排列性。具有可排列性。n舉例舉例 兩個子矩陣均是可排列的，故信道兩個子矩陣均是可排列的，故信道P是準對稱信道。是準對稱信道。 81

42、81818122141412118181214181814121PPP子矩陣相交的子集，構成兩個兩列和后兩列分成互不陣的前具有可排列性，但把矩行具有可排列性，列不2022-2-1354n由行的可排列性，得信道容量由行的可排列性，得信道容量1212()( /)( ,)max( )( ,)inmp xH Y XH q qqCH YH q qq121212()( )( )( )( ),jiisssCPp ymp xp xH YH YmsM MMm mmmmmm只要使輸出隨機變量呈等概率分布，上式第一項即可達到最大值，從而達到信道容量 。但是由于 中各列不具有可排列性，要使=1/ ,則可能使輸入概率分

43、布的某些概率出現負值。為了在非負的情況下使達到最大值，可將中的 項分成 個子集，各子集分別有個元素（= ），則2022-2-135512211()22()()()22( )()log()()log()()log()()log()()()1,2,()/()0,ln1(0),logln log()jkjjsjkmsjjjjjkp yMjjjjp yMp yMjp yMkkkjjpH Yp yp yp yp yp yp yp yp ykp yp yksmp yp yxxxxxep y 令第 個集合中概率的平均值因為以及22()()()()()log()1 log()() ()()0jkjkjkkkj

44、yMp yMjjkkjp yMp yp yp yep yp yp y mp y2022-2-135622()()22()()222()()log()()log()()log()()log()log()()()log()()()()log()jkjkjkjkjkjkjjp yMp yMjjjkp yMp yMkkkkkkkjkjjp yMp yp yp yp yp yp yp yp yp ym p ym p yp yMp yp ykp yp y 故有即把子集中的變成其均值，將使第 個子集中的熵 ()kkPp y達到最大。由于子矩陣具有可排列性，只要信源X呈等概率分布，即可使第k個子集中的輸出概率

45、相等，即達到其均值。2022-2-1357n因此，相應的準對稱離散信道容量為因此，相應的準對稱離散信道容量為skmypypkypkMypjkkkj, 2 , 1)()()()(個子集中概率的平均值為第其中),()(log)(2121mkkskkqqqHypypmC21( )( )()log()skkkkH YYH Ym p yp y 如果中的每一項都達到最大值，則輸出 的熵達到最大，即2022-2-13581.81121.75 1111248811114288111188241211118842122211 113()2 2481 111()2 8881 1 1 1()log(),2 4 8

46、8kkkkPPPp yp yCm p yp yH 例：分成互不相交的兩個子矩陣則可計算得C=0.0612bit/symbol2022-2-13592022-2-1360 典型無擾離散信道的信道容量典型無擾離散信道的信道容量1. 均勻編碼信道的信道容量均勻編碼信道的信道容量 n定義：定義： 基本符號時間等長的信道稱為均勻基本符號時間等長的信道稱為均勻編碼信道，這種等長的基本符號稱為碼元。編碼信道，這種等長的基本符號稱為碼元。q碼元通常是持續(xù)時間為碼元通常是持續(xù)時間為b秒的秒的D進制脈沖進制脈沖（Pulse），），D進制表示該碼元有進制表示該碼元有D種等間隔數種等間隔數值。值。2022-2-136

47、1典型無擾離散信道的信道容量典型無擾離散信道的信道容量例例4.1 用用8kHz的取樣速率對模擬信號取樣，若的取樣速率對模擬信號取樣，若對每一樣值做對每一樣值做256 級量化且樣值是各態(tài)歷經級量化且樣值是各態(tài)歷經的，求傳輸此信號的信道容量。的，求傳輸此信號的信道容量。解：由題意可知，每秒鐘有解：由題意可知，每秒鐘有8000個樣值，即個樣值，即n =8000（信源消息），信道基本符號數（信源消息），信道基本符號數D =256，故每秒鐘構成的不同消息的總數目，故每秒鐘構成的不同消息的總數目為為N = 2568000，有，有 8000log2568000 log25664 kbpstCT2022-2-

48、1362典型無擾離散信道的信道容量典型無擾離散信道的信道容量 一般地，若每個信道基本符號的長度為一般地，若每個信道基本符號的長度為b秒，每秒鐘秒，每秒鐘內信道上可傳送的信道基本符號數為內信道上可傳送的信道基本符號數為n，則，則n =1/b；T秒鐘內信道上可構成的不同消息數為秒鐘內信道上可構成的不同消息數為N(T)=DnT，其中，其中nT為為T 秒鐘內信道上可傳送的信道基本符號數。于是秒鐘內信道上可傳送的信道基本符號數。于是 Ct = nlog D bps (4.1) 如果不以秒而是以一個碼元的時間作為標準，則如果不以秒而是以一個碼元的時間作為標準，則 C = Ct / n = log D bi

49、t/碼元時間碼元時間 (4.2)2022-2-1363 典型無擾離散信道的信道容量典型無擾離散信道的信道容量2. 無固定約束的不均勻編碼信道的信無固定約束的不均勻編碼信道的信道容量道容量 無固定約束的不均勻編碼信道的基本符號是等幅的不等長無固定約束的不均勻編碼信道的基本符號是等幅的不等長脈沖，脈沖，用脈沖占有時間的不同來攜帶信息。用脈沖占有時間的不同來攜帶信息。例例4.2 4.2 求傳輸脈沖時間調制信號的信道容量。求傳輸脈沖時間調制信號的信道容量。 解解 求信道容量，主要是求在求信道容量，主要是求在T T時間內能構成的不同消息時間內能構成的不同消息數數N(T)。若以最窄的脈沖作為單位碼元而其它

50、脈沖的寬度都是它的若以最窄的脈沖作為單位碼元而其它脈沖的寬度都是它的倍數，則倍數，則PTMPTM脈沖寬度量化為有限種信道基本符號。脈沖寬度量化為有限種信道基本符號。設有設有D D種信道基本符號，分別為：種信道基本符號，分別為：a1, a2, , aD ；對應的占；對應的占用時間分別為：用時間分別為：t1, t2, , tD ；則在時間；則在時間T T內可能構成的內可能構成的符號總數符號總數N (T)有如下表達式：有如下表達式：2022-2-1364典型無擾離散信道的信道容量典型無擾離散信道的信道容量 式中第1行的表示除a1外的D 1個信道基本符號的全排列，其余類推。利用遞推的方法或其它方法可得

51、 C = log rmax bit /單位碼元時間 (4.4) 其中rmax是N (T)的特征方程 (4.5) 的最大正實根。)()()(212121DDDtTNtTNtTNaaaaaaTN0121Dtttrrr(4.3)(續(xù))2022-2-1365 典型無擾離散信道的信道容量典型無擾離散信道的信道容量3. 有固定約束的不均勻編碼信道的信有固定約束的不均勻編碼信道的信道容量道容量 n假如編碼不滿足遍歷性，即由轉移不受限制假如編碼不滿足遍歷性，即由轉移不受限制變?yōu)檗D移受限制，傳輸它的信道就成為有固變?yōu)檗D移受限制，傳輸它的信道就成為有固定約束的不均勻編碼信道。定約束的不均勻編碼信道。n傳輸莫爾斯傳輸莫爾斯（Morse）電碼的信道是一種典電碼的信道是一種典型的有固定約束的不均勻編碼信道，下面通型的有固定約束的不均勻編碼信道，下面通過對它的分析來看這種信道的信道容量。過對它的分析來看這種信道的信道容量。2022-2-1366 典型無擾離散信道的信道容量典型無擾離散信道的信道容量例例4.3 電報員發(fā)報用電報