信道容量的計(jì)算

1、. 4.2信道容量的計(jì)算這里，我們介紹一般離散信道的信道容量計(jì)算方法，根據(jù)信道容量的定義，就是在固定信道的條件下，對(duì)所有可能的輸入概率分布求平均互信息的極大值。前面已知是輸入概率分布的上凸函數(shù)，所以極大值一定存在。而是個(gè)變量的多元函數(shù)。并且滿足。所以可用拉格朗日乘子法來(lái)計(jì)算這個(gè)條件極值。引入一個(gè)函數(shù)：解方程組 （4.2.1）可以先解出達(dá)到極值的概率分布和拉格朗日乘子的值，然后在解出信道容量。因?yàn)槎?。解（4.2.1）式有 （對(duì)都成立）又因?yàn)?所以(4.2.1)式方程組可以轉(zhuǎn)化為 假設(shè)使得平均互信息達(dá)到極值的輸入概率分布這樣有 從而上式左邊即為信道容量，得 現(xiàn)在令 式中，是輸出端接收到Y(jié)后

2、獲得關(guān)于的信息量，即是信源符號(hào)對(duì)輸出端Y平均提供的互信息。一般來(lái)講，值與有關(guān)。根據(jù)（4.2.2）式和（4.2.3）式， 所以對(duì)于一般離散信道有如下定理。定理4.2.1 一般離散信道的平均互信息達(dá)到極大值（即等于信道容量）的充要條件是輸入概率分布滿足 對(duì)所有的 對(duì)所有的這時(shí)C就是所求的信道容量。對(duì)于離散信道來(lái)說(shuō)，其實(shí)信道容量還有一個(gè)解法：迭代解法。定理4.2.2 設(shè)信道的向前轉(zhuǎn)移概率矩陣為，是任給的輸入字母的一個(gè)初始概率分布，其所有分量。按照下式不斷地對(duì)概率分布進(jìn)行迭代，更新： 其中 由此所得的序列收斂于信道容量C。我們還可以將上述過(guò)程寫成算法以便編制程序?qū)崿F(xiàn)（如圖4.2.1） 開始 圖4.2.

3、1 信道容量的迭代算法對(duì)于一些特殊的離散信道，我們有方便的方法計(jì)算其信道容量。定義4.2.1 設(shè)X和Y分別表示輸入信源與輸出信源，則我們稱為損失熵，為信道噪聲熵。如果信道的損失熵，則次信道容量為（bit/符號(hào)）這里輸入信源X的信源符號(hào)個(gè)數(shù)為。如果信道的噪聲熵，則此信道容量為（bit/符號(hào)）這里輸出信源符Y的符號(hào)個(gè)數(shù)為s.定義4.2.2 一個(gè)信道Q稱為對(duì)稱離散信道，如果它滿足下面的性質(zhì)：（1） 信道Q矩陣中每一行是另一行的置換；（2） 每一列式另一列的置換。例如，信道矩陣和滿足對(duì)稱性，所以對(duì)應(yīng)信道是對(duì)稱離散信道。定義4.2.3 對(duì)稱離散信道的信道容量為 （bit/符號(hào)）上式只與対稱信道矩陣中行矢

4、量和輸出符號(hào)集的個(gè)數(shù)s有關(guān)。證明 而 由于信道的對(duì)稱性，所以與無(wú)關(guān)，為一常熟，即 接著舉一個(gè)例子加以說(shuō)明。例4.2.1 某對(duì)稱離散信倒的信道矩陣為 用公式計(jì)算信道容量 （bit/符號(hào)）定義4.2.3 若信道矩陣Q的列可以劃分成若干互不相交的子集矩陣，即且。由為列組成的矩陣是對(duì)稱矩陣，則稱信道矩陣Q所對(duì)應(yīng)的信道為準(zhǔn)對(duì)稱信道。例如，信道矩陣 都是準(zhǔn)對(duì)稱信道，在信道矩陣中，Y可以劃分為三個(gè)子集，由子集的列組成的矩陣為 ， ， 它們滿足對(duì)稱性，所以對(duì)應(yīng)的信道是準(zhǔn)對(duì)稱信道。同理可劃分為 ， 這兩個(gè)矩陣也滿足對(duì)稱性。下面，我們給出準(zhǔn)對(duì)稱離散信道的信道容量計(jì)算公式 其中，是輸入符號(hào)集的個(gè)數(shù)，為準(zhǔn)對(duì)稱信道矩陣

5、中的行矢量。設(shè)矩陣可劃分為個(gè)互不相交的子集。是第個(gè)子矩陣中行元素之和，是第個(gè)子矩陣中列元素之和，即 并且可以證明達(dá)到準(zhǔn)對(duì)稱離散信道容量的輸入分布式等概分布，我們將推導(dǎo)作為習(xí)題留給讀者。0 0 1-p-q q p p 2 q 1-p-q1 1例4.2.2 設(shè)信道傳遞矩陣為 可表示成如圖4.2.2所示，計(jì)算其信道容量根據(jù)上面計(jì)算公式可得則有 圖4.2.2下面我們舉一些其他信道容量的例子例4.2.3 設(shè)離散信道如圖4.2.3所示，輸入符號(hào)集為，輸出符號(hào)集為，信道矩陣為 圖4.2.3 由于輸入符號(hào)傳遞到和是等概率的，所以可以省去。而且與，都分別傳遞到和，因此可只取和，所以設(shè)輸入概率分布，可以計(jì)算得，由

6、定理4.2.1得 可見，此假設(shè)分布滿足定理4.2.1，因此，信道容量 （bit/符號(hào)）最佳分布是若設(shè)輸入分布為。同理可得，根據(jù)定理4.2.1有 從而，輸入分布也是最佳分布，可見，信道最佳輸入分布不是唯一的。對(duì)于一般的離散信道，我們很難利用特殊計(jì)算方法，因此只能采用解方程組式（4.2.2）的方法。我們將（4.2.2）式的前r個(gè)方程組改寫成 移項(xiàng)后得 令，代入上式得 化為矩陣形式為 這是含有個(gè)未知數(shù)個(gè)方程的非齊次線性方程組。如果設(shè)，信道矩陣為非奇異矩陣，則此方程組有解，并且可以求出的數(shù)值，然后根據(jù)求得信道容量 （bit/符號(hào)）由這個(gè)值可解得對(duì)應(yīng)的輸出概論分布。 再根據(jù)即可解出達(dá)到信道容量的最佳輸入

7、分布。下面給出一例。例4.2.4 設(shè)離散無(wú)記憶信道輸入的符號(hào)集為，輸出的符號(hào)集為，如圖4.2.4所示。其信道矩陣為 1/2 1/4 1/4 1 1 1/4 1/4 1/2 我們才用上面所講的方法來(lái)計(jì)算信道容量： 解方程組得信道容量 （bit/符號(hào)）又求得輸出分布 因此可以求得最佳輸入分布為 例4.2.5 設(shè)有兩個(gè)獨(dú)立并聯(lián)信道如圖4.2.5，計(jì)算它的信道容量。信道1 信道2 解 根據(jù)定理4.1.1有 即聯(lián)合平均互信息不大于各自信道的平均互信息之和，因此得到獨(dú)立并聯(lián)信道的信道容量為 ，是個(gè)獨(dú)立信道的信道容量。 只有當(dāng)輸入符號(hào)互相獨(dú)立，且輸入符號(hào)的概率分布達(dá)到各子信道容量的概率分布時(shí)，獨(dú)立并聯(lián)信道的信道容量才等于各信道容量之和，即 這個(gè)方法推廣到N個(gè)獨(dú)立并聯(lián)信道容量的計(jì)算，即有 對(duì)于信道和，我們將它串聯(lián)起來(lái)組成新的信道（如圖4.2.6） 信道信道 X 信道 Y Z 圖4.2.6則此信道容量為 例4.2.6 設(shè)有兩個(gè)離散二元對(duì)稱信道（BSC信道），其串聯(lián)信道如圖4.2.7，并設(shè)第一個(gè)信道輸入符號(hào)集的概率空間為 二元對(duì)稱信道 二元對(duì)稱信道 X Y Z 圖4.2.7而兩個(gè)信道的信道矩陣分