第5章連續(xù)信源和連續(xù)信道

第5章連續(xù)信源和連續(xù)信道5.1連續(xù)信源

5.2連續(xù)信道及其信道容量

本章小結(jié)5.1連續(xù)信源5.1.1連續(xù)信源的數(shù)學(xué)模型5.1.2連續(xù)信源的熵和互信息離散信源連續(xù)信源5.1.1連續(xù)信源的數(shù)學(xué)模型5.1.2連續(xù)信源的熵和互信息【定義5-1】對(duì)于連續(xù)信源X，其概率密度函數(shù)為p(x)，則該連續(xù)信源的熵為說(shuō)明：與離散信源熵形式相同，但意義不同；連續(xù)信源不確定性是無(wú)窮大，因此熵?zé)o窮大；連續(xù)信源熵只是相對(duì)值?！径x5-2】設(shè)有兩個(gè)連續(xù)隨機(jī)變量X和Y，其聯(lián)合熵為式中，p(xy)是二維聯(lián)合概率密度函數(shù)?；蛘呤街?，p(x?y)、p(y?x)是條件概率密度函數(shù)?！径x5-3】設(shè)有兩個(gè)連續(xù)隨機(jī)變量X和Y，其條件熵為【定義5-4】?jī)蓚€(gè)連續(xù)隨機(jī)變量X和Y之間的平均互信息量為由該定義可以得到證明由上述推導(dǎo)可以看出，有

證明且有

結(jié)論：上述定義與離散信源的對(duì)應(yīng)關(guān)系式完全類似。同樣可用圖2-6的維拉圖表示；由于連續(xù)熵是相對(duì)熵，因此它不具有非負(fù)性和極值性。小結(jié)離散信源聯(lián)合熵條件熵平均互信息I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)連續(xù)信源聯(lián)合熵條件熵平均互信息I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)熵的例子1【例5-1，P77】求均值為m，方差為σ2的高斯分布信源的熵。概率密度函數(shù)則熵為如果取對(duì)數(shù)的底為e，有熵的例子2【例5-3，P78】設(shè)隨機(jī)變量X和Y的聯(lián)合概率密度為求：(1)H(X)和H(Y)各為多少?

(2)H(X?Y)和H(Y?X)各為多少?(3)H(X,Y)是多少？

(4)I(X;Y)是多少？解：（1）則有同理熵的例子2（續(xù)）（2）同理（3）由聯(lián)合熵定義有熵的例子2（續(xù)）（4）由互信息定義有

討論兩個(gè)高斯隨機(jī)變量的熵只與各自的方差有關(guān)；條件熵與相關(guān)系數(shù)ρ有關(guān)；當(dāng)ρ=0時(shí)，即X與Y互不相關(guān)，或者說(shuō)互相獨(dú)立時(shí)，H(X)=H(X?Y)和H(Y)=H(Y?X)；聯(lián)合熵與ρ有關(guān)；互信息量?jī)H與ρ有關(guān)，與方差無(wú)關(guān)。當(dāng)ρ=0時(shí)，I(X;Y)=0

熵的例子3【例，增】求均勻分布信源的熵。概率密度函數(shù)則熵為5.2連續(xù)信道及其信道容量5.2.1時(shí)間離散信道5.2.2連續(xù)信道連續(xù)信道：輸入和輸出均為連續(xù)的隨機(jī)信號(hào)；時(shí)間離散：離散時(shí)間信道（或時(shí)間離散信道）時(shí)間連續(xù)：連續(xù)信道（或波形信道）5.2.1時(shí)間離散信道設(shè)時(shí)間離散信道的輸入和輸出集分別為為X和Y。則對(duì)于加性噪聲模型，有：Y=X+N其中N為隨機(jī)加性噪聲，且X和N統(tǒng)計(jì)獨(dú)立。定義信道容量為可以證明：因此

即簡(jiǎn)單加性信道的互信息由輸出熵和噪聲熵決定。證明加性噪聲模型互信息的計(jì)算：若輸入信源X和噪聲N分別為均值為0、方差為2X和2N的高斯分布，則隨機(jī)變量Y為均值為0、方差為2X+2N的高斯分布。此時(shí)說(shuō)明：當(dāng)任意大時(shí)，I(X;Y)也任意大；但實(shí)際系統(tǒng)功率受限?！径x5-5】對(duì)于平均功率受限、最簡(jiǎn)單的一維時(shí)間離散可加高斯噪聲信道的互信息為因此信道容量為【定理5-1】假設(shè)輸入信源的平均功率小于2X，信道加性噪聲平均功率為2N，則可加噪聲信道容量C滿足

式中，2為噪聲的熵功率。說(shuō)明：當(dāng)噪聲功率2N給定后，高斯型干擾是最壞的干擾，此時(shí)信道容量最?。贿@就是在科學(xué)研究中通常假設(shè)噪聲為高斯噪聲的原因。（分析最壞的情況比較安全）。證明5.2.2連續(xù)信道設(shè)連續(xù)信道的輸入、輸出、噪聲分別為X(t),Y(t),N(t)。則對(duì)于加性噪聲模型，有：Y(t)=X(t)+N(t)由于信道帶寬有限，根據(jù)隨機(jī)信號(hào)采樣定理，可以將一個(gè)時(shí)間連續(xù)的信道轉(zhuǎn)換為時(shí)間離散的隨機(jī)序列進(jìn)行處理。設(shè)輸入、噪聲和輸出隨機(jī)序列分別為Xi(i=1,2,…,n)，Ni(i=1,2,…,n)和Yi(i=1,2,…,n)，則有Yi

=Xi+Ni由于信道是無(wú)記憶的，那么n維隨機(jī)序列的平均互信息滿足時(shí)間連續(xù)信道的信道容量為若信道為高斯信道，則時(shí)間連續(xù)信道的信道容量為達(dá)到該信道容量的條件是，n維輸入隨機(jī)序列中，每一分量都必須是均值為0，方差為2N且相互獨(dú)立的高斯變量。本章小結(jié)連續(xù)信源主要講了信源的模型、熵、共熵、條件熵和平均互信息。需要注意的是連續(xù)信源的熵不同于離散信源的熵。連續(xù)信源的熵是相對(duì)熵，與離散信源的熵相比，去掉了一個(gè)無(wú)窮大項(xiàng)。連續(xù)信道分時(shí)間離散和時(shí)間連續(xù)兩種情況討論，信道上的噪聲主要討論了加性高斯噪聲。給出了不同情況下的信道容量?！径x5-4】?jī)蓚€(gè)連續(xù)隨機(jī)變量X和Y之間的平均互信息量為由該定義可以得到返回證明：證畢返回證畢證明：證明：

設(shè)隨機(jī)變量X和隨機(jī)噪聲N的概率密度分別為pX(x)和pN(z)，不難求得則有返回證畢【定理5-1】假設(shè)輸入信源的平均功率小于2X，信道加性噪聲平均功率為2N，則可加噪聲信道容量C滿足

式中，2為噪聲的熵功率。證明：對(duì)于加性噪聲信道當(dāng)輸入信源X和和噪聲N的均值分別為0時(shí)，信道輸