第2講單符號(hào)離散信道

第2講單符號(hào)離散信道信息與編碼理論課1本講主要內(nèi)容信道的數(shù)學(xué)模型信道的平均互信息量平均互信息的性質(zhì)信道容量及其一般算法幾種特殊信道的信道容量21信道的數(shù)學(xué)模型什么是信道？信道是傳送信息的載體——信號(hào)所通過的通道。信息是抽象的，信道則是具體的。比如：二人對(duì)話，二人間的空氣就是信道；打電話，電話線就是信道；看電視，聽收音機(jī)，收、發(fā)間的空間就是信道。信道的作用在信息系統(tǒng)中信道主要用于傳輸與存儲(chǔ)信息，而在通信系統(tǒng)中則主要用于傳輸。研究信道的目的在通信系統(tǒng)中研究信道，主要是為了描述、度量、分析不同類型信道，計(jì)算其容量，即極限傳輸能力，并分析其特性。

AdiscretechannelisasystemconsistingofaninputXandoutputYandaprobabilitytransitionmatrixthatexpressestheprobabilityofobservingtheoutputsymbolygiventhatwesendthesymbolx.3信道的分類①狹義信道(物理信道)

有線信道:電纜光纖無線信道:中短波、微波②廣義信道(數(shù)學(xué)模型信道)

調(diào)制信道:恒參數(shù)信道、變參數(shù)信道編碼信道:有記憶信道、無有記憶信道③按信道的用戶數(shù)量分類單用戶信道:

多用戶信道:廣播、電視、衛(wèi)星、計(jì)算機(jī)網(wǎng)離散信道？輸入空間X和輸出空間Y均為離散事件集，集中事件的個(gè)數(shù)可為有限的或無限可數(shù)的，相應(yīng)地叫作有限離散信道和無限離散信道。一般多為有限情況。離散信道有時(shí)也稱作數(shù)字信道。4單符號(hào)離散信道的數(shù)學(xué)模型半連續(xù)半離散信道波形信道5設(shè)：輸入變量為X，取值于{a1,a2,…ar}輸出變量為Y，取值于{b1,b2,…bs}。并有條件概率條件概率被稱為信道的傳遞概率或轉(zhuǎn)移概率。一般簡(jiǎn)單的單符號(hào)離散信道的數(shù)學(xué)模型可以用概率空間[X,P(y/x),Y]來描述。

XY6信道傳遞概率矩陣可寫成例1：二元對(duì)稱信道（BSC－BinarySymmetryChannel）例2：二元?jiǎng)h除信道（BEC－BinaryEliminateChannel）為表述簡(jiǎn)便，可將轉(zhuǎn)移概率矩陣元素簡(jiǎn)寫成：于是信道轉(zhuǎn)移矩陣為：72信道的平均互信息量信道中幾個(gè)重要概率關(guān)系：聯(lián)合概率、前向概率（條件概率）、后驗(yàn)概率、先驗(yàn)概率、輸出符號(hào)概率信道疑義度（損失熵）：

信道中收到Y(jié)的一個(gè)符號(hào)bj后關(guān)于X的后驗(yàn)熵表示為：它是收到bj后，關(guān)于輸入變量的信息測(cè)度。而條件熵：稱為信道疑義度(損失熵)MutualInformationEntropyconditionalontheknowledgeofanotherrandomvariable8平均互信息量： I(X;Y)=H(X)-H(X/Y)H(X),表示傳輸前信源的不確定性，而H(X/Y)表示收到一個(gè)符號(hào)后，對(duì)信源尚存的不確定性，所以二者之差為信道傳遞的信息量。討論平均互信息與其他的熵之間的關(guān)系

I(X;Y)=H(X)-H(X/Y)=H(X)+H(Y)-H(XY)=H(Y)–H(Y/X)維拉圖法---表示平均互信息量與信息熵的關(guān)系93平均互信息的性質(zhì)①平均互信息的非負(fù)性

I(X;Y)≥0②平均互信息的極值性I(X;Y)≤H(X)③平均互信息量的交互性I(X,Y)=I(Y,X)④平均互信息的凸?fàn)钚裕?/p>

由平均互信息定義和后驗(yàn)概率公式可得：由此得到：定理

平均互信息I(X;Y)是輸入信源概率分布P(X)的∩型凸函數(shù)定理

平均互信息I(X;Y)是信道傳遞概率P(Y/X)的∪型凸函數(shù)10例

對(duì)于二元對(duì)稱信道，如果信源分布P(X)={ω,1-ω}，則有：由后驗(yàn)概率公式：11令，得到：ωI(X;Y)00.511-H(P)PI(X;Y)00.51H(ω)124信道容量及一般算法

信道中信息傳輸率即為平均互信息，因?yàn)槠骄バ畔⒕褪怯脕砻枋鼋邮盏椒?hào)Y后平均每個(gè)符號(hào)獲得的關(guān)于X的信息量，對(duì)于每一個(gè)確定信道，都有一個(gè)信源分布，使得信息傳輸率達(dá)到最大值，我們把這個(gè)最大值稱為該信道的信道容量：它是信道本征參數(shù)。一般離散信道的信道容量拉格朗日求極值推導(dǎo)法：13信道容量：定理一般離散信道達(dá)到信道容量的充要條件是輸入概率分布滿足:式中:含義：當(dāng)平均互信息達(dá)到信道容量時(shí)，信源每一個(gè)符號(hào)都對(duì)輸出端輸出相同的互信息，只是概率為零的符號(hào)除外。對(duì)于一般信道的求解方法，就是求解方程組：移項(xiàng)得：14令：原方程組變?yōu)椋喝魊=s，此方程有解，可以解出s個(gè)未知數(shù)，再根據(jù)得到：變換后得出：舉例：155幾種特殊信道信道容量1.具有一一對(duì)應(yīng)關(guān)系的無噪聲信道；2.有噪無損信道；3.無噪有損信道；4.對(duì)稱離散信道的信道容量；

如果一個(gè)離散信道的信道轉(zhuǎn)移矩陣中的每一行都是