通信原理 第2章 信息論初步

第2版《電子工業(yè)出版社》第二章信息論初步2.1

信息論的兩條發(fā)展途徑2.2

信息論研究的主要內(nèi)容2.3

信息的對(duì)數(shù)量度

2.4

離散信源與連續(xù)信源

2.5

信道容量與香農(nóng)公式

2.6

信道編碼

Chapter2PreparationofInformationTheory2.1信息論的兩條發(fā)展途徑

維納和香農(nóng)都認(rèn)為信號(hào)和噪聲均可用規(guī)定集合的統(tǒng)計(jì)規(guī)律來描述，但他們探討的數(shù)學(xué)模型卻大不相同。不過，目的都是要在接收端盡可能地重現(xiàn)原信號(hào)。簡介研究對(duì)象噪聲對(duì)接收端重現(xiàn)原信號(hào)的影響代表人物理論研究側(cè)重應(yīng)用途徑一維納微弱信號(hào)檢測理論自動(dòng)控制過程中的信號(hào)預(yù)測問題

在干擾作用下信號(hào)的最佳接收問題，它是通信、雷達(dá)、導(dǎo)航、遙測、遙控以及電子對(duì)抗等的理論基礎(chǔ)。途徑二香農(nóng)信道設(shè)計(jì)和編碼理論重現(xiàn)正時(shí)延的原信號(hào)

信源和信道的統(tǒng)計(jì)特性及編碼方法，目的是提高信息傳輸?shù)男屎涂煽啃浴?.2信息論研究的主要內(nèi)容

信息論研究的基本問題則是有關(guān)信源、信宿和信道的統(tǒng)計(jì)特性，以及信源編碼和信道編碼等問題。它對(duì)通信體制和通信系統(tǒng)的研究具有指導(dǎo)意義。簡介◆信息論在理論上指出了建立最佳編碼、最佳調(diào)制和最佳接收方法的最佳系統(tǒng)的理論原則。

信源

信源所包含的信息量，以及在單位時(shí)間內(nèi)信源發(fā)出的信息量（信息熵）信源編碼

使信源發(fā)出的消息變換成其碼長度與信源各消息概率分布達(dá)到匹配的代碼組，以提高傳輸消息的有效性信宿在無擾信道和有擾信道上信宿能收到的信息量的多少

信道信道傳輸信息量的能力（信道容量），并敘述了有擾離散信道的信道編碼定理

信道編碼各種糾錯(cuò)編碼方式的數(shù)學(xué)理論、糾錯(cuò)能力和實(shí)施方案

2.3信息的對(duì)數(shù)量度

一個(gè)預(yù)先確知的消息不會(huì)給接收者帶來任何信息，沒有傳遞的必要。為了衡量通信系統(tǒng)的傳輸能力，需要對(duì)被傳輸?shù)男畔⑦M(jìn)行定量的測度，如互信息量、熵等。簡介2.3.1互信息量◆兩個(gè)隨機(jī)變量

——發(fā)生事件X

——觀察事件Y◆事件Y=yj

出現(xiàn)，說明事件X=xi提供的信息量：條件概率：事件Y=yj出現(xiàn)時(shí)，事件X=xi發(fā)生的概率先驗(yàn)概率：事件X=xi發(fā)生的概率情況條件概率信息量隨機(jī)變量X和Y統(tǒng)計(jì)獨(dú)立事件Y=yj

的出現(xiàn)唯一地決定事件X=xi

的發(fā)生——X=xi的自信息量I(xi)◆條件自信息量：能在規(guī)定條件下唯一地確定該事件必須提供的信息量。隨機(jī)事件的不確定性（或不肯定性）◆一個(gè)隨機(jī)事件出現(xiàn)的概率接近于1，說明該事件發(fā)生的可能性很大，它所包含的不確定性就很小?！舫霈F(xiàn)概率很小的隨機(jī)事件，它所包含的不確定性就很大?！魳O限情況下，當(dāng)出現(xiàn)P(xi)=1的確定事件，則有I(xi)=0。出現(xiàn)概率小的隨機(jī)事件所包含的不確定性大，也就是它的自信息量大。出現(xiàn)概率大的隨機(jī)事件所包含的不確定性小，也就是它的自信息量小。

互信息量的三個(gè)特征

1）互易性

2）當(dāng)xi與yj

相互獨(dú)立時(shí)，互信息量為零3）互信息量可正可負(fù)——Y=yj

的出現(xiàn)提供事件X=xi

發(fā)生的信息量等于的出現(xiàn)X=xi

提供事件Y=yj發(fā)生的信息量。2.3.2通信熵◆信源熵：無記憶信源的平均自信息量是各消息自信息量的概率加權(quán)平均值(統(tǒng)計(jì)平均值)。◆定理1：熵滿足不等式，當(dāng)且僅當(dāng)當(dāng)且僅當(dāng)信源X中各消息的出現(xiàn)概率P(x)都等于1/M時(shí)，等號(hào)成立。二元信源：◆條件熵：二維聯(lián)合空間XY上的條件自信息量的概率加權(quán)平均值。聯(lián)合概率或同理，◆共熵：(又稱聯(lián)合熵)是聯(lián)合空間XY上的每個(gè)元素對(duì)xy的自信息量的概率加權(quán)平均值?；蚧Q關(guān)系OrOr2.3.3各種熵的性質(zhì)聯(lián)合集XY上的條件熵H(Y|X)滿足下式：◆定理2：當(dāng)且僅當(dāng)y和x是相互獨(dú)立時(shí)，即在P(y|x)=P(y)的條件下，等號(hào)成立?！舳ɡ?：聯(lián)合集XYZ上的條件熵，即H(Z|XY)和H(Z|Y)滿足下列不等式：◆定理4：聯(lián)合集上的聯(lián)合熵小于或等于各個(gè)集合的熵之和。當(dāng)且僅當(dāng)各個(gè)集合相互獨(dú)立時(shí)，聯(lián)合熵等于各個(gè)集合的熵之和，并且為聯(lián)合熵的最大值。條件愈多，熵就愈小。2.3.4平均互信息量◆XY聯(lián)合集上的平均條件互信息量：◆定理5：XY聯(lián)合集上的平均條件互信息量滿足下式：當(dāng)且僅當(dāng)X集合中的各個(gè)x都與yj互相獨(dú)立，即P(x|yj)=P(x)時(shí)，才取等號(hào)。And平均互信息量的性質(zhì)

1）互易性2）平均互信息量與熵和條件熵的關(guān)系A(chǔ)nd3）4）平均互信息量與熵和共熵的關(guān)系2.4離散信源與連續(xù)信源

產(chǎn)生離散消息的信源稱為離散信源，其統(tǒng)計(jì)特性用離散型隨機(jī)過程描述；產(chǎn)生連續(xù)消息的信源則稱為連續(xù)信源，其統(tǒng)計(jì)特性用概率密度函數(shù)描述。簡介2.4.1離散信源離散消息可以看成是一種有限個(gè)狀態(tài)的隨機(jī)序列，它可以用離散型隨機(jī)過程的統(tǒng)計(jì)特性予以描述?！綦x散消息xi所攜帶的信息量◆如果消息中各符號(hào)的出現(xiàn)統(tǒng)計(jì)相關(guān)，則必須用條件概率來計(jì)算平均信息量。條件熵如右定義：例2.1某離散信源由A、B、C三種符號(hào)組成，相鄰兩符號(hào)的出現(xiàn)統(tǒng)計(jì)相關(guān)，其轉(zhuǎn)移概率矩陣為：已知，求信源的平均信息量？◆信源的條件平均信息量為：◆若A、B、C符號(hào)統(tǒng)計(jì)獨(dú)立，則平均信息量為：當(dāng)符號(hào)間統(tǒng)計(jì)獨(dú)立時(shí)信源的熵高于統(tǒng)計(jì)相關(guān)時(shí)的熵，也就是說，符號(hào)間相互關(guān)聯(lián)將使平均信息量減小。說明◆當(dāng)離散信源中各符號(hào)等概率出現(xiàn)，而且各符號(hào)的出現(xiàn)為統(tǒng)計(jì)獨(dú)立時(shí)，該信源的平均信息量最大。◆相對(duì)熵：◆信源的冗余度：

無用信息比例

2.4.2連續(xù)信源◆連續(xù)信源產(chǎn)生的是連續(xù)消息。◆連續(xù)消息：實(shí)際上是一個(gè)統(tǒng)計(jì)過程X(t)?！暨B續(xù)信息的平均信息量：◆若發(fā)送的離散消息為xi，而相應(yīng)的接收消息為yj，那么接收端收到的信息量等于yj接收到之前對(duì)發(fā)送消息xi的不確定性，減去接收到y(tǒng)j之后對(duì)xi余留的不確定性。◆在x和y的全部幅度上的平均信息量：2.4.3信源編碼◆信源編碼的目的：-把信源發(fā)出的符號(hào)消息（或數(shù)字消息）變換為用信道的基本符號(hào)構(gòu)成的代碼組；-壓縮信息速率，以提高傳輸消息的有效性。信源編碼器的數(shù)學(xué)模型◆正規(guī)編碼器：能把信源發(fā)出的所有消息一一對(duì)應(yīng)地變換成相應(yīng)代碼組的信源編碼器，不會(huì)損失能量。

◆非正規(guī)編碼器：會(huì)有一部分消息沒有相應(yīng)的代碼組，在編碼過程中損失掉這部分信息量。

VsVs設(shè)◆消息能在信道上不失真?zhèn)鬏數(shù)臈l件是信息傳輸速率必須小于或等于信道的信道容量。若信息傳輸速率大于信道容量，則所傳輸?shù)南⒈厝划a(chǎn)生失真。

◆均勻編碼信道：各代碼組包含的碼元個(gè)數(shù)相同，即各個(gè)代碼組的時(shí)間長度都相同。

代碼組時(shí)間長度為b秒，包含的碼元個(gè)數(shù)為m個(gè)，每個(gè)碼元為D進(jìn)制，則Dm個(gè)狀態(tài)，每個(gè)狀態(tài)對(duì)應(yīng)一個(gè)代碼組。設(shè)-等效信源的熵：

-時(shí)間熵：-信息傳輸速率：

-最大信息傳輸速率：

◆編碼效率：信息傳輸速率R與信道容量C的比值。

◆最佳編碼的兩個(gè)原則：-把信源符號(hào)集合中出現(xiàn)概率大的符號(hào)編成長度較短的代碼組，而把出現(xiàn)概率小的符號(hào)編成長度較長的代碼組；-在信源編碼器輸出的代碼組序列中不必使用碼組間隔就能把序列逐個(gè)分成代碼組。2.5信道容量與香農(nóng)公式

實(shí)際的通信信道都是存在著干擾的有擾信道，其信道容量與帶寬、干擾有關(guān)。香農(nóng)公式給出了在傳輸信號(hào)的平均功率受限制和峰值功率受限制的條件下的信道容量。簡介2.5.1無擾離散信道的信道容量◆信道的信道容量：單位時(shí)間內(nèi)信道上所能傳輸?shù)淖畲笮畔⒘?。若?duì)數(shù)的底為2，時(shí)間單位為秒，則信道容量的單位比特/秒。◆若給定的無擾離散信道在時(shí)間T內(nèi)能傳輸?shù)牟煌⒌目倲?shù)為N(T)，則此信道的信道容量為2.5.2有擾離散信道的信道容量◆若信道中存在干擾，則輸入符號(hào)與輸出符號(hào)之間存在某種隨機(jī)性，具有一定的統(tǒng)計(jì)相關(guān)性，取決于轉(zhuǎn)移概率P(yi|xi)，即信道輸入符號(hào)（即發(fā)送符號(hào)）為xi，信道輸出符號(hào)（即接收符號(hào)）為yi的條件概率。二進(jìn)制有擾信道傳輸特征◆信道矩陣◆對(duì)稱信道：信道矩陣的各行和各列分別具有相同集合的元素。

◆具有L種消息的有擾離散的對(duì)稱信道，其信道容量為：若信源發(fā)出的符號(hào)序列的各符號(hào)之間互相獨(dú)立，并在無擾信道或弱干擾的信道上傳輸，則信道輸出的各符號(hào)之間也是互相獨(dú)立的，且傳送的符號(hào)序列的平均互信息量等于各個(gè)符號(hào)的平均互信息量之和。當(dāng)信道的輸入消息集合與輸出消息集合互相獨(dú)立時(shí)，信道不能傳送任何信息。對(duì)稱信道的信道容量在給定信道輸入消息概率分布的條件下能使誤碼率最小的方案稱為最佳譯碼方案，能夠?qū)崿F(xiàn)最佳譯碼方案的檢測器就稱為理想觀察者。通常使用的最佳譯碼方案是按照后驗(yàn)概率最大的譯碼準(zhǔn)則設(shè)計(jì)的，這個(gè)準(zhǔn)則又稱為最大似然判決準(zhǔn)則。最佳譯碼方案若，把yj譯成xi*?！舢?dāng)信息傳輸速率R小于信道容量C時(shí)，傳輸消息的誤碼率為：碼組長度（碼元數(shù)目）隨機(jī)編碼指數(shù)2.5.3有擾連續(xù)信道的信道容量◆有擾連續(xù)信道中，接收到的信號(hào)y是發(fā)送信號(hào)x和信道噪聲n的線性疊加，且x和n在各抽樣點(diǎn)上均為獨(dú)立正態(tài)分布?！魲l件概率密度函數(shù)p(y|x)等于噪聲的概率密度函數(shù)f(n)。◆連續(xù)信源的相對(duì)條件熵：◆連續(xù)信道的信道容量：2.5.4香農(nóng)公式香農(nóng)信道容量公式：帶寬信號(hào)功率噪聲功率◆結(jié)論1：若提高信噪比S/N，則信道容量C也提高。

◆結(jié)論2：若噪聲的功率譜密度n0→0，噪聲功率，則信道容量C→∞，也就是說無干擾信道的信道容量為無窮大。

◆結(jié)論3：若增加信道帶寬B，則信道容量C也增加，但不能無限制地增加，即當(dāng)B→∞時(shí)，。◆結(jié)論4：信道容量C一定時(shí)，帶寬B和信噪比S/N可以互換?！艚Y(jié)論5：若信源的信息速率R小于或等于信道容量C，則理論上可以實(shí)現(xiàn)無差錯(cuò)傳輸。若信息速率R大于信道容量C，則不可能實(shí)現(xiàn)無差錯(cuò)傳輸。

香農(nóng)信道容量公式：帶寬信號(hào)功率噪聲功率香農(nóng)公式曲線歸一化信道容量和信噪比

歸一化信道帶寬與信噪比

2.6信道編碼

若信道容量為C，消息源產(chǎn)生信息的速率為R，只要C≥R，則總可以找到一種信道編碼方式實(shí)現(xiàn)無誤傳輸；若C<R，則不可能實(shí)現(xiàn)無誤傳輸，即香農(nóng)第二定理。簡介2.6.1香農(nóng)第二定理◆定理6：有噪信道編碼定理設(shè)離散無記憶信道，P(x|y)為信道傳遞概率，信道容量為C。當(dāng)信息傳輸率R<C時(shí)，只要碼長n足夠長，總可以在輸入的符號(hào)集中找到2nR個(gè)碼字組成的一組碼和相應(yīng)的譯碼規(guī)則，使譯碼的錯(cuò)誤概率任意小(Pe→0)?！舳ɡ?：有噪信道編碼逆定理設(shè)離散無記憶信道，P(x|y)為信道傳遞概率，信道容量為C。當(dāng)信息傳輸率R>C時(shí)，無論碼長n多長，均找不到一種編碼2nR，使譯碼的錯(cuò)誤概率任意小。當(dāng)n→∞時(shí)，差錯(cuò)概率接近為1.2.6.2編碼方法無錯(cuò)傳送的界限【二元對(duì)稱信道為例】

n個(gè)輸入符號(hào)共有2n種序列，只選用2k種序列(k＜n)作為碼字（k個(gè)信息位，r=n-k個(gè)監(jiān)督位），則信息率R＝k/n比特/符號(hào)。倘若這種編碼方法能糾正傳輸引起的t個(gè)錯(cuò)誤符號(hào)，則當(dāng)n→∞、信道的誤碼率ε<t/n時(shí)，能達(dá)到無錯(cuò)誤的傳輸。信道容量為1-H(ε)bit／符號(hào)。取等號(hào)時(shí)的曲線稱為漢明上限。任何編碼方法不可能超過此界限。2.6.3檢錯(cuò)與糾錯(cuò)◆信道編碼的本質(zhì)是引入冗余度，即在傳輸?shù)男畔⒋a元后面增加一定數(shù)量的碼元，使接收端能根據(jù)這些碼元檢測錯(cuò)誤，并糾正。-檢錯(cuò)編碼：檢查有無錯(cuò)誤發(fā)生的編碼-糾錯(cuò)編碼：能糾正已發(fā)生錯(cuò)誤的編碼。差錯(cuò)類型1）隨機(jī)差錯(cuò)：熱噪聲引起的差錯(cuò)，