信息論基礎(chǔ)第一章講義

信息論基礎(chǔ)第一章講義第一頁，共二十二頁，2022年，8月28日第1章信息論基礎(chǔ)

內(nèi)容提要信息論是應用近代概率統(tǒng)計方法研究信息傳輸、交換、存儲和處理的一門學科，也是源于通信實踐發(fā)展起來的一門新興應用科學。本章首先引出信息的概念，簡述信息傳輸系統(tǒng)模型的各個組成部分，進而討論離散信源和離散信道的數(shù)學模型，簡單介紹幾種常見的離散信源和離散信道。第二頁，共二十二頁，2022年，8月28日1.1信息的概念物質(zhì)、能量和信息是構(gòu)成客觀世界的三大要素。信息是物質(zhì)和能量在空間和時間上分布的不均勻程度，或者說信息是關(guān)于事物運動的狀態(tài)和規(guī)律。

通信系統(tǒng)中形式上傳輸?shù)氖窍?，實質(zhì)上傳輸?shù)氖切畔?，消息中包含信息，消息是信息的載體。信息論是研究信息的基本性質(zhì)及度量方法，研究信息的獲取、傳輸、存儲和處理的一般規(guī)律的科學。

第三頁，共二十二頁，2022年，8月28日對于信息論的研究，一般劃分為三個不同的范疇：廣義信息論，包括信息論在自然和社會中的新的應用，如模式識別、機器翻譯、自學習自組織系統(tǒng)、心理學、生物學、經(jīng)濟學、社會學等一切與信息問題有關(guān)的領(lǐng)域。實用信息論，研究信息傳輸和處理問題，也就是狹義信息論方法在調(diào)制解調(diào)、編碼譯碼以及檢測理論等領(lǐng)域的應用。狹義信息論，即通信的數(shù)學理論，主要研究狹義信息的度量方法，研究各種信源、信道的描述和信源、信道的編碼定理。第四頁，共二十二頁，2022年，8月28日1.2信息傳輸系統(tǒng)

通信的基本問題是在彼時彼地精確地或近似地再現(xiàn)此時此地發(fā)出的消息。各種通信系統(tǒng)，一般可概括為圖1.1所示的統(tǒng)計模型：

干擾源

信道信道譯碼器信道編碼器信源譯碼器信源譯碼器信宿信源等效信源等效信宿等效干擾信道圖1-1信息傳輸系統(tǒng)模型

第五頁，共二十二頁，2022年，8月28日這個模型包括以下五個部分：3.信道信道是信息傳輸和存儲的媒介。4.譯碼器譯碼是編碼的逆變換，分為信道譯碼和信源譯碼。5.信宿信宿是消息的接收者。2.編碼器編碼器是將消息變成適合于信道傳送的信號的設(shè)備。1.信源信源是產(chǎn)生消息的源。編碼器信源編碼器，提高傳輸效率信道編碼器，提高傳輸可靠性第六頁，共二十二頁，2022年，8月28日1.3離散信源及其數(shù)學模型信源是產(chǎn)生消息的源，根據(jù)X的不同情況，信源可分為以下類型：

根據(jù)信源的統(tǒng)計特性，離散信源又分為兩種：離散信源消息集X為離散集合。波形信源時間連續(xù)的信源。連續(xù)信源時間離散而空間連續(xù)的信源。無記憶信源

X的各時刻取值相互獨立。有記憶信源

X的各時刻取值互相有關(guān)聯(lián)。第七頁，共二十二頁，2022年，8月28日1.3.1離散無記憶信源

離散無記憶信源(DiscreteMemorylessSource，簡記為DMS)輸出的是單個符號的消息，不同時刻發(fā)出的符號之間彼此統(tǒng)計獨立，而且符號集中的符號數(shù)目是有限的或可數(shù)的。離散無記憶信源的數(shù)學模型為離散型的概率空間，即：

q(xi)：信源輸出符號消息xi的先驗概率;滿足：0

q(xi)1，1

iI

第八頁，共二十二頁，2022年，8月28日1.3.2離散無記憶的擴展信源

實際情況下，信源輸出的消息往往不是單個符號，而是由許多不同時刻發(fā)出的符號所組成的符號序列。設(shè)序列由N個符號組成，若這N個符號取自同一符號集{

a1,a2,…,ak}，并且先后發(fā)出的符號彼此間統(tǒng)計獨立，我們將這樣的信源稱作離散無記憶的N維擴展信源。其數(shù)學模型為N維概率空間：

x為各種長為N的符號序列，x=x1x2…xN

，xi

{a1,a2,…,ak

}，1

i

N，序列集X={a1a1…a1,a1a1…a2,…,akak…ak

}，共有kN種序列，xX。

序列的概率q(x)=q(x1x2

…xN)=第九頁，共二十二頁，2022年，8月28日1.3.3離散平穩(wěn)有記憶信源

中、英文句子中前后出現(xiàn)的漢字、字母往往是有依賴的。這種依賴性我們稱作有記憶。用聯(lián)合概率空間{X

,q(X)}來描述離散有記憶信源的輸出。信源在i時刻發(fā)出什么符號與i時刻以前信源所發(fā)出的符號有關(guān)，即由條件概率p(xixi-1

xi-2…)確定。如果該條件概率分布與時間起點無關(guān)，只與關(guān)聯(lián)長度有關(guān)，則該信源為平穩(wěn)信源。對于離散平穩(wěn)有記憶信源，有：p(x1=a1)=p(x2=a1)=

…p(x2=a2x1=a1)=p(x3=a2x2=a1)=

…p(x3x2

x1)=p(x4x3

x2)=

…┇p(xi+Lxi+L-1

xi+L-2

…xi)=p(xj+Lxj+L-1

xj+L-2

…xj)=

…┇

第十頁，共二十二頁，2022年，8月28日【例1.4】某離散平穩(wěn)信源，設(shè)信源發(fā)出的符號只與前一個符號有關(guān)，其關(guān)聯(lián)程度用表1-1所示聯(lián)合概率p(xi

xj

)表示（xi為前一個符號，xj為后一個符號）：

xj

xi01201/31/9011/91/181/6201/61/18表1-1p(xi

xj

)

第十一頁，共二十二頁，2022年，8月28日滿足，由可計算出當已知前一個符號xi時，后一個符號xj為0、1、2時的概率各為多少：

xj

xi01203/41/4011/31/61/2203/41/4表1-2p(xjxi)第十二頁，共二十二頁，2022年，8月28日1.3.4馬爾可夫信源

馬爾可夫信源輸出的消息序列與信源的狀態(tài)滿足下列條件：

(1)某一時刻信源的輸出只與當時的信源狀態(tài)有關(guān)，而與以前的狀態(tài)無關(guān)。p(xr=aler=si,er-1=st,er-2=sn,…)=p(xr=aler=si)，滿足。(2)某一時刻信源所處的狀態(tài)只由當前的輸出符號和前一時刻的狀態(tài)唯一決定。當時齊馬爾可夫信源達到平穩(wěn)分布時，滿足

p(er+1=sjxr=al

,er=si)=第十三頁，共二十二頁，2022年，8月28日1.4離散信道及其數(shù)學模型

信道是信息傳輸?shù)耐ǖ?，如圖1-3，信道可看作一個變換器，它將輸入消息x變換成輸出消息y，以信道轉(zhuǎn)移概率p(yx)來描述信道的統(tǒng)計特性。

信道p(y

x)xy圖1-3信道模型

第十四頁，共二十二頁，2022年，8月28日無記憶信源

X的各時刻取值相互獨立。有記憶信源

X的各時刻取值互相有關(guān)聯(lián)。信道可以按不同的特性進行分類，根據(jù)輸入和輸出信號的特點可分為：波形信道

信道的輸入和輸出都是時間上連續(xù)，并且取值也連續(xù)的隨機信號。

半連續(xù)信道

輸入序列和輸出序列一個是離散的，而另一個是連續(xù)的。連續(xù)信道

信道的輸入和輸出都是時間上離散、取值連續(xù)的隨機序列，又稱為模擬信道離散信道

信道的輸入和輸出都是時間上離散、取值離散的隨機序列。離散信道有時也稱為數(shù)字信道。根據(jù)統(tǒng)計特性，即轉(zhuǎn)移概率p(yx)的不同，信道又可分類為：

第十五頁，共二十二頁，2022年，8月28日1.4.1離散無記憶信道

離散無記憶信道的輸入和輸出消息都是離散無記憶的單個符號，輸入符號xi

{a1,a2,…,ak}，1

i

I，輸出符號yj

{b1,b2,…,bD

}，1

j

J，信道的特性可表示為轉(zhuǎn)移概率矩陣：p(yjxi

)對應為已知輸入符號為xi，當輸出符號為yj時的信道轉(zhuǎn)移概率，滿足0

p(yjxi

)1，且。

第十六頁，共二十二頁，2022年，8月28日將信道特性表示成圖1-4的形式：

p(y1

x1)x1x2y1y2xIyJp(yJ

xI

)圖1-4單符號離散無記憶信道第十七頁，共二十二頁，2022年，8月28日1.二元對稱信道(BinarySymmetricChannel，簡記為BSC)這是一種很重要的信道，它的輸入符號x{0,1}，輸出符號y{0,1}，轉(zhuǎn)移概率p(yx)如圖1-5所示信道特性可表示為信道矩陣，其中p稱作信道錯誤概率。下面列舉幾種常見的離散無記憶信道：圖2-10二進制對稱信道1-p0

p

1011-p

p

第十八頁，共二十二頁，2022年，8月28日圖1-6無干擾信道2100111122.

無干擾信道這是一種最理想的信道，也稱作無噪信道，信道的輸入和輸出符號間有確定的一一對應關(guān)系，

p(yx)=如圖1-6三元無干擾信道中，x,y{0,1,2}，對應信道矩陣是單位矩陣

第十九頁，共二十二頁，2022年，8月28日3.二元刪除信道

對于接收符號不能作出肯定或否定判決時，引入刪除符號，表示對該符號存有疑問，作為有誤或等待得到更多信息時再作判決。二元刪除信道如圖1-7所示，輸入符號x{0,1}，輸出符號y{0,e,1}，轉(zhuǎn)移概率矩陣為4.二元Z信道

二元Z信道如圖1-8所示，信道輸入符號x{0,1}，輸出符號y{0,1}轉(zhuǎn)移概率矩陣為

101011-p

p1-p0

p1011-p

p

e圖1-7二元刪除信道

圖1-8二元Z信道

第二十頁，共二十二頁，2022年，8月28日1.4.2離散無記憶的擴展信道

N維離散擴展信道的輸入和輸出都是長為N的消息序列，如圖1-9所示：圖1-9N維擴展信道y=y1y2…

yNx=x1

x2

…

xNp(y

x)

信道若xi

{a1,a2,…,ak

}，yj

{b1,b2,…,bD

}，1

i,j

N，則長為N的輸入消息序列集為X={a1a1…a1,a1a1…a2,…,akak…ak

}，x

X，輸出消息序列集為Y={b1b1…b1,b1b1…b2,…,bDbD…bD

}，y

Y。信道的特性用序列的轉(zhuǎn)移概率p(yx)=p(y1

y2…y