波形信源和波形信道

波形信源和波形信道第1頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月4.1波形信源的統(tǒng)計(jì)特性和離散化實(shí)際某些信源的輸出常常是時(shí)間和取值都是連續(xù)的消息。例如語(yǔ)音信號(hào)、電視信號(hào)。這樣的信源成為隨機(jī)波形信源，其輸出消息可以用隨機(jī)過程{x(t)}來表示。隨機(jī)過程{x(t)}可以看成由一族時(shí)間函數(shù)組成稱為樣本函數(shù)。每個(gè)樣本函數(shù)是隨機(jī)過程的一個(gè)實(shí)現(xiàn)。圖4.1一個(gè)隨機(jī)過程第2頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月連續(xù)信源：信源輸出的消息是在時(shí)間上離散，而取值上連續(xù)的、隨機(jī)的。如遙控系統(tǒng)中有關(guān)電壓、溫度、壓力等測(cè)得的連續(xù)數(shù)據(jù)。隨機(jī)波形信源：信源輸出的消息不僅在時(shí)間上是連續(xù)的而且在取值上也是連續(xù)的、隨機(jī)的。于是定義隨機(jī)波形信源的特點(diǎn)：（1）隨機(jī)波形信源中消息數(shù)是無限的。每一個(gè)可能的消息是隨機(jī)過程的一個(gè)樣本函數(shù)。每個(gè)樣本函數(shù)是隨機(jī)過程的一個(gè)實(shí)現(xiàn)。第3頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月（2）隨機(jī)波形信源可用有限維概率密度函數(shù)族以及與各維概率密度函數(shù)有關(guān)的統(tǒng)計(jì)量來描述。平穩(wěn)隨機(jī)過程：統(tǒng)計(jì)特性不隨時(shí)間平移而變化。非平穩(wěn)隨機(jī)過程：統(tǒng)計(jì)特性隨時(shí)間平移而變化。第4頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月隨機(jī)過程時(shí)間離散的隨機(jī)序列取樣定理時(shí)間連續(xù)函數(shù)f(t)的頻帶受限（上限頻率為F）取樣間隔為這樣，通過取樣，隨即過程就成為可數(shù)的無限維的隨機(jī)序列。如果隨機(jī)過程又是限時(shí)的，時(shí)間間隔為T，則就第5頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月成為2FT個(gè)有限維的隨機(jī)序列。取樣之后還要對(duì)取值的離散化。取樣加量化才使隨機(jī)過程變換成時(shí)間的取值都是離散的隨機(jī)序列。量化必然帶來量化噪聲，引起信息損失。第6頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月4.2.1連續(xù)信源的差熵

先看單個(gè)變量的基本連續(xù)信源的信息測(cè)度?；具B續(xù)信源的輸出是取值連續(xù)的單個(gè)隨機(jī)變量?？捎米兞康母怕拭芏?，變量間的條件概率密度和聯(lián)合概率密度來描述。4.2連續(xù)/波形信源的信息測(cè)度變量的一維概率密度函數(shù)為第7頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月

聯(lián)合概率密度函數(shù)為一維概率分布函數(shù)為條件概率密度函數(shù)為它們之間的關(guān)系為第8頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月圖4.2概率密度分布

并滿足

基本連續(xù)信源的數(shù)學(xué)模型為第9頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月于是，連續(xù)信源的熵定義為無限大常數(shù)單位為：奈特/自由度第10頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月

同理，兩個(gè)連續(xù)隨機(jī)變量X、Y的聯(lián)合熵和條件熵可以定義為4.2.2連續(xù)平穩(wěn)信源和波形信源的差熵

連續(xù)平穩(wěn)信源輸出的消息是連續(xù)型的平穩(wěn)隨機(jī)序列。其數(shù)字模型是概率空間[X,p(x)],第11頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月連續(xù)平穩(wěn)無記憶信源1.N維聯(lián)合差熵2.N維條件差熵第12頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月且當(dāng)隨機(jī)序列中各變量統(tǒng)計(jì)獨(dú)立時(shí)等式成立。所以得，波形信源的差熵由于波形信源輸出的消息是平穩(wěn)的隨機(jī)過程，它通過取樣分解成取值連續(xù)的無窮維隨機(jī)序列對(duì)于限頻F/限時(shí)T的平穩(wěn)隨機(jī)過程，它可以近似地用有限維N=2FT平穩(wěn)隨機(jī)序列來表示。這樣，一個(gè)頻帶和時(shí)間都為有限的波形信源就轉(zhuǎn)化為多維連續(xù)平穩(wěn)信源來處理。第13頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月4.2.3兩種特殊連續(xù)信源的差熵

1.均勻分布連續(xù)信源的差熵

第14頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月若限頻（F）、限時(shí)（T）均勻分布的波形信源的熵率第15頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月2.高斯信源的熵值一維高斯連續(xù)信源第16頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月可見，正態(tài)分布的連續(xù)信源的熵與數(shù)學(xué)期望m無關(guān)，只與其方差有關(guān)。當(dāng)均值m=0時(shí)，X的方差就等于信源輸出的平均功率P：如果N維連續(xù)平穩(wěn)信源輸出的N維連續(xù)隨機(jī)矢量是正態(tài)分布則稱此信源為N維高斯信源。若各隨機(jī)變量之間統(tǒng)計(jì)獨(dú)立，可得N維統(tǒng)計(jì)獨(dú)立的正態(tài)分布隨機(jī)矢量的差熵為第17頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月4.3連續(xù)信源熵的性質(zhì)及最大差熵定理連續(xù)信源的差熵只具有熵的部分含義和性質(zhì)。1.可加性并當(dāng)且僅當(dāng)X與Y統(tǒng)計(jì)獨(dú)立時(shí)所以可得2.凸?fàn)钚院蜆O值性4.3.1差熵的性質(zhì)第18頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月3.差熵可為負(fù)值在[a,b]區(qū)間內(nèi)均勻分布的連續(xù)信源其差熵為第19頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月圖4.3空間A一一對(duì)應(yīng)地映射成空間B

4.變換性連續(xù)信源輸出的隨機(jī)變量（或隨機(jī)矢量）通過一一對(duì)應(yīng)變換，其差熵會(huì)發(fā)生變化。第20頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月結(jié)論：連續(xù)信源的差熵不具有變換的不變性。第21頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月圖4.4信息處理網(wǎng)絡(luò)

例4.1P154增加熵值第22頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月4.3.2具有最大差熵的連續(xù)信源

1.峰值功率受限條件下信源的最大差熵

第23頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月圖4.5輸出幅度受限的信源當(dāng)熵為最大時(shí)的概率密度分布

若當(dāng)N維隨機(jī)矢量受限時(shí)，也只有各隨機(jī)分量統(tǒng)計(jì)獨(dú)立，并均勻分布時(shí)具有最大熵。第24頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月2.平均功率受限條件下信源的最大差熵第25頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月4.5熵功率

第26頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月圖4.7波形信道轉(zhuǎn)化成多維連續(xù)信道

當(dāng)信道的輸入和輸出都是隨機(jī)過程和4.6連續(xù)信道和波形信道的分類

4.6.1按信道輸入和輸出的統(tǒng)計(jì)特性分類時(shí)，這個(gè)信道稱之為波形信道或模擬信道第27頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月

多維連續(xù)信道的輸入是N維連續(xù)型隨機(jī)序列輸出也是N維連續(xù)型隨機(jī)序列，而信道轉(zhuǎn)移概率密度函數(shù)是第28頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月圖4.8基本連續(xù)信道

基本連續(xù)信道就是輸入和輸出都是單個(gè)連續(xù)型隨機(jī)變量的信道。4.6.2按噪聲統(tǒng)計(jì)特性分類高斯信道、白噪聲信道、高斯白噪聲信道和有色噪聲信道第29頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月高斯白噪聲信道：信道中的噪聲是高斯白噪聲。

低頻限帶高斯白噪聲可以看成是無限帶寬的高斯白噪聲通過一個(gè)理想低通濾波器后所得。傳遞函數(shù)的頻率響應(yīng)為低頻限帶高斯白噪聲的功率譜密度為按噪聲對(duì)信號(hào)的作用功能分類加性和乘性信道第30頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月加性信道：信道中噪聲對(duì)信號(hào)的干擾作用表現(xiàn)為與信號(hào)相加的關(guān)系。圖4.8加性信道

在加性連續(xù)信道中，信道的轉(zhuǎn)移概率密度函數(shù)等于噪聲的轉(zhuǎn)移概率密度函數(shù)。在加性信道中，條件熵為第31頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月第32頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月4.7連續(xù)信道和波形信道的信息傳輸率

4.7.1基本連續(xù)信道的平均互信息

輸入信源X為輸出信源Y為信道的轉(zhuǎn)移概率密度函數(shù)滿足第33頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月

基本連續(xù)信道的信息傳輸率為比特/自由度第34頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月4.7.2多維連續(xù)信道的平均互信息

信道的轉(zhuǎn)移概率密度函數(shù)多維連續(xù)信道的平均互信息第35頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月多維連續(xù)信道的信息傳輸率為

比特/N個(gè)自由度

比特/自由度

平均每個(gè)自由度的信息傳輸率為4.7.3波形信道的信息傳輸率

比特/秒

第36頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月2、對(duì)稱性3、凸?fàn)钚?、信息不增性圖4.10兩個(gè)串接連續(xù)信道

與離散信道的證明類似4.7.4連續(xù)信道平均互信息的特性

1、非負(fù)性第37頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月5、坐標(biāo)變換平均互信息的不變性圖4.11一般通信系統(tǒng)的信號(hào)變換

變換前后概率密度函數(shù)有第38頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月第39頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月結(jié)論：在一一變換條件下，平均互信息保持不變。信源無記憶信道無記憶信源信道皆無記憶第40頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月4.8連續(xù)信道和波形信道的信道容量一般加性波形信道的信道容量為：

比特/秒

在實(shí)際信道中，輸入信號(hào)和噪聲的平均功率總是有限的?，F(xiàn)在平均功率受限的條件下，討論各種連續(xù)信道和波形信道的信道容量。4.8.1單符號(hào)高斯加性信道第41頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月平均功率受限高斯信道的信道容量單符號(hào)高斯加性信道的輸入和輸出都是取值連續(xù)的一維隨機(jī)變量，而加入信道的噪聲是加性高斯噪聲。設(shè)信道迭加的噪聲n是均值為零，方差為的一維高斯噪聲，噪聲信源的熵為單符號(hào)高斯加性信道的信道容量第42頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月只有當(dāng)信道的輸入信號(hào)是均值為零，平均功率為高斯分布的隨機(jī)變量時(shí)，信息傳輸率才能達(dá)到最大值。4.8.5限帶高斯白噪聲加性波形信道

而加入信道的噪聲是加性高斯白噪聲（均值為零、功率譜密度為），所以輸出信號(hào)滿足此信道稱為高斯白噪聲加性波形信道。信道的輸入和輸出信號(hào)都是隨機(jī)過程第43頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月

圖4.14限帶高斯白噪聲加性信道變換成N個(gè)獨(dú)立并聯(lián)高斯加性信道

第44頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月在[0，T]高斯白噪聲加性信道的信道容量為第45頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月高斯白噪聲加性信道單元時(shí)間的信道容量為

比特/秒

其中Ps是信號(hào)的平均功率，為高斯白噪聲在帶寬W內(nèi)的平均功率?？梢姡诺廊萘颗c信噪功率比和帶寬有關(guān)。這就是重要的香農(nóng)公式。當(dāng)信道輸入信號(hào)是平均功率受限的高斯白噪聲信號(hào)時(shí)，信息傳輸率才達(dá)到此信道容量。第46頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月把信道的統(tǒng)計(jì)參量（信道容量）和物理量（頻帶寬W、T、信噪功率比），聯(lián)系了起來。4.8.7香農(nóng)公式的重要實(shí)際指導(dǎo)意義由香農(nóng)公式得出的幾個(gè)重要結(jié)論：1.提高信號(hào)與噪聲功率之比能增加信道的信道容量。第47頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月例4.4（p181）

比特/秒

2.當(dāng)噪聲功率時(shí)，信道容量，這意味著無干擾連續(xù)信道的信道容量為無窮大。3.增加信道帶寬（也就是信號(hào)的帶寬）w，并不能無限制地使信道容量增大。第48頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月令，可得由于當(dāng)時(shí)，，所以比特/秒

由香農(nóng)公式可以看出，當(dāng)帶寬W增大時(shí)，信道容量也開始增大，當(dāng)時(shí)，趨于一極限值。第49頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月4.信道容量一定時(shí)，帶寬W、傳輸時(shí)間T和信噪功率比三者之間可以相互轉(zhuǎn)換。

（1）若傳輸時(shí)間T固定，則擴(kuò)展信道的帶寬W就可以降低信噪比的要求；反之，帶變窄，就要增加信噪功率比。例4.5（p181）注：帶寬與信噪功率比互換的過程并不是自然而然地實(shí)現(xiàn)的，可以采用調(diào)制解調(diào)方法。第50頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月圖4.16理想