連續(xù)信源、信道及容量課件

4.4連續(xù)信源、信道及容量連續(xù)信源、信道及容量課件

一.連續(xù)信源的相對(duì)熵若已知隨機(jī)信號(hào)幅度取值的概率密度函數(shù)：取值在任意小區(qū)間內(nèi)的概率

連續(xù)信源轉(zhuǎn)變?yōu)榫哂衝個(gè)隨機(jī)變量的信源，且有

利用離散隨機(jī)變量熵的定義，得一.連續(xù)信源的相對(duì)熵1.連續(xù)信源的相對(duì)熵概率密度函數(shù)的離散化示意圖，輸入的取值范圍1.連續(xù)信源的相對(duì)熵2.連續(xù)信源的熵應(yīng)為可見連續(xù)信源的熵?zé)o限大。該熵稱為連續(xù)信源的絕對(duì)熵，無法確切地定義。通常上式的第一項(xiàng)是有限值，且其具有特定的物理意義。2.連續(xù)信源的熵定義4.4.1連續(xù)信源的相對(duì)熵為示例

:某信號(hào)的相對(duì)熵為信號(hào)經(jīng)2倍幅度放大后的相對(duì)熵為

信號(hào)的簡(jiǎn)單放大并沒有增加任何新的信息，但其相對(duì)熵發(fā)生了增大的變化，這說明相對(duì)熵已經(jīng)不再具有信源平均信息量的內(nèi)涵。定義4.4.1連續(xù)信源的相對(duì)熵為3.連續(xù)信源的相對(duì)條件熵

對(duì)于連續(xù)隨機(jī)變量，同樣可以導(dǎo)出其條件熵可見連續(xù)信源的條件熵取值無限大，同樣無法確切定義。但通常上式的第一項(xiàng)是一個(gè)有限取值的量。

連續(xù)信源的熵和條件熵均取值無限大，說明要在一個(gè)容量有限的通信系統(tǒng)中傳遞連續(xù)信源的全部信息是不可能的。3.連續(xù)信源的相對(duì)條件熵定義4.4.3連續(xù)信源的相對(duì)條件熵

因?yàn)椋赫f明相對(duì)熵和相對(duì)條件熵的差值與普通的熵和條件熵的差值一樣，仍然等于平均互信息量。同理可以導(dǎo)出：連續(xù)信源、信道及容量課件4.連續(xù)信源相對(duì)熵的最大化

定理4.4.3連續(xù)信源的相對(duì)熵函數(shù)是信源概率密度函數(shù)的型凸函數(shù)。相對(duì)熵作為概率密度函數(shù)的函數(shù)存在最大值。4.連續(xù)信源相對(duì)熵的最大化(1)峰值功率受限情況下的相對(duì)熵最大化條件

可以證明：當(dāng)連續(xù)信源的概率密度函數(shù)服從均勻分布時(shí)，該連續(xù)信源有最大的相對(duì)熵。

在區(qū)間分布連續(xù)信源的概率密度函數(shù)為其相對(duì)熵為

峰值受限信號(hào)

若

連續(xù)信源、信道及容量課件(2)均值受限情況下的相對(duì)熵最大化條件

可以證明：當(dāng)連續(xù)信源的概率密度函數(shù)服從指數(shù)分布時(shí)，該連續(xù)信源有最大的相對(duì)熵。

均值受限信號(hào)

指數(shù)分布相對(duì)熵連續(xù)信源、信道及容量課件(3)平均功率受限情況下的相對(duì)熵最大化條件

可以證明：當(dāng)連續(xù)信源的概率密度函數(shù)服從高斯分布時(shí)，該連續(xù)信源有最大的相對(duì)熵。

平均功率受限信號(hào)

高斯分布

相對(duì)熵連續(xù)信源、信道及容量課件二.加性高斯噪聲信道的容量

加性高斯噪聲(干擾)信道(AWGN)信道輸入：；信道輸出：；加性高斯噪聲：已知通過信道后，從可獲得的關(guān)于的平均互信息量若已知信號(hào)的帶寬為。對(duì)任意的這類信號(hào)則無失真的抽樣頻率至少應(yīng)為：(單位時(shí)間的樣點(diǎn)數(shù))

單位時(shí)間內(nèi)傳輸?shù)男畔⒘?，即信息速率為Rs二.加性高斯噪聲信道的容量Rs

1.加性高斯噪聲(干擾)信道(AWGN)的信道容量

信號(hào)與噪聲間的關(guān)系可用方程組表示為或

二維函數(shù)概率密度間的關(guān)系為雅可比行列式1.加性高斯噪聲(干擾)信道(AWGN)的信道容量

因?yàn)樗杂腥粢阎旁磝的統(tǒng)計(jì)特性，收到y(tǒng)后不可確定的部分為噪聲造成影響的部分。

因此可得與信源統(tǒng)計(jì)特性無關(guān)因此可得與信源統(tǒng)計(jì)特性無關(guān)因?yàn)?/p>

(1)在均方受限的條件下，高斯分布的信源有最大的相對(duì)熵

(2)兩高斯分布的隨機(jī)變量之和()仍為高斯隨機(jī)變量

(3)信號(hào)與噪聲統(tǒng)計(jì)獨(dú)立因而有因?yàn)?.信道容量

若記

得香農(nóng)公式2.信道容量由香農(nóng)公式(香農(nóng)定理)得到的重要結(jié)論：

(1)信道容量C隨S/N增大而增大；

(2)C一定時(shí)，W與S/N之間可以彼此互換；

(3)N0,C∞：無擾信道的容量為無窮大；(4)對(duì)受高斯噪聲干擾的信道，當(dāng)W∞，信道容量趨于

一有限的確定值：

(S與N0固定時(shí))由香農(nóng)公式(香農(nóng)定理)3.信道容量和帶寬的歸一化分析

歸一化信道容量：?jiǎn)挝粫r(shí)間單位頻帶內(nèi)可達(dá)到的信息速率。注：所謂物理不可實(shí)現(xiàn)是指不可能實(shí)現(xiàn)無差錯(cuò)傳輸。3.信道容量和帶寬的歸一化分析歸一化信道帶寬：?jiǎn)挝恍畔⑺俾仕枰淖钚挕w一化信道帶寬：?jiǎn)挝恍畔⑺俾仕枰淖钚挕?/p>

關(guān)于Eb/N0的歸一化信道帶寬

Eb：比特能量；

N0：噪聲功率密度譜；當(dāng)Eb/N0<－1.59dB

時(shí)，無法實(shí)現(xiàn)無差錯(cuò)的傳輸。關(guān)于Eb/N0的歸一化信道帶寬4.4連續(xù)信源、信道及容量連續(xù)信源、信道及容量課件

一.連續(xù)信源的相對(duì)熵若已知隨機(jī)信號(hào)幅度取值的概率密度函數(shù)：取值在任意小區(qū)間內(nèi)的概率

連續(xù)信源轉(zhuǎn)變?yōu)榫哂衝個(gè)隨機(jī)變量的信源，且有

利用離散隨機(jī)變量熵的定義，得一.連續(xù)信源的相對(duì)熵1.連續(xù)信源的相對(duì)熵概率密度函數(shù)的離散化示意圖，輸入的取值范圍1.連續(xù)信源的相對(duì)熵2.連續(xù)信源的熵應(yīng)為可見連續(xù)信源的熵?zé)o限大。該熵稱為連續(xù)信源的絕對(duì)熵，無法確切地定義。通常上式的第一項(xiàng)是有限值，且其具有特定的物理意義。2.連續(xù)信源的熵定義4.4.1連續(xù)信源的相對(duì)熵為示例

:某信號(hào)的相對(duì)熵為信號(hào)經(jīng)2倍幅度放大后的相對(duì)熵為

信號(hào)的簡(jiǎn)單放大并沒有增加任何新的信息，但其相對(duì)熵發(fā)生了增大的變化，這說明相對(duì)熵已經(jīng)不再具有信源平均信息量的內(nèi)涵。定義4.4.1連續(xù)信源的相對(duì)熵為3.連續(xù)信源的相對(duì)條件熵

對(duì)于連續(xù)隨機(jī)變量，同樣可以導(dǎo)出其條件熵可見連續(xù)信源的條件熵取值無限大，同樣無法確切定義。但通常上式的第一項(xiàng)是一個(gè)有限取值的量。

連續(xù)信源的熵和條件熵均取值無限大，說明要在一個(gè)容量有限的通信系統(tǒng)中傳遞連續(xù)信源的全部信息是不可能的。3.連續(xù)信源的相對(duì)條件熵定義4.4.3連續(xù)信源的相對(duì)條件熵

因?yàn)椋赫f明相對(duì)熵和相對(duì)條件熵的差值與普通的熵和條件熵的差值一樣，仍然等于平均互信息量。同理可以導(dǎo)出：連續(xù)信源、信道及容量課件4.連續(xù)信源相對(duì)熵的最大化

定理4.4.3連續(xù)信源的相對(duì)熵函數(shù)是信源概率密度函數(shù)的型凸函數(shù)。相對(duì)熵作為概率密度函數(shù)的函數(shù)存在最大值。4.連續(xù)信源相對(duì)熵的最大化(1)峰值功率受限情況下的相對(duì)熵最大化條件

可以證明：當(dāng)連續(xù)信源的概率密度函數(shù)服從均勻分布時(shí)，該連續(xù)信源有最大的相對(duì)熵。

在區(qū)間分布連續(xù)信源的概率密度函數(shù)為其相對(duì)熵為

峰值受限信號(hào)

若

連續(xù)信源、信道及容量課件(2)均值受限情況下的相對(duì)熵最大化條件

可以證明：當(dāng)連續(xù)信源的概率密度函數(shù)服從指數(shù)分布時(shí)，該連續(xù)信源有最大的相對(duì)熵。

均值受限信號(hào)

指數(shù)分布相對(duì)熵連續(xù)信源、信道及容量課件(3)平均功率受限情況下的相對(duì)熵最大化條件

可以證明：當(dāng)連續(xù)信源的概率密度函數(shù)服從高斯分布時(shí)，該連續(xù)信源有最大的相對(duì)熵。

平均功率受限信號(hào)

高斯分布

相對(duì)熵連續(xù)信源、信道及容量課件二.加性高斯噪聲信道的容量

加性高斯噪聲(干擾)信道(AWGN)信道輸入：；信道輸出：；加性高斯噪聲：已知通過信道后，從可獲得的關(guān)于的平均互信息量若已知信號(hào)的帶寬為。對(duì)任意的這類信號(hào)則無失真的抽樣頻率至少應(yīng)為：(單位時(shí)間的樣點(diǎn)數(shù))

單位時(shí)間內(nèi)傳輸?shù)男畔⒘?，即信息速率為Rs二.加性高斯噪聲信道的容量Rs

1.加性高斯噪聲(干擾)信道(AWGN)的信道容量

信號(hào)與噪聲間的關(guān)系可用方程組表示為或

二維函數(shù)概率密度間的關(guān)系為雅可比行列式1.加性高斯噪聲(干擾)信道(AWGN)的信道容量

因?yàn)樗杂腥粢阎旁磝的統(tǒng)計(jì)特性，收到y(tǒng)后不可確定的部分為噪聲造成影響的部分。

因此可得與信源統(tǒng)計(jì)特性無關(guān)因此可得與信源統(tǒng)計(jì)特性無關(guān)因?yàn)?/p>

(1)在均方受限的條件下，高斯分布的信源有最大的相對(duì)熵

(2)兩高斯分布的隨機(jī)變量之和()仍為高斯隨機(jī)變量

(3)信號(hào)與噪聲統(tǒng)計(jì)獨(dú)立因而有因?yàn)?.信道容量

若記

得香農(nóng)公式2.信道容量由香農(nóng)公式(香農(nóng)定理)得到的重要結(jié)論：

(1)信道容量C隨S/N增大而增大；

(2)C一定時(shí)，W與S/N之間可以彼此互換；

(3)N0,C∞：無擾信道的容量為無窮大；(4)對(duì)受高斯噪聲干擾的信道，當(dāng)W∞，信道容量趨于

一有限的確定值：

(S與N0固定時(shí))由香農(nóng)公式(香農(nóng)定理)3.信道容量和帶寬的歸一化分析

歸一化信道容量：?jiǎn)挝粫r(shí)間單位頻帶內(nèi)可達(dá)到的信息速率。