第3章信道與信道容量.ppt

1、2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,1,第3章 信道與信道容量,什么是信道？ 信道是傳送信息的載體信號所通過的通道。 信息是抽象的，信道則是具體的。比如：二人對話，二人間的空氣就是信道；打電話，電話線就是信道；看電視，聽收音機，收、發(fā)間的空間就是信道。 信道的作用 在信息系統(tǒng)中信道主要用于傳輸與存儲信息，而在通信系統(tǒng)中則主要用于傳輸。 研究信道的目的 在通信系統(tǒng)中研究信道，主要是為了描述、度量、分析不同類型信道，計算其容量，即極限傳輸能力，并分析其特性。,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼

2、 曹雪虹等編著,2,主要內(nèi)容,信道分類和表示參數(shù) 離散單個符號信道及其容量 離散序列信道及其容量 連續(xù)信道及其容量,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,3,3.1 信道分類和表示參數(shù),信道分類 按傳輸媒介分 用戶數(shù)量：單用戶、多用戶 輸入端和輸出端關系：無反饋、有反饋 信道參數(shù)與時間的關系：固參、時變參 噪聲種類： 隨機差錯、突發(fā)差錯 輸入輸出特點：離散、連續(xù)、半離散半連續(xù)、波形信道,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,4,3.1 信道分類和表示參數(shù),按傳輸媒介分,信道分類,

3、2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,5,3.1 信道分類和表示參數(shù),按輸入集和輸出集的個數(shù)來分類：,信道分類,單用戶信道 ：只有一個輸入端和一個輸出端，信息只朝著一個方向傳輸。 多用戶信道：輸入端和輸出端中至少有一端存在兩個以上用戶，信息在兩個方向上都能傳輸。,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,6,3.1 信道分類和表示參數(shù),信道分類,多用戶信道包含兩種特殊的信道，即多元接入信道和廣播信道。 多個輸入、多個輸出的信道通常形成一個多址通信網(wǎng)。這種多址通信網(wǎng)的特點是： 1）網(wǎng)中

4、多個獨立用戶企圖通過一條信道來通信；2）每個網(wǎng)用戶的用戶信號是突發(fā)的（即停機比發(fā)送周期長很多）；3）進網(wǎng)的用戶數(shù)是隨機變量。 這類典型的通信網(wǎng)包括：局域網(wǎng)的用戶與主機通信，衛(wèi)星通信，蜂窩移動通信等。,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,7,3.1 信道分類和表示參數(shù),信道分類,多用戶信道幾種情況：,1 多址信道：,特點：多輸入、單輸出信道，稱它為多址信道。,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,8,3.1 信道分類和表示參數(shù),信道分類,特點：單個輸入，多個輸出信道，稱為廣播信道

5、。,2 廣播信道：,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,9,3.1 信道分類和表示參數(shù),信道分類,可見第12為3的特例： (1)當i=j=1,退化為單用戶信道；(2)當i=1n, j=1, 為多址信道； (3)當i=1,j=1n，廣播信道;(4) i=1n, j=1n, 一般隨機接入信道。,3 隨機接入信道,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,10,3.1 信道分類和表示參數(shù),按輸入端和輸出端關系劃分：,信道分類,無反饋信道 ：輸出端的信號不反饋到輸入端，即輸出信號對輸入信號

6、沒有影響。 有反饋信道：輸出信號通過一定途徑反饋到輸入端，致使輸入端的信號發(fā)生變化的信道。,按其輸入/輸出信號之間關系的記憶特性分為有記憶信道和無記憶信道。 按輸入/輸出信號之間的關系是否確定關系分為有噪聲信道和無噪聲信道。,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,11,3.1 信道分類和表示參數(shù),根據(jù)信道中所受噪聲種類不同來劃分：,信道分類,隨機差錯信道 ：噪聲獨立隨機地影響每個傳輸碼元，如以高斯白噪聲為主體的信道。 突發(fā)差錯信道：噪聲、干擾的影響是前后相關的，錯誤成串出現(xiàn)，如實際的衰落信道、碼間干擾信道，這些噪聲可能是由大的脈沖干擾或

7、閃電等引起。 這兩類噪聲導致的差錯特性不同，因而需要選擇不同的糾錯編碼方法。,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,12,3.1 信道分類和表示參數(shù),按信道的參數(shù)(統(tǒng)計特性)是否隨時間變化分：,信道分類,恒參信道(平穩(wěn)信道)：信道的統(tǒng)計特性不隨時間變化。如：光纖、電纜信道；衛(wèi)星通信信道在某種意義下可以近似為恒參信道。 隨參信道(非平穩(wěn)信道)：信道的統(tǒng)計特性隨時間變化。如短波通信中，其信道可看成隨參信道。 本課程主要研究恒參信道的情況。,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,13,

8、3.1 信道分類和表示參數(shù),輸入輸出特點：,信道分類,按其輸入/輸出信號在幅度和時間上的取值來劃分,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,14,3.1 信道分類和表示參數(shù),信道分類,信道這個名詞是廣義的，可以指簡單的一段線路，也可以指包含了設備的復雜系統(tǒng)。即使在同一個通信系統(tǒng)中，也可以有不同的劃分：,其中：c1為連續(xù)信道，調(diào)制信道； c2為離散信道，編碼信道； c3為半離散、半連續(xù)信道； c4為半連續(xù)、半離散信道。,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,15,3.1信道分類和表示

9、參數(shù),信道參數(shù),根據(jù)信道是否存在干擾及有無記憶，分：,無干擾（無噪聲）信道 有干擾無記憶信道 有干擾有記憶信道,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,16,3.1信道分類和表示參數(shù),二進制對稱信道(BSC),有干擾無記憶信道,條件概率對稱,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,17,3.1信道分類和表示參數(shù),有干擾無記憶信道,離散無記憶信道(DMC),BSC信道是DMC信道的特例,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,18

10、,3.1信道分類和表示參數(shù),離散輸入、連續(xù)輸出信道,有干擾無記憶信道,假設 輸入符號集 ，而輸出 。其信道特性由離散輸入X、連續(xù)輸出Y以及條件概率密度函數(shù) 來決定。,這類信道中最重要的一種信道是加性高斯白噪聲(AWGN)信道，其中G是一個0均值，方差為 的高斯隨機變量。,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,19,3.1信道分類和表示參數(shù),有干擾無記憶信道,波形信道：其輸入是模擬波形，其輸出也是模擬波形,實際波形信道的頻寬總就是受限的，所以在有限觀察時間tB內(nèi)，能滿足限頻fm 、限時tB的條件。從而可將波形信道輸入和輸出的離散化成L個(

11、L=2 fm tB)時間離散、取值連續(xù)的平穩(wěn)隨機序列X=(X1,X2,XL)和Y=(Y1,Y2,YL) 。這樣波形信道就轉化成多維連續(xù)信道。,連續(xù)無記憶信道 連續(xù)有記憶信道,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,20,3.1信道分類和表示參數(shù),有干擾無記憶信道：波形信道,對于加性和乘性噪聲來說，分析較多、較方便的是加性噪聲信道。單符號信道可表示為：y(t)=x(t)+n(t),條件熵Hc(Y|X)是由噪聲引起的，它等于噪聲 信源的熵，所以稱為噪聲熵。,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪

12、虹等編著,21,3.1信道分類和表示參數(shù),有干擾有記憶信道,在實際的數(shù)字信道中，當信道特性不理想，存在碼間干擾等情況時，輸出信號不但與當前的輸入信號有關，還與以前的輸入信號有關。有兩種處理方法： 將記憶很強的L個符號當矢量符號，各矢量符號之間認為無記憶，但此時會引入誤差，越大，誤差越小； 將轉移概率p(Y|X)看成馬爾科夫鏈的形式，記憶有限，信道的統(tǒng)計特性可用在已知現(xiàn)時刻輸入信號和前時刻信道所處的狀態(tài)的條件下， 如p( yn,sn| xn,sn-1) ，這種處理方法很復雜，通常取一階時稍簡單。,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,22

13、,3.1信道分類和表示參數(shù),信道模型的選用,選用何種信道模型取決于分析者的目的：,設計和分析離散信道編、解碼器的性能 DMC信道模型或其簡化形式BSC信道模型；,設計和分析數(shù)字調(diào)制器和解調(diào)器的性能 波形信道模型。,性能的理論極限 離散輸入、連續(xù)輸出信道模型;,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,23,3.2離散單個符號信道及其容量,信息傳輸率：信道中平均每個符號所能傳送的信息量 R=I(X;Y)=H(X)H(X/Y) 比特/符號 信息傳輸速率：信道在單位時間內(nèi)平均傳輸?shù)男畔⒘?Rt=I(X;Y)/t 比特/秒,對于特定的信道，信道容量

14、是定值，但在傳輸信息時信道能否提供其最大傳輸能力，則取決于輸入端的概率分布。,信道容量 比特/符號(bits/symbol或bits/channel use),2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,24,3.2離散單個符號信道及其容量,特殊離散信道的信道容量,每一列只有一個非零元素，接收到信道輸出符號后對輸入符號將不存在不確定性。,無噪信道每一行只有一個非零元素1，已知信道輸入符號，必能確定輸出符號。,每一行、每一列只有一個1，已知 X后對Y不存在不確定性，收到 Y后對X也不存在不確定性。,2020年12月19日7時50分,普通高等教育

15、“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,25,3.2離散單個符號信道及其容量,無噪無損信道(X,Y一一對應)： 噪聲熵H(Y|X)=0，I(X;Y)=H(X)=H(Y) 當輸入符號分布為等概時，信道的傳輸能力可達到信道容量：CmaxI(X;Y)log n 無噪有損信道(多個輸入變成一個輸出)：nm H(Y|X)=0, 疑義度H(X|Y)0, CmaxI(X;Y)maxH(Y) 有噪無損信道(一個輸入對應多個輸出)： CmaxI(X;Y)maxH(X),特殊離散信道的信道容量,連續(xù)信道容量為無限大,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹

16、等編著,26,3.2離散單個符號信道及其容量,對稱DMC信道 輸入對稱 如果轉移概率矩陣P的每一行都是第一行的置換(包含同樣元素)，稱該矩陣是輸入對稱 輸出對稱 如果轉移概率矩陣P的每一列都是第一列的置換(包含同樣元素)，稱該矩陣是輸出對稱 對稱的DMC信道 如果輸入、輸出都對稱,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,27,3.2離散單個符號信道及其容量,對稱DMC信道例子,對稱DMC信道,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,28,3.2離散單個符號信道及其容量,輸入對稱,輸出

17、對稱,對稱DMC信道,與信道輸入符號的概率無關,與j無關,當信道輸入符號等概分布時，信道輸出符號也等概分布；反之，若輸出符號等概，信道輸入符號必定也是等概。,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,29,3.2離散單個符號信道及其容量,對稱信道容量,對稱DMC信道,m為信道輸出符號集中符號的數(shù)目,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,30,3.2離散單個符號信道及其容量,例 求信道容量,對稱DMC信道,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼

18、 曹雪虹等編著,31,3.2離散單個符號信道及其容量,例 求信道容量,信道輸入符號和輸出符號的個數(shù)相同，都為n，且正確的傳輸概率為1，錯誤概率被對稱地均分給n-1個輸出符號，此信道稱為強對稱信道或均勻信道，是對稱離散信道的一個特例,對稱DMC信道,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,32,3.2離散單個符號信道及其容量,二進制對稱信道容量 C1H（）,對稱DMC信道,C隨變化的曲線,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,33,3.2離散單個符號信道及其容量,強對稱信道容量,對稱

19、DMC信道,1 矩陣中的每一行都是第一行的重排列；矩陣中的每一列都是第一列的重排列。 2 錯誤分布是均勻的，為 3 信道輸入與輸出消息（符號）數(shù)相等，即m=n。 顯然，對稱性基本條件是1，而2、3是加強條件。,若僅滿足條件1，就構成一般性對稱信道。,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,34,3.2離散單個符號信道及其容量,串聯(lián)信道,C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W)， 串接的信道越多，其信道容量可能會越小，當串接信道數(shù)無限大時，信道容量就有可能趨于0。,對稱DMC信道,2020年12月19日7時50

20、分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,35,3.2離散單個符號信道及其容量,例設有兩個離散BSC信道串接，兩個BSC信道的轉移矩陣如下，求信道容量,對稱DMC信道,I(X;Y)=1-H()，I(X;Z)=1-H2 (1-),串聯(lián)信道的互信息,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,36,3.2離散單個符號信道及其容量,準對稱DMC信道 如果轉移概率矩陣P是輸入對稱而輸出不對稱，即轉移概率矩陣P的每一行都包含同樣的元素而各列的元素可以不同，則稱該信道是準對稱DMC信道,2020年12月19日7時50分,普通高等教

21、育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,37,3.2離散單個符號信道及其容量,準對稱DMC信道容量 對于準對稱DMC信道，當輸入分布為等概分布時，互信息達到最大值，即為信道容量,準對稱DMC信道,每列的元素不相同，信道的輸入和輸出分布概率可能不等，此時的最大值可能小于等概率時的熵，因而其信道容量：,因為互信息是輸入符號概率的上凸函數(shù)，可引入拉格朗日乘子法解極值問題，便求得輸入符號概率和最大互信息。,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,38,3.2離散單個符號信道及其容量,例 求信道容量,方法一： 信道的輸入符號有兩個，可設

22、p(a1)，p(a2)1信道的輸出符號有三個，用b1、b2、b3表示,準對稱DMC信道,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,39,3.2離散單個符號信道及其容量,方法二 當p(a1)p(a2)1/2時，p(b1)p(b2)(1-0.2)/20.4 C=H(Y)-H(Y/X)=0.036bit/符號,方法三 將轉移概率矩陣劃分成若干個互不相交的對稱的子集,n為輸入符號集個數(shù)；p1，p2，ps是轉移概率矩陣P中一行的元素，即H(p1，p2，ps)H(Y/ai)；Nk是第k個子矩陣中行元素之和，Mk是第k個子矩陣中列元素之和，r是互不相交的

23、子集個數(shù),準對稱DMC信道,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,40,3.2離散單個符號信道及其容量,方法三(續(xù)),準對稱DMC信道,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,41,3.2離散單個符號信道及其容量,例 求信道容量,準對稱DMC信道,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,42,3.2離散單個符號信道及其容量,一般DMC信道 1972年由R.Blahut和A.Arimoto分別獨立提出的一種算法，現(xiàn)在稱為Blah

24、ut-Arimoto算法 I(ai;Y) = C 對于所有滿足p(ai ) 0條件的i I(ai;Y) C 對于所有滿足p(ai ) = 0條件的I 當信道平均互信息達到信道容量時，輸入符號概率集p(ai)中每一個符號ai對輸出端Y提供相同的互信息，只是概率為零的符號除外,信道容量定理只給出了達到信道容量時，最佳輸入概率分布應滿足的條件，并沒有給出最佳輸入概率分布值，也沒有給出信道容量的數(shù)值。另外，定理本身也隱含著達到信道容量的最佳分布不一定是唯一的，只要輸入概率分布滿足充要條件式，就是信道的最佳輸入分布。,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪

25、虹等編著,43,3.3離散序列信道及其容量,離散序列信道,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,44,3.3離散序列信道及其容量,離散無記憶序列信道(續(xù)),若信道是平穩(wěn)的,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,45,3.3離散序列信道及其容量,離散無記憶序列信道(續(xù)),如果信道無記憶,如果輸入矢量X中的各個分量相互獨立,當信道平穩(wěn)時CL=LC1，一般情況下，I(X;Y) LC1,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,46,

26、3.3離散序列信道及其容量,擴展信道 如果對離散單符號信道進行L次擴展，就形成了L次離散無記憶序列信道,BSC的二次擴展信道,X00,01,10,11，Y00,01,10,11，二次擴展無記憶信道的序列轉移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p2,00,10,11,01,00,01,10,11,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,47,3.3離散序列信

27、道及其容量,擴展信道,若p0.1，則C220.9381.062bit/序列 而BSC單符號信道:C1=1-H(0.1)=0.531bit/符號,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,48,3.3離散序列信道及其容量,獨立并聯(lián)信道 序列的轉移概率 p(Y1Y2YL/X1X2XL)=p(Y1/X1)p(Y2/X2)p(YL/XL),1,1,1,X1 p(Y1/X1) Y1 X2 p(Y2/X2) Y2 XL p(YL/XL) YL,當輸入符號Xl 相互獨立，且p(X1X2XL)達到最佳分布時，容量最大，為各信道容量之和。,2020年12月1

28、9日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,49,3.4連續(xù)信道及其容量,連續(xù)單符號加性信道,平均互信息為I(X;Y)HC(X)HC(X/Y)HC(Y)HC(Y/X) HC(X)HC(Y)HC(XY) 信道容量,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,50,3.4連續(xù)信道及其容量,由限平均功率最大熵定理，只有當信道輸出Y正態(tài)分布時熵最大， pY(y)N(0,P)，pn(n)N(0, 2)，y=x+n， 所以pX(x)N(0,S),C1/2 log(1+SNR) 信道容量僅取決于信道的信噪比。,信道輸入X是

29、均值為零、方差為S的高斯分布隨機變量時，信息傳輸率達到最大值,連續(xù)單符號加性信道,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,51,3.4連續(xù)信道及其容量,注意：這里研究的信道只存在加性噪聲，而對輸入功率沒有損耗。但在實際通信系統(tǒng)中，幾乎都存在大小不等的功率損耗，所以計算時輸入信號的功率S應是損耗后的功率。比如信道損耗為|H(ejw)|2，輸入功率為S，則上式的信號功率為S|H(ejw)|2 。,在很多實際系統(tǒng)中，噪聲并不是高斯型的，但若是加性的，可以求出信道容量的上下界,連續(xù)單符號加性信道,在同樣平均功率受限情況下，非高斯噪聲信道的容量要大

30、于高斯噪聲信道的容量。,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,52,3.4連續(xù)信道及其容量,多維無記憶加性連續(xù)信道,信道輸入隨機序列XX1X2XL，輸出隨機序列YY1Y2YL，加性信道有y=x+n，其中n=n1n2nL 是均值為零的高斯噪聲,連續(xù)單符多維無記憶高斯加性信道就可等價成L個獨立的并聯(lián)高斯加性信道號加性信道,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,53,3.4連續(xù)信道及其容量,比特/L維自由度,因此當且僅當輸入隨機矢量X中各分量統(tǒng)計獨立，且是均值為零、方差為Pl的高斯變量

31、時，才能達到此信道容量,多維無記憶加性連續(xù)信道,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,54,3.4連續(xù)信道及其容量,討論,均值為零、方差相同,均值為零、方差不同，總平均功率受限,多維無記憶加性連續(xù)信道,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,55,3.4連續(xù)信道及其容量,討論,各個時刻的信道輸出功率相等設為常數(shù),多維無記憶加性連續(xù)信道,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,56,3.4連續(xù)信道及其容量,例有一并聯(lián)高斯加性信道

32、，各子信道噪聲方差為 0.1， 0.2， 0.3， 0.4， 0.5， 0.6， 0.7， 0.8， 0.9， 1.0,多維無記憶加性連續(xù)信道,(1) 若輸入的信號總功率P=5，則平均輸出功率,該值大于所有子信道的噪聲功率 ，所以各子信道分配的功率分別是：0.95, 0.85, 0.75, 0.65, 0.55, 0.45, 0.35, 0.25, 0.15, 0.05。總的信道容量C=6.11bit/10維自由度。,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,57,3.4連續(xù)信道及其容量,多維無記憶加性連續(xù)信道,(2) 若輸入的信號總功率P

33、=1，則平均輸出功率,該值小于最后4個子信道的噪聲功率，關閉這4個子信道，即p10=0, p9=0, p8=0, p7=0。,p5=0, p4=0.1, p3=0.2, p2=0.3 , p1=0.4，實際只有4個子信道可用?？偟男诺廊萘緾=2.4bit/10維自由度。,重新計算平均輸出功率,關閉第6個子信道，p6=0, 再計算：,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,58,3.4連續(xù)信道及其容量,噪聲小的子信道分配到的輸入功率大，信噪比大，抵抗噪聲的能力就強，可以傳輸?shù)谋忍財?shù)就多，需要采用更高進制的符號調(diào)制方法，以提高信道的頻帶利用率

34、；反之，噪聲大的信道分配的功率小，信噪比小，可以傳輸?shù)谋忍財?shù)就少。最終使得每個子信道的誤碼率都相同。 還有一些并聯(lián)的高斯信道，各噪聲之間是有依賴的，也就相當于有記憶的高斯加性信道，各單元時刻上的噪聲不是統(tǒng)計獨立的，分析這樣的信道很復雜。,多維無記憶加性連續(xù)信道,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,59,3.4連續(xù)信道及其容量,限時限頻限功率加性高斯白噪聲信道,信道容量為,波形信道中，在限頻fm 、限時tB條件下可轉化成多維連續(xù)信道，將輸入x(t)和輸出y(t)離散化成L維隨機序列x=(x1,x2,xL)和y=(y1,y2,yL) 。波

35、形信道的平均互信息為:,信息傳輸率為,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,60,3.4連續(xù)信道及其容量,對于高斯白噪聲加性波形信道，加入信道的噪聲是限帶的加性高斯白噪聲n(t)，其均值為0，功率譜密度為N0/2。 一般信道的頻帶寬度總是受限的，設其為W(|f|W)，而低頻限帶高斯白噪聲的各樣本值彼此統(tǒng)計獨立，所以限頻高斯白噪聲過程可分解L2WtB維統(tǒng)計獨立的隨機序列。,其中：,限時限頻限功率加性高斯白噪聲信道,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,61,3.4連續(xù)信道及其容量,

36、信道的容量,單位時間的信道容量,香農(nóng)公式,限時限頻限功率加性高斯白噪聲信道,要使信道傳送的信息達到信道容量，必須使輸入信號具有均值為0、平均功率Ps的高斯白噪聲的特性。否則，傳送的信息率將低于信道容量，信道得不到充分利用。,信道容量與信噪功率比和帶寬有關。,2020年12月19日7時50分,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,62,3.4連續(xù)信道及其容量,當信道的頻帶受限于W，信道的噪聲為加性高斯白噪聲，功率譜密度為N0/2，噪聲功率為N0W，輸入信號的平均功率受限于Ps ，信噪功率比SNR= Ps /N0W;則當輸入信號是平均功率受限的高斯白噪聲信號時，信道中的信息傳輸率可以達到上式的