近代信息論-第二章.ppt

第二章 信道和信道容量,&6-9,主要內(nèi)容,第六節(jié) 連續(xù)信道的容量 第七節(jié) 信道的組合 第八節(jié) 波形信道 第九節(jié) 有記憶非白噪聲信道,第六節(jié)：連續(xù)信道的容量,高斯信道的容量 高斯信道的定義、性質(zhì) 高斯信道的信道容量 一般情形：加性干擾信道容量的上下界 上界 下界,高斯信道,定義：,信道,X,Y=X+N,N,性質(zhì)： 條件概率P(y|x) = 噪聲N的概率P(N); I(X,Y)=Hc(Y)-Hc (N),證明,條件概率：P(y|x)=P(N)證明,2. I(X,Y)=Hc(Y)-Hc (N)證明,高斯信道的信道容量,設(shè)輸入X平均功率受限 Pwi 設(shè)輸出Y平均功率受限 Pwo 要使得Y的熵H(Y)最大，Y必定是均值為零，方差為Pwo的高斯變量N(0, Pwo)。,限平均功率的最大熵定理,高斯信道的信道容量,可以通過提高輸入功率來增大C,上界,加性干擾信道容量（一般情形）,一般信道有非加性干擾，無法解得信道容量，而對疊加性干擾信道，雖無法解得C，但可得上下界。,下界,加性干擾信道容量（一般情形）,下界,綜合上下界，對于加性信道：,加性干擾信道容量（一般情形）,可見，高斯信道是最差的信道，或者說，高斯干擾就是最壞的干擾。 實際中，在未知噪聲分布時，一般假設(shè)為高斯噪聲，這樣做最保險。,back,第七節(jié)：信道的組合,獨立并聯(lián)信道 和信道 級聯(lián)信道,獨立并聯(lián)信道,獨立信道,定義聯(lián)合平均互信息,獨立并聯(lián)信道,當(dāng)個信道獨立時，分別求各信道的互信息,獨立并聯(lián)信道各信道的互信息,第一信道,第二信道,第N信道,以上求和,結(jié)論：,獨立并聯(lián)信道,1,2,當(dāng)輸入變量相互獨立時，且各信道輸入分布使信道達到各自信道容量Ck時，,討論： 對于“離散無記憶信道，N次擴展”,獨立并聯(lián)信道,信道,時分信道：時間離散無記憶信道 各時間單元干擾不同，可看作獨立并列信道 假設(shè)各信道均為高斯信道：,和信道（并信道）,定義： 任一時間隨機的選用，信道1或信道2（兩者不能同時選用），選信道1的概率P1,選信道2的概率P2，且P1 +P2 =1。 組合信道的輸入 組合信道的輸出 轉(zhuǎn)移概率 此信道稱為和信道或并信道。,例：GSM, 雙頻,定理：信道1與信道2的和信道的信道容量C滿足： 推廣：N個獨立信道的和信道，若各分信道的信道容量為Cn,則和信道的信道容量為 每個信道被使用的概率為：,和信道（并信道）信道容量,級連信道（串行信道）,可先計算總的轉(zhuǎn)移概率，然后用常規(guī)法計算C. 可證明，若N個轉(zhuǎn)移概率相同的信道級連，,信道,信道,back,第八節(jié)：波形信道,定義：信道的輸入、輸出是任意的時間函數(shù)，則稱信道為波形信道，或時間連續(xù)信道。 限時T,限頻F的加性高斯白噪聲信道 Shannon 公式 功率分配,back,限時T,限頻F的加性高斯白噪聲信道,輸入X(t),輸出Y(t),信道噪聲是高斯白噪聲N(t), Y(t)=X(t)+N(t); X與N相互獨立 X(t),Y(t)和N(t)都是限頻、限時T的隨機過程。 根據(jù)抽樣定理：X,Y,N可用2F頻率抽樣，能轉(zhuǎn)化為時間間隔為 的n個隨機變量組成的隨機變量。,對于白噪聲N(t),其功率譜 在-F,F為常數(shù)N0/2,由功率譜與相關(guān)函數(shù)的域變換關(guān)系，得：,限時T,限頻F的加性高斯白噪聲信道,-F,F,back,Shannon公式,限時T,限頻F 對于高斯加性信道,對于限時T,限頻F的信號,back,功率分配（限時限頻）,獨立并列信道，信道容量 設(shè)輸入功率恒定,問題,如何分配功率，即各 如何取值， 才能使 達到最大,即：各信道輸出功率相等，才能保證聯(lián)合信道容量最大。,重新解,結(jié)論： 噪聲大的信道輸入功率分配額?。?噪聲小的信道輸入功率分配額大， 這樣可使得總的信道容量C增大。,太壞的信道不用,K,注水原理,back,第九節(jié)：有記憶非白噪聲信道,非白噪聲 有串?dāng)_（碼間串?dāng)_）可視為記憶 串音 遠端FEXT 近端NEXT,前述,加性高斯白噪聲信道（AWGN),實際,如電話線,信道容量,輸入X(t), 輸出Y(t)； 非白噪聲(colored noise) 是由高斯信源q(t)經(jīng)過LTI：h(t)得到的； Z(t)：高斯白噪聲； X(t), q(t), Z(t) 獨立。 信道本身的沖激響應(yīng)：g(t) 非白噪聲干擾可看作白噪聲通過一個線性時不變?yōu)V波器(LTI filter),建模,信道容量,時域:,頻域:,G1,X1,Y1,Z1,H1,Q1,G2,X2,Y2,Z2,H2,Q2,G3,X3