連續(xù)信源和連續(xù)信道.ppt

1、2.3連續(xù)源，連續(xù)源：輸出消息具有時間和可取值的連續(xù)源。 語音、電視源等。對應的數學工具是隨機的過程。 從統(tǒng)一校正特性來說，連續(xù)隨機過程大致可分為穩(wěn)態(tài)(統(tǒng)一校正特性-各維的概率密度函數不隨時間位移而變化的隨機過程)和非穩(wěn)態(tài)隨機過程。 所述通信系統(tǒng)中的信號均被認為是光滑的隨機過程或分階段光滑的隨機過程。 最常見的平滑隨機過程是掃描過程。 其中r是全實數集合、連續(xù)變量x的可能值的范圍以及p(x )是x的概率密度。 假設=(b-a)/n，xia (i-1 )，a i，p(x )是連續(xù)變量x的概率密度函數，則由于由于離散源熵引起的連續(xù)信道源的可能值無限多，使用中值定理x在第I個小區(qū)之間掉落的概率是該獲

2、取的如果知道輸出是某個值，則得到的信息量也無限大。 由此可見Hc(X )不可表示源的平均不確定性大小或者不表示由連續(xù)的源輸出的信息量。 如例如，2.3.1個源概率密度圖所示，可以確定連續(xù)熵，從圖中的(a )得到解：并且類似地，可以定義兩個連續(xù)變量x，y的聯合熵和條件熵：2.3.2個特殊連續(xù)源也可以為負，n維均勻分布： n維向量(X1 X2 XN )中的各成分相互統(tǒng)一地獨立，分別為a1、b1 a2、b2 aN， 在bN的區(qū)域中均勻分布(即，連續(xù)的2 .高斯分布的連續(xù)源的熵：與數學期望無關的，僅關于方差，一維隨機數x的取值范圍是整個實軸r，概率密度函數是正態(tài)分布，并且與方差無關的，平均值m=0，x

3、的方差是隨機數相對熵僅與平均功率有關，其概率密度函數為：指數分布的相對熵僅取決于源的平均m，2.3.3連續(xù)源熵的性質和最大連續(xù)熵定理，其中1 .連續(xù)熵為負值，2 .可加性，以及n個變量4 .最大連續(xù)熵定理根據約束條件源的最大熵也不同。 (1)如果限制峰值功率的最大熵定理源的n維隨機變量的取值在一定范圍內，則在有限定義域中均勻分布的連續(xù)源具有最大熵。 n維向量(X1 X2 XN )中各成分相互統(tǒng)一地獨立，分別為a1、b1 a2、b2 aN， 單變量連續(xù)源x指示正態(tài)分布的概率密度函數指示：在連續(xù)源輸出信號的平均值為0并且平均功率受到限制的情況下，源輸出信號的幅度指示高斯分布如果源的概率密度符合正態(tài)

4、分布，則其相對熵僅與隨機變量的方差有關，但方差通常在物理意義上表示信號的交流功率。 即，如果噪聲是正態(tài)分布，則噪聲熵為最大，高斯白噪聲得到最大的噪聲熵。 在限制信號的平均功率的條件下，正態(tài)分布的信道源能夠輸出的最大相對熵的值隨著平均功率的增加而增加。 (3)如果在有限平均值的條件下的最大連續(xù)熵定理連續(xù)信道源x輸出非負信號的平均值受限制，則當輸出信號的幅度呈指數分布時，信道源具有最大熵值。 指出當連續(xù)的源x為指數分布時的概率密度函數采取平均值受限制而非負的連續(xù)源，在指數分布的情況下達到最大熵值，并且該最大熵值僅由所限制的平均值決定，與離散源不同，連續(xù)的源具有絕對的最大熵其最大熵與源的制約條件有關

5、。 連續(xù)源根據限制條件最大熵不同，無限制條件下不存在最大熵。3.5連續(xù)信道、連續(xù)信道：輸入輸出都是單一連續(xù)型隨機變量的信道。 可以使用模型x，p(y|x )，y來描述單個符號的連續(xù)通道。 x是輸入連續(xù)型隨機變量，x是取值的區(qū)間是a、b或實數區(qū)域r； y是信道輸出連續(xù)型隨機變量，取值的區(qū)間是a、b或實數區(qū)域r。 信道的傳遞概率密度函數為p(y|x )，并且當連續(xù)信道的信道容量c等于源x處的一定概率密度函數p0(x )時，連續(xù)信道的數學模型定義信道熵互信息的最大值。 加性連續(xù)信道的容量、加性連續(xù)信道：噪聲是連續(xù)的隨機變量n，其是與x相互統(tǒng)一地獨立的信道。 信道的噪聲對輸入的干擾作用表現為噪聲和輸入

6、線性疊加，即，Y=X N。 加性連續(xù)信道的關鍵特征：信道的條件概率密度函數等于噪聲的概率密度函數，p(y/x)=p(n )，條件熵：加性信道的信道容量在第2章中是已知的，并且由于約束的原因，連續(xù)變量具有不同的最大值，因此加性信道一個高斯加性連續(xù)信道的容量：高斯加性連續(xù)信道：一個信道中的噪聲，即信道的傳遞概率密度函數，并且高斯加性連續(xù)信道的信道容量通常受輸入隨機變量x的平均功率是有限的，并且假設被限制為PX，那么噪聲的平均功率可以是pn 根據最大連續(xù)熵定理，為了使Hc(Y )最大化，y的平均值必須為0，方差值必須為高斯隨機變量。 當選擇了時，當前問題是當輸入概率密度函數p(x )是什么函數時將y設置為高斯分布。 由于在高斯加性信道中，輸入x和噪聲n是相互統(tǒng)一的且獨立的，在因此輸入x為平均值0，而色散值為0的高斯隨機變量的情況下，輸出y的概率密度函數滿足高斯分布，而如果滿足高斯分布，則在那時輸出端的連續(xù)熵Hc(Y ) 根據采樣定理，當將信道的一次傳輸視為一次采樣時，每個信道傳輸2W個采樣點，并且每個單位時間的信道容量是：這是著名的香農策略。 在帶寬時序中，信道容量隨著SNR的增加而單調增加，因此可以通過增加信號功率、減小信道噪聲來增加信道容量。 在SNR固定時，信道容量會隨著帶寬的增加而增加。 例如：電視圖像每幀由3105個像素構