信息率失真函數(shù)的繪制-

1、 課程設(shè)計(jì)任務(wù)書(shū)20112012學(xué)年第一學(xué)期專業(yè):通信工程學(xué)號(hào):陳夏姓名: 080110058課程設(shè)計(jì)名稱:信息論與編碼課程設(shè)計(jì)設(shè)計(jì)題目:信息率失真函數(shù)的繪制完成期限:自年月日至年月日共周一.設(shè)計(jì)目的1、理解信息率失真函數(shù)的定義與物理意義;2、分析離散信源在誤碼失真下的信息率失真函數(shù)表達(dá)式;3、提高綜合運(yùn)用所學(xué)理論知識(shí)獨(dú)立分析和解決問(wèn)題的能力;4、使用相關(guān)軟件進(jìn)行曲線的繪制。二.設(shè)計(jì)內(nèi)容分析離散信源在誤碼失真下的信息率失真函數(shù)表達(dá)式,并繪制曲線圖。三.設(shè)計(jì)要求1、繪制曲線使用數(shù)據(jù)不能過(guò)少;2、分析曲線的特點(diǎn)。四.設(shè)計(jì)條件計(jì)算機(jī)、MATLAB或其他語(yǔ)言環(huán)境五.參考資料1曹雪虹,張宗橙.信息論與編

2、碼.北京:清華大學(xué)出版社,2007.2王慧琴.數(shù)字圖像處理.北京:北京郵電大學(xué)出版社,2007.指導(dǎo)教師(簽字:教研室主任(簽字:批準(zhǔn)日期:年月日 摘要研究信息率失真函數(shù)是為了解決在已知信源和允許失真率D 的條件下,使信源必須傳送給信宿的信息率最小。即用盡可能少的碼符號(hào)盡快地傳送盡可能多的信源消息,以提高通信的有效性。首先給出信源的失真度和信息率失真函數(shù)的定義與性質(zhì);然后討論離散信源和連續(xù)信源的信息率失真函數(shù)計(jì)算。通過(guò)使用MATLAB軟件進(jìn)行對(duì)信息率失真函數(shù)曲線的繪制,直觀的理解了信息率失真函數(shù)R(D與失真率D和P的函數(shù)關(guān)系。關(guān)鍵字:信息率失真函數(shù);失真率D;MATLAB 目錄1信息率失真函數(shù)

3、 (11.1信息率失真函數(shù)的定義 (11.2信息率失真函數(shù)的物理意義 (22信息率失真函數(shù)表達(dá)式 (32.1信息率失真函數(shù)的定義域 (32.1.1失真率D的下界 (32.1.2失真率D的上界 (32.2參數(shù)p的影響 (32.3信息率失真函數(shù)表達(dá)式的推導(dǎo) (43信息率失真函數(shù)的matlab實(shí)現(xiàn) (63.1實(shí)驗(yàn)程序 (63.2實(shí)驗(yàn)結(jié)果 (73.3圖像的分析 (7總結(jié) (8參考文獻(xiàn) (9 1信息率失真函數(shù)1.1信息率失真函數(shù)的定義研究在限定失真下為了恢復(fù)信源符號(hào)所必需的信息率,簡(jiǎn)稱率失真理論。信源發(fā)出的符號(hào)傳到信宿后,一般不能完全保持原樣,而會(huì)產(chǎn)生失真。要避免這種失真幾乎是不可能,而且也無(wú)必要,因?yàn)?/p>

4、信宿不管是人還是機(jī)器,靈敏度總是有限的,不可能覺(jué)察無(wú)窮微小的失真。倘若在處理信源符號(hào)時(shí)允許一定限度的失真,可減小所必需的信息率,有利于傳輸和存儲(chǔ)。率失真理論就是用以計(jì)算不同類型的信源在各種失真限度下所需的最小信息率。因此,這一理論是現(xiàn)代所有信息處理問(wèn)題的理論基礎(chǔ)。香農(nóng)首先定義了信息率失真函數(shù)R(D,并論述了關(guān)于這個(gè)函數(shù)的基本定理。定理指出:在允許一定失真度D 的情況下,信源輸出的信息傳輸率可壓縮到R(D值,這就從理論上給出了信息傳輸率與允許失真之間的關(guān)系,奠定了信息率失真理論的基礎(chǔ)。 信息率失真理論是進(jìn)行量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。圖1.1 信息率失真函數(shù)定義信源編碼器的目的

5、是使編碼后所需的信息傳輸率R 盡量小,然而R 越小,引起的平均失真就越大。給出一個(gè)失真的限制值D ,在滿足平均失真 D 的條n a a a x ,21信源編碼器(看做信道n b b b y ,21XY假想信道 件下,選擇一種編碼方法使信息率R 盡可能小。信息率R 就是所需輸出的有關(guān)信源X 的信息量。將此問(wèn)題對(duì)應(yīng)到信道,即為接收端Y 需要獲得的有關(guān)X 的信息量,也就是互信息I(X;Y。這樣,選擇信源編碼方法的問(wèn)題就變成了選擇假想信道的問(wèn)題,符號(hào)轉(zhuǎn)移概率p(bj /ai就對(duì)應(yīng)信道轉(zhuǎn)移概率。由于互信息取決于信源分布和信道轉(zhuǎn)移概率分布,當(dāng)p(ai一定時(shí),互信息I 是關(guān)于p(bj/ai 的下凸函數(shù),存在

6、極小值。因而在上述允許信道PD 中,可以尋找一種信道p(bj /ai使給定的信源p(ai經(jīng)過(guò)此信道傳輸后,互信息I(X ;Y達(dá)到最小。該最小的互信息就稱為信息率失真函數(shù)R(D,限定失真為D 的條件下,信源輸出的最小信息率。即(1-1在信源給定后,希望在滿足一定失真的情況下,使信源傳輸給信宿的信息傳輸率R 盡可能地小。從信宿來(lái)看,就是在滿足保真度準(zhǔn)則下,尋找再現(xiàn)信源消息所必須獲得的最小平均信息量。即在滿足保真度準(zhǔn)則條件下尋找平均互信息 I(X;Y的最小值。 (1-21.2信息率失真函數(shù)的物理意義對(duì)于給定的信源,在滿足保真度準(zhǔn)則下,必須傳送的最小信息量,它既反映了用戶容忍程度,也反映了信息率允許壓

7、縮的最小值,R(D越大,越難壓縮,反之可壓縮率就大.對(duì)于固定的信源分布,平均互信息量I(X;Y是信道轉(zhuǎn)移概率 p(bj/ai 的下凸函數(shù)。也就是說(shuō):存在一個(gè)信道使某一特定信源經(jīng)過(guò)此信道傳輸時(shí),信道的平均互信息達(dá)到極小值.;(min(/(Y X I D R Di jP a bp =(/(m in(/log(ij Dj i i j i p P ijj p b a R D p a p b a p b = 2信息率失真函數(shù)表達(dá)式2.1信息率失真函數(shù)的定義域率失真函數(shù)的定義域問(wèn)題就是在信源和失真函數(shù)已知的情況下,討論允許平均失真度D 的最小和最大取值問(wèn)題,即Dmin,Dmax。2.1.1失真率D 的下界

8、由于平均失真度是非負(fù)實(shí)數(shù)d(xi,yj的數(shù)學(xué)期望,因此也是非負(fù)實(shí)數(shù),即D 的下界為0。(2-1Dmin =0,對(duì)應(yīng)于無(wú)失真情況,相當(dāng)于無(wú)噪信道,信道傳輸?shù)男畔⒘康扔谛旁挫?即 R(D=R(0=H(X允許平均失真度能否達(dá)到其下限值0,與單個(gè)符號(hào)的失真函數(shù)有關(guān)。只有當(dāng)失真矩陣的每一行至少有一個(gè)0元素時(shí),信源的平均失真度才能達(dá)到下限值0。2.1.2失真率D 的上界由于I(X;Y是非負(fù)函數(shù),而R(D是在約束條件下的I(X;Y的最小值,所以R(D也是一個(gè)非負(fù)函數(shù),即R(D0,它的下限值為零。Dmax 是滿足R(D=0時(shí)所有平均失真度中的最小值。(2-22.2參數(shù)p 的影響R(D不僅與D 有關(guān),還與p 有

9、關(guān)。概率分布不同, R(D曲線就不一樣。當(dāng)p=0.25時(shí),如果能容忍的誤碼率也是0.25,不用傳送信息便可達(dá)到,即R=0,這就是R(Dmax =0的含義。=ni j i ji b a d a p D 1min,(min (=D D D R 0(max min 1,21m in(,ni i j j mi D p a d a b = 2.3信息率失真函數(shù)表達(dá)式的推導(dǎo)=(;(:min (給定速率R V U I P P d P p d D R D ji R i jij ji i P P Rji (2-3 稱D(R為失真信息率函數(shù),是R(D的逆函數(shù),它是求在允許最大速率情況下的最大失真D 。引用拉氏乘子

10、法,并設(shè)S 與,n 21i (i =分別表示(n+1個(gè)約束條件的待定參數(shù),則有:log 1(log 1(0;(=-+-=-i ij i i ji i j jjiii ji i jid Sp p P p q PSD P p I P 求得 ijSdi j ji eq P = (2-6由歸一化條件有=jSd i j iji ijeq P 1求得=jSd j i ijeq 1 (2-7再將(2-6式兩邊同乘p i 并對(duì)i 求和,且設(shè)qj>0,則有=i Sd i j i iji i j ijeq p P p q 1=iSd i i ijep (2-8代(2-7入(2-8,得:11=ijijSdjS

11、dj iieeq p (2-9當(dāng)信源給定p i =p i 0,選定S 與d ij 以后,它是一個(gè)求解m 個(gè)q j 的方程組,則可按下列順序求解:(2-4(2-5 (,1(2,1(S R S D P n i m j q ji i j = 最后求得參量方程如下:=i j j Sd i j Sd ij i i j ij Sd i j i q e q e q p S R d e q p S D ij ij ij log ( (+=iii p S SD log ( (2-11這就是用參量SR(D的斜率表達(dá)的R(D函數(shù)形式,又稱為參量方程。 由公式(2-8,有:=+=+1exp(exp(1exp(exp(

12、2222121121221111Sd p Sd p Sd p Sd p (2-12 求得11(11121SSe p e p +-=+= 將它帶入式(2-7,有=+=+222221111221111exp(exp(1exp(exp(Sd q Sd q Sd q Sd q (2-13求得(2-10 SSSSepep q e ep p q -=-=11(11(21 (2-14再將2121q q ,帶入(2-10式D(S中:exp(exp(12122111111111Sd d q p Sd d q p S D +=exp(exp(22222222121122Sd d q p Sd d q p +SS

13、ee+=1 DD S -=1log(2-15再將它帶入R(S0,有:DD S DD S p p S SD S R D R -=-=-+=1log211loglog 1(log (1log(1(log 1log(1(log D D D D p p p p -+-+-=綜上所述:R(D=-p*log2(p-(1-p*log2(1-p+D.*log2(D+(1-D.*log2(1-D (2-163信息率失真函數(shù)的matlab 實(shí)現(xiàn)3.1實(shí)驗(yàn)程序for p=0.1:0.1:0.5d=0.000001:0.0001:0.5;R1=-p*log2(p-(1-p*log2(1-p+d.*log2(d+(1-

14、d.*log2(1-d; hold on ; plot(d,r; end hold off;figure;for i=2:6p=1/i;d=0.000001:0.0001:1-p;R2=-log(p-d*log(i-1+d.*log(d+(1-d.*log(1-d;plot(d,r;hold on;endhold off;3.2實(shí)驗(yàn)結(jié)果 圖3.1 R(D1圖3.2 R(D23.3圖像的分析R(D在定義域內(nèi)是失真度D的U型下凸函數(shù)。R(D在定義域內(nèi)是關(guān)于D的連續(xù)函數(shù)。R(D的單調(diào)遞減性,容許的失真度越大,所要求的信息率越小。當(dāng)D相同時(shí),信源越趨于等概率分布, R(D就越大。由最大離散熵定理,信源越趨于等概率分布,其熵越大,即不確定性越大,要去除這不確定性所需的信息傳輸率就越大,而R(D正是去除信源不確定性所必須的信息傳輸率。課程設(shè)計(jì)說(shuō)明書(shū) 總結(jié) 通過(guò)這次實(shí)驗(yàn),我了解了信息率失真函數(shù)的定義與物理意義、離散信源在誤 碼失真下的信息率失真函數(shù)表達(dá)式的推導(dǎo)以及信息率失真函數(shù)的 matlab 實(shí)現(xiàn)，并 得到了正確的結(jié)論。 通過(guò)對(duì)實(shí)驗(yàn)輸出結(jié)果的分析，我更直觀的認(rèn)識(shí)了率失真曲線的圖像，信息率 失真函數(shù) R(D是關(guān)于失真率（D）的一個(gè)下凸形函數(shù)，當(dāng)失真率（D）=0.5 時(shí)， 率失真函數(shù)取得最小值。這一結(jié)論對(duì)二元