信息論總結(jié)與復(fù)習(xí)_第1頁(yè)
信息論總結(jié)與復(fù)習(xí)_第2頁(yè)
信息論總結(jié)與復(fù)習(xí)_第3頁(yè)
信息論總結(jié)與復(fù)習(xí)_第4頁(yè)
信息論總結(jié)與復(fù)習(xí)_第5頁(yè)
已閱讀5頁(yè),還剩40頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、信息論與編碼信息論與編碼 總結(jié)與復(fù)習(xí)總結(jié)與復(fù)習(xí)本課程本課程主要內(nèi)容主要內(nèi)容一個(gè)理論和三個(gè)編碼: : 理論-香農(nóng)信息論 編碼-信源編碼 信道編碼 第一部分、信息論基礎(chǔ)第一部分、信息論基礎(chǔ)1.1 信源的信息理論: : 1 1、信息的定義:、信息的定義: (1 1)自信息)自信息 I = log(1/p) =- -log p (2 2)信息量信息量=通信所消除掉的不確定度通信所消除掉的不確定度 =通信前的不確定度通信前的不確定度-通信后的不確定度通信后的不確定度 (3 3)信息的單位:)信息的單位:對(duì)數(shù)的底取對(duì)數(shù)的底取2時(shí),時(shí),自信自信息的單位叫比特息的單位叫比特( (bit)。第一部分、信息論基礎(chǔ)

2、第一部分、信息論基礎(chǔ) 1.1 信源的信息理論信源的信息理論3 3、信息熵的特點(diǎn)、信息熵的特點(diǎn)(1 1)非負(fù)性:)非負(fù)性:H(X) 0(2 2)對(duì)稱性:對(duì)稱性:H(p1p2)=H(p2p1)(3 3)極值性:)極值性: 1離散信源各符號(hào)等概率時(shí)出現(xiàn)極大值:離散信源各符號(hào)等概率時(shí)出現(xiàn)極大值: H0=log m 第一部分、信息論基礎(chǔ)第一部分、信息論基礎(chǔ) 1.1 信源的信息理論信源的信息理論4 4、離散序列的信息熵、離散序列的信息熵(1 1)無(wú)記憶信源的聯(lián)合熵與單符號(hào)熵:)無(wú)記憶信源的聯(lián)合熵與單符號(hào)熵: H(X1X2XN) = H(X1)+H(X2)+H(X3)+H (XN) = NH(X1) (2

3、2)有記憶信源的聯(lián)合熵與有記憶信源的聯(lián)合熵與條件條件熵:熵: H(X1X2XN)=H(X1) + H(X2|X1) + H(X3|X1X2) + +H (XN|X1X2XN-1)(3 3)平均符號(hào)熵:平均符號(hào)熵: HN =H(X1X2XN) / N第一部分、信息論基礎(chǔ)第一部分、信息論基礎(chǔ) 1.1 信源的信息理論信源的信息理論(4 4)序列信息熵的性質(zhì):)序列信息熵的性質(zhì): 1條件熵不大于無(wú)條件熵,強(qiáng)條件熵不大于弱條件熵不大于無(wú)條件熵,強(qiáng)條件熵不大于弱 條件熵:條件熵:H(X1) H(X2|X1) H(X3|X1X2) H (XN|X1X2XN-1)2條件熵不大于同階的平均符號(hào)熵條件熵不大于同階

4、的平均符號(hào)熵: : HN H (XN|X1X2XN-1) 3序列越長(zhǎng),平均每個(gè)符號(hào)的信息熵就越?。盒蛄性介L(zhǎng),平均每個(gè)符號(hào)的信息熵就越?。?H1 H2 H3 H N總之:總之:H0 H1 H2 H3 HN H (無(wú)記憶信源取等號(hào)。)(無(wú)記憶信源取等號(hào)。)第一部分、信息論基礎(chǔ)第一部分、信息論基礎(chǔ) 1.1 信源的信息理論信源的信息理論第一部分、信息論基礎(chǔ)第一部分、信息論基礎(chǔ) 1.1 信源的信息理論信源的信息理論5 5、馬爾可夫信源的信息熵、馬爾可夫信源的信息熵(1 1)馬爾可夫信源的數(shù)學(xué)模型和定義:馬爾可夫信源的數(shù)學(xué)模型和定義: N階階馬爾可夫信源的關(guān)聯(lián)長(zhǎng)度是馬爾可夫信源的關(guān)聯(lián)長(zhǎng)度是N+1,N+2以

5、外不關(guān)聯(lián)。以外不關(guān)聯(lián)。(2 2)狀態(tài)、狀態(tài)轉(zhuǎn)移與穩(wěn)態(tài)概率:)狀態(tài)、狀態(tài)轉(zhuǎn)移與穩(wěn)態(tài)概率: 狀態(tài)、狀態(tài)轉(zhuǎn)移、狀態(tài)轉(zhuǎn)移圖、穩(wěn)定狀態(tài)、穩(wěn)態(tài)方程狀態(tài)、狀態(tài)轉(zhuǎn)移、狀態(tài)轉(zhuǎn)移圖、穩(wěn)定狀態(tài)、穩(wěn)態(tài)方程(3 3)穩(wěn)態(tài)符號(hào)概率:)穩(wěn)態(tài)符號(hào)概率:1111()(|)()(|)log (|)LmLmikiikikiikikHQ E H aEQ Ep aEp aE 結(jié)論:結(jié)論:N階馬氏信源穩(wěn)態(tài)信息熵階馬氏信源穩(wěn)態(tài)信息熵(即極限熵即極限熵)等于等于N+1階條件熵。階條件熵。(4 4)穩(wěn)態(tài)信息熵:)穩(wěn)態(tài)信息熵:LiikikEapEQap1)|()()()|()(1lim211121NNNNXXXXHXXXXHNHN例例1 已知二

6、階馬爾可夫信源的條件概率:已知二階馬爾可夫信源的條件概率: p(0|00)=(0|00)=p(1|11)=0.8(1|11)=0.8;p(0|01)=(0|01)=p(1|10)=0.6(1|10)=0.6; 求穩(wěn)態(tài)概率、穩(wěn)態(tài)符號(hào)概率、穩(wěn)態(tài)符號(hào)熵和穩(wěn)求穩(wěn)態(tài)概率、穩(wěn)態(tài)符號(hào)概率、穩(wěn)態(tài)符號(hào)熵和穩(wěn)態(tài)信息熵。態(tài)信息熵。解:解:二階馬氏信源關(guān)聯(lián)長(zhǎng)度二階馬氏信源關(guān)聯(lián)長(zhǎng)度=3=3,狀態(tài)由,狀態(tài)由2 2符號(hào)組成,共有符號(hào)組成,共有 4 4個(gè)狀態(tài),分別為:個(gè)狀態(tài),分別為:E1=00=00;E2=01=01;E3=10=10;E4=11=11; 已知的條件概率即是:已知的條件概率即是: p p(0|(0|E E1

7、1)=)=p p(1|(1|E E4 4 )=0.8)=0.8;p p(0|E(0|E2 2)=)=p p(1|(1|E E3 3 )=0.6)=0.6; 根據(jù)歸一化條件可求出另外根據(jù)歸一化條件可求出另外4 4個(gè)狀態(tài)符號(hào)依賴關(guān)系為:個(gè)狀態(tài)符號(hào)依賴關(guān)系為: p p(1|(1|E E1 1)=)=p p(0|(0|E E4 4 )=0.2)=0.2;p p(1|(1|E E2 2 )=)=p p(0|(0|E E3 3 )=0.4)=0.4; 第一部分、信息論基礎(chǔ)第一部分、信息論基礎(chǔ) 1.1 信源的信息理論信源的信息理論E4E3E2E10:0.8 0:0.4 0:0.2 1:0.81:0.2 1:

8、0.41:0.6 0:0.6穩(wěn)態(tài)方程組是:穩(wěn)態(tài)方程組是:1)()()()()(8 . 0)(4 . 0)()(2 . 0)(6 . 0)()(6 . 0)(2 . 0)()(4 . 0)(8 . 0)(4321424423312311EQEQEQEQEQEQEQEQEQEQEQEQEQEQEQEQ第一部分、信息論基礎(chǔ)第一部分、信息論基礎(chǔ) 1.1 信源的信息理論信源的信息理論可解得:可解得:61)()(31)()(3241EQEQEQEQ4141218 . 0316 . 0614 . 0612 . 031)| 1 ()() 1 (212 . 0314 . 0616 . 0618 . 031)|0

9、()()0(iiiiiiEpEQpEpEQp穩(wěn)態(tài)符號(hào)概率為穩(wěn)態(tài)符號(hào)概率為:穩(wěn)態(tài)信息熵為:穩(wěn)態(tài)信息熵為:2 4 . 0log4 . 06 . 0log6 . 0612 2 . 0log2 . 08 . 0log8 . 031H=0.895 0.895 bit/ /符號(hào)符號(hào)第一部分、信息論基礎(chǔ)第一部分、信息論基礎(chǔ) 1.1 信源的信息理論信源的信息理論因此,穩(wěn)態(tài)符號(hào)熵因此,穩(wěn)態(tài)符號(hào)熵=1=1bit/符號(hào)符號(hào)。第一部分、信息論基礎(chǔ)第一部分、信息論基礎(chǔ) 1.2 信道的信息理論信道的信息理論1.2 信道的信息理論: : 1 1、信道的數(shù)學(xué)模型:、信道的數(shù)學(xué)模型: 進(jìn)入廣義信道的符號(hào)為進(jìn)入廣義信道的符號(hào)為a

10、iA;從廣義信道出來(lái)從廣義信道出來(lái)的符號(hào)的符號(hào)bj B;其前向概率為其前向概率為 pij=p(bj|ai)。 傳輸矩陣傳輸矩陣: :msmmsspppppppppP2122221112112 2、信道的分類:、信道的分類:(1)無(wú)噪無(wú)損信道:)無(wú)噪無(wú)損信道:ai與與bj是一一對(duì)應(yīng)的,是一一對(duì)應(yīng)的, p (bj| |ai ) =ij ,傳輸矩陣為單位方陣。傳輸矩陣為單位方陣。(2)有噪有損信道:)有噪有損信道: ai與與bj多多- -多對(duì)應(yīng)的,傳輸矩陣中所有的多對(duì)應(yīng)的,傳輸矩陣中所有的矩陣元都有可能不為零。矩陣元都有可能不為零。特例是特例是BSCBSC信道信道。(3)有噪無(wú)損信道)有噪無(wú)損信道分

11、組一對(duì)多(彌散),分組一對(duì)多(彌散),傳輸矩陣應(yīng)具有一傳輸矩陣應(yīng)具有一行多列的分塊對(duì)角化形式。行多列的分塊對(duì)角化形式。(4)無(wú)噪有損信道:)無(wú)噪有損信道:分組多對(duì)一(歸并),分組多對(duì)一(歸并),其傳輸矩陣應(yīng)具其傳輸矩陣應(yīng)具有多行一列的分塊對(duì)角化形式。有多行一列的分塊對(duì)角化形式。(5 5)對(duì)稱信道:)對(duì)稱信道:傳輸矩陣的各行都是一些相同元素的重排,傳輸矩陣的各行都是一些相同元素的重排,各列也是一些相同元素的重排。各列也是一些相同元素的重排。第一部分、信息論基礎(chǔ)第一部分、信息論基礎(chǔ) 1.2 信道的信息理論信道的信息理論第一部分、信息論基礎(chǔ)第一部分、信息論基礎(chǔ) 1.2 信道的信息理論信道的信息理論

12、3 3、信道有關(guān)的信息熵:、信道有關(guān)的信息熵:(1)信源熵)信源熵 (先驗(yàn)熵先驗(yàn)熵): miiiapapXH1)(log()((2)噪聲熵)噪聲熵 (散布度散布度):)|(log)()|(11ijmisjjiabpbapXYH(3)聯(lián)合熵:)聯(lián)合熵:)(log)()(11jimisjjibapbapXYH(4)接收符號(hào)熵:)接收符號(hào)熵:mijjbpbpYH1)(log()((5)損失熵)損失熵(后驗(yàn)熵后驗(yàn)熵):)|(log)()|(11jimisjjibapbapYXH第一部分、信息論基礎(chǔ)第一部分、信息論基礎(chǔ) 1.2 信道的信息理論信道的信息理論4. 平均互信息平均互信息(1 1)平均互信息的

13、定義:平均互信息的定義:u系統(tǒng)完成一個(gè)符號(hào)從發(fā)到收的通信過(guò)程后,關(guān)于系統(tǒng)完成一個(gè)符號(hào)從發(fā)到收的通信過(guò)程后,關(guān)于符號(hào)符號(hào)ai的不確定度的變化為:的不確定度的變化為:misjijijijiapbapbapbaIEYXI11)()|(log)();();()()|(log)|(log)(log);(ijijiijiapbapbapapbaIu統(tǒng)計(jì)平均而言,平均每收發(fā)一對(duì)符號(hào)信宿所獲得的統(tǒng)計(jì)平均而言,平均每收發(fā)一對(duì)符號(hào)信宿所獲得的信息量為:信息量為: H(X|Y) I (X;Y) H(Y|X) 損失熵?fù)p失熵 平均互信息平均互信息 噪聲熵噪聲熵 H(XY)H(X) H(Y)信源熵信源熵 接收符號(hào)熵接收符

14、號(hào)熵計(jì)算公式:計(jì)算公式:I (X;Y) = H(X) H(X|Y)= H(Y) H(Y|X)= H(X) +H(Y)H(XY) (2)平均互信息與信息熵之間的關(guān)系:)平均互信息與信息熵之間的關(guān)系:第一部分、信息論基礎(chǔ)第一部分、信息論基礎(chǔ) 1.2 信道的信息理論信道的信息理論第一部分、信息論基礎(chǔ)第一部分、信息論基礎(chǔ) 1.2 信道的信息理論信道的信息理論5. 信道容量信道容量例例2已知信源先驗(yàn)概率已知信源先驗(yàn)概率p(x)=0.7, 0.3,信道傳輸,信道傳輸矩陣矩陣 ;試計(jì)算各信息熵和互信息。;試計(jì)算各信息熵和互信息。3 . 03 . 04 . 05 . 02 . 03 . 0P09. 009.

15、012. 035. 014. 021. 03 . 03 . 03 . 03 . 04 . 03 . 05 . 07 . 02 . 07 . 03 . 07 . 0)(XYP H(XY)= - -0.21log0.21 0.14log0.14 0.35log0.35 0.12log0.12 0.09log0.090.09log0.09 =2.3924 bit/符號(hào)符號(hào)解解:( (1) )先驗(yàn)熵:先驗(yàn)熵: H(X)= -0.7log20.7 0.3log20.3 = (-0.7lg0.7 0.3lg0.3)/lg2 = 0.881 bit/ /符號(hào)符號(hào) ( (2)聯(lián)合熵:聯(lián)合熵:第一部分、信息論基

16、礎(chǔ)第一部分、信息論基礎(chǔ) 1.2 信道的信息理論信道的信息理論 H(Y | X)= 0.21log0.3 0.14log0.2 0.35log0.5 0.12log0.4 0.09log0.30.09log0.3 = 1.5114 bit/ /符號(hào)符號(hào)(4)接收符號(hào)熵:接收符號(hào)熵:由由mijijyxpyp1)()( P(Y)=(0.21+0.12,0.14+0.09,0.35+0.09) = (0.33, 0.23, 0.44) H(Y)= -0.33log0.33 -0.23log0.23 -0.44log0.44 =1.5366 bit/ /符號(hào)符號(hào) (3)噪聲熵:噪聲熵:09. 009.

17、012. 035. 014. 021. 0)(XYP3 . 03 . 04 . 05 . 02 . 03 . 0P由由 和和第一部分、信息論基礎(chǔ)第一部分、信息論基礎(chǔ) 1.2 信道的信息理論信道的信息理論 H(X|Y)= -0.21log(7/11) - 0.09log(9/44)=0.8558 bit/ /符號(hào)符號(hào) 或:或:H(X|Y)=H(XY)-H(Y)=2.3924-1.5266=0.8558 bit/ /符號(hào)符號(hào)(6)平均互信息:平均互信息: I(X;Y)=H(X)-H(X|Y)= 0.881 0.8558=0.0252 bit/ /符號(hào)符號(hào)4492391144435231411744

18、. 009. 023. 009. 033. 012. 044. 035. 023. 014. 033. 021. 0)|(YXP)()()|(jjijiypyxpyxp09. 009. 012. 035. 014. 021. 0)(XYP (5)損失熵?fù)p失熵:第一部分、信息論基礎(chǔ)第一部分、信息論基礎(chǔ) 1.2 信道的信息理論信道的信息理論第一部分、信息論基礎(chǔ)第一部分、信息論基礎(chǔ) 1.2 信道的信息理論信道的信息理論(2 2)信道容量的定義:)信道容量的定義:對(duì)于給定的信道,既然總存在一個(gè)信源能使互信對(duì)于給定的信道,既然總存在一個(gè)信源能使互信息取極大值,就可以把這個(gè)極大值定義為該信道息取極大值,就

19、可以把這個(gè)極大值定義為該信道的信道容量:的信道容量:);()(YXIMaxCxp 信道容量反映了一個(gè)信道最大所能傳輸?shù)钠叫诺廊萘糠从沉艘粋€(gè)信道最大所能傳輸?shù)钠骄バ畔?,是給定信道的屬性。均互信息,是給定信道的屬性。第一部分、信息論基礎(chǔ)第一部分、信息論基礎(chǔ) 1.2 信道的信息理論信道的信息理論(3 3)信道容量的計(jì)算:)信道容量的計(jì)算:對(duì)于簡(jiǎn)單信道要求能計(jì)算信道容量:對(duì)于簡(jiǎn)單信道要求能計(jì)算信道容量:1)無(wú)損信道:)無(wú)損信道:C = maxI(X;Y)= maxH(X)=log m ; 2)無(wú)噪信道:)無(wú)噪信道:C = maxI(X;Y)= maxH(Y)= log S ; 3)對(duì)稱信道:)對(duì)稱信

20、道:C=maxI(X;Y)=logS-H(p1, p2, pS);2 . 03 . 02 . 03 . 03 . 02 . 03 . 02 . 0P 例例33求對(duì)稱信道 的信道容量。解:解:C =log4-=log4-H(0.2,0.3,0.2,0.3)(0.2,0.3,0.2,0.3) =2+(0.2log0.2+0.3log0.3) =2+(0.2log0.2+0.3log0.3)2 2 = 0.03 = 0.03 bit/ /符號(hào);符號(hào);第二部分、無(wú)失真信源編碼第二部分、無(wú)失真信源編碼第二部分、無(wú)失真信源編碼第二部分、無(wú)失真信源編碼 2.1 信源編碼理論信源編碼理論1.1 信源編碼理論:

21、 : 1 1、信源的相對(duì)信息率和冗余度信源的相對(duì)信息率和冗余度: (1 1)實(shí)際信源由于實(shí)際信源由于非等概,使非等概,使H(X)H0=log m (2 2)實(shí)際信源由于實(shí)際信源由于有記憶,使有記憶,使H HN1,不能唯一可譯;,不能唯一可譯; 碼碼B: 1/2+1/4+1/8+1/161,有可能唯一可譯;有可能唯一可譯; 碼碼C:1/2+1/4+1/8+1/16+1/64t)+1 (et)2 2、譯碼規(guī)則與錯(cuò)誤概率譯碼規(guī)則與錯(cuò)誤概率:(1 1)最小錯(cuò)誤準(zhǔn)則:選聯(lián)合概率矩陣每列最大元素最小錯(cuò)誤準(zhǔn)則:選聯(lián)合概率矩陣每列最大元素(2 2)最大似然準(zhǔn)則:選傳輸概率矩陣每列最大元素最大似然準(zhǔn)則:選傳輸概

22、率矩陣每列最大元素(3)錯(cuò)誤概率計(jì)算:未選中元素的總聯(lián)合概率錯(cuò)誤概率計(jì)算:未選中元素的總聯(lián)合概率(4 4)差錯(cuò)率計(jì)算:采用信道編碼與譯碼后仍然不能差錯(cuò)率計(jì)算:采用信道編碼與譯碼后仍然不能糾正的錯(cuò)誤所具有的概率。也就是(糾正的錯(cuò)誤所具有的概率。也就是(3 3)的結(jié)果。)的結(jié)果。 第三部分、信道編碼第三部分、信道編碼 3.1 信道編碼理論信道編碼理論例例7 已知已知對(duì)稱信道對(duì)稱信道 (1)求信道容量和最佳信求信道容量和最佳信源。源。第三部分、信道編碼第三部分、信道編碼 3.2 信道編碼理論信道編碼理論(2)在上面最佳信源分布下,按最大似然譯碼準(zhǔn)則確定其譯在上面最佳信源分布下,按最大似然譯碼準(zhǔn)則確定

23、其譯碼規(guī)則,并計(jì)算錯(cuò)誤概率。碼規(guī)則,并計(jì)算錯(cuò)誤概率。解解: :(1 1)最佳輸入為等概率分布。信道容量為:最佳輸入為等概率分布。信道容量為: C=logS-H(p1, p2, p3)=log3 - =1.5850- -1.3516 =0.2334 bit/符號(hào)符號(hào) (2)譯碼規(guī)則)譯碼規(guī)則: F(b1)=a1 ; F(b2)=a2 ; F(b3)=a3 ; 錯(cuò)誤概率:錯(cuò)誤概率:PE=3(3/9+1/9) /3=4/9=0.44959193939591919395P91log9193log9395log953.2 線性分組碼: : 碼長(zhǎng)為碼長(zhǎng)為n,信息位為,信息位為k ,記作(記作(n , k)

24、;); 監(jiān)督位監(jiān)督位r n-k1、編碼、編碼 C = KG 生成矩陣生成矩陣G是是k n的矩陣。的矩陣。l左半邊是左半邊是kk單位信息位方陣單位信息位方陣Ikl右半邊是右半邊是kr的監(jiān)督位矩陣的監(jiān)督位矩陣Q第三部分、信道編碼第三部分、信道編碼 3.2 線性分組碼線性分組碼2、糾錯(cuò)和譯碼、糾錯(cuò)和譯碼H一致校驗(yàn)矩陣一致校驗(yàn)矩陣l左半邊是左半邊是rk矩陣矩陣Pl右半邊是右半邊是rr單位方陣單位方陣Ir;lP與生成矩陣中的與生成矩陣中的Q互為轉(zhuǎn)置關(guān)系:互為轉(zhuǎn)置關(guān)系:P=QT 監(jiān)督方程也可表示為:監(jiān)督方程也可表示為: CHT = 0;滿足此方程的均為正確的許用碼字滿足此方程的均為正確的許用碼字,否則,便

25、,否則,便是誤碼。是誤碼。第三部分、信道編碼第三部分、信道編碼 3.2 線性分組碼線性分組碼N 維錯(cuò)誤格式矢量維錯(cuò)誤格式矢量 E 發(fā)送碼字為發(fā)送碼字為C,接收碼字為,接收碼字為R ,三者的關(guān)系是:三者的關(guān)系是: E = C R; R = C E; C =R E;伴隨子向量伴隨子向量 S S = = RHT S= RHT = (C E) HT = CHT EHT = EHT;l若若R = C,E為全零向量,則為全零向量,則S=0=0;l反之,若反之,若R C ,則,則E0,導(dǎo)致,導(dǎo)致S0;因此由;因此由伴隨子向量伴隨子向量S是否為零就能檢查出接收碼是否為零就能檢查出接收碼R是是否有誤。否有誤。

26、第三部分、信道編碼第三部分、信道編碼 3.2 線性分組碼線性分組碼糾錯(cuò):糾錯(cuò):lR錯(cuò)一位的情況:錯(cuò)一位的情況:S與與HT的哪一行相同,就的哪一行相同,就表明錯(cuò)在哪一位。表明錯(cuò)在哪一位。 lR錯(cuò)兩位以上:查表法,錯(cuò)兩位以上:查表法, 查查R-C對(duì)照來(lái)譯碼。對(duì)照來(lái)譯碼。3、糾錯(cuò)能力不等式:、糾錯(cuò)能力不等式: 2 r Cn0 +Cn1 + Cn2 + Cnt 完備碼:上式取等號(hào)的情況。完備碼:上式取等號(hào)的情況。漢明碼:糾漢明碼:糾1位錯(cuò)的完備碼,位錯(cuò)的完備碼, 2r =1+n第三部分、信道編碼第三部分、信道編碼 3.2 線性分組碼線性分組碼第四部分、限失真信源編碼第四部分、限失真信源編碼第四部分、限

27、失真信源編碼第四部分、限失真信源編碼 4.1失真度失真度4.1 4.1 失真度失真度2( ,)()ijijd u vuv平方失真:平方失真:絕對(duì)失真:絕對(duì)失真:(,) |ijijd uvuv相對(duì)失真:相對(duì)失真:|(,)|ijijiuvd uvu漢明失真:漢明失真:1( ,)( ,)0ijijijijuvd u vu vuv1、失真度的定義、失真度的定義3 3、平均符號(hào)失真度、平均符號(hào)失真度:第四部分、限失真信源編碼第四部分、限失真信源編碼 4.2:率失真函數(shù):率失真函數(shù), ( ,)() ( , )ijU VDE d u vP uv d u v4.2 4.2 率失真函數(shù)率失真函數(shù)1、保真度準(zhǔn)則:

28、、保真度準(zhǔn)則:預(yù)先指定一個(gè)允許失真的上預(yù)先指定一個(gè)允許失真的上限值限值D,叫做,叫做保真度保真度,要求:,要求:2、失真度矩陣失真度矩陣D:由由單符號(hào)失真度排列成,單符號(hào)失真度排列成, “行行”為發(fā)送符號(hào),為發(fā)送符號(hào),“列列”為接收符號(hào)。為接收符號(hào)。DD 2 2、率失真函數(shù)的定義:、率失真函數(shù)的定義:在滿足保真度準(zhǔn)則下,在滿足保真度準(zhǔn)則下,傳信率傳信率R的下限值是保真度的下限值是保真度D值的函數(shù),值的函數(shù),R(D)就就叫做率失真函數(shù)。叫做率失真函數(shù)。 );()()|(YXIDRMinDijBuvP3 3、R(D)的定義域:的定義域:4 4、R(D)的計(jì)算:的計(jì)算:0minmin DDR(Dmi

29、n) = R(0)= H(U)R (D max) = 0UVvuduPD),()(minmax(1)一般情況,按定義:)一般情況,按定義:(2)特殊情況,漢明失真:)特殊情況,漢明失真:R(D)=minI (U ; V)=H(U)-H(D)-D log(r-1)第四部分、限失真信源編碼第四部分、限失真信源編碼 4.2:率失真函數(shù):率失真函數(shù)例例11 已知已知信源概率信源概率為:為:p(X)=(0.5, 0.3,0.2),,求漢明失真下,求漢明失真下保真度保真度D=0.3時(shí)的最小傳信率和該信源的最大平均失真度。時(shí)的最小傳信率和該信源的最大平均失真度。 解:解:由漢明失真的率失真函數(shù)公式:由漢明失

30、真的率失真函數(shù)公式: R(D)=H(X)-H(D)-Dlog(r-1) H(X)=-0.5log0.5-0.3log0.3-0.2log2=1.4855 當(dāng)當(dāng)D=0.3時(shí)時(shí),H(D)=-0.3log0.3-0.7log0.7=0.8813 最小傳信率:最小傳信率:R(0.3)=1.4855-0.8813-0.3log2=0.3042; 所以所以 D max = min 0.5 , 0.7, 0.8=0.5計(jì)算計(jì)算Dmaxmax:011101110D 0.5 0.7 0.80.5 0.7 0.8 0.50.5 0.30.3 0.20.202 . 02 . 03 . 003 . 05 . 05 .

31、 00各列相加各列相加第四部分、限失真信源編碼第四部分、限失真信源編碼 4.2:率失真函數(shù):率失真函數(shù)第四部分、限失真信源編碼第四部分、限失真信源編碼 4.3:香農(nóng)三定理:香農(nóng)三定理4.3 4.3 香農(nóng)三個(gè)定理:香農(nóng)三個(gè)定理: 三個(gè)定理各有自己管轄的范圍,各指出信息率的一個(gè)理三個(gè)定理各有自己管轄的范圍,各指出信息率的一個(gè)理論極限:論極限:第一定理第一定理負(fù)責(zé)無(wú)失真信源編碼;負(fù)責(zé)無(wú)失真信源編碼;用信息含量更濃的代碼序用信息含量更濃的代碼序列代替原先有冗余的信源序列。列代替原先有冗余的信源序列。定理指出定理指出無(wú)失真信源編碼無(wú)失真信源編碼的極限信息率的極限信息率R log m,這里這里m是編碼的符

32、號(hào)個(gè)數(shù)。是編碼的符號(hào)個(gè)數(shù)。第二定理第二定理負(fù)責(zé)信道編碼;負(fù)責(zé)信道編碼; 信道編碼通過(guò)添加冗余來(lái)檢錯(cuò)信道編碼通過(guò)添加冗余來(lái)檢錯(cuò)糾錯(cuò),結(jié)果差錯(cuò)減少而傳信率降低。糾錯(cuò),結(jié)果差錯(cuò)減少而傳信率降低。定理定理指出零差錯(cuò)傳輸指出零差錯(cuò)傳輸?shù)牡臉O限傳信率極限傳信率R C,這里這里C是信道容量。是信道容量。第三定理第三定理負(fù)責(zé)限失真信源編碼;負(fù)責(zé)限失真信源編碼;通過(guò)削減次要信息使傳信通過(guò)削減次要信息使傳信率降低。率降低。 但是要但是要滿足指定的保真度,限失真信源編碼的滿足指定的保真度,限失真信源編碼的極限傳信率極限傳信率R R(D),R (D)是信源的率失真函數(shù)。是信源的率失真函數(shù)。第五部分、典型題目第五部分、

33、典型題目計(jì)算題:計(jì)算題: 1一階馬爾可夫信源的狀態(tài)圖如右,信源一階馬爾可夫信源的狀態(tài)圖如右,信源X的符號(hào)集為的符號(hào)集為0,1,2,圖中,圖中 。分別求:。分別求:(1)平穩(wěn)后的信源概率分布;平穩(wěn)后的信源概率分布;(2)信源熵信源熵H;(3)求求p=1時(shí)實(shí)際信源的熵,并說(shuō)明所得結(jié)果的理由。時(shí)實(shí)際信源的熵,并說(shuō)明所得結(jié)果的理由。1pp解解:(1) 一階馬爾可夫信源,狀態(tài)為單個(gè)符號(hào),信源符號(hào)集為一階馬爾可夫信源,狀態(tài)為單個(gè)符號(hào),信源符號(hào)集為X=0,1,2,E1=0,E2=1,E3=2,穩(wěn)態(tài)概率滿足穩(wěn)態(tài)概率滿足:Q(0)=p Q(0)(1-p) Q(1)Q(1)=p Q(2)(1-p)Q(1) 且且,

34、Q(0)+Q(1)Q(2)1解方程:解方程:Q(0)1/3;Q(1)1/3;Q(2)1/3;(2)(2) (3) 實(shí)際信源熵為實(shí)際信源熵為H。p=0時(shí),時(shí), 理由:因?yàn)槊糠N狀態(tài)都只發(fā)兩個(gè)符號(hào),當(dāng)一種符號(hào)概率為理由:因?yàn)槊糠N狀態(tài)都只發(fā)兩個(gè)符號(hào),當(dāng)一種符號(hào)概率為1時(shí),另一時(shí),另一個(gè)必然為個(gè)必然為0,實(shí)際上只發(fā)一種確定的符號(hào),成為確定事件,其自信,實(shí)際上只發(fā)一種確定的符號(hào),成為確定事件,其自信息為息為0。三種狀態(tài)下發(fā)出符號(hào)的自信息均為。三種狀態(tài)下發(fā)出符號(hào)的自信息均為0,平均值也一定為,平均值也一定為0。因此不確定性為因此不確定性為0,所以信源熵為,所以信源熵為0。31123H()(|)()loglog ()loglog ()loglog loglogiiiQ E H X EQ EppppQ EppppQ Epppppppp0lim

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論