武漢理工信息理論編碼試卷(07電信科)

第第頁(yè)武漢理工信息理論編碼試卷(07電信科)武漢理工信息理論編碼試卷(07電信科)

武漢理工高?？荚囋囶}紙(A卷)課程名稱(chēng)題號(hào)題分一20二24信息理論與編碼三10四46五六七專(zhuān)業(yè)班級(jí)電信科0701-0702八九十總分100

備注:

同學(xué)不得在試題紙上答題(含填空題、選擇題等客觀題

一、填空題(共20分，每題2分)1.輸出的是單個(gè)符號(hào)的消息，不同時(shí)刻發(fā)出的符號(hào)之間彼此統(tǒng)計(jì)獨(dú)立，而且符號(hào)集中的符號(hào)數(shù)目是有限的或可數(shù)的信源是______________信源。2.當(dāng)信道給定，平均互信息量是信源概率分布的__________函數(shù)。3.在一組碼字集合中全部的碼字長(zhǎng)度都相同，稱(chēng)這組碼為_(kāi)_______碼。4.對(duì)于給定信源，使平均碼長(zhǎng)達(dá)到最小的編碼方法，稱(chēng)為最正確編碼，得到的碼集稱(chēng)為_(kāi)_____。5.一個(gè)號(hào)碼鎖有3個(gè)數(shù)字，每個(gè)數(shù)字可設(shè)置為0~99(含0和99)中的任何一個(gè)整數(shù)值，打開(kāi)該鎖所需的信息量為_(kāi)_________bit。6.擲5次勻稱(chēng)的錢(qián)幣，當(dāng)被告之結(jié)果是“正反正反反”時(shí)，所獲的信息量_______bit。7.同時(shí)擲兩個(gè)正常的骰子，也就是各面呈現(xiàn)的概率都是1/6,那么“兩個(gè)1同時(shí)涌現(xiàn)”這一事項(xiàng)的自信息量為比特。8.假設(shè)有一信源，其符號(hào)集的元素個(gè)數(shù)為n,此信源通過(guò)一個(gè)具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道，這個(gè)信道的信道容量為_(kāi)_________。9.假如對(duì)一個(gè)單符號(hào)離散無(wú)記憶信道進(jìn)行N次擴(kuò)展，那么擴(kuò)展后的信道容量CN與原來(lái)信道的信道容量C之間的關(guān)系是__________。10.將循環(huán)碼0010111循環(huán)左移3位后的碼字為。二、簡(jiǎn)答題(共24分)1.在通信系統(tǒng)中信源編碼的主要功能是什么?(6分)2.寫(xiě)出Fano不等式，并說(shuō)明其物理含義。分)(63.目前對(duì)卷積碼有哪些描述方法？這幾種描述方法各從什么角度考慮的？(6分)4.試闡述變長(zhǎng)編碼定理。分)(6三、證明題(10分)設(shè)兩個(gè)信源分布q1(*)和q2(*),分別對(duì)應(yīng)的平均互信息量為I1(*;Y)和I2(*;Y),記概率分布q(*)=θq1(*)+(1-θ)q2(*)(式中0θ1),對(duì)應(yīng)平均互信息量I(*;Y),假設(shè)I(*;Y)是信源概率分布的n型凸函數(shù)，證明θI1(*;Y)+(1-θ)I2(*;Y)I(*;Y)。

武漢理工信息理論編碼試卷(07電信科)

四、計(jì)算題(共46分)1.設(shè)某班同學(xué)在一次考試中獲優(yōu)(A)、良(B)、中(C)、及格(D)和不及格(E)的人數(shù)相等。當(dāng)老師通知某甲：“你沒(méi)有不及格”,甲獲得了多少比特信息？為確定自己的成果，甲還需要多少信息量？(8分)*2.給定信源分布q(**1)0.3*20.5

4*3,失真測(cè)度矩陣[d]10.20

202

01,求R(D)的定義域4

和值域。分)(83.設(shè)二元對(duì)稱(chēng)信道的轉(zhuǎn)移矩陣為2/31/31/3,2/3

(1)假設(shè)信源分布p(*10)3/4

,p(*21)1/4,求H(*),H(*Y),H(Y*)和I(*;Y)(2)求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布。(10分)(注：log231.585,log252.3219,log272.8074)14、設(shè)線性分組碼的生成矩陣G0001000111001110,求：1

(1)此(n,k)碼的n=?k=?,寫(xiě)出此(n,k)碼的全部碼字；(2)求其對(duì)應(yīng)的校驗(yàn)矩陣H。(3)確定最小碼距，問(wèn)此碼能訂正幾位錯(cuò)？列出其能糾錯(cuò)的全部錯(cuò)誤圖樣和對(duì)應(yīng)的伴隨式；(4)假設(shè)接收碼字為000110,用伴隨式法求譯碼結(jié)果。(10分)

5、設(shè)信源

*

*1p(*)12

*21/4

*31/8

*41/16

*51/32

*61/64

*71/128

。1/128*8

(10分)

1)求信源熵H(*);2)編二進(jìn)制香農(nóng)碼和二進(jìn)制費(fèi)諾碼，計(jì)算二進(jìn)制香農(nóng)碼和費(fèi)諾碼的平均碼長(zhǎng)和編碼效率；

武漢理工信息理論編碼試卷(07電信科)

武漢理工高校教務(wù)處

試題標(biāo)準(zhǔn)答案及評(píng)分標(biāo)準(zhǔn)用紙

課程名稱(chēng)信息理論與編碼〔A卷〕

一、填空題〔共20分，每題2分〕1．離散無(wú)記憶2．上凸3．等長(zhǎng)4．最正確碼5．log(

1100

)

3

6．5

7．Log36或者5.178．logn9．CNNC

10.0111001

二、簡(jiǎn)答題〔共24分〕

1.〔6分〕答：信源編碼主要實(shí)現(xiàn)以下兩個(gè)功能：將信源符號(hào)變換成適合信道傳輸?shù)姆?hào)；壓縮信源冗余度，提高傳輸率。2．〔6分〕答：設(shè)信道輸入符號(hào)*和輸出符號(hào)Y取自同一符號(hào)集A={a1,a2,…,ak}，那么傳輸過(guò)程中的錯(cuò)誤概率pe和信道疑義度H(*︱Y)之間滿意以下關(guān)系式H(*︱Y)H2(pe)+pelog(k-1)；Fano不等式的物理意義：〔1〕H2(pe)為是否判對(duì)的疑義度；〔2〕假如判決出錯(cuò)〔概率為pe〕，錯(cuò)在k-1中的符號(hào)中的一個(gè)，疑義度不會(huì)超過(guò)log(k-1).3．〔6分〕答：卷積碼的描述方法有：轉(zhuǎn)移函數(shù)矩陣、狀態(tài)流圖、網(wǎng)格圖。轉(zhuǎn)移函數(shù)矩陣描述方法將矩陣、多項(xiàng)式與編碼器結(jié)構(gòu)的關(guān)系描述的很清晰，狀態(tài)流圖揭示了卷積碼的內(nèi)在特性，網(wǎng)格圖將狀態(tài)轉(zhuǎn)移開(kāi)展于時(shí)間軸上，使編碼的過(guò)程顯示的很清晰。

**1

4．〔6分〕答：答：給定熵為H〔*〕的離散無(wú)記憶信源

H(*)q(*1)*

其L次擴(kuò)展信源

H(*

*1

)q(*1)

*2q(*2)

*Mq(*ML

*2q(*2)

，q(*M)*M

，給定有D個(gè)元素的碼符的熵記為H〔*〕

)

H(*)logD

nLLH(*)logD

1L

號(hào)集，對(duì)擴(kuò)展信源進(jìn)行編碼，總可以找到一種惟一可譯碼，使碼長(zhǎng)nL滿意L為信源序列長(zhǎng)度。。三、證明題〔10分〕

由于p(*iyj)q(*i)p(yj*i)[q1(*i)(1)q2(*i)]p(yj*i)

p1(*iyj)(1)p2(*iyj)〔4分〕

，

武漢理工信息理論編碼試卷(07電信科)

I1(*;Y)(1)I2(*;Y)I(*;Y)

i

j

p1(*iyj)log

p(yj*i)w1(yj)

(1)

i

j

p2(*iyj)log

p(yj*i)w2(yj)

i

j

[p1(*iyj)(1)p2(*iyj)]logp1(*iyj)log

p1(*iyj)

w(yj)w1(yj)w(yj)w1(yj)

(1)

i

p(yj*i)w(yj)

〔6分〕

w(yj)w2(yj)w(yj)w2(yj)

i

j

j

p2(*iyj)log

p2(*iyj)

log

i

j

(1)log

i

j

j

w1(yj)w(yj)

w1(yj)

(1)

j

w2(yj)w(yj)

w2(yj)

0

四、計(jì)算題〔共46分〕1、〔共8分〕解：依據(jù)題意，“沒(méi)有不及格”或“pass”的概率為

Ppass1

1545

因此當(dāng)老師通知某甲“沒(méi)有不及格”后，甲獲得信息

IpasslogPpass

log

45

0.322bits

在已知“pass”后，成果為“優(yōu)”〔A〕，“良”〔B〕，“中”〔C〕和“及格”〔D〕的概率相同：

PscoreP(A|pass)P(B|pass)P(C|pass)P(D|pass)

1

4

為確定自己的成果，甲還

需信息

IscorelogPscorelog

14

2bits

〔評(píng)分標(biāo)準(zhǔn)：每問(wèn)計(jì)算正確得4分〕

2．〔8分〕解：定義域Dmin=0

I

Dma*

minq(*

j

i1

i

)dijmin1{.7,1,1.3}1(4分)

值域Rmin(D)=0，Rma*(D)H(*)〔4分〕

2

3．〔10分〕解：1〕p(y1=0)=q(*i)p(y1*i)=

i1

2

34

23

14

13

712

；

p(y2=1)=q(*i)p(y2*i)=

i1

34

13

14

23

512

p(*0y0)6/7；p(*1y0)1/7；p(*0y1)3/5；p(*1y1)2/5H(*)p(*)logp(*)0.811比特/符號(hào)

*

武漢理工信息理論編碼試卷(07電信科)

H(*)q(*)p(y*)logp(*y)0.75比特/符號(hào)

*

Y

H(Y*)

*

q(*)p(y*)log

Y

p(y*)0.918比特/符號(hào)

I(*;Y)H(*)H(*Y)0.06比特/符號(hào)〔6分〕

2〕Cma*I(*;Y)log

2

1122

Klog(K1)H2log2(loglog)0.082bit/symbol

3333

輸入概率分布p(*1)=p(*2)=0.5〔4分〕

4．解：〔1〕n=6,k=3，由C=mG可得全部碼字為：

000000，001011，010110，011101，100101，101110，110011，111000〔3分〕1

2〕此碼是系統(tǒng)碼，由G知，P=1

01

T

H[PI]0

1

110

011

100

010

011

1

0，得1

0

0〔3分〕1

3〕由H可知，其任意兩列線性無(wú)關(guān)，而有3列線性相關(guān)，故dmin=3，能訂正一位錯(cuò)誤。錯(cuò)誤圖樣e伴隨式seH000001

000010000100001000010000100000(4)由syH

T

T

001010100011110

101〔2分〕

110知e=010000，那么譯碼結(jié)果c=y+e=010110〔2分〕

8

5〔10分〕〔1〕H(*)=-p(*i)log

i1

2

p(*i)=1.98(b/s)〔2分〕

〔2〕二進(jìn)制香農(nóng)碼

*1*2*3*4*5*6*7*8

010110111011110111110111111011111111〔3分〕

二進(jìn)制費(fèi)諾碼

*1*2*3*4*5*6*7*8

0101101110111101111