信息論作業(yè)2012春第二次參

lim logP(XX,X )H(UN 1limP(X1X2,XN)NN

exp(H(UKPlogP(U)

0 n0lo

(Nn0)lo

log

lo

lo

11

0 log N

1P 4 N1N3C4

)4()

0.05N k1k3NN C()(

4

0 沒有滿足上述條0H(U1)log42(bit)H(U)limH(UN| UN1)limH(UN|UN1)0.9log0.90.1logN N＝0.469U)lim1[H(U)HU)lim1[H(U)H(U|U)N H(U| UN1Nlim1[H(U)H(U|U)H(U|U) H(U| N Nlim1[H(U)(N1)H(U| )]lim1[H(U)(N1)(0.9log0.90.1logN N N 1)M2jkj0,0k2jj的二叉滿樹，并在2j個(gè)葉子節(jié)點(diǎn)中取k個(gè)節(jié)點(diǎn)，以這k個(gè)節(jié)點(diǎn)為根節(jié)點(diǎn)，生成k個(gè)深度為1的子樹，于是得到了一個(gè)有2j2kkMHalfman方法進(jìn)行編碼，即得到最優(yōu)的二元即時(shí)2）IM

(j1)2kM

jkj2klog 當(dāng)且僅當(dāng)k=0M2jIlog2

不妨設(shè)u(i=…-2,-1,0,1,2,…)取自字母表{a，a…a}，設(shè)一階轉(zhuǎn)移概率為 2n

n1 nn所以在當(dāng)前碼字uj進(jìn)行編碼時(shí)，由uj1ak，對uj可能的取值，依概率分布Pk1Pkn)Huffman熵率公式，可以計(jì)算得到信源熵率為0.801bit/sample P17，P27，P37，再利用離散馬爾可夫信源的熵率公式，可以計(jì)算得到信源熵率為2)按馬爾可夫信源進(jìn)行編碼：狀態(tài)1時(shí)：a→0,b→10,c→11狀態(tài)2時(shí)：a→0,b→1

1212)

11

11)20

( (葉子節(jié)點(diǎn)的平均深度，即為j，所以，I＝j(luò)；個(gè)節(jié)點(diǎn)，以這(x1)2j個(gè)節(jié)點(diǎn)為根節(jié)點(diǎn)，生成(x1)2j1j的葉子節(jié)點(diǎn)有2jx1)2j(2x)2jj+1的葉子節(jié)點(diǎn)有，2(x1)2j個(gè)，于是I1[j(2x)2j(j1)2(x1)2j]1(xj2x2)j2 2Ij2x1)H(X)=－（plogp+qlogq）H(Y)lim1H Y)lim1[H(Y)H(Y|Y) H(Y| N 1 N 1N lim1[H(Y)H(Y|Y)H(Y|Y)

H

N Nlim1[H(Y)(N1)H(Y| )]H(X)plogpqlogN N {

22)p=q=1時(shí)，H(Y)1bit/2p94HuffmanHuffman編碼最好統(tǒng)一編碼規(guī)則，比如同一深度，P91：P(aj)logP(aj)log23P(aj)lj j

P(a)[logP(a)log3lj logxx1 P(aj)logP(a P(aj)P(a)13j1j

j

j

即P(aj

1 )j(

，k=ljl 即H(U)=log3l或l log

) kk3k32j1）考慮信源U

a a C1P(a1 其中MP(ak

l

又 H(U)H(U)

CkP(ak)logCkP(ak∴

M

C

)

k

CP(a2）∵H(U)lH(U)

即

(U)C

(U)1M

(U)CM

(U)又CminMHK∴CminCCminP(ak設(shè)有兩個(gè)字母A，BP{Xt1AXtBP{Xt1BXtA}。1）P{Xt1AXtBP{Xt1B}P{XtAP{Xt1BXtA}2）m階馬爾科夫信源。對于轉(zhuǎn)移概率簡化表示，形如PXtA|XtmAXtm1BXt1BPA|特別的，當(dāng)m=1時(shí)，只有兩個(gè)狀態(tài)ABPAP(B。AP(A)P(A|B)P(B)P(A|A)P(A)1P(A|A)P(A)P(A|P(B|A1PA|A).則上式變?yōu)椋篜AB)P(B|A)PA)PA|B)P(B)P(BA)，結(jié)論成立。m2時(shí)，此時(shí)的狀態(tài)數(shù)為P(BmP(B|ABm1)PABm1P(B|Bm)P(Bm)P(Bm1A)PA|ABm1)PABm1PA|Bm)P(Bm)P(Bm)P(Bm1A)P(A|ABm1)P(B|ABm1)P(ABm1)P(B|Bm)P(A|Bm)P(Bm) PA|ABm1P(B|ABm1P(B|BmPA|Bm1P(BmP(Bm1A)PABm1P(Bm)m2PABP(BA成立。m3，由于：P(AB)P(ABA)P(AB2A)...P(ABm2A)P(P(BAPABAPAB2APABm2AP(Bm1A 說明:試圖通過證明i有 i, i,

在這種情況下，概率為0.26的碼字對應(yīng)的Shannon-Fano碼的長度為3，而對應(yīng)的Shannon碼的長度為2。 1/ 1/ 1/ 1/ 1/ 1/ 1/ P 1/ 1/ 1/ 1/ 0那么有P[1/31/41/41/4H(U)P(j)H(U|sjj

51log3 1n小碼長為log2n。另L1(2k(m1)(n2k)m)lognn

2 rLlognm ln(2m 2m lnr2m1(2mk) (2m k2ln21)2m2m,0.3863時(shí)，r取得最大值，此時(shí)n2mk2m1ln2 1nlog(P(X))nlog(P(X1X

Xn)) log(P(Xinn

log(P(X))H(X)|}