上課信息論第2章習題

習題課2.3

擲一對無偏的骰子，若告訴你得到的總的點數為：(a)7；(b)12。試問各得到了多少信息量?[2.3的解答]

這是求事件的自信息量。記隨機變量X=“總的點數”，則

2

3

4

5

6

7

8

9

10

11

12X

~

1

2

3

4

5

6

5

4

3

2

1

36

36

36

36

36

36

36

36

36

36

36所以，事件“X=7”的自信息量為log2(36/7)；事件“X=12”的自信息量為log2(36)。2021/7/151習題課2.4

經過充分洗牌后的一付撲克(含52張牌)，試問：任何一種特定排列所給出的信息量是多少?若從中抽取13張牌，所給出的點數都不相同時得到多少信息量?[2.4的解答]

這是求事件的自信息量。(a)

任一特定排列的概率都是(1/52!)，所以自信息量為log2(52!)；(b)

從52張牌中抽取13張牌，共有種抽取方法。而使得所給出的點數都不相同的抽取方法有所以事件“點數都不相同”的概率為種。，自信息量為52C

1341352413

/

C

13log2021/7/152/413

)

。2

52(C

13習題課x2021/7/153P

(

X

=

x)2.6

園丁植樹一行，若有3棵白楊、4棵白樺和5棵梧桐。設這12棵樹可隨機地排列，且每一種排列都是等可能的。若告訴你沒有兩棵梧桐樹相鄰時，你得到了多少關于樹的排列的信息?[2.6的解答]

共有12！種不同的排列。滿足“沒有兩棵梧桐樹相鄰”的排列個數為8×1+7×2+6×3+5×4+4×5+3×6+2×7+1×8=120（為什么？）記X=“樹的排列情況”，Y=“梧桐樹有無相鄰位置”。則本題要求半平均互信息量I

(Y

=

無;

X

)

=

P

(

X

=

x

|

Y

=

無)

log

P

(

X

=

x

|

Y

=

無)2021/7/154習題課X有12！個不同的事件x，每個事件x的概率為1/(12！)。Y有2個不同的事件，“Y=無”的概率為120/(12！)，“Y=有”的概率為(12！-120)/(12！)。以下要計算：在“Y=無”的條件下，X=x（

x為某個特定排列）的條件概率P(X=x|Y=無)。若在x這個特定排列中，梧桐樹有相鄰位置，則P(X=x|Y=無)=0；若在x這個特定排列中，梧桐樹無相鄰位置，則11201=

12

!

120

12

!

=

無

)

=P

(

X

=

x

|

Y2021/7/155習題課(1

/12!)

1

log

(1/120)x=

120

log

(1

/120)120

(1/12!)=

21.92296

(bits

)=

1

log

(1/120)120

(1/12!)=P(

X

=

x)=P(

X

=

x)1x跑遍那些使得“Y

=無”的排列x跑遍那些使得“Y

=無”的排列120x跑遍那些使得“Y

=無”的排列P(

X

=

x

|

Y

=

無)

log

P(

X

=

x

|

Y

=

無)I

(Y

=

無;

X

)

=

P(

X

=

x

|

Y

=

無)

log

P(

X

=

x

|

Y

=

無)習題課2021/7/1562.7

某校入學考試中有1/4考生被錄取，3/4考生未被錄取。被錄取的考生中有50%來自本市，而落榜考生中有10％來自本市。所有本市的考生都學過英語，而外地落榜考生中以及被錄取的外地考生中都有40%學過英語。當己知考生來自本市時，給出多少關于考生是否被錄取的信息?當已知考生學過英語時，給出多少有關考生是否被錄取的信息?以x表示是否被錄取，y表示是否為本市學生，z表示是否學過英語，x、y和z取值為0或1。試求H(x)，H(y|x)，H(z|y)。[2.7的解答](a)是求事件“來自本市”與隨機變量“是否被錄取”的半平均互信息量。(b)是求事件“學過英語”與隨機變量“是否被錄取”的半平均互信息量。以x表示是否被錄?。?表示被錄取，1表示未被錄?。瑈表示是否為本市學生（0表示本市學生，1表示非本市學生），z表示是否學過英語（0表示學過英語，1表示未學過英語），則P(xyz=000)=(1/4)×(50%)×1=12.5%；P(xyz=001)=(1/4)×(50%)×0=0；P(xyz=010)=(1/4)×(50%)×(40%)=5%；P(xyz=011)=(1/4)×(50%)×(60%)=7.5%；P(xyz=100)=(3/4)×(10%)×1=7.5%；P(xyz=101)=(3/4)×(10%)×0=0；P(xyz=110)=(3/4)×(90%)×(40%)=27%；P(xyz=111)=(3/4)×(90%)×(60%)=40.5%。2021/7/157各個邊際分布2021/7/158(xy)聯合分布P(xy=00)=12.5%；P(xy=01)=12.5%；P(xy=10)=7.5%；P(xy=11)=67.5%。(xz)聯合分布P(xz=00)=17.5%；P(xz=01)=7.5%；P(xz=10)=34.5%；P(xz=11)=40.5%。x概率分布P(x=0)=25%；P(x=1)=75%。y概率分布P(y=0)=20%；P(y=1)=80%。z概率分布P(z=0)=52%；P(z=1)=48%。(yz)聯合分布P(yz=00)=20%；P(yz=01)=0；P(yz=10)=32%；P(yz=11)=48%。習題課8=

5log

5

-

1

=

0.4583I

(

x;

y

=

0)=

P

(

xy

=

00

)

log

P

(

xy

=

00

)

+

P

(

xy

=

10

)

log

P

(

xy

=

10

)

P

(

y

=

0)

P

(

x

=

0)

P

(

y

=

0)

P

(

y

=

0)

P

(

x

=

1)

P

(

y

=

0)I

(

x;

z

=

0)=

P

(

xz

=

00

)

log

P

(

xz

=

00

)

+

P

(

xz

=

10

)

log

P

(

xz

=

10

)

P

(

z

=

0)

P

(

x

=

0)

P

(

z

=

0)

P

(

z

=

0)

P

(

x

=

1)

P

(

z

=

0)=

35

log

35

+

69

log

23

=

0.143104

26

104

262021/7/159習題課100

75

100100

25

100

75+

log

=0.8075H(x)

=

25

logH(y

|

x)=

P(xy

=00)log

P(x

=0)

+P(xy

=01)log

P(x

=0)

+P(xy

=10)log

P(x

=1)

+P(xy

=11)log

P(x

=1)P(xy

=00)

P(xy

=01)

P(xy

=10)

P(xy

=11)=???H(z

|

y)=

P(yz

=00)log

P(y

=0)

+P(yz

=01)log

P(y

=0)

+P(yz

=10)log

P(y

=1)

+P(yz

=11)log

P(y

=1)P(yz

=00)

P(yz

=01)

P(yz

=10)

P(yz

=11)=???2021/7/1510習題課2021/7/15112.8

在A、B兩組人中進行民意測驗，組A中的人有50%講真話(T)，30%講假話(F)，20%拒絕回答(R)。而組B中有30%講真話，50%講假話和20%拒絕回答。設選A組進行測驗的概率為p，若以I(p)表示給定T、F或R條件下得到的有關消息來自組A或組B的平均信息量，試求I(p)的最大值。[2.8的解答]I(p)是什么信息量？記

X=“選擇的組號”，X的事件有A和B；Y=“得到的回答”，Y的事件有T、F、R。則I(p)=I(X;Y)。習題課2021/7/1512計算X的概率分布：P(X=A)=p；P(X=B)=1-p。計算Y的概率分布：P(Y=T)=p×50%+(1-p)×30%=30%+p×20%；P(Y=F)=p×30%+(1-p)×50%=50%-p×20%；P(Y=R)=p×20%+(1-p)×20%=20%。計算聯合概率分布：P(XY=AT)=50p/100；P(XY=BT)=30(1-p)/100；P(XY=AF)=30p/100；P(XY=BF)=50(1-p)/100；P(XY=AR)=20p/100；P(XY=BR)=20(1-p)/100。習題課I

(

p)

=

1

log

5

+

3

log

32

10-(

p

+

3(1-

p))

log(3

+

2

p)

-

1-

p

+

3

p

)

log(5

-

2

p)(2

10

2

10求max

I

(p)，應該先計算I

'(p)，令I

'(p)=0，求出p。p計算量比較大。結果為

p

=

0.5，I

(0.5)

=

1

log

5

+

3

log

3

-

8

=

0.03645。2

10

5請注意，這個問題在第四章（信道及其容量）中極易解決（準對稱信道）2021/7/1513習題課2021/7/15142.9

隨機擲三顆骰子，以X表示第一顆骰子拋擲的結果，以Y表示第一和第二顆骰子拋擲的點數之和，以Z表示三顆骰子的點數之和。試求H(Z|Y)、H(X|Y)、H(Z|XY)，H(XZ|Y)和H(Z|X)。[2.9的解答]求H(Z|Y)，必須先求(YZ)的聯合概率分布和Y的概率分布；求H(X|Y)，必須先求(XY)的聯合概率分布和Y的概率分布；求H(Z|X)，必須先求(XZ)的聯合概率分布和X的概率分布；求H(Z|XY)，必須先求(XYZ)的聯合概率分布和(XY)的聯合概率分布；求H(XZ|Y)，必須先求(XYZ)的聯合概率分布和Y的概率分布。(XYZ)的聯合概率分布為：

P((XYZ)=(x,y,z))=1/216；x=1~6，y=x+1~x+6，z=y+1~y+6。(XY)的聯合概率分布為：

P((XY)=(x,y))=1/36；x=1~6，y=x+1~x+6。2021/7/1515習題課2021/7/1516(YZ)的聯合概率分布為：P((YZ)=(2,3))=1/63，P((YZ)=(2,4))=1/63，

…，

P((YZ)=(2,8))=1/63，P((YZ)=(3,4))=2/63，P((YZ)=(3,5))=2/63，

…，

P((YZ)=(3,9))=2/63，…，P((YZ)=(6,7))=5/63，P((YZ)=(6,8))=5/63，

…，

P((YZ)=(6,12))=5/63，P((YZ)=(7,8))=6/63，P((YZ)=(7,9))=6/63，

…，

P((YZ)=(7,13))=6/63，P((YZ)=(8,9))=5/63，P((YZ)=(8,10))=5/63，

…，

P((YZ)=(8,14))=5/63，…，P((YZ)=(11,12))=2/63，P((YZ)=(11,13))=2/63，

…，

P((YZ)=(11,17))=2/63，P((YZ)=(12,13))=1/63，P((YZ)=(12,14))=1/63，…，P((YZ)=(12,18))=1/63。2021/7/1517習題課2021/7/1518(XZ)的聯合概率分布為：P((XZ)=(1,3))=1/63，P((XZ)=(1,4))=2/63，…，P((XZ)=(1,7))=5/63，P((XZ)=(1,8))=6/63，P((XZ)=(1,9))=5/63，…，P((XZ)=(1,12))=2/63，P((XZ)=(1,13))=1/63；P((XZ)=(2,4))=1/63，P((XZ)=(2,5))=2/63，…，P((XZ)=(2,8))=5/63，P((XZ)=(2,9))=6/63，P((XZ)=(2,10))=5/63，…，P((XZ)=(2,13))=2/63，P((XZ)=(2,14))=1/63；…，P((XZ)=(6,7))=1/63，P((XZ)=(6,8))=2/63，…，P((XZ)=(6,12))=5/63，P((XZ)=(6,13))=6/63，P((XZ)=(6,14))=5/63，…，P((XZ)=(6,17))=2/63，P((XZ)=(6,18))=1/63。習題課2021/7/1519習題課2021/7/1520X的概率分布：P(X=x)=1/6，其中x=1~6。Y的概率分布：當y=2~7時，P(Y=y)=(y-1)/36；當y=8~12時，P(Y=y)=(13-y)/36

。Z的概率分布：

P(Z=3)=1/216，P(Z=4)=3/216，P(Z=5)=6/216，P(Z=6)=10/216，P(Z=7)=15/216，P(Z=8)=21/216，P(Z=9)=25/216，P(Z=10)=27/216，P(Z=11)=27/216，P(Z=12)=25/216，P(Z=13)=21/216，P(Z=14)=15/216，P(Z=15)=10/216，P(Z=16)=6/216，P(Z=17)=3/216，P(Z=18)=1/216。習題課2021/7/1521X值123456概率1/61/61/61/61/61/6Y值23456789101112概率1/362/363/364/365/366/365/364/363/362/361/36Z3456789101112131415161718概率1361015212527272521151063163636363636363636363636363636363將以上的概率分布代入以下的計算公式：(

yz

)P

(YZ

=

yz

)H

(

Z

|

Y

)

=

P

(YZ

=

yz

)

log

P

(Y

=

y

)

(

xy

)P

(

XY

=

xy

)H

(

X

|

Y

)

=

P

(

XY

=

xy

)

log

P

(Y

=

y

)

P

(

XYZ

=

xyz

)=

xyz

)

log

P

(

XY

=

xy

)

H

(

Z

|

XY

)

=

P

(

XYZ(

xyz

)(

xz

)P

(

XZ

=

xz

)H

(

Z

|

X

)

=

P

(

XZ

=

xz

)

log

P

(

X

=

x

)

(

xyz

)2021/7/1522P

(

XYZ

=

xyz

)H

(

XZ

|

Y

)

=

P

(

XYZ

=

xyz)

log

P

(Y

=

y

)

習題課12021/7/15231=

log

6

216

36

log

1

=

6

x

+6y

+6x

=1

y

=

x

+1

z

=

y

+1

216(

xyz

)P(

XYZ

=

xyz

)H

(Z

|

XY

)

=

P(

XYZ

=

xyz

)

log

P(

XY

=

xy

)

2021/7/1524--

-

=

=

1212712673636log36=

log

216

-

361-

log361=

log

216

-

loglog3611=

log

2161log2161log

2162161

2161log216

y

=

81y

=

2x

=

y

-

6y

=

2y

-1x

=16

x

+

6x

=1

y

=

x

+16

x

+

6y

+

6x

=1

y

=

x

+1

z

=

y

+116

x

+

6y

+

6x

=1

y

=

x

+1

z

=

y

+16

x

+

6y

+

6x

=1

y

=

x

+1

z

=

y

+1(

xyz

)P

(Y

=

y

)=

log

216

-

P

(Y

=

y

)

logy

=

2log13

-

yy

=

813

-

yy

-

1y

-

11P

(Y

=

y

)P

(Y

=

y

)36P

(Y

=

y

)P

(Y

=

y

)1

P

(Y

=

y

)P

(

XYZ

=

xyz

)H

(

XZ

|

Y

)

=

P

(

XYZ

=

xyz

)

log

P

(Y

=

y

)

習題課2021/7/15252.10

設有一個系統(tǒng)傳送10個數字：0,1,…,9。奇數在傳送時以0.5的概率錯成另外的奇數（？！），而偶數總能正確接收。試求收到一個數字平均得到的信息量。[2.10的解答]問題一：這是什么信息量？

“收到一個數字平均得到的信息量”似乎指的是“收到的數字”這個隨機變量的平均自信息量（熵）：H(收到的數字)?！鞍l(fā)送一個數字x時，所給出的收到數字的平均信息量”應該指的是半平均互信息量：I(發(fā)送的數字=x；收到的數字)。“發(fā)送數字時，所給出的收到數字的平均信息量”應該指的是平均互信息量：I(發(fā)送的數字；收到的數字)。習題課2021/7/1526問題二：既然是求“收到的數字”這個隨機變量的平均自信息量（熵），那么“收到的數字”的概率分布如何計算？假設“發(fā)送的數字”服從等概分布：P(發(fā)送的數字=j)=1/10，j=0~9則P(收到的數字=偶數x)=P(發(fā)送的數字=偶數x)=1/10；P(收到的數字=奇數x)=P(發(fā)送的數字=奇數x)×0.5+P(發(fā)送的數字=另個奇數u1)×0.125+P(發(fā)送的數字=另個奇數u2)×0.125+P(發(fā)送的數字=另個奇數u3)×0.125+P(發(fā)送的數字=另個奇數u4)×0.125=1/10(bits)習題課這就是說，當假設“發(fā)送的數字”服從等概分布時，“收到的數字”服從等概分布。H(收到的數字)=log10。I(發(fā)送的數字；收到的數字)42021/7/1527=

(

1

+

log 5

)(

bits

)·

0

.

125

·

log

(1

/

10

)

·

0

.

125(1

/

10

)(

1

/

10

)+

20

·

110(1

/

10

)

·

0

.

5(1

/

10

)(

1

/

10

)·

0

.

5

·

log1

·

1

·

log

(1

/

10

)10 (1

/

10

)(

1

/

10

)110=

5

·+

5

·習題課2021/7/15282.11

令{ul,u2,…,u8}為一等概消息集，各消息相應被編成下述二元碼字:ul=0000，u2=0011，u3=0101，u4=0110u5=1001，u6=1010，u7=1100，u8=1111碼字通過轉移概率為p的BSC傳送。試求接收的第一個數字0與ul之間的互信息量。接收的前二個數字00與ul之間的互信息量。接收的前三個數字000與ul之間酌互信息量。接收的前四個數字0000與ul之間的互信息量。[2.11的解答]

顯然是求事件之間的（非平均）互信息量。首先什么是“轉移概率為p的BSC”？解釋如下（詳見第四章）。習題課2021/7/1529“轉移概率為p的BSC”是這樣一種輸入/輸出機制：在一個固定時刻，P(輸出0|輸入0)=P(輸出1|輸入1)=1-pP(輸出1|輸入0)=P(輸出0|輸入1)=p在不同時刻的輸入/輸出操作是相互獨立的：P(t1t2…tn時刻輸出v1v2…vn

|t1t2…tn時刻輸入u1u2…un)=P(t1時刻輸出v1|t1時刻輸入u1)×P(t2時刻輸出v2|t2時刻輸入u2)×…×P(tn時刻輸出vn|tn時刻輸入un)習題課2021/7/1530(a)P(接收的第一個數字為0)=P(發(fā)送的第一個數字為0)×P(接收的第一個數字為0|發(fā)送的第一個數字為0)+P(發(fā)送的第一個數字為1)×P(接收的第一個數字為0|發(fā)送的第一個數字為1)=P(發(fā)送的第一個數字為0)×(1-p)+P(發(fā)送的第一個數字為1)×p=P(發(fā)送ul或u2或u3或u4)×(1-p)+P(發(fā)送u5或u6或u7或u8)×p=(1/2)×(1-p)+(1/2)×p=1/2。習題課P(發(fā)送ul)=1/8。P(發(fā)送ul，且接收的第一個數字為0)=P(發(fā)送ul)×P(接收的第一個數字為0|發(fā)送ul)=P(發(fā)送ul)×P(接收的第一個數字為0|發(fā)送的第一個數字為0)=(1/8)×(1-p)。因此，I(發(fā)送ul；接收的第一個數字為0)=log

P(發(fā)送u1，且接收的第一個數字為0)P(發(fā)送u1

)P(接收的第一個數字為0)=

log{2

-

2

p}2021/7/15312021/7/15

32(b)P(接收的前兩個數字為00)=P(發(fā)送的前兩個數字為00)×P(接收的前兩個數字為00|發(fā)送的前兩個數字為00)+P(發(fā)送的前兩個數字為01)×P(接收的前兩個數字為00|發(fā)送的前兩個數字為01)+P(發(fā)送的前兩個數字為10)×P(接收的前兩個數字為00|發(fā)送的前兩個數字為10)+P(發(fā)送的前兩個數字為11)×P(接收的前兩個數字為00|發(fā)送的前兩個數字為11)=P(發(fā)送ul或u2)×(1-p)2+P(發(fā)送u3或u4)×(1-p)p+P(發(fā)送u5或u6)×p(1-p)+P(發(fā)送u7或u8)×p2=1/42021/7/1533習題課P(發(fā)送ul，且接收的前兩個數字為00)=P(發(fā)送ul)×P(接收的前兩個數字為00

|發(fā)送ul)=P(發(fā)送ul)×P(接收的前兩個數字為00

|發(fā)送的前兩個數字為00)=(1/8)×(1-p)2。因此，I(發(fā)送ul；接收的前兩個數字為00)=log

P(發(fā)送u1，且接收的前兩個數字為00)P(發(fā)送u1

)P(接收的前兩個數字為00)=

2

log{2

-

2

p}2021/7/15

34(c)P(接收的前三個數字為000)=P(發(fā)的前面為000)×P(收的前面為000|發(fā)的前面為000)+P(發(fā)的前面為001)×P(收的前面為000|發(fā)的前面為001)+P(發(fā)的前面為010)×P(收的前面為000|發(fā)的前面為010)+P(發(fā)的前面為011)×P(收的前面為000|發(fā)的前面為011)+P(發(fā)的前面為100)×P(收的前面為000|發(fā)的前面為100)+P(發(fā)的前面為101)×P(收的前面為000|發(fā)的前面為101)+P(發(fā)的前面為110)×P(收的前面為000|發(fā)的前面為110)+P(發(fā)的前面為111)×P(收的前面為000|發(fā)的前面為111)=P(發(fā)u1)×(1-p)3+P(發(fā)u2)×p(1-p)2+P(發(fā)u3)×p(1-p)2+P(發(fā)u4)×p2(1-p)+P(發(fā)u5)×p(1-p)2+P(發(fā)u6)×p2(1-p)+P(發(fā)u7)×p2(1-p)+P(發(fā)u8)×p3=1/82021/7/1535習題課P(發(fā)送ul，且接收的前三個數字為000)=P(發(fā)送ul)×P(接收的前三個數字為000

|發(fā)送ul)=P(發(fā)送ul)×P(接收的前三個數字為000

|發(fā)送的前三個數字為000)=(1/8)×(1-p)3。因此，I(發(fā)送ul；接收的前三個數字為000)=log

P(發(fā)送u1，且接收的前三個數字為000)P(發(fā)送u1

)P(接收的前三個數字為000)=

3

log{2

-

2

p}2021/7/15

36(d)P(接收的前四個數字為0000)=P(發(fā)u1=0000)×P(接收的前四個數字為0000

|發(fā)0000)+P(發(fā)u2=0011)×P(接收的前四個數字為0000

|發(fā)0011)+P(發(fā)u3=0101)×P(接收的前四個數字為0000

|發(fā)0101)+P(發(fā)u4=0110)×P(接收的前四個數字為0000

|發(fā)0110)+P(發(fā)u5=1001)×P(接收的前四個數字為0000

|發(fā)1001)+P(發(fā)u6=1010)×P(接收的前四個數字為0000

|發(fā)1010)+P(發(fā)u7=1100)×P(接收的前四個數字為0000

|發(fā)1100)+P(發(fā)u8=1111)×P(接收的前四個數字為0000

|發(fā)1111)=(1/8)×(1-p)4+(1/8)×p2(1-p)2+(1/8)×p2(1-p)2+(1/8)×p2(1-p)2+(1/8)×p2(1-p)2+(1/8)×p2(1-p)2+(1/8)×p2(1-p)2+(1/8)×p4=(1/8)×{(1-p)4+6p2(1-p)2+p4}2021/7/1537習題課}(1

-

p)4

+

6

p

2

(1

-

p)2

+

p

4(1

-

p)=

3

log{2

-

2

p}

+

log{8(1

-

p)4P(發(fā)送u1

)P(接收的前四個數字為0000)=

log{

}(1

-

p)4

+

6

p

2

(1

-

p)2

+

p

4P(發(fā)送ul，且接收的前四個數字為0000)=P(發(fā)送ul)×P(接收的前四個數字為0000

|發(fā)送ul=0000)=(1/8)×(1-p)4。因此，I(發(fā)送ul；接收的前四個數字為0000)=log

P(發(fā)送u1，且接收的前四個數字為0000)習題課2021/7/15382.13

令X、Y、Z是概率空間（即隨機變量），試證明下述關系式成立。H(YZ|X)≤H(Y|X)＋H(Z|X)，給出等號成立的條件。H(YZ|X)=H(Y|X)＋H(Z|XY)。H(Z|XY)≤H(Z|X)，給出等號成立的條件。[2.13的解答](a)在以下的推導式中，不等號成立的理由來自于引理2。x2021/7/1539x

yzx

yzxyzx=

H(Y

|

X

)

+

H(Z

|

X

)P(Y

=

y

|

X

=

x)

P(Z

=

z

|

X

=

x)P(Y

=

y

|

X

=

x)P(Z

=

z

|

X

=

x)P(YZ

=

yz

|

X

=

x)P(YZ

=

yz

|

X

=

x)=P(XYZ

=

xyz)log

1

+P(XYZ

=

xyz)

log

1

￡P(X

=

x)P(YZ

=

yz

|

X

=

x)log

1

=P(X

=

x)P(YZ

=

yz

|

X

=

x)log

1

H(YZ

|

X

)

=P(XYZ

=

xyz)log

1

(b)xy

xyz2021/7/1540xyz

xyzxyzxyz=

H

(Y

|

X

)

+

H

(Z

|

XY)P(

XY

=

xy)

P(

XYZ

=

xyz)P(

XY

=

xy)

P(

XYZ

=

xyz)P(

XY

=

xy)

P(

XY

=

xy)

P(

XYZ

=

xyz)

P(Y

=

x)P(XYZ

=

xyz)

log

·=P(

XYZ

=

xyz)=

P(XY

=

xy)

log

P(Y

=

x)

+P(

XYZ

=

xyz)

log

P(XY

=

xy) =

P(XYZ

=

xyz)

log

P(Y

=

x)

+P(

XYZ

=

xyz)

log

P(XY

=

xy) H

(YZ

|

X

)

=

P(

XYZ

=

xyz)

log

P(X

=

x)

(c)在以下的推導式中，不等號成立的理由來自于引理2。不等號變成等號的充要條件是：對任何(xyz)恒有

P(Z=z|XY=xy)=P(Z=z|X=x)。z2021/7/1541zxyzP

(

Z

=

z

|

X

=

x

)=

xz

)

log

1

P

(

Z

=

z

|

X

=

x

)=

xyz

)

log

1

P

(

Z

=

z

|

X

=

x

)P

(

Z

=

z

|

XY

=

xy

)P

(

Z

=

z

|

XY

=

xy

)=

P

(

XZxz=

H

(

Z

|

X

)=

P

(

XYZxyz￡

P

(

XY

=

xy

)

P

(

Z

=

z

|

XY

=

xy

)

log

1

xy=

P

(

XY

=

xy

)

P

(

Z

=

z

|

XY

=

xy

)

log

1

xyH

(

Z

|

XY

)

=

P

(

XYZ

=

xyz

)

log

1

習題課2021/7/15422.18

若三個隨機變量有如下關系：X＋Y=Z，其中X和Y相互獨立。試證明：H(X)≤H(Z)H(Y)≤H(Z)H(XY)≥H(Z)I(X；Z)=H(Z)－H(Y)I(XY；Z)=H(Z)I(X；YZ)=H(X)I(Y；Z|X)=H(Y)I(X；Y|Z)=H(X|Z)=H(Y|Z)2021/7/1543[2.18的證明]

首先，P(Z=z)=∑yP(Y=y,

X=z-y)=∑yP(Y=y)P(X=z-y)zzy=

H

(

X

)z

-

y

)

logP

(

Y

=z

-

y

)

logz

-

y

)

log

1

P

(

Z

=

z

)

1

P

(

Z

=

z

)

1

P

(

Z

=

z

)

1

P

(

X

=

z

-

y

)P

(

Y

=

y

)

P

(

X

=P

(

Y

=

y

)

P

(

X

=

1

P

(

Z

=

z

)z

-

y

)

log?

y=

P

(

Y

=

y

)

H

(

X

)=

P

(

Y

=

y

)

P

(

X

=y

zy

)

P

(

X

==

y

z=

z

yH

(

Z

)

=

P

(

Z

=

z

)

logx

y2021/7/1544P

(

Z

=

x

+

y

)=

x

)

P

(Y

=

y

)

log

1

=

x

)

P

(Y

=

y

)

log

1

P

(

X

=

x

)

P

(Y

=

y

)=

x

)

P

(Y

=

y

)

log

1

P

((

XY

)

=

(

xy

))

P

(

X

=

u

)

P

(Y

=

x

+

y

-

u

)u=

P

(

Xx

y?

P

(

Xx

y=

P

(

Xx

y=

H

(

Z

)H

(

XY

)

=

P

((

XY

)

=

(

xy

))

log

1

習題課習題課2.23

設X是在[－1，1]上為均勻分布的隨機變量。試求微分熵Hc(X)，Hc(X

2)和Hc(X

3)。[2.23的解答]

已知X的分布密度函數fX(x)。因此1

12021/7/1545+￥

1-￥

-1XHc

(

X

)

=

f

X

(

x)

log

f

(

x)

dx

=

(

2

log

2)dx

=

log

2習題課=。Y12

y

2

y1+

f

X

(-

y

)2

y1當y

?

(0,1]時，=

f

X

(

y

)記Y=X2，Z=X3。需要首先計算Y的分布密度函數fY(y)和Z的分布密度函數fZ(z)。

當y

ˇ

(0,1]時，=0；f

(

y

)2021/7/15463

。-

23-

211=

z6當z

ˇ

[-1,1]時，=0；當z

?

[-1,1]時，=

f

X

(3

z

)

3

zf

Z

(

z

)12021/7/1547211(11(11101=

log

2==10101010100

++￥-￥=

1

+

0

-

log

e<

0yln

y

-

loge

(

2

·

y

)dyy=

log

2

+

log

e( ln

y)dy4

y)dy

+

log

e2

y( log

y)dy4

ylog

2)dy

+2

y( log(

2

y

))dy2

ydyf

(

y)f

(

y)

logH

(Y

)

=YYc232021/7/1548232929131311130303313·0

+-

2-

2-

2-

2-11=

(01=

(-

2+￥-

￥=

log 6

+

0

-

2

log

e<

0)

dz1z1z

31ln

z

-

log

e

(01z

3=

log 6

+

log

ez

ln

z

)

dz1=

log 6

+

log

e

(0z

log

z

)

dz1z

log 6

)

dz

+

(2z

log( 6

z

3

))

dz2log( 6

z

3

))

dz=

(

6

zdzf

(

z

)ZH

c

(

Z

)

=

f

Z

(

z

)

log習題課2.25

設X和Y為連續(xù)隨機變量，且X的概率密度為條件概率密度為其中－∞<x，y<∞。試求Hc(X)，Hc(Y)，Hc(XY)和I(X；Y)。2

2e

-x

/

4aq(

x)

=

12a

p22021/7/154913pa-(

y-1

x)2

/

3a2)ep(y

|

x)

=(習題課[2.25的解答]

只要將(XY)的二元聯合分布密度函數寫成二元正態(tài)分布的標準形狀，就能求出Hc(X)，Hc(Y)，Hc(XY)和I(X；Y)。exp-Y

X

YX

X

-

X

Y

+

Y

(

y

-

m

)2

1

(x

-

m

)2s

2s

s2r(x

-

m

)(

y

-

m

)s

22(1-

r2

)

2ps

s

1-

r2X

Y二元正態(tài)分布的標準形狀：pXY

(xy)=1122021/7/155012122YC2XC);

H

C

(

XY

)

=

H

C

(

X

)

+

H

C

(Y

)

-

I

(

X

;

Y

).log(

1

+I

(

X

;

Y

)

=);

H