信息理論基礎(chǔ)課后答案

2.1試問四進制、八進制脈沖所含信息量是二進制脈沖的多少倍？解：四進制脈沖可以表示4個不同的消息，例如：{0,1,2,3}八進制脈沖可以表示8個不同的消息，例如：{0,1,2,3,4,5,6,7}二進制脈沖可以表示2個不同的消息，例如：{0,1}假設(shè)每個消息的發(fā)出都是等概率的，則：四進制脈沖的平均信息量H(X1)=log2n=log24=2bit/symbol八進制脈沖的平均信息量H(X2)=log2n=log28=3bit/symbol二進制脈沖的平均信息量H(X0)=log2n=log22=1bit/symbol所以：四進制、八進制脈沖所含信息量分別是二進制脈沖信息量的2倍和3倍。2.2居住某地區(qū)的女孩子有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？解：設(shè)隨機變量X代表女孩子學(xué)歷Xx1（是大學(xué)生）x2（不是大學(xué)生）P(X)0.250.75設(shè)隨機變量Y代表女孩子身高Yy1（身高>160cm）y2（身高<160cm）P(Y)0.50.5已知：在女大學(xué)生中有75%是身高160厘米以上的即：p(y1/x1)=0.75求：身高160厘米以上的某女孩是大學(xué)生的信息量即：2.3一副充分洗亂了的牌（含52張牌），試問(1)任一特定排列所給出的信息量是多少？(2)若從中抽取13張牌，所給出的點數(shù)都不相同能得到多少信息量？解：(1)52張牌共有52！種排列方式，假設(shè)每種排列方式出現(xiàn)是等概率的則所給出的信息量是：(2)52張牌共有4種花色、13種點數(shù)，抽取13張點數(shù)不同的牌的概率如下：2.4設(shè)離散無記憶信源，其發(fā)出的信息為(202120130213001203210110321010021032011223210)，求(1)此消息的自信息量是多少？(2)此消息中平均每符號攜帶的信息量是多少？解：(1)此消息總共有14個0、13個1、12個2、6個3，因此此消息發(fā)出的概率是：此消息的信息量是：(2)此消息中平均每符號攜帶的信息量是：2.5從大量統(tǒng)計資料知道，男性中紅綠色盲的發(fā)病率為7%，女性發(fā)病率為0.5%，如果你問一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，問這兩個回答中各含多少信息量，平均每個回答中含有多少信息量？如果問一位女士，則答案中含有的平均自信息量是多少？解：男士：女士：2.6設(shè)信源，求這個信源的熵，并解釋為什么H(X)>log6不滿足信源熵的極值性。解：不滿足極值性的原因是。2.7證明：H(X3/X1X2)≤H(X3/X1)，并說明當(dāng)X1,X2,X3是馬氏鏈時等式成立。證明：2.8證明：H(X1X2。。。Xn)≤H(X1)+H(X2)+…+H(Xn)。證明：2.9設(shè)有一個信源，它產(chǎn)生0，1序列的信息。它在任意時間而且不論以前發(fā)生過什么符號，均按P(0)=0.4，P(1)=0.6的概率發(fā)出符號。(1)試問這個信源是否是平穩(wěn)的？(2)試計算H(X2),H(X3/X1X2)及H∞；(3)試計算H(X4)并寫出X4信源中可能有的所有符號。解：(1)這個信源是平穩(wěn)無記憶信源。因為有這些詞語：“它在任意時間而且不論以前發(fā)生過什么符號……”(2)(3)2.10一階馬爾可夫信源的狀態(tài)圖如下圖所示。信源X的符號集為{0,1,2}。(1)求平穩(wěn)后信源的概率分布；(2)求信源的熵H∞。解：(1)(2)2.11黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X={黑，白}。設(shè)黑色出現(xiàn)的概率為P(黑)=0.3，白色出現(xiàn)的概率為P(白)=0.7。(1)假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵H(X)；(2)假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求此一階馬爾可夫信源的熵H2(X);(3)分別求上述兩種信源的剩余度，比較H(X)和H2(X)的大小，并說明其物理含義。解：(1)(2)(3) H(X)>H2(X)表示的物理含義是：無記憶信源的不確定度大與有記憶信源的不確定度，有記憶信源的結(jié)構(gòu)化信息較多，能夠進行較大程度的壓縮。2.12同時擲出兩個正常的骰子，也就是各面呈現(xiàn)的概率都為1/6，求：(1)“3和5同時出現(xiàn)”這事件的自信息；(2)“兩個1同時出現(xiàn)”這事件的自信息；(3)兩個點數(shù)的各種組合（無序）對的熵和平均信息量；(4)兩個點數(shù)之和（即2,3,…,12構(gòu)成的子集）的熵；(5)兩個點數(shù)中至少有一個是1的自信息量。解：(1)(2)(3)兩個點數(shù)的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21種組合：其中11，22，33，44，55，66的概率是其他15個組合的概率是(4)參考上面的兩個點數(shù)的排列，可以得出兩個點數(shù)求和的概率分布如下：(5)2.13某一無記憶信源的符號集為{0,1}，已知P(0)=1/4，P(1)=3/4。(1)求符號的平均熵；(2)有100個符號構(gòu)成的序列，求某一特定序列（例如有m個“0”和（100-m）個“1(3)計算(2)中序列的熵。解：(1)(2)(3)2.14對某城市進行交通忙閑的調(diào)查，并把天氣分成晴雨兩種狀態(tài)，氣溫分成冷暖兩個狀態(tài)，調(diào)查結(jié)果得聯(lián)合出現(xiàn)的相對頻度如下：若把這些頻度看作概率測度，求：(1)忙閑的無條件熵；(2)天氣狀態(tài)和氣溫狀態(tài)已知時忙閑的條件熵；(3)從天氣狀態(tài)和氣溫狀態(tài)獲得的關(guān)于忙閑的信息。解：(1)根據(jù)忙閑的頻率，得到忙閑的概率分布如下：(2)設(shè)忙閑為隨機變量X，天氣狀態(tài)為隨機變量Y，氣溫狀態(tài)為隨機變量Z(3)2.15有兩個二元隨機變量X和Y，它們的聯(lián)合概率為YXx1=0x2=1y1=01/83/8y2=13/81/8并定義另一隨機變量Z=XY（一般乘積），試計算：(1)H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)；(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY)；(3)I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X)和I(X;Z/Y)。解：(1)Z=XY的概率分布如下：(2)(3)2.16有兩個隨機變量X和Y，其和為Z=X+Y（一般加法），若X和Y相互獨立，求證：H(X)≤H(Z),H(Y)≤H(Z)。證明：同理可得。2.17給定聲音樣值X的概率密度為拉普拉斯分布，求Hc(X)，并證明它小于同樣方差的正態(tài)變量的連續(xù)熵。解：2.18連續(xù)隨機變量X和Y的聯(lián)合概率密度為：，求H(X),H(Y),H(XYZ)和I(X;Y)。（提示：）解：2.19每幀電視圖像可以認(rèn)為是由3105個像素組成的，所有像素均是獨立變化，且每像素又取128個不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)，問每幀圖像含有多少信息量？若有一個廣播員，在約10000個漢字中選出1000個漢字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，并彼此無依賴）？若要恰當(dāng)?shù)拿枋龃藞D像，廣播員在口述中至少需要多少漢字？解：1)2)3)2.20設(shè)是平穩(wěn)離散有記憶信源，試證明：。證明：2.21設(shè)是N維高斯分布的連續(xù)信源，且X1,X2,…,XN的方差分別是，它們之間的相關(guān)系數(shù)。試證明：N維高斯分布的連續(xù)信源熵證明：相關(guān)系數(shù)，說明是相互獨立的。2.22設(shè)有一連續(xù)隨機變量，其概率密度函數(shù)(1)試求信源X的熵Hc(X)；(2)試求Y=X+A(A>0)的熵Hc(Y)；(3)試求Y=2X的熵Hc(Y)。解：1)2)3)3.1設(shè)信源通過一干擾信道，接收符號為Y={y1,y2}，信道轉(zhuǎn)移矩陣為，求：(1)信源X中事件x1和事件x2分別包含的自信息量；(2)收到消息yj(j=1,2)后，獲得的關(guān)于xi(i=1,2)的信息量；(3)信源X和信宿Y的信息熵；(4)信道疑義度H(X/Y)和噪聲熵H(Y/X)；(5)接收到信息Y后獲得的平均互信息量。解：1)2)3)4)5)3.2設(shè)二元對稱信道的傳遞矩陣為(1)若P(0)=3/4,P(1)=1/4，求H(X),H(X/Y),H(Y/X)和I(X;Y)；(2)求該信道的信道容量及其達(dá)到信道容量時的輸入概率分布；解：1)2)3.3設(shè)有一批電阻，按阻值分70%是2KΩ，30%是5KΩ；按瓦分64%是0.125W，其余是0.25W?，F(xiàn)已知2KΩ阻值的電阻中80%是0.125W，問通過測量阻值可以得到的關(guān)于瓦數(shù)的平均信息量是多少？解：對本題建立數(shù)學(xué)模型如下：以下是求解過程：3.4若X,Y,Z是三個隨機變量，試證明(1)I(X;YZ)=I(X;Y)+I(X;Z/Y)=I(X;Z)+I(X;Y/Z)；證明：(2)I(X;Y/Z)=I(Y;X/Z)=H(X/Z)–H(X/YZ)；證明：(3)I(X;Y/Z)≥0，當(dāng)且僅當(dāng)(X,Y,Z)是馬氏鏈時等式成立。證明：當(dāng)時等式成立所以等式成立的條件是X,Y,Z是馬氏鏈3.5若三個隨機變量，有如下關(guān)系：Z=X+Y，其中X和Y相互獨立，試證明：(1)I(X;Z)=H(Z)-H(Y)；(2)I(XY;Z)=H(Z)；(3)I(X;YZ)=H(X)；(4)I(Y;Z/X)=H(Y)；(5)I(X;Y/Z)=H(X/Z)=H(Y/Z)。解：1)2)3)4)5)3.6有一個二元對稱信道，其信道矩陣為。設(shè)該信源以1500二元符號/秒的速度傳輸輸入符號?，F(xiàn)有一消息序列共有14000個二元符號，并設(shè)P(0)=P(1)=1/2，問從消息傳輸?shù)慕嵌葋砜紤]，10秒鐘內(nèi)能否將這消息序列無失真的傳遞完？解：信道容量計算如下：也就是說每輸入一個信道符號，接收到的信息量是0.859比特。已知信源輸入1500二元符號/秒，那么每秒鐘接收到的信息量是：現(xiàn)在需要傳送的符號序列有140000個二元符號，并設(shè)P(0)=P(1)=1/2，可以計算出這個符號序列的信息量是要求10秒鐘傳完，也就是說每秒鐘傳輸?shù)男畔⒘渴?400bit/s，超過了信道每秒鐘傳輸?shù)哪芰Γ?288bit/s）。所以10秒內(nèi)不能將消息序列無失真的傳遞完。3.7求下列各離散信道的容量（其條件概率P(Y/X)如下：）(1)Z信道 (2)可抹信道 (3)非對稱信道 (4)準(zhǔn)對稱信道 解：1)Z信道這個信道是個一般信道，利用一般信道的計算方法：a.由公式，求βjb.由公式，求Cc.由公式，求p(yj)d.由公式，求p(xi)由方程組：解得因為s是條件轉(zhuǎn)移概率，所以0≤s≤1，從而有p(x1)，p(x2)≥0，保證了C的存在。2)可抹信道可抹信道是一個準(zhǔn)對稱信道，把信道矩陣分解成兩個子矩陣如下：3)非對稱信道這個信道是個一般信道，利用一般信道的計算方法a.由公式，求βjb.由公式，求Cc.由公式，求p(yj)d.由公式，求p(xi)由方程組：解得p(x1)，p(x2)≥0，保證了C的存在。(4)準(zhǔn)對稱信道把信道矩陣分解成三個子矩陣如下：3.8已知一個高斯信道，輸入信噪比（比率）為3。頻帶為3kHz，求最大可能傳輸?shù)南⒙省Ｈ粜旁氡忍岣叩?5，理論上傳送同樣的信息率所需的頻帶為多少？解：3.9有二址接入信道，輸入X1,X2和輸出Y的條件概率P(Y/X1X2)如下表（ε<1/2），求容量界限。X1X2Y01001-εε011/21/2101/21/211ε1-ε3.10有一離散廣播信道，其條件概率為試計算其容量界限（已知）。3.11已知離散信源，某信道的信道矩陣為試求：(1)“輸入x3，輸出y2”(2)“輸出y4”(3)“收到y(tǒng)3的條件下推測輸入x2”的概率解：1)2)3)3.12證明信道疑義度H(X/Y)=0的充分條件是信道矩陣[P]中每列有一個且只有一個非零元素。證明：[P]每列有一個且只有一個非零元素=〉H(X/Y)=0取[P]的第j列，設(shè)而其他3.13試證明：當(dāng)信道每輸入一個X值，相應(yīng)有幾個Y值輸出，且不同的X值所對應(yīng)的Y值不相互重合時，有H(Y)–H(X)=H(Y/X)。證明：信道每輸入一個X值，相應(yīng)有幾個Y值輸出，且不同的X值所對應(yīng)的Y值不相互重合。這種信道描述的信道轉(zhuǎn)移矩陣[P]的特點是每列有一個且只有一個非零元素。取[P]的第j列，設(shè)而其他3.14試求以下各信道矩陣代表的信道的容量：(1)[P]= (2)[P]= (3)[P]=解：1)這個信道是一一對應(yīng)的無干擾信道2)這個信道是歸并的無干擾信道3)這個信道是擴展的無干擾信道3.15設(shè)二進制對稱信道是無記憶信道，信道矩陣為，其中：p>0，<1，p+=1，>>p。試寫出N=3次擴展無記憶信道的信道矩陣[P]。解：3.16設(shè)信源X的N次擴展信源X=X1X2…XN通過信道{X,P(Y/X),Y}的輸出序列為Y=Y1Y2…YN。試證明：(1)當(dāng)信源為無記憶信源時，即X1,X2,…,XN之間統(tǒng)計獨立時，有；(2)當(dāng)信道無記憶時，有；(3)當(dāng)信源、信道為無記憶時，有；(4)用熵的概念解釋以上三種結(jié)果。證明：1)2)3)如果信源、信道都是無記憶的。上面證明的兩個不等式應(yīng)同時滿足，即：必然推出，，而如果是平穩(wěn)分布，即，，那么。4)流經(jīng)信道的信息量也是信宿收到的信息量，它等于信源信息的不確定度減去由信道干擾造成的不確定度。當(dāng)信源無記憶、信道有記憶時，對應(yīng)于本題的第一種情況。信源是無記憶的，信源的不確定度等于N倍的單符號信源不確定度，信道是有記憶的，信道干擾造成的不確定度小于N倍單符號信道的不確定度。因此，這兩部分的差值平均互信息量大于N倍的單符號平均互信息量。當(dāng)信源有記憶、信道無記憶時，對應(yīng)于本題的第二種情況。信源是有記憶的，信源的不確定度小于N倍的單符號信源不確定度，信道是無記憶的，信道干擾造成的不確定度等于N倍單符號信道的不確定度。因此，這兩部分的差值平均互信息量小于N倍的單符號平均互信息量。當(dāng)信源無記憶、信道無記憶時，對應(yīng)于本題的第三種情況。信源是無記憶的，信源的不確定度等于N倍的單符號信源不確定度，信道是無記憶的，信道干擾造成的不確定度等于N倍單符號信道的不確定度。因此，這兩部分的差值平均互信息量等于N倍的單符號平均互信息量。3.17設(shè)高斯加性信道，輸入、輸出和噪聲隨機變量X,Y,N之間的關(guān)系為Y=X+N，且E[N2]=σ2。試證明：當(dāng)信源X是均值E[X]=0，方差為的高斯隨機變量時，信道容量達(dá)其容量C，且。證明：根據(jù)概率論中的結(jié)論：n是正態(tài)分布，X是正態(tài)分布，則Y=X+n也是正態(tài)分布，而且。所以，前提是取最大值，也就是說取最大值。因為當(dāng)X是均值為零的正態(tài)分布時，，所以這是滿足的前提條件。3.18設(shè)加性高斯白噪聲信道中，信道帶寬3kHz，又設(shè){(信號功率+噪聲功率)/噪聲功率}=10dB。試計算該信道的最大信息傳輸速率Ct。解：3.19在圖片傳輸中，每幀約有2.25106個像素，為了能很好地重現(xiàn)圖像，能分16個亮度電平，并假設(shè)亮度電平等概分布。試計算每分鐘傳送一幀圖片所需信道的帶寬（信噪功率比為30dB）。解：3.20設(shè)電話信號的信息率5.6104比特/秒，在一個噪聲功率譜為N0=510-6mW/Hz、限頻F、限輸入功率P的高斯信道中傳送，若F=4kHz，問無差錯傳輸所需的最小功率P是多少瓦？若F→∞，則P是多少瓦？解：4.1一個四元對稱信源，接收符號Y={0,1,2,3}，其失真矩陣為，求Dmax和Dmin及信源的R(D)函數(shù)，并畫出其曲線（取4至5個點）。解：因為n元等概信源率失真函數(shù)：其中a=1,n=4,所以率失真函數(shù)為：函數(shù)曲線：其中：4.2若某無記憶信源，接收符號，其失真矩陣求信源的最大失真度和最小失真度，并求選擇何種信道可達(dá)到該Dmax和Dmin的失真度。4.3某二元信源其失真矩陣為求這信源的Dmax和Dmin和R(D)函數(shù)。解：因為二元等概信源率失真函數(shù)：其中n=2,所以率失真函數(shù)為：4.4已知信源X={0,1}，信宿Y={0,1,2}。設(shè)信源輸入符號為等概率分布，而且失真函數(shù)，求信源的率失真函數(shù)R(D)。4.5設(shè)信源X={0,1,2,3}，信宿Y={0,1,2,3,4,5,6}。且信源為無記憶、等概率分布。失真函數(shù)定義為證明率失真函數(shù)R(D)如圖所示。4.6設(shè)信源X={0,1,2}，相應(yīng)的概率分布p(0)=p(1)=0.4，p(2)=0.2。且失真函數(shù)為(1)求此信源的R(D)；(2)若此信源用容量為C的信道傳遞，請畫出信道容量C和其最小誤碼率Pk之間的曲線關(guān)系。4.7設(shè)0<α,β<1,α+β=1。試證明：αR(D’)+βR(D”)≥R(αD’+βD”)4.8試證明對于離散無記憶N次擴展信源，有RN(D)=NR(D)。其中N為任意正整數(shù)，D≥Dmin。4.9設(shè)某地區(qū)的“晴天”概率p(晴)=5/6，“雨天”概率p(雨)=1/6，把“晴天”預(yù)報為“雨天”，把“雨天”預(yù)報為“晴天”造成的損失為a元。又設(shè)該地區(qū)的天氣預(yù)報系統(tǒng)把“晴天”預(yù)報為“晴天”，“雨天”預(yù)報為“雨天”的概率均為0.9；把把“晴天”預(yù)報為“雨天”，把“雨天”預(yù)報為“晴天”的概率均為0.1。試計算這種預(yù)報系統(tǒng)的信息價值率v（元/比特）。4.10設(shè)離散無記憶信源其失真度為漢明失真度。(1)求Dmin和R(Dmin)，并寫出相應(yīng)試驗信道的信道矩陣；(2)求Dmax和R(Dmax)，并寫出相應(yīng)試驗信道的信道矩陣；(3)若允許平均失真度D=1/3，試問信源的每一個信源符號平均最少有幾個二進制符號表示？解：4.11設(shè)信源（p<0.5），其失真度為漢明失真度，試問當(dāng)允許平均失真度D=0.5p時，每一信源符號平均最少需要幾個二進制符號表示？解：因為二元信源率失真函數(shù)：其中a=1（漢明失真）,所以二元信源率失真函數(shù)為：當(dāng)時5.1設(shè)信源(1)求信源熵H(X)；(2)編二進制香農(nóng)碼；(3)計算平均碼長和編碼效率。解：(1)(2)xip(xi)pa(xi)ki碼字x10.203000x20.190.23001x30.180.393011x40.170.573100x50.150.743101x60.10.8941110x70.010.9971111110(3)5.2對信源編二進制費諾碼，計算編碼效率。解：xip(xi)編碼碼字kix10.200002x20.19100103x30.1810113x40.1710102x50.15101103x60.11011104x70.011111145.3對信源編二進制和三進制哈夫曼碼，計算各自的平均碼長和編碼效率。解：二進制哈夫曼碼：xip(xi)編碼碼字kis61s50.610s40.391s30.350s20.261x10.20102x20.191112x30.1800003x40.1710013x50.1500103s10.111x60.1001104x70.01101114三進制哈夫曼碼：xip(xi)編碼碼字kis31s20.540s10.261x10.2221x20.190002x30.181012x40.172022x50.150102x60.11112x70.0121225.4設(shè)信源(1)求信源熵H(X)；(2)編二進制香農(nóng)碼和二進制費諾碼；(3)計算二進制香農(nóng)碼和二進制費諾碼的平均碼長和編碼效率；(4)編三進制費諾碼；(5)計算三進制費諾碼的平均碼長和編碼效率；解：(1)(2)二進制香農(nóng)碼：xip(xi)pa(xi)ki碼字x10.5010x20.250.5210x30.1250.753110x40.06250.87541110x50.031250.9375511110x60.0156250.968756111110x70.00781250.98437571111110x80.00781250.992187571111111二進制費諾碼：xip(xi)編碼碼字kix10.5001x20.2510102x30.125