版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、第2章 信源熵2.1 試問四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍?答:2倍,3倍。2.2 一副充分洗亂了的牌(含52張牌),試問(1) 任一特定排列所給出的信息量是多少?(2) 若從中抽取13張牌,所給出的點(diǎn)數(shù)都不相同, 能得到多少信息量?解:(1) (2) 任取13張,各點(diǎn)數(shù)不同的概率為,信息量:9.4793(比特/符號(hào)) 2.3 居住某地區(qū)的女孩子有是大學(xué)生,在女大學(xué)生中有是身高160厘米上的,而女孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是大學(xué)生”的消息,問獲得多少信息量?答案:1.415比特/符號(hào)。提示:設(shè)事件A表示女大學(xué)生,事件C表示1
2、60CM以上的女孩,則問題就是求p(A|C),2.4 設(shè)離散無憶信源,其發(fā)出的消息為,求(1) 此消息的自信息量是多少?(2) 在此消息中平均每個(gè)符號(hào)攜帶的信息量是多少?解:(1)信源符號(hào)的自信息量為I(ai)=-log2p(ai),故0,1,2,3的自信息量分別為1.415、 2、 2、 3。消息序列中0,1,2,3的數(shù)目分別為14,13,12,6,故此消息的自信息量為1.415*14+2*13+2*12+3*6=87.81比特,(2)87.81/45=1.951比特。2.6 設(shè)信源,求這信源的熵,并解釋為什么不滿足信源熵的極值性。提示:信源的概率之和大于1。2.7 同時(shí)擲兩個(gè)正常的骰子,也
3、就是各面呈現(xiàn)的概率都為,求:(1) “3和5同時(shí)出現(xiàn)”這事件的自信息量;(2) “兩個(gè)1同時(shí)出現(xiàn)”這事件的自信息量;(3) 兩個(gè)點(diǎn)數(shù)的各種組合(無序?qū)?的熵或平均信息量;(4) 兩個(gè)點(diǎn)數(shù)之和(即構(gòu)成的子集)的熵;(5) 兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1的自信息量。解:(1) 4.17(比特/符號(hào)),提示:3和5同時(shí)出現(xiàn)的概率為=1/18(2) 5.17(比特/符號(hào)),提示:兩個(gè)1同時(shí)出現(xiàn)的概率1/36(3) “兩個(gè)點(diǎn)數(shù)相同”的概率:1/36,共有6種情況;“兩個(gè)點(diǎn)數(shù)不同”的概率:1/18,共有15種情況.故平均信息量為:4.337比特/符號(hào)(4) 3.274(比特/符號(hào))。提示:信源模型 (5) 1.
4、711(比特/符號(hào))。提示:至少有一個(gè)1出現(xiàn)的概率為2.8 證明提示: 由教材式(2.1.26)和(2.1.28)可證證明:2.4 證明,并說明等式成立的條件。提示:見教材第38頁2.10 對(duì)某城市進(jìn)行交通忙閑的調(diào)查,并把天氣分成晴雨兩種狀態(tài),氣溫分成冷暖兩個(gè)狀態(tài),調(diào)查結(jié)果得聯(lián)合出現(xiàn)的相對(duì)頻度如下:若把這些頻度看作概率測度,求: (1) 忙閑的無條件熵;(2) 天氣狀態(tài)和氣溫狀態(tài)已知時(shí)忙閑的條件熵;(3) 從天氣狀態(tài)和氣溫狀態(tài)獲得的關(guān)于忙閑的信息。解:設(shè)X、Y、Z分別表示忙 閑、晴 雨和冷 暖,(1) 先求忙閑的概率分布,無條件熵=0.9637(比特/符號(hào))(2) H(XYZ)=2.8357,
5、H(YZ)=1.9769 H(XYZ)- H(YZ)=0.8588(比特/符號(hào))(3) I(X;YZ)=H(X)-H(X/YZ)=0.1049比特/符號(hào)2.11 有兩個(gè)二元隨機(jī)變量,它們的聯(lián)合概率為X Y 0 1011/8 3/83/8 1/8并定義另一隨機(jī)變量(一般乘積)。試計(jì)算:(1) ;(2) 和;(3) 。解: (1) XY的概率分布為 比特/符號(hào)X的概率分布,比特/符號(hào)X的概率分布,H(Y)=1比特/符號(hào)Z=XY的概率分布,比特/符號(hào) XZ的聯(lián)合概率分布,H(XZ)=1.4056比特/符號(hào)YZ的聯(lián)合概率分布,H(YZ)=1.4056比特/符號(hào)的聯(lián)合概率分布,H(XYZ)=1.8113
6、比特/符號(hào) (2) H(X/Y)=H(XY)-H(Y)=1,8113-1=0.8113比特/符號(hào);H(Y/X)=H(XY)-H(X)=1.8113-1=0.8113比特/符號(hào) H(X/Z)=H(XZ)-H(Z)=1.4056-0.5436=0.862比特/符號(hào); H(Z/X)=H(XZ)-H(X)=1.4056-1=0.4056比特/符號(hào); H(Y/Z)=H(YZ)-H(Z)=1.4056-0.5436=0.862比特/符號(hào); H(Z/Y)=H(YZ)-H(Y)=1.4056-1=0.4056比特/符號(hào); H(X/YZ)=H(XYZ)-H(YZ)=1.8113-1.4056=0.4057比特/
7、符號(hào);H(Y/XZ)=H(XYZ)-H(XZ)= 1.8113-1.4056=0.4057比特/符號(hào);H(Z/XY)= H(XYZ)-H(XY)=1,8113-1.8113=0比特/符號(hào); (3) I(X;Y)=H(X)-H(X/Y)=1-0.8113=0.1887比特/符號(hào); or I(X;Y)=H(X)+H(Y)-H(XY)=1+1-1.8113=0.1887比特/符號(hào); I(X;Z)= H(X)-H(X/Z)=1-0.862=0.138比特/符號(hào); or I(X;Z)=H(X)+H(Z)-H(XZ)=1+0.5436-1.4056=0.138比特/符號(hào); I(Y;Z)= H(Y)-H(Y
8、/Z)= 0.138比特/符號(hào); or I(Y;Z)=H(Y)+H(Z)-H(YZ)= 1+0.5436-1.4056=0.138比特/符號(hào); I(X;Y/Z)=H(X/Z)-H(X/YZ)=0.4563比特/符號(hào); I(Y;Z/X)=H(Y/X)-H(Y/XZ)=0.4056比特/符號(hào); I(X;Z/Y)=H(Z/Y)-H(Z/XY)=0.4056比特/符號(hào);2.13 設(shè)有一個(gè)信源,它產(chǎn)生序列的信息。它在任意時(shí)間而且不論以前發(fā)生過什么符號(hào),均按的概率發(fā)出符號(hào)。(1) 試問這個(gè)信源是否是平穩(wěn)的?(2) 試計(jì)算;(3) 試計(jì)算并寫出信源中可能有的所有符號(hào)。 解:(1) 是平穩(wěn)信源(2) 信源熵H
9、(X)=-0.4log20.4-0.6log20.6=0.971比特/信源符號(hào),比特/信源符號(hào),由題設(shè)知道這個(gè)信源是無記憶信源,因此條件熵和極限熵都等于信源熵。(3)比特/信源符號(hào),信源中可能的符號(hào)共16個(gè)。2.14 設(shè)是平穩(wěn)離散有記憶信源,試證明:。提示:見教材第44頁證明:因?yàn)?,?.16 一階馬爾可夫信源的狀態(tài)圖如題2.16圖所示。信源的符號(hào)集為。(1) 求平穩(wěn)后信源的概率分布;(2) 求信源的熵。題2.16圖解:(1)由圖得一階馬爾可夫信源的狀態(tài)為s1=0,s2=1,s3=2。對(duì)應(yīng)的一步轉(zhuǎn)移概率矩陣為,由各態(tài)歷經(jīng)定理,有,即解方程組得狀態(tài)極限概率滿足,又由得(2)2.17 黑白氣象傳真
10、圖的消息只有黑色和白色兩種,即信源。設(shè)黑色出現(xiàn)的概率為p(黑)=0.3,白色的出現(xiàn)概率p(白)=0.7。(1) 假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián),求熵;(2) 假設(shè)消息前后有關(guān)聯(lián),其依賴關(guān)系為p(白/白)=0.9,p(黑/白)=0.1,p(白/黑)=0.2,p(黑/黑)=0.8,求此一階馬爾可夫信源的熵;(3) 分別求上述兩種信源的剩余度,比較的大小,并說明其物理意義。解:(1) 比特/信源符號(hào); (2) 由各態(tài)歷經(jīng)定理,有,即p(白)= p(白)p(白/白)+ p(黑) p(白/黑)=0.9 p(白)+0.2 p(黑)p(黑)= p(白)p(黑/白)+ p(黑) p(黑/黑)= 0.1 p(
11、白)+0.8 p(黑)解方程組得:p(白)=2 p(黑),又由于p(白)+p(黑)=1,所以 p(白)=2/3, p(黑)=1/3=0.5533比特/符號(hào); (3) H0(X)=log22=1,無關(guān)聯(lián)信源剩余度為1-0.8813/1=11.87%,一階馬爾可夫信源剩余度為1-0.5533/1=44.67%這說明馬爾可夫信源比無相關(guān)信源的冗余度大,編碼時(shí)可以獲得更高的壓縮比。第3章 信道容量3.1 設(shè)信源 通過一干擾信道,接收符號(hào)為,信道傳遞矩陣為,求(1) 信源X中事件分別含有的自信息量。(2) 收到消息后,獲得的關(guān)于的信息量。(3) 信源X和信宿Y的信息熵。(4) 信道疑義度和噪聲熵。(5)
12、 接收到信息Y后獲得的平均互信息量。解:(1) (比特/符號(hào)),比特/符號(hào),(2) ,(比特/符號(hào)), (比特/符號(hào)), (比特/符號(hào)), (比特/符號(hào))(3) 0.971(比特/符號(hào)),0.971(比特/符號(hào)),(4) (比特/符號(hào)),(5) I(X;Y)=H(Y)-H(Y/X)=0.2564比特/符號(hào) 3.2設(shè)二元對(duì)稱信道的傳遞矩陣為(1) 若;(2) 求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布。解:(1) H(X)=H(3/4, 1/4)=0.8113比特/符號(hào), H(Y)= H(7/12, 5/12)=0.9799比特/符號(hào), , H(XY)=1.7296比特/符號(hào), H(X/
13、Y)=H(XY)-H(Y)=0.7497比特/符號(hào), H(Y/X)= 0.9183比特/符號(hào), I(X;Y)=H(Y)-H(Y/X)=0.0616比特/符號(hào),(2) C= 1-H(p)=0.0817比特/符號(hào), p(0)=p(1)=1/23.6 有一個(gè)二元對(duì)稱信道,其信道矩陣為。設(shè)該信源以1500的速度傳輸輸入符號(hào)。現(xiàn)有一消息序列共有14000個(gè)二元符號(hào),并設(shè),問從信息傳輸?shù)慕嵌葋砜紤],10秒鐘內(nèi)能否將這消息序列無失真地傳遞完?解:信道容量C=1+0.98log20.98+0.02log20.02=0.8586比特/信道符號(hào),則每秒鐘可傳送的信息量為1500×0.8586=1287.
14、9比特,10秒鐘最大可傳送的信息量為12879比特,而待傳送的信息量為14000比特,因此,10秒鐘內(nèi)不能無失真的傳送完畢。3.7 求下列各離散信道的容量(3) (4)X Y0101/21/211/43/4X Y012301/31/31/61/611/61/31/61/3 (3) 按一般離散信道容量的計(jì)算步驟進(jìn)行(4)信道為準(zhǔn)對(duì)稱離散信道,當(dāng)輸入端取等概率,即p(a1)=p(a2)=1/2時(shí),達(dá)到信道容量,此時(shí)信宿端的概率為 ,則H(Y)=H(1/4,1/3,1/6,1/4)=1.9591,故信道容量為C= H(Y)-H(Y/X)=H(Y)-H(1/3,1/3,1/6,1/6) =1.9591
15、-1.9183= 0.0408。3.8 已知一個(gè)高斯信道,輸入信噪比(比率)為3。頻帶為3kHz,求最大可能傳送的信息率。若信噪比提高到15,理論上傳送同樣的信息率所需的頻帶為多少?提示:由式(3.5.13)可得。(1) 最大可能傳送的信息率是比特/秒 (2) =1.5kHZ3.11 已知離散信源,某信道的信道矩陣為試求: (1) “輸入,輸出”的概率; (2) “輸出”的概率; (3) “收到的條件下推測輸入”的概率。解:(1) ;(2) =0.19; (3) 3.14 試求以下各信道矩陣代表的信道的容量:(1) (2)(3)解:一一對(duì)應(yīng)的無噪無損信道,信道容量log24=2比特/信道符號(hào),
16、歸并性能的有損無噪信道,信道容量log23=1.585比特/信道符號(hào),擴(kuò)展性能的有噪無損信道,信道容量log23=1.585比特/信道符號(hào)3.18 設(shè)加性高斯白噪聲信道中,信道帶寬3kHz,又設(shè)(信號(hào)功率+噪聲功率)/ 噪聲功率=10dB。試計(jì)算該信道的最大信息傳輸速率。提示:的dB 數(shù):。解: 由題意, ,故第4章 信息率失真函數(shù)4.1 一個(gè)四元對(duì)稱信源,接收符號(hào),其失真矩陣為求函數(shù),并畫出其曲線(取4至5個(gè)點(diǎn))。解: , 。4.2 若某無記憶信源,接收符號(hào),其失真矩陣為求信源的最大失真度和最小平均失真度,并求選擇何種信道可達(dá)到該的失真度。解:(1)令,則D1=D2=4/3,故當(dāng)p(bj/a
17、i)=p(bj)時(shí),有H(Y/X)=H(Y),即I(X;Y)=0,此時(shí)平均失真達(dá)到Dmax,故實(shí)驗(yàn)信道矩陣滿足即(2)即4.10 設(shè)離散無記憶信源 其失真度為漢明失真度。(1) 求,并寫出相應(yīng)試驗(yàn)信道的信道矩陣;(2) 求,并寫出相應(yīng)試驗(yàn)信道的信道矩陣;(3) 若允許平均失真度,試問信源的每一個(gè)信源符號(hào)平均最少由幾個(gè)二進(jìn)制碼符號(hào)表示?解:(1)失真矩陣為, (2) 當(dāng)p(bj/ai)=p(bj)時(shí),有H(Y/X)=H(Y),即I(X;Y)=0,此時(shí)平均失真達(dá)到Dmax,故實(shí)驗(yàn)信道矩陣滿足即 (3) ,計(jì)算得,因此每個(gè)信源符號(hào)最少要用0.333個(gè)二進(jìn)制碼表示。第5章 信源編碼5.8 選擇幀長=6
18、3(1) 對(duì)001000000000000000000000000000000100000000000000000000000000000編碼;解:(1) 值:2;的長度:,的編碼:000010, 信息位,故;的長度: ,的編碼:01000010010碼:00001001000010010解碼:因?yàn)镹=63,故的長度為,取LD碼前6位000010,得Q=2;再取后面的所有位001000010010,得T=530。因?yàn)?,所以n2=34,再令,則T=2;又因?yàn)?,所以n1=3。所以該冗余位序列長為63,有2個(gè)信息位,分別在第3和34位。5.12 采用13折線A律非均勻量化編碼,設(shè)最小量化間隔為,已知
19、某采樣時(shí)刻的信號(hào)值。(1) 試求該非均勻量化編碼,并求其量化噪聲;(2) 試求對(duì)應(yīng)于該非均勻量化編碼的12位均勻量化編碼。解:(1) 由于,極性碼;取第1段與第8段的中位第5段進(jìn)行比較,由于,所以;取第5段與第8段的中位第7段進(jìn)行比較,由于,所以;取第7段與第8段的中位第8段進(jìn)行比較,由于,所以,段落碼;第7段的起始量化值為,量化間隔為;與段內(nèi)碼最高位權(quán)值比較,由于,所以;與段內(nèi)碼次高位權(quán)值比較,由于,所以;與段內(nèi)碼次高位和第三位權(quán)值之和比較,由于,所以;與段內(nèi)碼次高位和最低位權(quán)值之和比較,由于,所以,段內(nèi)碼;因此,非均勻量化編碼;量化噪聲;以上為計(jì)算機(jī)中的編碼過程。手工計(jì)算,可簡化為如下過程
20、: 635>0,故極性碼為1。 因?yàn)?4+5=5126351024=24+6,所以635在第7個(gè)段落,段落碼為110; 由(1024-512)/16=32,所以該段落內(nèi)每個(gè)量化間隔為32,635-512=123最接近32的4倍,所以段內(nèi)碼為0100。故13折線A律非均勻量化編碼為c=11100100。量化噪聲;(2) 12位均勻量化編碼。5.15 將正弦信號(hào)輸入采樣頻率為4采樣保持器后通過增量調(diào)制器,設(shè)該調(diào)制器的初始量化,量化增量。試求在半個(gè)周期內(nèi)信號(hào)值的增量調(diào)制編碼和量化值。解:采樣頻率是正弦信號(hào)頻率的20倍,半個(gè)周期內(nèi)有10個(gè)采樣點(diǎn),采樣值、增量調(diào)制編碼及量化值如下表所示:預(yù)測值量化
21、增量調(diào)制編碼量化值000-0.1250-0.12510.0773-0.1250.1251020.146900.12510.12530.20230.1250.12510.2540.23780.25-0.12500.12550.250.1250.12510.2560.23780.25-0.12500.12570.20230.1250.12510.2580.14690.25-0.12500.12590.07730.125-0.125005.16 將正弦信號(hào)輸入采樣頻率為4采樣保持器后通過差分脈沖編碼調(diào)制器,設(shè)該調(diào)制器的初始值,采用碼長為4的均勻量化編碼,量化間隔。試求在半個(gè)周期內(nèi)信號(hào)值的差分脈沖編碼
22、和量化值。解:采樣頻率是正弦信號(hào)頻率的20倍,半個(gè)周期內(nèi)有10個(gè)采樣點(diǎn),采樣值、差分調(diào)制編碼及量化值如下表所示:預(yù)測值量化差分調(diào)制編碼量化值00001000010.077300.062510100.062520.14690.06250.093810110.156330.20230.15630.031310010.187640.23780.18760.062510100.250150.250.2501-000000.250160.23780.2501-000000.250170.20230.2501-0.062500100.187680.14690.1876-0.031300010.156390.07730.1563-0.093800110.0625第6章 信道編碼6
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 文件和資料的控制措施
- 2019-2020學(xué)年高中數(shù)學(xué)第2章解析幾何初步2-1-5平面直角坐標(biāo)系中的距離公式課件北師大版必修2
- 二零二五年環(huán)保項(xiàng)目違約責(zé)任承擔(dān)合同規(guī)定3篇
- 高考專題復(fù)習(xí)探究走向全球化中的國際關(guān)系歷程課件教學(xué)講義
- 2024年浙江建設(shè)職業(yè)技術(shù)學(xué)院高職單招職業(yè)適應(yīng)性測試歷年參考題庫含答案解析
- 二零二五年機(jī)器人技術(shù)授權(quán)及合作開發(fā)合同3篇
- 2024年隴西縣中醫(yī)院高層次衛(wèi)技人才招聘筆試歷年參考題庫頻考點(diǎn)附帶答案
- 2024年阜陽市第三人民醫(yī)院高層次衛(wèi)技人才招聘筆試歷年參考題庫頻考點(diǎn)附帶答案
- 二零二五年度股份合作企業(yè)四股東合作協(xié)議3篇
- 2024年沈陽航空職業(yè)技術(shù)學(xué)院高職單招數(shù)學(xué)歷年參考題庫含答案解析
- 建筑工程勘察項(xiàng)目技術(shù)標(biāo)
- 海南省天一大聯(lián)考2024屆高一物理第一學(xué)期期末監(jiān)測試題含解析
- 重癥醫(yī)學(xué)科運(yùn)用PDCA循環(huán)降低失禁性皮炎發(fā)生率品管圈成果匯報(bào)
- 物理化學(xué)課件 第一章 熱力學(xué)第一定律
- 07S906給水排水構(gòu)筑物設(shè)計(jì)選用圖化糞池
- IPC-6013中文版撓性印制板質(zhì)量要求與性能規(guī)范匯編
- 青島版小學(xué)二年級(jí)數(shù)學(xué)下冊(cè)全冊(cè)教案
- 干部人事檔案專項(xiàng)審核認(rèn)定表
- GB/T 9113-2010整體鋼制管法蘭
- 校長在評(píng)估反饋會(huì)上的表態(tài)發(fā)言稿(5篇)
- 班會(huì)之心理教育系列調(diào)適心態(tài)珍愛生命
評(píng)論
0/150
提交評(píng)論