信息論與編碼復(fù)習(xí)提綱(2013)

1、信息論與編碼復(fù)習(xí)提綱 本課程為考試課，閉卷 成績(jī)構(gòu)成：20%（平時(shí)）+80%（卷面） 考題類型： 1、填空題20分，每空2分 2、判斷題10分，每題2分 3、簡(jiǎn)單分析題20分，每題5分 4、綜合計(jì)算題50分，4個(gè)大題。 需掌握的知識(shí)點(diǎn) 1、自信息量的計(jì)算，P15，公式2.1.1 注意：計(jì)算自信息量時(shí)，計(jì)算器上用的log按鈕 是10為底的，需*3.322比特，算出的信息量才是 以比特/符號(hào)為單位。 例：同時(shí)扔一對(duì)均勻的骰子，當(dāng)?shù)弥皟慎蛔用?朝上點(diǎn)數(shù)之和為7”時(shí)，得到的信息量是多少比特？ p(兩骰子面朝上點(diǎn)數(shù)之和為7)= I=-logp=2.29比特 類似的題目還有習(xí)題2.1，2.2，2.3，2

2、.4，2.5 36 6 2、條件自信息量的計(jì)算，P16，公式2.1.3 P16，例2.1.2。 3、互信息量的計(jì)算，P17，公式2.2.1或2.2.2。互 信息量的對(duì)稱性。習(xí)題2.8 4、熵（也稱平均自信息量）的計(jì)算，P20， 公式2.3.1。 例題2.3.1，習(xí)題2.6； P23熵的對(duì)稱性，公式2.3.11， P25熵的極值性，：集合x(chóng)中的各事件等概率 發(fā)生時(shí)，熵達(dá)到極大值logn，n是集合X的元 素?cái)?shù)目。 5、條件熵H（X|Y），H（Y|X）的計(jì)算， P28公式2.3.20，2.3.21 關(guān)于熵與概率的各種計(jì)算關(guān)系，見(jiàn)P30例 2.3.3 6、平均互信息量的計(jì)算，P38頁(yè)公式2.4.6，

3、或公式2.4.7，P84例4.2.2 7、離散無(wú)記憶信源的N次擴(kuò)展信源的熵P47， 公式3.3.7。 離散無(wú)記憶信源X的N次擴(kuò)展信源XN的熵等于 信源X的熵的N倍。H（XN）=NH（X） 習(xí)題2.7。 8、m階馬爾可夫信源的定義：信源當(dāng)前時(shí)刻發(fā)什 么符號(hào)只與前面的m個(gè)符號(hào)相關(guān)，而與更前面的符 號(hào)無(wú)關(guān)。P58頁(yè)p(aim+1|ai1ai2.aim) (1)能根據(jù)狀態(tài)轉(zhuǎn)移圖，寫(xiě)出狀態(tài)轉(zhuǎn)移矩陣(也稱傳 遞概率矩陣） (2)能計(jì)算H(X|Sj) (3)能計(jì)算馬爾可夫信源的熵： Hm+1= P59例3.5.3，習(xí)題3.8，3.9 j S jj SXHSp)|()( 9、信息傳輸率的計(jì)算，P95公式4.5

4、.1，公式 4.5.2 例1：已知一信源包含4個(gè)消息符號(hào)，其出現(xiàn)的概 率分別為P=0.2，0.5，0.2，0.1,則該信源的熵 為多少？若信源在每秒鐘內(nèi)發(fā)出1000個(gè)符號(hào)，則 信源的信息傳輸率R為多少？ H(X)= 比特/符號(hào) R=1000*1.76=1760比特/秒 76. 1)(log)( X xpxp 10、信道容量:P81定理4.2.1，P82定理4.2.2 計(jì)算公式，P96公式4.5.3，4.5.4，P97公式 4.5.6，4.5.7，4.5.8 對(duì)稱離散信道容量的計(jì)算，P99公式4.5.9， 什么樣的信道是無(wú)損信道，確定信道，無(wú)損 確定信道，對(duì)稱信道，準(zhǔn)對(duì)稱信道？ P98對(duì)稱離散信

5、道和非對(duì)稱離散信道的4矩陣 例子。 二進(jìn)制對(duì)稱信道容量的計(jì)算，P100上的公式： C=1-H(p)。 例：有一個(gè)二進(jìn)制對(duì)稱信道，其信道在傳輸 信息的過(guò)程中，正確傳輸?shù)母怕适?.98，錯(cuò) 誤傳輸?shù)母怕适?.02。設(shè)該信道以每秒1500 個(gè)符號(hào)的速率傳輸輸入的符號(hào) ?，F(xiàn)有一消息 序列共有14000個(gè)二元符號(hào)，并設(shè)在這個(gè)消 息中P（0）=P（1）= 。 （1）畫(huà)出該二進(jìn)制對(duì)稱信道的傳輸特性圖， 并寫(xiě)出其信道矩陣。 （2）問(wèn)從信息傳輸?shù)慕嵌葋?lái)考慮，10秒內(nèi)能 否將這消息序列無(wú)失真地傳送完。 （1）信道傳輸特性信道傳輸特性： 信道矩陣：信道矩陣：P= （2）該二進(jìn)制對(duì)稱信道的信道容量為：）該二進(jìn)制對(duì)稱信

6、道的信道容量為： C=1-H（0.98，0.02）=0.86比特比特/符號(hào)符號(hào) 碼元傳送速率碼元傳送速率R=1500符號(hào)符號(hào)/秒秒 ，信道容量，信道容量 C=0.86*1500=1290比特比特/秒秒 該信道在該信道在10秒內(nèi)無(wú)失真地最多傳輸?shù)姆?hào)數(shù)秒內(nèi)無(wú)失真地最多傳輸?shù)姆?hào)數(shù) 為：為：10*1290=12900 因?yàn)橐驗(yàn)?290014000,故從信息傳輸?shù)慕嵌葋?lái)考故從信息傳輸?shù)慕嵌葋?lái)考 慮，慮，10秒內(nèi)不能將這消息序列無(wú)失真地傳送秒內(nèi)不能將這消息序列無(wú)失真地傳送 完完 YX 0 1 0 1 0.98 0.98 0.020.02 98. 002. 0 02. 098. 0 11、香農(nóng)編碼，哈夫曼編碼的步驟，平均碼長(zhǎng)，編 碼效率的計(jì)算公式。 為了獲得同樣的編碼效率，定長(zhǎng)碼需要的碼長(zhǎng)比變 長(zhǎng)碼大得多。 哈夫曼編碼不唯一。 P140例5.1.4 P141，P142，例5.1.5，5.1.6，5.1.7 12、信道編碼 (1)碼字距離的定義 （2） 發(fā)現(xiàn)e個(gè)獨(dú)立隨機(jī)錯(cuò)誤，碼字最小距離的要求，t 個(gè)獨(dú)立隨機(jī)錯(cuò)誤，碼字最小距離的要求；發(fā)現(xiàn)e個(gè)獨(dú)立 隨機(jī)錯(cuò)誤，同時(shí)糾正t個(gè)獨(dú)立隨機(jī)錯(cuò)誤，碼字最小距離的 要求P202； （3）漢明距離的定義P217；漢明碼P226的特點(diǎn)； （4）線性分組碼的生成矩陣P2