信息論與編碼知識點分布

1、信息論與編碼知識點分布注：（1）復習過程中參考如下知識點，重點復習教材與多媒體講義中的相關內(nèi)容，在理解的基 礎上進行針對性公式記憶。（2）期末考試題量較大，題型較為靈活，求解速度很重要。因此復習中對典型例題、講義 中典型習題、教材中模擬題等要熟練掌握求解方法。第二章信源與信源熵1信源的不確定性2單符號離散信源（1）單符號離散信源的數(shù)學模型XP(X)為，X2,P（X1）,P（X2）,Xi,，P (Xi),XnP(Xn)（2）單符號離散信源的信息量 自信息量：（自信息量、聯(lián)合信息量、條件信息量及三種信息量的關系）I(x)log p(Xi)條件信息量:I (Xi / yj)log2 p(Xi / y

2、j)聯(lián)合信息量:I (XiYj) log 2 P(Xi Yj) log 2 p (Yj) p(Xi /yj)I (Xi) I (Xi / Yj) I(Yj) I(Yj/Xi)互信息量:I (Xi) I(yj) I(xyj)P(X / Yj)I(Xi；Yj) log2K I(Xi) I(Xi/Yj)信源熵:1WX)EI(X)印0g 2 而nP(Xi) log2 P(Xi)i 1條件熵:聯(lián)合熵:H(X/Y)EI(Xi / Yj)P(Xi Yj )I (Xi / Yj )H(XY)P(Xi Yj )I (XiYj)i 1 j 1mP(Xi Yj )log 2 P(XiYj )i 1 j 1熵函數(shù)的性

3、質：非負性；對稱性；最大離散熵定理; 平均互信息量：擴展性；可加性；極值性;1客稱L/(A)*（醪"占（丄7?-片0rJQ«陀）HiK)S=n jiJ) jn-ur：F0 曲Tl曲蕊亠ft(tiyJf1畔7/CVO)川需/門三（7）-丹（門=B（占-幵臟打r JH(F m77(1 'A3-/A13=-/tnV-Mli言鳳肋-班JT）斤MH鄧沖曰八-剽JC 7） =尸伏亠也門一即TA jsvr J） 口r J汁AjmJT/cv；n-/(r-nE E.cm-M口 門-jyot-itf-.i. Jf)Fm 甘訂G出r*i=用訪-冃丁"冃口丁 '00各種熵

4、之間的關系:l(X;Y)i 1P (Xiyj)log2 rXT、I(Y；X) j 1P(X)p(yj)例題：在理解的基礎上求解實際問題:12 1設有12妝同值硬幣，耳中有一枚為幣.呂知逋翌祈典帝號與S幣的帝S不同”但不知究竟jsaif世縊-現(xiàn)比較天平莊右離也輕®的方迭棗«冷.為-任養(yǎng)平上稱出一枚呈假幣.試間辛少必如稱多少）："從£：a論的傅廈S*幣申，某一枚為鍛帀*讖事fr發(fā)生的（ft率為p=吉;亠假幣的啟ft比真的輕啞畝"IS事fr蛙生的槪卑為F-;為確'是殊一枚是毀!,即上迷悶事件的霞合不確從性，由干二丹是S1立的，1®J

5、 = kjel2+log2 = kie24 比特冊用天平林時，甘三種可能性：臥輕、相等，三吿壘等舉率的-均為p=p e比氓平毎一扶消瞬:的干確建性為J - b蘭3比站因此，必姒秣的歡數(shù)為E也至少鬧稱；汰*3多符號離散平穩(wěn)信源離散無記憶擴展信源：定義；離散無記憶信源 X的N次擴展信源的熵就是離散信源 X的熵的N倍H(Xn) NH (X)離散平穩(wěn)信源：定義；平均符號熵與極限熵;4馬爾可夫信源：定義；信源狀態(tài)轉移圖；各態(tài)遍歷定理；熵計算第二章無失真信源編碼1信源編碼的分類:"非分細碼. 詣*r奇異碼.L為鈿碼，1fL非異碼I憔F呵普彎質衛(wèi)L即時碼(非延長碼)2 Kraft不等式與碼樹表示法

6、；平均碼長；編碼效率;3定長編碼定理；變長編碼定理；4香農(nóng)、費諾、Huffman、游程編碼、LD編碼、算數(shù)編碼、LZW 編碼的編碼過程。第四章限失真信源編碼1失真測度與失真矩陣；2平均失真度與保真度準則；3信息率失真函數(shù) R (D)4漢明失真下的的二元信源及其定義域的確定；R ( D)的定義式;5對稱失真矩陣下 n元等概信源率失真函數(shù)的定義式;6限失真信源編碼定理及應用；7多媒體壓縮編碼(了解)第五章信道及信道容量1 一般信道的數(shù)學模型:P(丫 1 X)P(bi |ai)P(b a)P(b2 |ai).P(a|a2) .P(bm |ai)P(bm a)p(b |an)p(b2 |an).p(b

7、m |an)2信道容量的定義:C max。")bit/信道符號3信道容量的計算：特殊的單符號離散信道的信道容量 一一對應關系的無損信道P(Xi)C maxl(X;Y) maxH (X) maxH (Y) log2 n log2 mP (Xi)p (x)p(x)具有歸并性能的無噪信道H(X) log2nmax I (X ;Y) maxP (Xi)p(x)具有擴展性能的無噪信道強對稱離散信道的信道容量max"；Y) maxH(Y) log 2 mC max H (Y) H (Y / X )log2 n plog2 P P logm(axH(Y) Hni p2百對稱離散信道的信道

8、容量（行可排列、列可排列性）C m(aXH(Y) H(Y/X) log2m HGq,，qm)準對稱離散信道的信道容量（行可排列，列不可排列-分割）般離散信道的信道容量計算步驟:JflJW主工/O/斗）d二工P（兒/兀）咤2川兒/從求0廠 戶17=1（釈（2） c = log,工 2內(nèi)由0（兒）=2心1求況打由P（兒）=Z P（兀）/兀L求pg）。4多符號離散信道：N倍。離散無記憶信道的 N次擴展信道，如果信源也是離散無記憶信源的N次擴展信源，則信道總的平均互信息量是單符號離散無記憶信道的平均互信息量的 獨立并聯(lián)信道（積信道與和信道）N個獨立并聯(lián)信道的信道容量等于各個信道容量之和級聯(lián)信道其容量用單幅號信道的信道容量計算多級級聯(lián)信道的總信道矩陣等于所有信道軍陣的乘積。方法即可。第六章 信道編碼1 檢錯及糾錯的基本原理；2 最小漢明距離與檢錯糾錯能力；3 奇偶校驗碼、重復碼、等重碼的校驗原理；4 最大后驗概率準則譯碼、最大似然準則譯碼；5 信道編碼定理：對離散平穩(wěn)無記憶信道，其信道容量為C,輸入序列長度為L。只要實際信息率 R<C，就必可找到一種編碼，當 L足夠長時，譯碼差錯概率 Pe <a, a為任意大于零的正數(shù)。反之，若實 際信息率R>C，則對任何編碼，Pe必大于零。6 線性