信息論基礎(chǔ)-練習(xí)與思考1.ppt

1、2020/8/3,1,No Chance Stay For You !,孫子兵法曰：“激水之疾，至于漂石者，勢(shì)也”速度決定了石頭能否漂起來(lái) 早起的鳥兒有蟲吃，趕在別人前頭，不要停下來(lái)，這是競(jìng)爭(zhēng)者的狀態(tài)，也是勝者的狀態(tài)。如果成功有捷徑的話，那就是飛，時(shí)刻準(zhǔn)備飛！,沒有機(jī)會(huì)為你停留 !,2020/8/3,2,第二章總結(jié),(1) 單符號(hào)離散信源 信息量 自信息、條件自信息概念、性質(zhì)、計(jì)算 互信息、條件互信息概念、性質(zhì)、計(jì)算 互信息的三種表達(dá)方式（輸入端、輸出端、系統(tǒng)總體） 熵 信息熵的概念、性質(zhì)、計(jì)算 無(wú)條件熵、條件熵（信道疑義度、噪聲熵） 平均互信息概念、性質(zhì)、計(jì)算 平均互信息的三種表達(dá)方式 平均

2、互信息的凸函數(shù)性 I(X;Y)是p(xi)的上凸函數(shù) I(X;Y)是p(yj/xi)的上凸函數(shù) 數(shù)據(jù)處理定理概念 理解各種熵之間的關(guān)系,2020/8/3,3,(2) 多符號(hào)離散信源 離散平穩(wěn)無(wú)記憶信源概念、計(jì)算 離散平穩(wěn)有記憶信源概念、簡(jiǎn)單計(jì)算 條件熵、極限熵概念、簡(jiǎn)單計(jì)算 馬爾可夫信源概念、極限熵計(jì)算 信源冗余度概念、通信效率與可靠性的關(guān)系 (3) 連續(xù)信源 概念、與離散信源的比較和區(qū)別、簡(jiǎn)單計(jì)算 理解最大連續(xù)熵定理 熵功率的概念 (4) 離散無(wú)失真信源編碼定理 定長(zhǎng)編碼定理 變長(zhǎng)編碼定理,2020/8/3,4,作業(yè)題1,2.1.設(shè)有12枚同值硬幣，其中有一枚為假幣，且只知道假幣的重量與真幣

3、的重量不同，但不知究竟是重還是輕?，F(xiàn)采用天平比較左右兩邊輕重的方法來(lái)測(cè)量（因無(wú)砝碼）。為了在天平上稱出哪一枚是假幣，試問至少必須稱多少次？,2020/8/3,5,作業(yè)題1,解答：在12枚同值硬幣中，哪一枚是假幣，假幣的重量是比真幣的重量重還是輕，都是“無(wú)知”、“不確定的”。而用天平比較左右兩邊輕重的測(cè)量方法，每測(cè)一次，能獲得一定的信息量，能消除部分不確定性，則就能確定出其中一枚假幣及其重量。因此， 設(shè)“在12枚同值硬幣中，某一枚為假幣”這事件為 ,其出現(xiàn)的概率為 又設(shè)“假幣的重量比真幣的重量是重或輕”這事件為 ，其出現(xiàn)的概率為 事件 的不確定性為 事件 的不確定性為,2020/8/3,6,作業(yè)

4、題1,要發(fā)現(xiàn)某假幣并知其比真幣重還是輕所需的信息量就是要消除這兩個(gè)事件的不確定性。因?yàn)檫@兩個(gè)事件是統(tǒng)計(jì)獨(dú)立事件，所以需要獲得的信息量為 而在天平上稱一次能判斷出三種情況：重、輕和相等，這事件為 。這三種情況是等概率的。其概率為 。 所以，天平測(cè)一次能獲得的信息量（即消除的不確定性）為 則至少必須稱的次數(shù)為 因此至少必須稱三次。,2020/8/3,7,作業(yè)題2,2.2. 同時(shí)扔一對(duì)均勻的骰子，當(dāng)?shù)弥皟慎蛔用娉宵c(diǎn)數(shù)之和為2”或“面朝上點(diǎn)數(shù)之和為8”或“骰子面朝上點(diǎn)數(shù)是3和4時(shí)”，試問這三種情況分別獲得多少信息量？,2020/8/3,8,作業(yè)題2,解答：骰子一共有六面，某一骰子扔得某一點(diǎn)數(shù)面朝上

5、的概率是相等的，均為1/6。兩骰子面朝上點(diǎn)數(shù)的狀態(tài)共有36種，其中任一狀態(tài)出現(xiàn)都是等概率的，出現(xiàn)概率為1/36。 (1)設(shè)“兩骰子面朝上點(diǎn)數(shù)之和為2”是事件A,點(diǎn)數(shù)之和為2的只有一種(1+1)，故有 (2)設(shè)“兩骰子面朝上點(diǎn)數(shù)之和為8”是事件B,點(diǎn)數(shù)之和為8的有5種(2+6， 6+2 ， 4+4， 3+5， 5+3),2020/8/3,9,作業(yè)題2,(3)設(shè)“骰子面朝上點(diǎn)數(shù)是3和4時(shí)”是事件C,點(diǎn)數(shù)為3和4的狀態(tài)只有兩種，即3、4和4、3,2020/8/3,10,作業(yè)題3,2.5.一幅充分洗亂了的牌（含52張牌），試問 (1) 任一特定排列所給出的信息量是多少？ (2) 若從中抽取13張牌，所

6、給出的點(diǎn)數(shù)都不相同能得到多少信息量？,2020/8/3,11,作業(yè)題3,解答： (1)任意排列共有 種，則任一排列的自信息量為： (2)應(yīng)將點(diǎn)數(shù)相同花色不同的牌看作一類，則任意抽取的13張牌應(yīng)在13類種分別進(jìn)行。其概率為 信息量為：,2020/8/3,12,作業(yè)題4,2020/8/3,13,作業(yè)題4,2020/8/3,14,作業(yè)題5,2.13. (1) 為了使電視圖像獲得良好的清晰度和規(guī)定的適當(dāng)?shù)膶?duì)比度，需要用5105個(gè)象素和10個(gè)不同亮度電平，求傳遞此圖像所需的信息率（比特/秒）。并設(shè)每秒要傳送30幀圖像，所有象素是獨(dú)立變化的，且所有亮度電平等概率出現(xiàn)？ (2) 設(shè)某彩色電視系統(tǒng)，除了滿足對(duì)

7、于黑白電視系統(tǒng)的上述要求外，還必須有30個(gè)不同的色彩度，試證明傳輸該彩色系統(tǒng)的信息率要比黑白系統(tǒng)的信息率約大2.5倍？,2020/8/3,15,作業(yè)題5,解答. (1)每個(gè)象素亮度信源的概率空間為 每個(gè)象素亮度含有的信息量 每幀圖像信源就是離散亮度信源的無(wú)記憶N次擴(kuò)展信源，可得每幀圖像含有的信息量為 每秒30幀，則傳遞此圖像所需的信息率為,2020/8/3,16,作業(yè)題5,解答. (2)色彩度信源的概率空間為 每個(gè)色彩度含有的信息量 亮度和色彩度是獨(dú)立同時(shí)出現(xiàn)的，每個(gè)象素含有的信息量為 在每幀所用象素?cái)?shù)和每秒傳送幀數(shù)相同時(shí)，信息率之比為,2020/8/3,17,作業(yè)題6,2.18.設(shè)有一個(gè)信源

8、，它產(chǎn)生0,1序列的信息。它在任意時(shí)間而且不論以前發(fā)生過什么符號(hào)，均按P(0)=0.4，P(1)=0.6的概率發(fā)出符號(hào)。 (1)試問這個(gè)信源是否是平穩(wěn)的？ (2)試計(jì)算 (3)試計(jì)算 H(x4)并寫出x4信源中可能有的所有符號(hào)。,2020/8/3,18,作業(yè)題6,解答： (1)信源發(fā)出符號(hào)的概率分布與時(shí)間平移無(wú)關(guān)，而且信源發(fā)出的序列之間也是彼此無(wú)依賴的，因此該信源是平穩(wěn)的，而且是離散無(wú)記憶信源。 (2),2020/8/3,19,作業(yè)題6,(3),2020/8/3,20,作業(yè)題7,2.22.一階馬爾可夫信源的狀態(tài)圖如圖2.8所示。信源X的符號(hào)集為0,1,2。 (1)求信源平穩(wěn)后的概率分布P(0)

9、,P(1),P(2)； (2)求信源的熵H。 (3)近似認(rèn)為此信源為無(wú)記憶時(shí)， 符號(hào)的概率分布為平穩(wěn)分布， 求近似信源的熵H(X), 并與H進(jìn)行比較。 (4)對(duì)一階馬爾可夫信源p取何值時(shí)H最大， 當(dāng)p=0和p=1時(shí)結(jié)果又如何。,2020/8/3,21,作業(yè)題7,2020/8/3,22,作業(yè)題7,2020/8/3,23,作業(yè)題7,2020/8/3,24,作業(yè)題7,2020/8/3,25,作業(yè)題8,2.23.一階馬爾可夫信源的狀態(tài)圖如圖2.9所示。信源X的符號(hào)集為0,1,2。 (1)求平穩(wěn)后信源的概率分布； (2)求信源的熵H。 (3)求當(dāng)p=0和p=1時(shí)信源的熵， 并說(shuō)明理由。,2020/8/3

10、,26,作業(yè)題8,2020/8/3,27,作業(yè)題8,2020/8/3,28,作業(yè)題9,2.25.一黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X=黑,白。設(shè)黑色出現(xiàn)的概率為P(黑)=0.3，白色的出現(xiàn)概率P(白)=0.7。 (1) 假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵H(X)； (2) 假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為P(白/白)=0.9，P(黑/白)=0.1， P(白/黑)=0.2，P(黑/黑)=0.8，求此一階馬爾可夫信源的熵H2 (X)； (3) 分別求上述兩種信源的剩余度，比較和的大小，并說(shuō)明其物理意義。,2020/8/3,29,作業(yè)題9,2020/8/3,30,作業(yè)題9,(2),2020/8/3,31,作業(yè)題9,(3),2020/8/3,32,練習(xí)題1,1.設(shè)有一非均勻骰子，若其任一面出現(xiàn)的概率與該面上的點(diǎn)數(shù)成正比，試求各點(diǎn)出現(xiàn)時(shí)所給出的信息量，并求扔一次平均得到的信息量。,2020/8/3,33,練習(xí)題2,2.證明離散平穩(wěn)信源有,2020/8/3,34,3.每幀電視圖像可以認(rèn)為是由3105個(gè)像素組成的，所有像素均是獨(dú)立變化，且每像素又取128個(gè)不同的亮度電平，并設(shè)亮度電平是等概率出現(xiàn)，問每幀圖像含有多少