第二章總結(jié)與習(xí)題

1、第二章第二章 信源熵信源熵2022-4-301第二章總結(jié)(1) 單符號離散信源單符號離散信源 信息量信息量l自信息、條件自信息概念、性質(zhì)、計(jì)算自信息、條件自信息概念、性質(zhì)、計(jì)算l互信息、條件互信息概念、性質(zhì)、計(jì)算互信息、條件互信息概念、性質(zhì)、計(jì)算 互信息的三種表達(dá)方式（輸入端、輸出端、系統(tǒng)總體）互信息的三種表達(dá)方式（輸入端、輸出端、系統(tǒng)總體） 熵熵l信息熵的概念、性質(zhì)、計(jì)算信息熵的概念、性質(zhì)、計(jì)算 無條件熵、條件熵（信道疑義度、噪聲熵）無條件熵、條件熵（信道疑義度、噪聲熵）l平均互信息概念、性質(zhì)、計(jì)算平均互信息概念、性質(zhì)、計(jì)算平均互信息的三種表達(dá)方式平均互信息的三種表達(dá)方式平均互信息的凸函數(shù)性

2、平均互信息的凸函數(shù)性pI(X;Y)是是p(ai)的上凸函數(shù)的上凸函數(shù)pI(X;Y)是是p(bj/ai)的上凸函數(shù)的上凸函數(shù) 數(shù)據(jù)處理定理概念數(shù)據(jù)處理定理概念 理解各種熵之間的關(guān)系理解各種熵之間的關(guān)系第二章第二章 信源熵信源熵2022-4-302(2) 多符號離散信源多符號離散信源 離散平穩(wěn)無記憶信源概念、計(jì)算離散平穩(wěn)無記憶信源概念、計(jì)算 離散平穩(wěn)有記憶信源概念、簡單計(jì)算離散平穩(wěn)有記憶信源概念、簡單計(jì)算 條件熵、極限熵概念、簡單計(jì)算條件熵、極限熵概念、簡單計(jì)算 馬爾可夫信源概念、極限熵計(jì)算馬爾可夫信源概念、極限熵計(jì)算 信源冗余度概念、通信效率與可靠性的關(guān)系信源冗余度概念、通信效率與可靠性的關(guān)系(

3、3) 連續(xù)信源連續(xù)信源 概念、與離散信源的比較和區(qū)別、簡單計(jì)算概念、與離散信源的比較和區(qū)別、簡單計(jì)算 理解最大連續(xù)熵定理理解最大連續(xù)熵定理 熵功率的概念熵功率的概念(4) 離散無失真信源編碼定理離散無失真信源編碼定理 定長編碼定理定長編碼定理 變長編碼定理變長編碼定理第二章第二章 信源熵信源熵2022-4-303 symbolbitXHi/ 24log41log41)(411symbolbitXHi/ 38log81log81)(812symbolbitnXH/ 12loglog)(0第二章第二章 信源熵信源熵2022-4-304第二章第二章 信源熵信源熵2022-4-305525252!P2

4、2log (1/52!)log 52!1313524C13213524logC第二章第二章 信源熵信源熵2022-4-306 第二章第二章 信源熵信源熵2022-4-307 :設(shè)隨機(jī)變量設(shè)隨機(jī)變量Y代表女孩子身高代表女孩子身高 Xx1（是大學(xué)生）x2（不是大學(xué)生）P(X)0.250.75Yy1（身高160cm）y2（身高 0)的熵的熵Hc(Y)；(3) 試求試求Y = 2X的熵的熵Hc(Y)。解：解：(1) 其他00)(2axbxxpsymbolbiteabXHbaaFbxxFeababxdxxbbdxxxfdxxfbdxbxxfdxxfxfXHcXXRRRRRc/ log32log)(13)

5、(,3)(log92log log2log log)()(log log)()(log)()(33333222第二章第二章 信源熵信源熵2022-4-3059RRRRRcAyAYAydAyAybbdyAyyfdyyfbdyAybyfdyyfyfYHAybyFyfAybdxbxAyXPyAXPyYPyFAayAaAyax)()log()(2log )log()()(log )(log)()(log)()()()()()(3 )()()()(00222232(2)symbolbiteabYHbaAaFAybyFsymbolbiteababcYY/ log32log)(13)(,)(3)(/ log92log 33333第二章第二章 信源熵信源熵2022-4-3060symbolbiteabYHbaaFybyFbaeababeababydyybbdyyyfdyyfbdyybyfdyyfyfYHybyFyfybdxbxyXPyXPyYPyFayayaxcYYRRRRRcyY/ 1log32log)(13)2(,24)(329log92log 8