信息論與編碼第2章.ppt.ppt_第1頁(yè)
信息論與編碼第2章.ppt.ppt_第2頁(yè)
信息論與編碼第2章.ppt.ppt_第3頁(yè)
信息論與編碼第2章.ppt.ppt_第4頁(yè)
信息論與編碼第2章.ppt.ppt_第5頁(yè)
已閱讀5頁(yè)，還剩9頁(yè)未讀， 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、第2章 離散信息的度量,引言,Ludwig Eduard Boltzmann與熵,離散熵的定義,投擲硬幣系統(tǒng) 0和1組成的序列 信息量的單位 信息 類比Boltzmann的熵公式 信息量為描述隨機(jī)變量所需長(zhǎng)度的數(shù)學(xué)期望,熵,離散型隨機(jī)變量的熵 數(shù)學(xué)期望的語(yǔ)言,熵的計(jì)算,某人一次投擲兩個(gè)硬幣，假定其朝向滿足等概分布，求此人進(jìn)行一次投擲的熵。 從一副混洗均勻的牌中任意抽出一張，求該行為蘊(yùn)涵的信息量。 只有考察整個(gè)系統(tǒng)的信息量即熵才有意義,聯(lián)合熵與條件熵,聯(lián)合熵 條件熵,鏈?zhǔn)椒▌t(Chain Rule),信息的獲取存在多種方式：既可一次完全獲取信息；也可分步驟依次獲取部分信息后再整合為完整的信息。,

2、相對(duì)熵與互信息,估計(jì)的無(wú)效性 相對(duì)熵非負(fù) 特殊的相對(duì)熵-互信息,信息量之間的關(guān)系,離散熵的基本性質(zhì),單位的換算 僅與概率分布的取值有關(guān) 概率為0不影響熵 強(qiáng)可加性 合并 與 拆分,鏈?zhǔn)椒▌t (續(xù)),向量情況的表達(dá) 某些有用形式 條件互信息的鏈?zhǔn)椒▌t,不等式,離散熵的最值問(wèn)題 條件熵不等式,信息不等式,相對(duì)熵非負(fù) 利用相對(duì)熵非負(fù)可證明前文中的若干不等式 因此該性質(zhì)也稱為信息不等式(Information Inequality),離散熵的形式唯一性*,從公理化的角度對(duì)離散熵進(jìn)行確切定義 證明思路 先討論特殊情況，即等概分布時(shí)離散熵的值； 再嘗試給出有理數(shù)情況下離散熵的表達(dá)式； 最后推廣到實(shí)數(shù)情況下離散熵的定義。 其證明要點(diǎn)是利用離散熵的定

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽，若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間，僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請(qǐng)與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論