信息論期末復習課件

信息論期末復習幽默來自智慧，惡語來自無能信息論期末復習幽默來自智慧，惡語來自無能1信息論期末復習●●●●●●●●●●●●●●●●●●●●●●●●●信息論期末復習2●●●●●第一章概述●0●0●0●0●信息論的創(chuàng)始人:美國科學家香農1948年發(fā)表“通信的數(shù)學理論”,標志著信息論的誕生信息論是人們在長期通信工程的實踐中,由通信技術與概率論、隨機過程和數(shù)理統(tǒng)計相結合而逐漸發(fā)展起來的一門學科。通常人們公認信息論的奠基人是當代偉大的數(shù)學家、美國貝爾實驗室杰出的科學家香農C.E.Shannon),他在1948年發(fā)表了著名的論文<<通信的數(shù)學理論》>,為信息論奠定了理論基礎?！瘛瘛?●信息的概念●●●●●●0●01.信息、情報、知識、消息及信號間的區(qū)別與聯(lián)系●2.信息是事物運動狀態(tài)或存在方式的不確定性的描述。這就是香農信息的定義。●3.香農信息定義的優(yōu)點首先,它是一個科學的定義,有明確的數(shù)學模型和定量計算其次,它與日常用語中的信息的含意是一致的再者,它排除了對信息一詞某些主觀上的含義香農信息定義的缺陷4.首先,只考慮概率引發(fā)的不確定性其次,這個定義和度量沒有考慮收信者的主觀特性和主觀意義,信息的具體含意、具體用途、重要程度和引起后果等因素。而信息是有很強的主觀性和實用性的●信息的概念4●信息論的研究對象●●●命●信源編碼器信道譯碼器信宿消息信號消息天擾信號+干擾噪聲源圖1.3通信系統(tǒng)模型信息論研究的對象正是這種統(tǒng)一的通信系統(tǒng)模型,這個模型主要分成五部分:信息源(簡稱信源);編碼器;信道:譯碼器;信宿●信息論的研究目的信息論研究的目的就是要找到信息傳輸過程的共同規(guī)律,以提高信息傳輸?shù)目煽啃浴⒂行浴⒈Ｃ苄院驼J證性,使信息傳輸系統(tǒng)達到最優(yōu)化。●信息論的研究對象5信息的一些重要性質●●●●●●0●0●●存在的普遍性可壓縮性0●0有序性>可替代性相對性可擴散性D可度量性D>可共享性>可擴充性時效性可存儲、傳輸與攜帶性信息的獨有性質信息的一些重要性質6信息論的研究范圍●●●●經典信息論(狹義信息論、香農信息論)●0●0●0●0主要研究信息的測度、信道容量、信息率失真函數(shù)與這三個概念相對應的香農三定理以及信源和信道編碼一般信息論主要是研究信息傳輸和處理問題。除了香農基本理論之外,還包括噪聲理論、信號濾波和預測、統(tǒng)計檢測與估計理論、調制理論。后一部分內容以美國科學家維納(NWiener)為代表。廣義信息論概括說來,凡是能夠用廣義通信系統(tǒng)模型描述的過程或系統(tǒng),都能用信息基本理論來研究。信息論的研究范圍7●●●第二章離散信源及其信息測度●●●0●0●0●0●信源的數(shù)學模型及分類高源:可能軸出的消總是有限成可歌的每『x拋女分物出的幕息性軾量:可能著出的息數(shù)是無的或不可款的,每歡只出一個潤息2]11[21]:非平肯推述價源輸出剎息的險機學引x是非平監(jiān)機一寫細可夫物出的煎機序死中各量之間做美關系。但記長莊有限,并足馬爾可大健的件式[28〔時空向離離做平哪伯;出的機到xX萬放的魔機序列中↓量x1,2.取值是高平健溫推信測驗出息的機的并且機安量置的各分布不時輸出的平菌機序到x中各隨機變量序判K是平的筐機乳聞平葶面或變吏定為離放無記憶x的N擴限你溫,機式(29)則為燭平裁箱B的機x中各驗機變恥之機(潮罩(腦凱懼抓憮產就平供源:軸出圍前機序列X(X題信輸幽的消息是時間〔成空刺中每個機變量X,2,“,M攻值基續(xù)為限記憶信源并且機免量x的各晶率密度函數(shù)不隨時●●●8自信息1ax)=lg●●●P(a)●●●0●0(a)代表兩種含義當事件a,發(fā)生以前,表示事件a發(fā)生的不確定性;當事件a,發(fā)生以后,表示事件a所含有(或所提供)的信息量。自信息采用的單位取決于對數(shù)所選取的底比特奈特哈特●信息熵自信息的數(shù)學期望為信源的平均自信息量,即H()=ELogP(a,1=∑P(a)logP(a1)信息熵具有以下三種物理含義第一,信息熵H(X)是表示信源輸出后,每個消息(或符號)所提供的平均信息量第二,信息熵H(X)是表示信源輸出前,信源的平均不確定性第三,用信息熵H(X)來表征變量Y的隨機性。自信息1ax)=lg9·條件熵H(X/Y)=E(a1/b)●●●●●●0●0●∑∑p(anb,)logp(a1/b)0●0j=1i=1H(Y/X)=EL/(b,ai)∑∑pab)gp(b/a)·聯(lián)合熵H(XY)=∑∑p(ab)(ab)∑∑p(ab/)ogp(ab)·條件熵H(X/Y)=E(a1/b)10信息熵的基本性質●●●●●●●0●H(=∑P()lgP()=∑plgn=H(2P2;,P2)=B(P●0●0H(P是概率矢量P的函數(shù),我們稱H(P為熵函數(shù)具有下列性質:1.對稱性H(P1P2…P)=H(P2P3…PB)=…=團(P2P…P21)2.確定性H(1,0)=H(1,0,0)=…=H(1,0,…,0)=03.非負性H(P)=H(2P2;…P)=∑plogp20擴展性mH:(12P2…,P-6,)=H2(1,P2;…,P45.可加性(1)=B(X)+H()6.強可加性(X7)=H()+l(信息熵的基本性質11信息論期末復習課件12信息論期末復習課件13信息論期末復習課件14信息論期末復習課件15信息論期末復習課件16信息論期末復習課件17信息論期末復習課件18信息論期末復習課件19信息論期末復習課件20信息論期末復習課件21信息論期末復習課件22信息論期末復習課件23信息論期末復習課件24信息論期末復習課件25信息論期末復習課件26信息論期末復習課件27信息論期末復習課件28信息論期末復習課件29信息論期末復習課件30信息論期末復習課件31信息論期末復習課件32信息論期末復習課件33信息論期末復習課件34信息論期末復習課件35信息論期末復習課件36信息論期末復習課件37信息論期末復習課件38信息論期末復習課件39信息論期末復習課件40信息論期末復習課件41信息論期末復習課件42信息論期末復習課件43信息論期末復習課件44信息論期末復習課件45信息論期末復習課件46信息論期末復習課件47信息論期末復習課件48信息論期末復習課件49信息論期末復習課件50信息論期末復習課件51信息論期末復習課件52信息論期末復習課件53信息論期末復習課件54信息論期末復習課件55信息論期末復習課件56信息論期末復習課件57信息論期末復習課件58信息論期末復習課件59信息論期末復習課件60信息論期末復習課件6131、只有永遠躺在泥坑里的人，才不會再掉進坑里?！诟駹?/p>

32、希望的燈一旦熄滅，生活剎那間變成了一片黑暗?！樟心凡?/p>

33、希望是人生的乳母。——科策布

34、形成天才的決定因素應該是勤奮?！?/p>

35、學到很多東西的訣竅，就是一下子不要學很多。——洛克31、只有永遠躺在泥坑里的人，才不會再掉進坑里62信息論期末復習幽默來自智慧，惡語來自無能信息論期末復習幽默來自智慧，惡語來自無能63信息論期末復習●●●●●●●●●●●●●●●●●●●●●●●●●信息論期末復習64●●●●●第一章概述●0●0●0●0●信息論的創(chuàng)始人:美國科學家香農1948年發(fā)表“通信的數(shù)學理論”,標志著信息論的誕生信息論是人們在長期通信工程的實踐中,由通信技術與概率論、隨機過程和數(shù)理統(tǒng)計相結合而逐漸發(fā)展起來的一門學科。通常人們公認信息論的奠基人是當代偉大的數(shù)學家、美國貝爾實驗室杰出的科學家香農C.E.Shannon),他在1948年發(fā)表了著名的論文<<通信的數(shù)學理論》>,為信息論奠定了理論基礎?！瘛瘛?5●信息的概念●●●●●●0●01.信息、情報、知識、消息及信號間的區(qū)別與聯(lián)系●2.信息是事物運動狀態(tài)或存在方式的不確定性的描述。這就是香農信息的定義?！?.香農信息定義的優(yōu)點首先,它是一個科學的定義,有明確的數(shù)學模型和定量計算其次,它與日常用語中的信息的含意是一致的再者,它排除了對信息一詞某些主觀上的含義香農信息定義的缺陷4.首先,只考慮概率引發(fā)的不確定性其次,這個定義和度量沒有考慮收信者的主觀特性和主觀意義,信息的具體含意、具體用途、重要程度和引起后果等因素。而信息是有很強的主觀性和實用性的●信息的概念66●信息論的研究對象●●●命●信源編碼器信道譯碼器信宿消息信號消息天擾信號+干擾噪聲源圖1.3通信系統(tǒng)模型信息論研究的對象正是這種統(tǒng)一的通信系統(tǒng)模型,這個模型主要分成五部分:信息源(簡稱信源);編碼器;信道:譯碼器;信宿●信息論的研究目的信息論研究的目的就是要找到信息傳輸過程的共同規(guī)律,以提高信息傳輸?shù)目煽啃浴⒂行?、保密性和認證性,使信息傳輸系統(tǒng)達到最優(yōu)化?！裥畔⒄摰难芯繉ο?7信息的一些重要性質●●●●●●0●0●●存在的普遍性可壓縮性0●0有序性>可替代性相對性可擴散性D可度量性D>可共享性>可擴充性時效性可存儲、傳輸與攜帶性信息的獨有性質信息的一些重要性質68信息論的研究范圍●●●●經典信息論(狹義信息論、香農信息論)●0●0●0●0主要研究信息的測度、信道容量、信息率失真函數(shù)與這三個概念相對應的香農三定理以及信源和信道編碼一般信息論主要是研究信息傳輸和處理問題。除了香農基本理論之外,還包括噪聲理論、信號濾波和預測、統(tǒng)計檢測與估計理論、調制理論。后一部分內容以美國科學家維納(NWiener)為代表。廣義信息論概括說來,凡是能夠用廣義通信系統(tǒng)模型描述的過程或系統(tǒng),都能用信息基本理論來研究。信息論的研究范圍69●●●第二章離散信源及其信息測度●●●0●0●0●0●信源的數(shù)學模型及分類高源:可能軸出的消總是有限成可歌的每『x拋女分物出的幕息性軾量:可能著出的息數(shù)是無的或不可款的,每歡只出一個潤息2]11[21]:非平肯推述價源輸出剎息的險機學引x是非平監(jiān)機一寫細可夫物出的煎機序死中各量之間做美關系。但記長莊有限,并足馬爾可大健的件式[28〔時空向離離做平哪伯;出的機到xX萬放的魔機序列中↓量x1,2.取值是高平健溫推信測驗出息的機的并且機安量置的各分布不時輸出的平菌機序到x中各隨機變量序判K是平的筐機乳聞平葶面或變吏定為離放無記憶x的N擴限你溫,機式(29)則為燭平裁箱B的機x中各驗機變恥之機(潮罩(腦凱懼抓憮產就平供源:軸出圍前機序列X(X題信輸幽的消息是時間〔成空刺中每個機變量X,2,“,M攻值基續(xù)為限記憶信源并且機免量x的各晶率密度函數(shù)不隨時●●●70自信息1ax)=lg●●●P(a)●●●0●0(a)代表兩種含義當事件a,發(fā)生以前,表示事件a發(fā)生的不確定性;當事件a,發(fā)生以后,表示事件a所含有(或所提供)的信息量。自信息采用的單位取決于對數(shù)所選取的底比特奈特哈特●信息熵自信息的數(shù)學期望為信源的平均自信息量,即H()=ELogP(a,1=∑P(a)logP(a1)信息熵具有以下三種物理含義第一,信息熵H(X)是表示信源輸出后,每個消息(或符號)所提供的平均信息量第二,信息熵H(X)是表示信源輸出前,信源的平均不確定性第三,用信息熵H(X)來表征變量Y的隨機性。自信息1ax)=lg71·條件熵H(X/Y)=E(a1/b)●●●●●●0●0●∑∑p(anb,)logp(a1/b)0●0j=1i=1H(Y/X)=EL/(b,ai)∑∑pab)gp(b/a)·聯(lián)合熵H(XY)=∑∑p(ab)(ab)∑∑p(ab/)ogp(ab)·條件熵H(X/Y)=E(a1/b)72信息熵的基本性質●●●●●●●0●H(=∑P()lgP()=∑plgn=H(2P2;,P2)=B(P●0●0H(P是概率矢量P的函數(shù),我們稱H(P為熵函數(shù)具有下列性質:1.對稱性H(P1P2…P)=H(P2P3…PB)=…=團(P2P…P21)2.確定性H(1,0)=H(1,0,0)=…=H(1,0,…,0)=03.非負性H(P)=H(2P2;…P)=∑plogp20擴展性mH:(12P2…,P-6,)=H2(1,P2;…,P45.可加性(1)=B(X)+H()6.強可加性(X7)=H()+l(信息熵的基本性質73信息論期末復習課件74信息論期末復習課件75信息論期末復習課件76信息論期末復習課件77信息論期末復習課件78信息論期末復習課件79信息論期末復習課件80信息論期末復習課件81信息論期末復習課件82信息論期末復習課件83信息論期末復習課件84信息論期末復習課件85信息論期末復習課件86信息論期末復習課件87信息論期末復習課件88信息論期末復習課件89信息論期末復習課件90信息論期末復習課件91信息論期末復