信息論 總復(fù)習(xí)

1、.,1,總 復(fù) 習(xí),1 概論 2 信源及信息熵 3 信源編碼 4 信道及信道容量 5 信道編碼 6 信息率失真函數(shù) 7 考試情況,.,2,信息與消息和信號(hào)的區(qū)別 消息：是指包含有信息的語(yǔ)言、文字和圖像等，可表達(dá)客觀物質(zhì)運(yùn)動(dòng)和主觀思維活動(dòng)的狀態(tài)。 信號(hào)：把消息變換成適合信道傳輸?shù)奈锢砹?，這種物理量稱為信號(hào)（如電信號(hào)、光信號(hào)、聲音信號(hào)等）。 信息是事物運(yùn)動(dòng)狀態(tài)和狀態(tài)改變的方式。,第1章 概論,.,3,信息 信息是事物運(yùn)動(dòng)狀態(tài)和狀態(tài)改變的方式。 研究信息論的目的：它的主要目的是提高信息系統(tǒng)的可靠性、有效性和安全性以便達(dá)到系統(tǒng)最優(yōu)化。 在通信系統(tǒng)中形式上傳輸?shù)氖窍?，但?shí)質(zhì)上傳輸?shù)氖切畔?。消息只是表達(dá)

2、信息的工具，載荷信息的客體。,.,4,編碼器,信宿,信道,消息,干擾,消息,通信系統(tǒng)模型,信源,信號(hào),解碼器,信號(hào)+干擾,噪聲源,信息論的研究對(duì)象:通信系統(tǒng)模型.,信源 信道 加密,信源 信道 解密,通信系統(tǒng)的基本任務(wù)要求 可靠: 要使信源發(fā)出的消息經(jīng)過(guò)傳輸后，盡可能準(zhǔn)確地、不失真或限定失真地再現(xiàn)在接收端 有效: 用盡可能短的時(shí)間和盡可能少的設(shè)備來(lái)傳輸最大的消息,.,5,單符號(hào)離散信源 自信息量 用概率測(cè)度定義信息量，設(shè)離散信源 X，其概率空間為 如果知道事件 xi 已發(fā)生，則該事件所含有的自信息定義為,第2章 信源熵,.,6,聯(lián)合自信息量 當(dāng) X 和 Y 相互獨(dú)立時(shí)，p(xiyj)=p(xi

3、)p(yj),.,7,條件自信息量：已知yj 的條件下xi 仍然存在的不確定度。 自信息量、條件自信息量和聯(lián)合自信息量之間的關(guān)系,.,8,互信息量：yj 對(duì) xi 的互信息量定義為的后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù)。,兩個(gè)不確定度之差是不確定度被消除的部分，即等于自信息量減去條件自信息量。,.,9,平均信息量信源熵：自信息的數(shù)學(xué)期望。也稱為信源的信息熵/信源熵/熵。 信息熵的意義：信源的信息熵 H 是從整個(gè)信源的統(tǒng)計(jì)特性來(lái)考慮的。它是從平均意義上來(lái)表征信源的總體特性的。對(duì)于某特定的信源，其信息熵是唯一的。不同的信源因統(tǒng)計(jì)特性不同，其熵也不同。,.,10,條件熵：是在聯(lián)合符號(hào)集合 XY 上的條件自信

4、息的數(shù)學(xué)期望。,聯(lián)合熵 H(XY)：表示輸入隨機(jī)變量 X，經(jīng)信道傳輸?shù)竭_(dá)信宿，輸出隨機(jī)變量 Y。即收、發(fā)雙方通信后，整個(gè)系統(tǒng)仍然存在的不確定度。,.,11,信道疑義度H(X|Y)：表示信宿在收到 Y 后，信源 X 仍然存在的不確定度。是通過(guò)有噪信道傳輸后引起的信息量的損失，故也可稱為損失熵。 噪聲熵H(Y|X)：表示在已知 X 的條件下，對(duì)于符號(hào)集 Y 尚存在的不確定性，這完全是由于信道中噪聲引起的。唯一確定信道噪聲所需要的平均信息量。,.,12,平均互信息量定義：互信息量 I(xi;yj) 在聯(lián)合概率空間 P(XY) 中的統(tǒng)計(jì)平均值。 從一個(gè)事件獲得另一個(gè)事件的平均互信息需要消除不確定度，一

5、旦消除了不確定度，就獲得了信息。,.,13,平均互信息和熵的關(guān)系,.,14,數(shù)據(jù)處理定理（信息不增原理）,當(dāng)消息通過(guò)多級(jí)處理器時(shí),隨著處理器數(shù)目的增多,輸入消息和輸出消息之間的平均互信息量趨于變小。信息不增,I(X;Z) I(X;f(Z)=I(X;Y) H(X|Z) H(X|f(Z)=H(X|Y),.,15,最大離散熵定理 (極值性) ：離散無(wú)記憶信源輸出 n 個(gè)不同的信息符號(hào)，當(dāng)且僅當(dāng)各個(gè)符號(hào)出現(xiàn)概率相等時(shí) (即p(xi)=1/n)，熵最大。 Hp(x1),p(x2),p(xn)logn,.,16,二進(jìn)制信源的熵函數(shù) H(p) 為,.,17,BSC信道的平均互信息量 設(shè)二進(jìn)制對(duì)稱信道的輸入概

6、率空間為,.,18,.,19,連續(xù)信源的熵為,定義的熵在形式上和離散信源相似。連續(xù)信源熵并不是實(shí)際信源輸出的信息量(絕對(duì)熵)； Hc(X) 也稱為相對(duì)熵,連續(xù)信源的信息量為無(wú)限大； Hc(X) 已不能代表信源的平均不確定度，也不能代表連續(xù)信源輸出的信息量。,.,20,限峰值的最大熵定理:若信源的N維隨機(jī)變量的取值在一定的范圍之內(nèi)，則在有限的定義域內(nèi)，均勻分布的連續(xù)信源具有最大熵。 限平均功率的最大熵定理：若信源輸出信號(hào)的平均功率P或方差受限，則其輸出信號(hào)幅度的概率密度函數(shù)為高斯分布時(shí)，信源具有最大熵值。 限均值的最大連續(xù)熵定理：若連續(xù)信源X輸出非負(fù)信號(hào)的均值受限，則其輸出信號(hào)幅度呈指數(shù)分布時(shí)，

7、連續(xù)信源X具有最大熵值。,.,21,離散信源的無(wú)失真編碼實(shí)質(zhì)上是一種統(tǒng)計(jì)匹配編碼。信息論指出信源中的統(tǒng)計(jì)多余度主要決定于以下兩個(gè)主要因素： 一是消息概率分布的非均勻性，另一個(gè)是消息間的相關(guān)性。對(duì)無(wú)記憶信源主要決定于概率分布的非均勻性，但是，對(duì)于有記憶信源，兩者都起作用，且后者相關(guān)性更加重要。,第3章 信源編碼,.,22,Def. 可達(dá)速率：對(duì)于給定的信源和編碼速率R及任意0，若存在L0、()、D()，使當(dāng)碼長(zhǎng)LL0時(shí)，Pe ，就稱R是可達(dá)的，否則R是不可達(dá)的。,.,23,Th. 若RH(U)，則R是可達(dá)的；若RH(U)，則R是不可達(dá)的。 對(duì)于給定的離散無(wú)記憶信源，若D元碼的速率R超過(guò)信源的熵，

8、即NlogD/L H（U）+，則存在編碼方法，當(dāng)L足夠大時(shí)能使譯碼錯(cuò)誤概率任意小。 logD：一個(gè)碼符號(hào)所能載荷的最大信息量。 H(U)：信源輸出一個(gè)符號(hào)所給出的信息量。 H(U)/logD：每個(gè)信源符號(hào)所需的最小的碼符號(hào)數(shù)以等長(zhǎng)碼實(shí)現(xiàn)源編碼時(shí)的理論極限。,.,24,離散無(wú)記憶信源的等長(zhǎng)編碼,譯碼錯(cuò)誤概率 pe,契比雪夫不等式,無(wú)擾編碼定理的含義 RH(U),契比雪夫不等式的右邊是理論上的誤碼率的上限， 必須小于給定的誤碼率才能保證到達(dá)編碼性能要求,.,25,定長(zhǎng)編碼定理,其中差錯(cuò)率滿足如下式子,.,26,凡是能載荷一定的信息量,且碼字的平均長(zhǎng)度最短,可分離的變長(zhǎng)碼的碼字集合就稱為最佳變長(zhǎng)碼.

9、 必須將概率大的信息符號(hào)以短的碼字, 將概率小的信息符號(hào)以長(zhǎng)的碼字. 主要有:香農(nóng)-費(fèi)諾(Shannon-Fano),哈夫曼(Huffman)編碼等,唯一可譯性的兩種解決方法 Def.逗點(diǎn)碼 Def.異字頭碼,.,27,2香農(nóng)費(fèi)諾編碼,費(fèi)諾編碼步驟如下： a.將概率按從大到小的順序排列，令 b.按編碼進(jìn)制數(shù)將概率分組，使每組概率盡可能接近或相等。 c.給每一組分配一位碼元。 d.將每一分組再按同樣原則劃分，重復(fù)步驟b和c，直至概率不再可分為止。,.,28,3 哈夫曼編碼,a.將信源符號(hào)按概率從大到小的順序排列，令 b.給兩個(gè)概率最小的信源符號(hào)p(xn-1)和p(xn)各分配一個(gè)碼位0和1，將這

10、兩個(gè)符號(hào)合并成一個(gè)新符號(hào)，其概率之和作為新符號(hào)的概率，得到(n1)個(gè)符號(hào)。 c.將縮減信源符號(hào)按概率排列，重復(fù)步驟a,b。直至縮減信源只剩兩個(gè)符號(hào)為止。 d.從最后一級(jí)縮減信源開(kāi)始，依編碼路徑向前返回，就得到各信源符號(hào)所對(duì)應(yīng)的碼字。,注意3進(jìn)制編碼？,.,29,4 算術(shù)編碼,算術(shù)編碼是計(jì)算序列的累計(jì)分布，用累計(jì)分布值表示序列，所以稱為算術(shù)編碼 以二元信源輸出序列的編碼為例01110,u對(duì)應(yīng)區(qū)間的寬度等于符號(hào)序列的概率,.,30,算術(shù)編碼,遞推公式編碼 P(u=bbbbbbaa)=0.7560.252= F(a)=0, F(b)=0.25,H=HP(ul+1),G=G+HF(al+1),.,31

11、,LZ編碼,利用字典編碼方法 信源符號(hào)A=(a1aK) 將序列分為不同的段 取最短長(zhǎng)度的連續(xù)符號(hào)構(gòu)成段，保證互不相同。 先取一個(gè)符號(hào)分段，若與前面段相同，就再取一個(gè)符號(hào)，直至序列結(jié)束 得到字典表，碼字由段號(hào)加后一個(gè)符號(hào)組成。 單符號(hào)的碼字，段號(hào)為0,.,32,LZ編碼的特點(diǎn) 特點(diǎn)一 編碼效率可以接近信息熵的上限。 特點(diǎn)二 不需要事先知道信源的概率分布。 特點(diǎn)三 用一種巧妙的方式使用字典技術(shù)。 特點(diǎn)四 文件越小，壓縮比例越??；文件越大，壓縮比例越大。 LZ編碼的應(yīng)用領(lǐng)域 幾乎壟斷了整個(gè)通用數(shù)據(jù)壓縮領(lǐng)域，如PKZIP、WinZIP、WinRAR、gzip等壓縮工具以及ZIP、GIF、PNG等文件格

12、式都是LZ系列算法的受益者。,.,33,我們學(xué)習(xí)了幾種信源編碼：香農(nóng)費(fèi)諾編碼、哈夫曼編碼、游程編碼、算術(shù)編碼、LZ編碼等。 游程編碼和算術(shù)編碼是非分組編碼；游程編碼是限失真信源編碼。本章介紹的都是離散信源變長(zhǎng)編碼。 優(yōu)點(diǎn)：提高編碼效率； 缺點(diǎn)：需要大量緩沖設(shè)備來(lái)存儲(chǔ)這些變長(zhǎng)碼，然后再以恒定的碼率進(jìn)行傳送；如果出現(xiàn)了誤碼，容易引起錯(cuò)誤擴(kuò)散，所以要求有優(yōu)質(zhì)的信道。,.,34,信道容量 C：在信道中最大的信息傳輸速率，單位是比特/符號(hào)。 單位時(shí)間的信道容量 Ct：若信道平均傳輸一個(gè)符號(hào)需要 t 秒鐘，則單位時(shí)間的信道容量為 Ct 實(shí)際是信道的最大信息傳輸速率。,第3章 信道容量,.,35,根據(jù)信道中

13、所受噪聲種類的不同,可分為隨機(jī)差錯(cuò)信道和突發(fā)差錯(cuò)信道. 在有記憶信道中，噪聲干擾的影響往往是前后相關(guān)的，錯(cuò)誤是成串出現(xiàn)的，一般在編碼中我們稱這類信道為突發(fā)差錯(cuò)信道。實(shí)際的衰落信道、碼間干擾信道均屬于這類信道。有些實(shí)際信道既有獨(dú)立隨機(jī)差錯(cuò),也有突發(fā)性成串差錯(cuò)，我們稱它為混合信道。,.,36,求信道容量的方法 當(dāng)信道特性 p(yj|xi) 固定后，I(X;Y)隨信源概率分布 p(xi)的變化而變化。 調(diào)整 p(xi)，在接收端就能獲得不同的信息量。由平均互信息的性質(zhì)已知，I(X;Y) 是 p(xi) 的上凸函數(shù)，因此總能找到一種概率分布 p(xi)（即某一種信源），使信道所能傳送的信息率為最大。

14、C 和 Ct 都是求平均互信息 I(X;Y) 的條件極大值問(wèn)題，當(dāng)輸入信源概率分布 p(xi) 調(diào)整好以后， C 和 Ct 已與 p(xi) 無(wú)關(guān)，而僅僅是信道轉(zhuǎn)移概率的函數(shù)，只與信道統(tǒng)計(jì)特性有關(guān)； 信道容量是完全描述信道特性的參量；信道容量是信道能夠傳送的最大信息量。,.,37,當(dāng) n=2 時(shí)的強(qiáng)對(duì)稱離散信道就是二進(jìn)制均勻信道。 二進(jìn)制均勻信道 的信道容量為： 二進(jìn)制均勻信道容量 曲線如圖3.2.5所示。,.,38,對(duì)稱DMC容量的計(jì)算,結(jié)論 實(shí)現(xiàn)對(duì)稱DMC信道容量的輸入分布為等概分布,信道只關(guān)于輸入對(duì)稱的話（輸入分布為等概分布）,.,39,一般DMC的容量計(jì)算,.,40,一般DMC的容量計(jì)

15、算,這是K個(gè)未知量0, 1, , K-1 =C+logw(0), C+logw(1), , C+logw(K-1) 的線性方程組，系數(shù)矩陣是可逆方陣，因此唯一解出0, 1, , K-1 ,.,41,一般DMC的容量計(jì)算,另一個(gè)等式： w(0)+w(1)+w(K-1)=1。 于是,i=C+logw(i),.,42,積信道或獨(dú)立并行信道,C1maxI(X1,Y1)， C2maxI(X2,Y2) 信道1和信道2同時(shí)傳遞消息，輸入集X=X1X2，輸出集Y=Y1Y2，轉(zhuǎn)移概率 p(jj|kk)=p(j|k)p(j|k) 稱這樣組合成的信道為1和2的積信道或獨(dú)立并行信道,積信道的容量 C=C1+C2,.,

16、43,和信道或并信道,單位時(shí)間內(nèi)可以且只能隨機(jī)選用信道1和信道2中的一個(gè)，選用信道1的概率為p1，選用信道2的概率為p2， p1p21 輸入空間X=X1+X2， Y=Y1+Y2，,.,44,級(jí)聯(lián)信道或串行信道,信道1的輸出作為信道2的輸入,（3）令自級(jí)連的次數(shù)N+，則級(jí)連信道的轉(zhuǎn)移概率矩陣趨向于,信道容量趨向于0。,.,45,香農(nóng)公式 當(dāng)信道容量一定時(shí)，增大信道帶寬，可以降低對(duì)信噪功率比的要求；反之，當(dāng)信道頻帶較窄時(shí)，可以通過(guò)提高信噪功率比來(lái)補(bǔ)償。 當(dāng)信道頻帶無(wú)限時(shí)，其信道容量與信號(hào)功率成正比。,.,46,差錯(cuò)控制的基本方式 前向糾錯(cuò)(FEC)：發(fā)送端的信道編碼器將信息碼組編成具有一定糾錯(cuò)能力

17、的碼。接收端信道譯碼器對(duì)接收碼字進(jìn)行譯碼，若傳輸中產(chǎn)生的差錯(cuò)數(shù)目在碼的糾錯(cuò)能力之內(nèi)時(shí)，譯碼器對(duì)差錯(cuò)進(jìn)行定位并加以糾正。 自動(dòng)請(qǐng)求重發(fā)(ARQ)：用于檢測(cè)的糾錯(cuò)碼在譯碼器輸出端只給出當(dāng)前碼字傳輸是否可能出錯(cuò)的指示，當(dāng)有錯(cuò)時(shí)按某種協(xié)議通過(guò)一個(gè)反向信道請(qǐng)求發(fā)送端重傳已發(fā)送的碼字全部或部分。,第6章 信道編碼,.,47,混合糾錯(cuò)(HEC)：是 FEC 與 ARQ 方式的結(jié)合。發(fā)端發(fā)送同時(shí)具有自動(dòng)糾錯(cuò)和檢測(cè)能力的碼組，收端收到碼組后，檢查差錯(cuò)情況，如果差錯(cuò)在碼的糾錯(cuò)能力以內(nèi)，則自動(dòng)進(jìn)行糾正。如果信道干擾很?chē)?yán)重，錯(cuò)誤很多，超過(guò)了碼的糾錯(cuò)能力，但能檢測(cè)出來(lái)，則經(jīng)反饋信道請(qǐng)求發(fā)端重發(fā)這組數(shù)據(jù)。,.,48,最佳

18、譯碼準(zhǔn)則（最大似然譯碼） 通信是一個(gè)統(tǒng)計(jì)過(guò)程，糾、檢錯(cuò)能力最終要反映到差錯(cuò)概率上。 對(duì)于FEC方式，采用糾錯(cuò)碼后的碼字差錯(cuò)概率為pwe， p(C)：發(fā)送碼字C 的先驗(yàn)概率 p(C/R)：后驗(yàn)概率 若碼字?jǐn)?shù)為 2k，對(duì)充分隨機(jī)的消息源有p(C)=1/ 2k，所以最小化的pwe等價(jià)為最小化p(CCR )，又等價(jià)為最大化p(C=CR)；,.,49,對(duì)于 BSC 信道：最大化的 p(C=CR) 等價(jià)于最大化的 p(RC) ，最大化的p(RC) 又等價(jià)于最小化 d(R,C)，所以使差錯(cuò)概率最小的譯碼是使接收向量 R 與輸出碼字 C 距離最小的譯碼。,.,50,對(duì)給定離散無(wú)記憶信道和任意e 0，若有一種編

19、碼速率為R 的碼，在N足夠大時(shí)，能使pee，就稱R 是可達(dá)的。,定理(Shannon信道編碼定理)，給定容量為C的離散無(wú)記憶信道X，p(x|y)，Y，若編碼速率RC，則R是可達(dá)的。,.,51,線性分組碼,碼字重量：碼字中非0碼元符號(hào)的個(gè)數(shù)，漢明重量。 在二元線性碼中，碼字重量是碼字中含“1”的個(gè)數(shù)。 漢明距離：在(n,k)分組碼中，兩個(gè)碼字 U、V 之間對(duì)應(yīng)碼元位上符號(hào)取值不同的個(gè)數(shù)。 最小距離dmin：任意兩個(gè)碼字間距離最小值.,線性分組碼：ci,cj是GF(q)上(n,k)分組碼中的兩個(gè)碼字,a,b GF(q)上兩個(gè)元素,如果aci+bcj也是一個(gè)碼字,稱碼為線性分組碼。(包含全0碼字),

20、.,52,生成矩陣,線性系統(tǒng)分組碼: 通過(guò)行初等變換，將 G 化為前 k 列是單位子陣的標(biāo)準(zhǔn)形式,線性系統(tǒng)分組碼：用標(biāo)準(zhǔn)生成矩陣Gkn 編成的碼字，這種信息數(shù)字(k位)在前,校驗(yàn)數(shù)字(r=nk位)在后的線性分組碼稱為線性系統(tǒng)分組碼。,kbit信息位,(n-k)bit校驗(yàn)位,.,53,校驗(yàn)矩陣,.,54,1.最小距離與糾錯(cuò)能力：(n,k) 線性碼能糾t個(gè)錯(cuò)誤的充要條件是碼的最小距離為,.,55,伴隨式和錯(cuò)誤檢測(cè) 用監(jiān)督矩陣編碼，也用監(jiān)督矩陣譯碼：接收到一個(gè)接收字 R 后，校驗(yàn) HRT=0T 是否成立： 若關(guān)系成立，則認(rèn)為 R 是一個(gè)碼字； 否則判為碼字在傳輸中發(fā)生了錯(cuò)誤； 伴隨式/監(jiān)督子/校驗(yàn)子

21、：S=RHT或ST=HRT。 如何糾錯(cuò)？ 設(shè)發(fā)送碼矢 C=(Cn1,Cn2,C0) 信道錯(cuò)誤圖樣為 E=(En1,En2,E0) ， 其中Ei=0，表示第i位無(wú)錯(cuò)； Ei=1，表示第i位有錯(cuò)。i=n1,n2,0。,.,56,接收字 R 為 R=(Rn-1,Rn-2,R0)=C+E =(Cn-1+En-1,Cn-2+En-2,C0 +E0) 求接收字的伴隨式（接收字用監(jiān)督矩陣進(jìn)行檢驗(yàn) ST=HRT=H(C+E)T=HCT+HET 由于HCT=0T，所以 ST=HET 設(shè)H=(h1,h2,hn)，其中hi表示H的列。代入式得到,.,57, 總結(jié) 伴隨式僅與錯(cuò)誤圖樣有關(guān)，而與發(fā)送的具體碼字無(wú)關(guān)，即伴

22、隨式僅由錯(cuò)誤圖樣決定； 伴隨式是錯(cuò)誤的判別式： 若S=0，則判為沒(méi)有出錯(cuò)，接收字是一個(gè)碼字； 若S0，則判為有錯(cuò)。 不同的錯(cuò)誤圖樣具有不同的伴隨式，它們是一一對(duì)應(yīng)的。對(duì)二元碼，伴隨式是 H 陣中與錯(cuò)誤碼元對(duì)應(yīng)列之和。,.,58,(1) 循環(huán)碼的定義 循環(huán)碼：如果 (n,k) 線性分組碼的任意碼矢 C=(C0,C1,Cn-1) 的1次循環(huán)移位，所得矢量 C(1)=(Cn-1,C0,Cn-2) 仍是一個(gè)碼字，則稱此線性碼為 (n,k) 循環(huán)碼。,碼多項(xiàng)式：為了運(yùn)算的方便，將碼字的各分量作為多項(xiàng)式的系數(shù)，把碼矢表示成多項(xiàng)式，稱為碼多項(xiàng)式 C(x)=C0+C1x+Cn1xn1,.,59,定理：在(n,

23、k)循環(huán)碼中，每個(gè)碼多項(xiàng)式c(x)都是 生成多項(xiàng)式g(x)的倍式；而每個(gè)為g(x)倍式且次數(shù)小于或等于 (n1)的多項(xiàng)式，必是一個(gè)碼多項(xiàng)式。,定理：循環(huán)碼的生成多項(xiàng)式g(x)是(xn-1)的因式，即 xn-1=h(x)g(x)。反之若循環(huán)碼的多項(xiàng)式g(x)是(xn-1)的因式，則 g(x)是生成多項(xiàng)式。,.,60,系統(tǒng)循環(huán)碼,待編碼的消息序列 表示為多項(xiàng)式,.,61,系統(tǒng)循環(huán)碼的編碼步驟：,設(shè)g(x)為(n,k)循環(huán)碼的生成多項(xiàng)式， 則有xn-1=h(x)g(x)，式中h(x)為k次多項(xiàng)式，稱h(x)的反多項(xiàng)式h*(x)為(n,k)循環(huán)碼的校驗(yàn)多項(xiàng)式。,.,62,第4章 信息率失真函數(shù),平均失真度 信息率失真函數(shù) 離散信息X：概率分布為P(X)，失真度為d(xi,yj),.,63,信息率失真函數(shù)的性質(zhì) 定義域(Dmin,Dmax)： Dmin是最小允許失真度， Dmax是最大允許失真度 信息率失真函數(shù)的物理意義是：對(duì)于給定信源，在平均失真不超過(guò)失真限度D的條件下，信息率容許壓縮的最小值為R(D) 函數(shù)特點(diǎn):下凸性,單調(diào)遞減和連續(xù)性.,.,64,對(duì)偶問(wèn)題：信道容量和信息率失真函數(shù)的問(wèn)題，都是求平均互信息極值問(wèn)題。分三個(gè)方面說(shuō)明： 求極值問(wèn)題 平均互信息I(X;Y)是信源概率分布p(xi)(i=1