信息論與編碼-第10講-信息率失真函數(shù)1

4.1.1引言(1)“消息完全無(wú)失真?zhèn)魉汀钡目蓪?shí)現(xiàn)性信道編碼定理：無(wú)論何種信道，只要信息率R小于信道容量C，總能找到一種編碼，使在信道上能以任意小的錯(cuò)誤概率和任意接近于C的傳輸率來(lái)傳送信息。反之，若R>C，則傳輸總要失真。完全無(wú)失真?zhèn)魉筒豢蓪?shí)現(xiàn)實(shí)際的信源常常是連續(xù)的，信息率無(wú)限大，要無(wú)失真?zhèn)魉鸵笮畔⒙蔙為無(wú)窮大；實(shí)際信道帶寬是有限的，所以信道容量受限制。要想無(wú)失真?zhèn)鬏?，所需的信息率大大超過(guò)信道容量R>>C。第1頁(yè)2024/4/144.1基本概念4.1.1引言(2)實(shí)際中允許一定程度的失真

技術(shù)發(fā)展的需要隨著科技的發(fā)展，數(shù)字系統(tǒng)應(yīng)用得越來(lái)越廣泛，需要傳送、存儲(chǔ)和處理大量的數(shù)據(jù)。為了提高傳輸和處理效率，需要對(duì)數(shù)據(jù)壓縮，這樣會(huì)帶來(lái)一定的信息損失。信息時(shí)代，信息爆炸，要求解決對(duì)海量數(shù)據(jù)有效的壓縮，減少數(shù)據(jù)的存儲(chǔ)容量（如各種數(shù)據(jù)庫(kù)、電子出版物、多媒體娛樂(lè)）、傳輸時(shí)間（如數(shù)據(jù)通信和遙測(cè)）、或占有帶寬（如多媒體通信、數(shù)字音頻廣播、高清晰度電視），想方設(shè)法壓縮給定消息集合占用的空間域、時(shí)間域和頻率域資源。第2頁(yè)2024/4/144.1基本概念4.1.1引言(2)實(shí)際中允許一定程度的失真

技術(shù)發(fā)展的需要如海洋地球物理勘探遙測(cè)數(shù)據(jù)，用60路傳感器，每路信號(hào)1kHz，16位A/D

量化，每航測(cè)1km

就需記錄1盤(pán)0.5英寸的磁帶，一條測(cè)量船每年就可勘測(cè)15000km。第3頁(yè)2024/4/144.1基本概念4.1.1引言(2)實(shí)際中允許一定程度的失真

實(shí)際生活中的需要實(shí)際生活中，人們一般并不要求獲得完全無(wú)失真的消息，通常只要求近似地再現(xiàn)原始消息，即允許一定的失真存在。打電話：即使語(yǔ)音信號(hào)有一些失真，接電話的人也能聽(tīng)懂。人耳接收信號(hào)的帶寬和分辨率是有限的。放電影：理論上需要無(wú)窮多幅靜態(tài)畫(huà)面，由于人眼的“視覺(jué)暫留性”，實(shí)際上只要每秒放映24幅靜態(tài)畫(huà)面。有些失真沒(méi)有必要完全消除。既然允許一定的失真存在，對(duì)信息率的要求便可降低。第4頁(yè)2024/4/144.1基本概念4.1.1引言(3)信息率失真理論

信息率失真理論研究的內(nèi)容:信息率與允許失真之間的關(guān)系。信息率失真函數(shù)香農(nóng)定義了信息率失真函數(shù)

R(D)?！氨Ｕ娑葴?zhǔn)則下的信源編碼定理”指出：在允許一定失真度D的情況下，信源輸出的信息率可壓縮到R(D)。信息率失真理論是量化（模數(shù)轉(zhuǎn)換）、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。第5頁(yè)2024/4/144.1基本概念4.1.1引言(3)信息率失真理論信息率失真函數(shù)極小值問(wèn)題

I(X;Y)

是P(X)

和P(Y/X)

的二元函數(shù)；

在討論信道容量時(shí)：規(guī)定了P(Y/X)，I(X;Y)變成了P(X)的函數(shù)。在離散情況下，因?yàn)镮(X;Y)對(duì)p(xi)是上凸函數(shù)，所以變更p(xi)所求極值一定是I(X;Y)的極大值；在連續(xù)情況下，變更信源P(X)求出的也是極大值，但求極值時(shí)還要一些其它的限制條件。第6頁(yè)2024/4/144.1基本概念4.1.1引言(3)信息率失真理論信息率失真函數(shù)極小值問(wèn)題

在討論信息率時(shí)：可規(guī)定p(xi)，變更p(yj/xi)來(lái)求平均互信息的極值，稱為信道容量對(duì)偶問(wèn)題。由于I(X;Y)是p(yj/xi)的下凸函數(shù)，所求的極值一定是極小值。但若X和Y相互統(tǒng)計(jì)獨(dú)立（p(yj/xi)=p(yj)），這個(gè)極小值就是0，因?yàn)镮(X;Y)是非負(fù)的，0必為極小值，這樣求極小值就沒(méi)意義了。引入一個(gè)失真函數(shù)，計(jì)算在失真度一定的情況下信息率的極小值就變的有意義了。第7頁(yè)2024/4/144.1基本概念4.1.2失真度與平均失真度(1)信息率與失真的關(guān)系(2)失真度(3)常用的失真函數(shù)(4)平均失真度(5)N次擴(kuò)展信道的平均失真度第8頁(yè)2024/4/144.1基本概念4.1.2失真度與平均失真度(1)信息率與失真的關(guān)系信道中固有的噪聲和不可避免的干擾，使信源的消息通過(guò)信道傳輸后造成誤差和失真。誤差或失真越大，接收者收到消息后對(duì)信源存在的不確定性就越大，獲得的信息量就越小，信道傳輸消息的信息率也越小。第9頁(yè)2024/4/144.1基本概念4.1.2失真度與平均失真度(2)失真度

失真度設(shè)離散無(wú)記憶信源為：第10頁(yè)2024/4/144.1基本概念4.1.2失真度與平均失真度(2)失真度失真度對(duì)每一對(duì)(xi,yj)，指定一個(gè)非負(fù)函數(shù)d(xi,yj)≥0i=1,2,…,n

j=1,2,…,m稱d(xi,yj)

為單個(gè)符號(hào)的失真度（失真函數(shù)）。表示信源發(fā)出一個(gè)符號(hào)xi，在接收端再現(xiàn)yj所引起的誤差或失真。第11頁(yè)2024/4/144.1基本概念4.1.2失真度與平均失真度(2)失真度

失真矩陣失真度還可表示成矩陣的形式：稱[D]

為失真矩陣。它是

n×m

階矩陣。連續(xù)信源和連續(xù)信道的失真函數(shù)在連續(xù)信源和連續(xù)信道情況下，失真度定義為：d(x,y)≥0第12頁(yè)2024/4/144.1基本概念4.1.2失真度與平均失真度(3)常用的失真函數(shù)第一種：當(dāng)i=j時(shí)，X與Y的取值一樣，用Y來(lái)代表X就沒(méi)有誤差，所以定義失真度為0；當(dāng)i≠j時(shí)，用Y代表X就有誤差。這種定義認(rèn)為對(duì)所有不同的i和j引起的誤差都一樣，所以定義失真度常數(shù)a。第13頁(yè)2024/4/144.1基本概念4.1.2失真度與平均失真度(3)常用的失真函數(shù)第一種：

特點(diǎn)：對(duì)角線上的元素均為0，對(duì)角線以外的其它元素都為常數(shù)a。

漢明失真函數(shù)：a=1。第14頁(yè)2024/4/144.1基本概念4.1.2失真度與平均失真度(3)常用的失真函數(shù)第二種（平方誤差失真函數(shù)）：d(xi,yj)=(yj－xi)2

失真矩陣：平方誤差失真矩陣。若信源符號(hào)代表輸出信號(hào)的幅度值，則較大的幅度失真比較小的幅度失真引起的錯(cuò)誤更為嚴(yán)重,嚴(yán)重程度用平方表示。失真函數(shù)是根據(jù)人們的實(shí)際需要和失真引起的損失、風(fēng)險(xiǎn)、主觀感覺(jué)上的差別大小等因素人為規(guī)定的。第15頁(yè)2024/4/144.1基本概念4.1.2失真度與平均失真度(4)平均失真度平均失真度

d(xi,yj)

只能表示兩個(gè)特定的具體符號(hào)xi和yj之間的失真。

平均失真度：失真度的數(shù)學(xué)期望，即：第16頁(yè)2024/4/144.1基本概念4.1.2失真度與平均失真度(4)平均失真度平均失真度的意義是在平均意義上，從總體上對(duì)整個(gè)系統(tǒng)失真情況的描述。它是信源統(tǒng)計(jì)特性p(xi)

、信道統(tǒng)計(jì)特性p(yj/xi)

和失真度d(xi,yj)

的函數(shù)。當(dāng)p(xi)，p(yj/xi)和d(xi,yj)給定后，平均失真度就不是一個(gè)隨機(jī)變量了，而是一個(gè)確定的量。如果信源和失真度一定，就只是信道統(tǒng)計(jì)特性的函數(shù)。信道傳遞概率不同，平均失真度隨之改變。第17頁(yè)2024/4/144.1基本概念4.1.2失真度與平均失真度(4)平均失真度保真度準(zhǔn)則人們所允許的失真指的都是平均意義上的失真。

保真度準(zhǔn)則：規(guī)定平均失真度不能超過(guò)某一限定的值D，即，則D就是允許失真的上界。該式稱為保真度準(zhǔn)則。第18頁(yè)2024/4/144.1基本概念4.1.2失真度與平均失真度(5)N次擴(kuò)展信源和信道的平均失真度

N次擴(kuò)展單符號(hào)離散無(wú)記憶信源X{x1,x2,…,xn}的N次擴(kuò)展信源XN

=X1X2…XN，在信道中的傳遞作用相當(dāng)于單符號(hào)離散無(wú)記憶信道的N次擴(kuò)展信道，輸出也是一個(gè)隨機(jī)變量序列：YN=Y1Y2…YN

此時(shí)輸入共有nN個(gè)不同的符號(hào)：第19頁(yè)2024/4/144.1基本概念4.1.2失真度與平均失真度(5)N次擴(kuò)展信源和信道的平均失真度

N次擴(kuò)展信道的輸出共有mN個(gè)不同的符號(hào)：第20頁(yè)2024/4/144.1基本概念4.1.2失真度與平均失真度(5)N次擴(kuò)展信源和信道的平均失真度

N次擴(kuò)展

定義離散無(wú)記憶信道{X

P(Y/X)Y}的N次擴(kuò)展信道的輸入序列ai和輸出序列bj之間的失真函數(shù)：第21頁(yè)2024/4/144.1基本概念4.1.2失真度與平均失真度(5)N次擴(kuò)展信源和信道的平均失真度

N次擴(kuò)展定義的說(shuō)明：離散無(wú)記憶信道的N次擴(kuò)展信道輸入輸出之間的失真，等于輸入序列ai中N個(gè)信源符號(hào)xi1,xi2,…,xiN各自通過(guò)信道{X

P(Y/X)Y}，分別輸出對(duì)應(yīng)的N個(gè)信宿符號(hào)yj1,yj2,…,yjN后所引起的N個(gè)單符號(hào)失真d(xik,yjk)(k=1,2,…,N)之和。

N次離散無(wú)記憶擴(kuò)展信源和信道的平均失真度為，則：第22頁(yè)2024/4/144.1基本概念4.1.2失真度與平均失真度(5)N次擴(kuò)展信源和信道的平均失真度“N次擴(kuò)展”與“單符號(hào)”平均失真度的關(guān)系由擴(kuò)展信源和擴(kuò)展信道的無(wú)記憶性有：第23頁(yè)2024/4/144.1基本概念4.1.2失真度與平均失真度(5)N次擴(kuò)展信源和信道的平均失真度

“N次擴(kuò)展”與“單符號(hào)”平均失真度的關(guān)系（k=1,2,…,N)）是同一信源X在N個(gè)不同時(shí)刻通過(guò)同一信道{X

P(Y/X)Y}所造成的平均失真度，因此都等于單符號(hào)信源X通過(guò)信道{X

P(Y/X)Y}所造成的平均失真度，即：

結(jié)論說(shuō)明：離散無(wú)記憶N次擴(kuò)展信源通過(guò)離散無(wú)記憶N次擴(kuò)展信道的平均失真度是單符號(hào)信源通過(guò)單符號(hào)信道的平均失真度的N倍。第24頁(yè)2024/4/144.1基本概念4.1.2失真度與平均失真度(5)N次擴(kuò)展信源和信道的平均失真度

N次擴(kuò)展的保真度準(zhǔn)則：離散無(wú)記憶N次擴(kuò)展信源通過(guò)離散無(wú)記憶N次擴(kuò)展信道的保真度準(zhǔn)則為：第25頁(yè)2024/4/144.1基本概念4.1.3信息率失真函數(shù)的定義(1)試驗(yàn)信道(2)信息率失真函數(shù)(3)求信息率失真函數(shù)的方法(4)研究信道編碼和率失真函數(shù)的意義第26頁(yè)2024/4/144.1基本概念4.1.3信息率失真函數(shù)的定義(1)試驗(yàn)信道單符號(hào)信源和單符號(hào)信道的試驗(yàn)信道當(dāng)固定信源（P(X)已知），單個(gè)符號(hào)失真度也給定時(shí)，選擇信道使。凡滿足要求的信道稱為D失真許可的試驗(yàn)信道，簡(jiǎn)稱試驗(yàn)信道。所有試驗(yàn)信道構(gòu)成的集合用PD

來(lái)表示，即：第27頁(yè)2024/4/144.1基本概念4.1.3信息率失真函數(shù)的定義(1)試驗(yàn)信道

N次擴(kuò)展的試驗(yàn)信道：對(duì)于離散無(wú)記憶信源的N次擴(kuò)展信源和離散無(wú)記憶信道的N次擴(kuò)展信道，其試驗(yàn)信道集合PD(N)

為：第28頁(yè)2024/4/144.1基本概念4.1.3信息率失真函數(shù)的定義(2)信息率失真函數(shù)單符號(hào)信源和單符號(hào)信道的信息率失真函數(shù)

信息率失真函數(shù)（率失真函數(shù)）R(D)

：在信源和失真度給定以后，PD是滿足保真度準(zhǔn)則的試驗(yàn)信道集合，平均互信息I(X;Y)是信道傳遞概率p(yj/xi)的下凸函數(shù)，所以在PD中一定可以找到某個(gè)試驗(yàn)信道，使I(X;Y)達(dá)到最小，即：第29頁(yè)2024/4/144.1基本概念4.1.3信息率失真函數(shù)的定義(2)信息率失真函數(shù)單符號(hào)信源和單符號(hào)信道的信息率失真函數(shù)

在信源給定以后，總希望在允許一定失真的情況下，傳送信源所必須的信息率越小越好。從接收端來(lái)看，就是在滿足保真度準(zhǔn)則的條件下，尋找再現(xiàn)信源消息必須的最低平均信息量，即平均互信息的最小值。第30頁(yè)2024/4/144.1基本概念4.1.3信息率失真函數(shù)的定義(2)信息率失真函數(shù)“N次擴(kuò)展”的信息率失真函數(shù)

“N次擴(kuò)展”的信息率失真函數(shù)RN(D)

：對(duì)于離散無(wú)記憶信源的N次擴(kuò)展信源和離散無(wú)記憶信道的N次擴(kuò)展信道，在所有滿足保真度準(zhǔn)則的N維試驗(yàn)信道集合中，一定可以尋找到某個(gè)信道使平均互信息取最小值：由信源和信道的無(wú)記憶性，可以證明：RN(D)=NR(D)第31頁(yè)2024/4/144.1基本概念4.1.3信息率失真函數(shù)的定義(3)求信息率失真函數(shù)的方法

對(duì)偶問(wèn)題：平均互信息I(X;Y)既是信源概率分布p(xi)的上凸函數(shù)，又是信道傳遞概率p(yj/xi)的下凸函數(shù)。率失真函數(shù)R(D)是在允許平均失真度D

和信源概率分布p(xi)已給的條件下，求平均互信息的極小值（最?。﹩?wèn)題。而信道容量C

是在信道特性p(yj/xi)已知的條件下求平均互信息的極大值（最大）問(wèn)題。這兩個(gè)問(wèn)題是對(duì)偶問(wèn)題。第32頁(yè)2024/4/144.1基本概念4.1.3信息率失真函數(shù)的定義(3)求信息率失真函數(shù)的方法求信道容量的方法：信道容量是假定信道固定的前提下，選擇一種試驗(yàn)信源，使信息率最大。一旦找到了這個(gè)信道容量，它就與信源不再有關(guān)，而是信道特性的參量，隨信道特性的變化而變化。第33頁(yè)2024/4/144.1基本概念4.1.3信息率失真函數(shù)的定義(3)求信息率失真函數(shù)的方法求信息率失真函數(shù)的方法：信息率失真函數(shù)R(D)是假定信源給定的情況下，在用戶可以容忍的失真度內(nèi)再現(xiàn)信源消息所必須獲得的最小平均信息量。它反映的是信源可壓縮程度。率失真函數(shù)一旦找到，就與求極值過(guò)程中選擇的試驗(yàn)信道不再有關(guān)，而只是信源特性的參量。不同的信源，其R(D)是不同的。第34頁(yè)2024/4/144.1基本概念4.1.3信息率失真函數(shù)的定義(4)研究信道容量和率失真函數(shù)的意義研究信道容量的意義：在實(shí)際應(yīng)用中，研究信道容量是為了解決在已知信道中傳送最大信息率問(wèn)題。目的是充分利用已給信道，使傳輸?shù)男畔⒘孔畲蠖l(fā)生錯(cuò)誤的概率任意小，以提高通信的可靠性。這就是信道編碼問(wèn)題。第35頁(yè)2024/4/144.1基本概念4.1.3信息率失真函數(shù)的定義(4)研究信道容量和率失真函數(shù)的意義

研究信息率失真函數(shù)的意義：研究信息率失真函數(shù)是為了解決在已知信源和允許失真度D的條件下，使信源必須傳送給信宿的信息率最小。即用盡可能少的碼符號(hào)盡快地傳送盡可能多的信源消息，以提高通信的有效性。這是信源編碼問(wèn)題。第36頁(yè)2024/4/144.1基本概念4.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域(2)率失真函數(shù)對(duì)允許平均失真度的下凸性(3)率失真函數(shù)的單調(diào)遞減和連續(xù)性第37頁(yè)2024/4/144.1基本概念4.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域什么是率失真函數(shù)的定義域

允許平均失真度：率失真函數(shù)中的自變量D，也就是人們規(guī)定的平均失真度的上限值。

率失真函數(shù)的定義域問(wèn)題就是在信源和失真函數(shù)已知的情況下，討論允許平均失真度D的最小和最大值問(wèn)題。

D的選取必須根據(jù)固定信源X的統(tǒng)計(jì)特性P(X)和選定的失真函數(shù)d(xi,yj)，在平均失真度的可能取值范圍內(nèi)。第38頁(yè)2024/4/144.1基本概念4.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域

信源最小平均失真度Dmin

是非負(fù)函數(shù)d(xi,yj)的數(shù)學(xué)期望，也是一個(gè)非負(fù)函數(shù)，顯然其下限為0。因此允許平均失真度D的下限也必然是0，這就是不允許有任何失真的情況。允許平均失真度D能否達(dá)到其下限值0，與單個(gè)符號(hào)的失真函數(shù)有關(guān)。第39頁(yè)2024/4/144.1基本概念4.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域

信源最小平均失真度Dmin

最小平均失真度計(jì)算公式：第40頁(yè)2024/4/144.1基本概念信源是給定的，所以p(xi)是一定的，所以：4.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域

信源最小平均失真度Dmin

最小平均失真度計(jì)算公式：第41頁(yè)2024/4/144.1基本概念由于d(xi,yj)是給定的，現(xiàn)在就是選擇試驗(yàn)信道p(yj/xi)，對(duì)每個(gè)xi，使得下列表示式最小：考慮到0≤

p(yj

/xi)≤1，4.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域

信源最小平均失真度Dmin

信源最小平均失真度Dmin：對(duì)于每一個(gè)xi，找出一個(gè)yj與之對(duì)應(yīng)，使d(xi,yj)最小，不同的xi對(duì)應(yīng)的最小d(xi,yj)也不同。這相當(dāng)于在失真矩陣的每一行找出一個(gè)最小的

d(xi,yj)，各行的最小d(xi,yj)值都不同。對(duì)所有這些不同的最小值求數(shù)學(xué)期望，就是信源的最小平均失真度。第42頁(yè)2024/4/144.1基本概念4.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域

信源最小平均失真度Dmin

只有當(dāng)失真矩陣的每一行至少有一個(gè)0元素時(shí)，信源的平均失真度才能達(dá)到下限值0。當(dāng)Dmin=0時(shí)（信源不允許任何失真存在），信息率至少應(yīng)等于信源輸出的平均信息量（信源熵），即R(0)=H(X)。連續(xù)信源有。這時(shí)雖然信源熵是有限的，但信息量是無(wú)窮大。實(shí)際信道容量總是有限的，無(wú)失真?zhèn)魉瓦@種連續(xù)信息是不可能的。只有當(dāng)允許失真（R(D)為有限值），傳送才是可能的。第43頁(yè)2024/4/144.1基本概念4.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域

信源最小平均失真度Dmin[舉例]：刪除信道

X取值于{0,1}，Y取值于{0,1,2}，失真矩陣為：滿足最小允許失真度的試驗(yàn)信道是一個(gè)無(wú)噪無(wú)損的試驗(yàn)信道：第44頁(yè)2024/4/144.1基本概念4.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域信源最大平均失真度Dmax

信源最大平均失真度Dmax：必須的信息率越小，容忍的失真就越大。當(dāng)R(D)等于0時(shí)，對(duì)應(yīng)的平均失真最大，也就是函數(shù)R(D)定義域的上界值Dmax

。第45頁(yè)2024/4/144.1基本概念4.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域

信源最大平均失真度Dmax

信息率失真函數(shù)是平均互信息的極小值：當(dāng)R(D)=0時(shí)，平均互信息的極小值等于0；當(dāng)D>Dmax時(shí)，從數(shù)學(xué)意義上講，因?yàn)镽(D)是非負(fù)函數(shù)，所以它仍只能等于0。這相當(dāng)于輸入X和輸出Y統(tǒng)計(jì)獨(dú)立。意味著在接收端收不到信源發(fā)送的任何信息，與信源不發(fā)送任何信息等效?；蛘哒f(shuō)傳送信源符號(hào)的信息率可以壓縮至0。第46頁(yè)2024/4/144.1基本概念4.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域

信源最大平均失真度Dmax

計(jì)算Dmax的值令試驗(yàn)信道特性p(yj/xi)=p(yj)(i=1,2,…,n)這時(shí)X和Y相互獨(dú)立，等效于通信中斷，因此I(X;Y)=0，即R(D)=0。滿足上式的試驗(yàn)信道有許多,相應(yīng)地可求出許多平均失真度值,從中選取最小的一個(gè),就是這類平均失真值的下界Dmax.第47頁(yè)2024/4/144.1基本概念4.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域信源最大平均失真度Dmax

計(jì)算Dmax的值上式是用不同的概率分布{p(yj)}對(duì)Dj求數(shù)學(xué)期望，取數(shù)學(xué)期望當(dāng)中最小的一個(gè)作為Dmax。第48頁(yè)2024/4/144.1基本概念4.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域

信源最大平均失真度Dmax

計(jì)算Dmax的值實(shí)際是用p(yj)對(duì)Dj進(jìn)行線性分配，使線性分配的結(jié)果最小。當(dāng)p(xi)和d(xi,yj)給定時(shí)，必可計(jì)算出Dj

，Dj隨j的變化而變化，p(yj)是任選的，只需滿足非負(fù)性和歸一性。若Ds是所有Dj當(dāng)中最小的一個(gè)，可取p(ys)=1，其它p(yj)為0，這時(shí)Dj的線性分配（數(shù)學(xué)期望）必然最小，即：第49頁(yè)2024/4/144.1基本概念4.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)