信息論復(fù)習(xí)筆記

1.緒論

信息論回答了通信的兩個(gè)最基本問題：

（1）數(shù)據(jù)壓縮的極限；

（2）信道傳輸速率的極限；

彳言息、'消息、和彳言號(hào)"

蔡息：蔣息而戴醴（能被感知和理解、迤行停蟒噬?。?/p>

信息：事物^勤力犬熊或存在方式的不硅定性的描述（香晨）

先瞬概率-P（ai）

自信息：1（&）=1。gw-（冉）]；（信息接收的不硅定性）

互信息：1（&;卜）=log[pi（aj]-log[pT（a]bJ];

（信息接收的多少度量）'''

（若信道輾干攥,期互信息等於自信息等於0）

侵黑占：明碓的數(shù)擘模型、定量言十算；

缺黑占：有遹用靶圉；

信虢；

通2系統(tǒng)的模型

通信系統(tǒng)的基本要求:有效、可靠、保密、認(rèn)證

2.離散信源及其信息測(cè)度

-離散信源的定義：輸出信息數(shù)有限、每次只率俞出一彳固；

-自信息的定義及物理意義

事件贊生前：事件彝生的不硅定性；

事件彝生后：日寺^含有的信息量；

信息熠的定義及物理意義，信息牖的基本性質(zhì)

定羲:自信息的數(shù)擘期望(H(X)=-Z[P(ai)logP(ai)])

信源的尉辨f信息測(cè)度

(1)每偃I消息所提供的平均信息量；

(2)信源輸出前，信源的平均不硅定性；

性小(1)封稀性；(2)硅定性；

(3)非負(fù)性；(4)^展性(可拆；

(5)可加性；[H(XY)=H(X)+H(Y)]

(6)強(qiáng)可加性；[H(XY)=H(X)+H(Y|X)]

(7)遮增性；

(8)趣值性；[HguP&Pe…,p，4H(q-i,,…，q")=logq]

等概率分彳布信源的平均不碓定性最大，耦懸最大蹄散嫡定理；

-離散無記憶信源的擴(kuò)展信源

-擴(kuò)展信源的嫡H(X)=NH(X)

-離散平穩(wěn)信源：聯(lián)合概率分布與時(shí)間起點(diǎn)無關(guān)；

■:聯(lián)合炳H(X1X2)=EEP(aiaj)logP(aiaj)

條件―H(X21X1)=-EEP(aiaj)logP(ai|aj

關(guān)系:H(X1X2)=H(X1)+H(X2|X1)

嫡率:離散平穩(wěn)信源的極限燧=limH(XN|X1X2-XN.1)

-馬爾可夫信源:某一時(shí)刻的輸出只與此刻信源所處的狀態(tài)有

父而與以前的狀態(tài)及以前的輸出符號(hào)都無關(guān)；

—馬爾可夫信源的大商：Hm+i=H(Xm+i|X1X2…Xm)

-信源剩余度

嫡的相對(duì)率il=H極限/H。

信源剩余度(輸出符號(hào)間依賴強(qiáng)度)Y=l-r]=l-H極限/Ho

3.離散信道及其信道容量

—H(X;Y)=H(X)-H(X|Y)

-離散信道的數(shù)學(xué)模型

.4信道.4

X=(凝%,'=(不馬，…，耳，…％)

P(y|x)

“也嗎、…、4]vp^y?X)=1鳥、…、匕」

7

-信道矩陣性^

(1)P(aibj)=P(ajP(bj|aJ=P(bj)P(ai|bj)；

(2)[P(b.)][P(aO]

[P(b2)]1P3)]

[P(h)]二[P(a4)](rRs)

[…][…]

[P(bs)][P(ar)]

(3)本俞出端收到的任一b一定是輸人符虢a「中的某一彳固送

入信道；

信道疑義度的定義收到Y(jié)接堂寸燮量X尚存在的平均不硅定

性:

1

H(X|Y)=E[H(XIb])]=EP(xy)logP(X|Y)

物理意義:噪磬造成的影警大?。?/p>

-平均互信息的定義收到Y(jié)彳爰平均每彳固符虢攫得的是曷於X的信

息量(物理意羲：反映輸人輸出雨彳固隨械燮量之的統(tǒng)言依勺束

是眠)：

I(X;Y)=H(X)-H(X|Y)=EP(xy)P(y|x)P1(y)

輾噪一一'封鷹信道中：I(X;Y)=H(X)=H(Y)=O

-信道容量的定義:信道每秒^平均停翰的信息量穗卷信息停

率俞速率，最大信息傅率俞率穗卷信道容量；

-信道容量的計(jì)算：

無噪信道(求H(X)趣值):C=logr

對(duì)稱信道(信道矩睡的每一行或列是另一行或列的置換)：

C=logS-H(Pi,P2,…,pj

強(qiáng)對(duì)稱信道:c=logr-plog(r-l)-H(p)；

準(zhǔn)對(duì)稱信道:C=logr-H(p1,p2,?--,ps)-ENklogMk

(Nk是第k/固子矩睡行元素之和，Mk是第k彳固子矩障列元素之

和)

一般離散信道(望寸所有可能的輸入概率分彳布求平均互信息的最

大值)：

C=X4-loge

w：I(xi；Y)=&=F(bjIaJ*log[P(bj|aJ/P(bj)]<C

一般離散信道當(dāng)LS,并且信道矩陣P是非奇異陣時(shí)，信道容量

的計(jì)算步驟如下：

力股⑷月=力%|a,)logP(b,⑷。=1,2,…,r)

/-Im

C=log2￡2^

J

1.計(jì)算打0=1,2,.”)

2.計(jì)算宿道容量C

3.計(jì)算輸出概率分布P(6j)0=1,2,…⑼

4.計(jì)算輸入概率分布P(a,)(i=l,2,…,)

5.如果Pa)N0(i=l,2,…,s)即可結(jié)束計(jì)算，第2步計(jì)算的C即為

信道容量；否則要重新計(jì)算

離散無記憶信道容量的迭代算法

(S.Arimoto,R.E.Blahut,1972)如下：

1.選擇初始概率分布R%W，PQ尸。。)3)

2.計(jì)算c(〃+l,")和C'(〃+l,〃)

尸叩4)

4=expZPS/aJln

ZP(q)P(b/a,)

C(n+l,n)=ln^P(a,)a,

C\n+1,〃)=In(maxa.

3.判斷C("+l,〃)-C5+l,〃)<￡,如果成立，轉(zhuǎn)第5步;

否則轉(zhuǎn)第4步

4.計(jì)算尸(6)，然后轉(zhuǎn)第2步

P(a,)=,』,2,…,r

2.LP(q)a,

i

5.信道容量C=C(〃+1,〃)，結(jié)束

一數(shù)據(jù)處理定理

如果X、Y、Z組成一個(gè)馬爾科夫鏈，則有

I(X;Z)<I(X;Y)

I(X;Z)<I(Y;Z)

信息不增性原理

一般的數(shù)據(jù)處理原理

I(S;Z)<I(S;Y)

I(S;Z)<I(X;Z)

I(S;Z)<I(X;Y)

-信道剩余度=C-I(X;Y)

相對(duì)剩余度=1-I(X;Y)/C

無損信道的相對(duì)剩余度=l-H(X)/logr

4.波形信源和波形信道

建^信源的相堂寸煙：h(X)A=-/Rptxjlogpfxldx

波形信源的差牖：h(x(t))A=limN_>Ji(XiX2??-XN)

連續(xù)信源的差燧：r1

均勻分布連續(xù)信源的差炳：p(x)=Fa~x~b

0others

h(X\=\o9(h-a\

1N

N雉均勻分彳布：

口口-4)

4(X)=2Flog(b-a)1=1

N

o%史口(4一4)

高斯信源的差牖：

X)

h(X)=log飛2g2+—loge=—log27re(j2

22

%(X)=11og2〃eP

N雉高斯信源的差嫡：2

A(X)=llog(2^f|C|

乙

10=N5

差燧的性質(zhì)：

(1)可加性；(2)凸性；

(3)可負(fù)性；(4)燮換性(X「＞X2,差嫡曾建化)；

(5)趣值性:

離隹散信源的信源符虢等概率分彳布日寺信源的信最大;

建^信源：

-常峰值功率受限懸陰寺(率俞出信虢的瞬日寺甯屋限制懸

±(PA)1/2)，此日寺信源輸出的速燮量限制在[a,b]

fi，信源具有最大嫌：

h=log(b-a)

如果隨械矢量取值受限，即各隨械分量統(tǒng)IF褐立并均勻

分佛畤具有最大嫡；

-常信源輸出信虢的平均功率被限定:MP，即J其信虢幅度

的概率密度分怖懸高斯分佛日寺，信源有最大燧：

h=l/2*log2jieP

N雉速^平穩(wěn)信源如果其N雉隨檄序列的憤方差矩睡C被限定，印J

N雉隨檄矢量:M正太分彳布日寺信源的嫡最大。也就是Ng隹高斯信源

的牖最大，其值卷

1N

^log\C\+-log2ne

*燧功率：如果平均功率的非高斯分怖的信源的牖:Mh,m

嫡也;Mh的高斯信源的平均功率:M炳功率

P12/1

P=-e

27r

p<p

*建^信源的剩繪度P-P

2h（X+Z）、2h（X）,2h（Z）

*嫡功率不等式：e（）之e3+e-

—香農(nóng)公式

意義：（1）提高信噪比能增加信道容量，趣於0日寺信道容量超

於輾蔚；（2）女合出了趣金昔^通信的僖輸速率的理^^限，

香晨趣限；

—=ln2x0.6931

No

lEb\

10/^1—I=10^（/712）1.6dB

5.無失真信源編碼定理

信源褊碉-u縮剩繪度

信道編礁-增加剩食余度

-編碼：堂寸信源的原始符虢按一定的數(shù)擘規(guī)刖迤行燮換；

一碼：（1）礁字；（2）礁元（礁符虢）；

（3）礁字■^度（石身艮）；

-碼的分類：

二元礁礁符虢集只有0和1刖槿元素

等口焉

等是非奇昇礁一定是唯一可群礁；

用等晨礁堂寸信源S褊礁，必須滿足q"；

燮是碉、非奇昇碣（礁字都不相同）、奇昇碣（存在相同）、

同慎礁（每彳固礁元的傅翰日寺^都相同）；

唯一可葬礁：

漸近等分割性

彳蜀立等分彳布的隨檄序列S1S2…SN，有

ai=(SilSi2-SiN)€S1S2-SN

11P

-露。gP(%)=-,ogP(Si]Sq...S/TH(S)

-典型序列集的性質(zhì)GEN竿-"(S)<￡，

出潮既率超近1-P&N)>1-6，P&N)&S

接近等概率分彳布:2-MH⑸+6]<尸3)<2-M?]

彳固數(shù)超近2叫固:(1一b)2“(sz141G一||<2時(shí)"⑸同

—log尸(4)

—典型序列：臀”⑸<H⑸<￡

N

-信源編碼

IH(S)+￡

等晨褊礁定理：滿足后-畤,富N足多句大即J可以

IH⑸-2s

乎輾失真褊礁'反之如果后一k日寺，刖不可能^^輾失真

編礁，富N足多旬大日寺，群碣金昔^概率近似等於1；

燮形：(1)llogr>NH(SJ:只要礁字僖翰的信息量大於信

源序列搞帶的信息量可以乎輾失真褊礁；

I

(2)褊礁后信源的信息僖輸率：R=/。夕

(3)信息僖本俞率大於信源的嫡才能乎輾失真編礁:

I

R'=~^logr>H(S)+E

H(S)H(S)

4=R，=1H(S)

褊礁效率：臚,"(最佳等晨碣=WT7)

信源序列是度N典金昔概率的信期系:

D［/(S)。［/(幻］2

N>---=’

￡S“2(S)(1一后

—克拉夫特不等式：“i=1丁-

如果礁是滿足克拉夫特不等式即一定存在具有道檬礁房的r

元唯一可群礁，且一定存在一彳固具有相同礁房的即日寺礁；

—唯一可譯碼的判斷：

沒有一彳固俊女凝分解集中包含有礁字；

礁C的彼輟分解集卷6｝，So=C，Si由所有滿足下面雨彳腳條件

的S系且成：

(1)Si-iSi=c；

(2)S-i=CSi；

C至有一彳固礁字是另一彳固礁字的前^)

一變長(zhǎng)信源編碼定理

礁的平均是度(平均礁是)

q

工=?區(qū)居

i=1

__H(S)_H(S)

礁率：R=H(X)=F~凡=F~(信道每秒金童的信息量)

(平均每彳固礁元揣帶的信息量；編礁俊信道的信息傅率俞率)

-無失真變長(zhǎng)信源(輾噪信道)編碼定理(香農(nóng)第一定理)

一個(gè)離散無記憶信源S的N次擴(kuò)展信源”=｛%,。2,…,%、｝,其燧

為H(S*,并有碼符號(hào)心｛a工2,…再｝。對(duì)信源梆進(jìn)行編碼，

總可以找到一種編碼方法，構(gòu)成唯一可譯碼，使信源S中每

個(gè)信源符號(hào)所需的平均碼長(zhǎng)滿足

H(S).一1H⑸?1

logrNlogrN

limJ啦

NTOONlogr

無失真信源編碼定理可以推廣到平穩(wěn)有記

憶信源

HISS-S)LH(S,S-S)1

---.-2-----N--S---<-----2----N---H---

NlogrNNlogrN

lim^-=—lim—=

N*NlogrN*Nlogr

如果按照/(s)=log-^—來編碼，則碼長(zhǎng)/(s)對(duì)確切的概率分布

q3

尸⑸的均值滿足

"(P)+。(尸丁)4昂U(s)]<〃(尸)+O(P||q)+1

。(尸im)=Zp(s)iog智

信源的信息嫡是輾失真信源微褊的趣限值

意羲罐褶遭椎怠憚翰率總被於信道容量c的情況下，名鼠能封

信源的輸出暹行遹常的褊碣，是的在輾噪瓢損信道上能輾差^

地以最大信息僖翰率c僖輸信息，但要令R大於c期是不可能

的；

-編碼效率

”(S)

n==----

Llogr

一碼的剩余度

H(S)

1F=1-n---

Llogr

6.有噪信道編碼定理

費(fèi)者若不等式：H(X\Y)<H(PE)+PElog(r-1)

H(PJ-接收到Y(jié)彼是否曾崖生PE金昔^的不硅定性；

PElog(r-l)-富PE彝生俊，到底是由哪偃I本俞人符虢造成的

金昔^的最大不硅定性；

富信源信道4合定日寺，信道疑羲度H(XIY)就《合定了群礁金磊吳

概率的下限；

可通謾重H樊送，使接收端接收消息畤的金昔咸??；

—信息傳輸率：氏=等3位畤斷鞠的信息量:凡=等

碼字距離：是度懸n的雨彳固礁字之^的距離隹指雨偃I礁字之

望寸J1位置上不同礁元的值［數(shù)，通常耦:M澳明距H：

n

D(q，Cj)=JX十葭

fc-1

51C的最小距翦隹：dmin=min{D(Ci,Cj))；

褊礁逗攆礁字畤，礁字^的距離隹越大越好；

葬礁規(guī)即J、編礁方法的逗攆：

(1)最小距離隹儒可能大；

(2)群礁招收到的序列群成典之距離隹最近的哪值I礁字；

(3)令礁是足多句是；

-聯(lián)合漸近等分割性

對(duì)于任意小的正數(shù)￡沙，8>0,當(dāng)〃足夠大時(shí)，有

(1)尸(《“(初21-5

尸(G"))21-J

P{GeSXYy)>\-8

(2)2-?t?(X)?l<p(x)<

2-?(w(n+?]<p(y)<2一"【"⑺田

2-MH(W)+*I<P(孫)<2~"lH(xr)~e,

(3)(1<||G?(X)||<2"lH(x)+t,

(1-3)2"|H“Ms||GOT(r)||s

(1-3)2"阿吁】<||G?(jry)||<

對(duì)于任意小的正數(shù)￡沙，〃足夠大時(shí)

(])2~nlH(Y]X^2￡]<P(y|x)<2~n1H(m~2s]

2~n[H(X\Y^26]4p(x|y)42T1“(Ry)-2€]

(2)11GBl(XIy)1142m因?

11Gtl,(yIx)1142M”小皿

如果文和曠是統(tǒng)計(jì)獨(dú)立的隨機(jī)序列對(duì)，并與P(xy)有相同的邊緣

分布，即

(i,y)~P(i)P(y)=P(xy)

則

P[(x,y)eG?(XY)]<2必"W"

并對(duì)于任意正數(shù)的0,當(dāng)〃足夠大時(shí)有

P[(i,y)eG?(AT)]2(1-力2-"<**>""

-有噪信道編碼定理(香農(nóng)第二定理)及其意義

有噪信道編碼定理(香農(nóng)第二定理)

設(shè)離散無記憶信道[X,P(y|x),Y],P(y|x)為信道傳遞概率，其信

道容量為C。當(dāng)信息傳輸率H<C時(shí)，只要碼長(zhǎng)〃足夠長(zhǎng)，總可

以在輸入X”符號(hào)集中找到M(=2〃R)個(gè)碼字組成的一組碼(2叫〃)

和相應(yīng)的遙碼頻mil.他譯碼的平的槽誤棚泵注音小.

設(shè)離散無記憶信道[X,P(y|x),Y],其信道容量為C當(dāng)信息傳輸

率R>C時(shí)，則無論碼長(zhǎng)〃有多長(zhǎng)，總也找不到一種編碼

M(=2〃R,〃)，使譯碼錯(cuò)誤概率任意小。

對(duì)于限帶高斯白噪聲加性信道，噪聲功率為P〃，帶寬為W,信

號(hào)平均功率受限為Ps，則

(1)當(dāng)=+4]時(shí)，總可以找到一種信道編碼在

信道中以信息傳輸率(碼率)H傳輸信息，而使平均錯(cuò)誤概率

任意小；

(2)當(dāng)心C,找不到任何信道編碼，在信道中以火傳輸信息而

使平均錯(cuò)誤概率任意小。

望寸有噪信道編礁定理的^明：

?信道容量是可達(dá)的、最大的可靠信息傳輸

率

-信息傳輸率不大于信道容量時(shí)，PE以指數(shù)趨于0

-信息傳輸率大于信道容量時(shí)，PE以指數(shù)趨于1

?香農(nóng)第二定理說明錯(cuò)誤概率趨于0的編碼方

法是存在的，但沒有給出具體的構(gòu)造方法。

-聯(lián)合信源信道編碼定理及其意義

如果S〃=(S]S2…S〃)是有限符號(hào)集的隨機(jī)序列并滿足漸近等分割

性，又信源S極限懈0〈C則存在信源和信道編碼，其

反之，對(duì)于任意平穩(wěn)隨機(jī)序列，若極限腕8>C，則錯(cuò)誤概率

遠(yuǎn)離0,即不可能在信道中以任意小的錯(cuò)誤概率發(fā)送隨機(jī)序列。

7.保真度準(zhǔn)則下的信源編碼

-失真度d(Ui,Vj)20(單個(gè)符號(hào))

-失真矩陣

d(”)火場(chǎng),匕)…"(%,匕)

d(〃2，W)或〃2，%)…>(〃2,匕)

D=

_d(3)d(“2)…4(%,%)_

-平均失真度：七個(gè)信源在某一試驗(yàn)信道下的失真大?。?/p>

方=Z切=￡￡尸(%)P(,I4)d(%,4)

U,Vi={7=1

是度:MN的信源符虢序列的失真函數(shù)：

N

d(u,v)=d(q.血)=￡d(%,4)

/=1

晨度懸N的信源符虢序列的平均失真度：

D(N)=￡[d(u,v)]=Z?(uv)d(u,v)=￡尸(u)尸(v|u)d(u,v)

uyuy

罩彳固符虢的平均失真度：

11rVs'

氏=五方(%)=^^工尸(%)尸(4阿)或%，4)

|=1j=l

信源和信道都是輾言己il的，信源序列的平均失真度:

_N_

方(N)=ZA

/=1

信源的平均失真度:

瓦=1公N”

N/=1

離散平穩(wěn)信源

b（N）=Nb

保真度準(zhǔn)則，平均失真度不大于所允許的失真

N維信源序列的保真度準(zhǔn)則

b（N）￡ND

D失真許可的試驗(yàn)信道，滿足保真度準(zhǔn)則的試

驗(yàn)信道

%={?(,|與)：)40

B0={P(fll\a,Y.b(N^ND]

信息率失真函數(shù)的定義：在滿足保真度型即下，信源信息傅

輸率的下限是多少；

R(D)=min{/(U；P)}

P(vj\ui)eBD

RJD)=min{7(U;V)}

P⑺1%)?萬(N)4ND

信息率失真函數(shù)和信道容量具有堂寸偶性：

信息傳輸理論率失真理論

信道P=[P(y\x)]失真測(cè)度d(u,v)

信源P=(P(w))

信源P=（尸（源信道P=[P(v|?)]

碼C:MfX"信源碼CRNTC

錯(cuò)誤概率PE平均失真度DN

信道容量率失真函數(shù)

V*Z、?，，.\、、

其他性:(1)在一定4勺束脩件下是平均互信息的趣小值；

(2)非負(fù)性，下限值卷0；

(3)常R(D)=O日寺，所望切I就是平均失真度的上

界

Dmax，

(4)R(D)是允^失真度D的凸函數(shù)；

(5)R(D)在定羲域內(nèi)速；

(6)R(D)是殿格的罩遮減函數(shù)；

—保真度準(zhǔn)則下的信源編碼定理(香農(nóng)第三定理)及其意義

設(shè)R(Q)為一離散無記憶平穩(wěn)信源的信息率失真函數(shù)，并且有

有限的失真測(cè)度。對(duì)于任意。NO,8>0,3>0及任意足夠長(zhǎng)的

碼長(zhǎng)小則一定存在一種信源編碼G其碼字個(gè)數(shù)為

而編碼后的平均失真度

d(C)<D+8

反之，

不存在平均失真度為。，而平均信息傳輸率H'vR(Q)的任何

信源碼。即對(duì)任意碼長(zhǎng)為拉的信源碼C,若碼字個(gè)數(shù)

~■定有

d(C)>D

意羲：吉兌明在允^失真D的脩件下，信源最小的，可連的信息

傅翰率是信源的R(D)。

一聯(lián)合有失真信源信道編碼定理及其意義

?香晨第一定理+香晨第二定理：

(1)只要信道的信道容量大於信源的趣限嫡，就能在信道中

做到有效地、罪金昔吉吳地傅輸信息；

(2)分雨步編礁理方法典一步慮理方法效果一檄好；

?香晨第三定理+香晨第二定理：

(1)如果信源的趣限嫡大於信道的信道容量，只要在允言午一

定失真的脩件下，仍能做到有效和可靠地傅輸信息；

如此可1?東內(nèi)出信息傅翰定理：

(1)離隹散輾言日情信源S的信息率失真函數(shù)懸R(D)，離隹散

輾言日情信道的信道容量懸C，如果滿足：

C>R(D)

刖信源率俞出的信源序列能再次信道率俞出端重現(xiàn)，其失真

小於等於D。

(2)離隹散罪言己情信源S，其信息率失真函數(shù)懸R(D)比特

1

/信源符虢,每秒率俞出目固信源符虢；翳隹散輾言己情信道的

1

信道容量懸c比特/信道符虢，每秒停^Q固信道符虢，

如果滿足?

C/?(￡))

CS

即信源輸出的信息能再此信道輸出端重現(xiàn)，其失真小於

等於D。

(3)離隹散輾言己驚信源S，其信息率失真函數(shù):MR(D)比特

1

/信源符虢,每秒輸出Q固信源符虢；蹄散輾言引！信道的

1

信道容量卷c比特/信道符虢，每秒僖輸Q固信道符虢，

如果:菊足?

C/?(￡))

CS

即在信道輸出端不能以失真小於等於D再現(xiàn)信源輸出的

信息。

用意羲：(1)保真度型即下的信源褊礁定理是有失真信

源JS縮的理^基磁；(2)在允^一定失真度的情沆下，信

源的信息率失真函數(shù)可以作懸衡量各槿JE縮編礁方法性能侵

劣的一槿尺度；

-信息率失真函數(shù)的計(jì)算：

?對(duì)稱信源（漢明失真）二元封耦信源的信息率失真函數(shù):

H⑼一H(D)0<D<a)

R(O)=?

0D>co

r元堂寸耦信源的信息率失真函數(shù):

0<Z)<l-i

logr-￡)log(r-1)-H(D)

R(O)=(r

n>l-i

0

r

?高斯信源（平方誤差失真）

—log—D＜（y2

R（O）=j26D

0D＞（T2

8.無失真的信源編碼

維失真信源褊碣-熠褊礁

?信源概率分彳布是不均勻的；

?信源是由言己朦的，具有相^性；

?香晨編碣:

逗攆每彳固礁字的是度/i，滿足：［/log，］（』，2,…⑼

尸6）

道檬的礁是必定滿足滿足克拉夫特不等式，一定存在即日寺礁；

平均石身艮不超謾上界：Lavr<%(S)+l

'llai

、P(Si)=-

常滿足信源概率分彳布:M,)周日寺，香晨褊礁的平均礁是才

能逵到趣限值；一般情，兄下,香震編礁德島的不是。

-二元哈夫曼碼

?將夕個(gè)信源符號(hào)按概率分布的大小，以遞減次序排列

?把0和1分別分配給概率最小的兩個(gè)信源符號(hào)，并將這兩

個(gè)信源管骨合并成一個(gè)新符號(hào)，新符號(hào)的概率是這兩個(gè)

信源待號(hào)的概率之和，從而得到只包含1-1個(gè)符號(hào)的新

信源，稱為信源s的縮減信源，

?將縮減信源S］的符號(hào)仍按概率大小以遞減次序排列，再

將0和1分別芬配給其概率最小的兩個(gè)符號(hào)，并將這兩個(gè)

符號(hào)合并成一個(gè)新符號(hào)，得到包含q-2個(gè)符號(hào)的縮減信

源跖

?依次繼續(xù)，直到縮減信源只包含兩個(gè)符號(hào)為止，將0和1

分別分配給最后兩個(gè)符號(hào)

?4/置患署僖翦恁需為收編碼路徑由后向前返回，

(fa：(1)得到的礁不是唯一；

(2)如果合彳并彼輿其他信源符虢概率相同，鷹排前；

(3)保晉登了概率大得符虢封鷹短礁，概率小堂拉I是礁，

令短礁得到充分的利用；

(4)每次縮，咸信源的最彼雨值［礁字只有最彼一彳固礁元

不同；

(5)每次縮減信源的最是雨偃I礁字的礁是相同；

-r元哈夫曼碼

?每次把r個(gè)概率最小的符號(hào)合并成一個(gè)信源

符號(hào)，并分別分配0,1,(r-l)o

?最后一步的縮減信源必須有r個(gè)信源符號(hào)，

因此信源S的符號(hào)個(gè)數(shù)9必須滿足

q=(r-l)0+r

對(duì)于給定分布的任何信源，存在一個(gè)最佳二元即時(shí)碼(其平均

碼長(zhǎng)最短)，此碼滿足以下性質(zhì)：

(1)如果Pj>p*，則/jW//。

(2)兩個(gè)最小概率的信源符號(hào)所對(duì)應(yīng)的碼字必