信息論與通信原理導(dǎo)論 全課件 第一章 緒論 - 第十三章 復(fù)用與多址技術(shù)

第一章：緒論通信原理你對未來通信系統(tǒng)有什么愿景？VR體驗 全息通信萬物互聯(lián) 星際通信參考教材電子版講義《信息論與通信原理導(dǎo)論》，唐嵐編著QQ:課程交流教學(xué)立方：發(fā)布課件，課后作業(yè)，上交作業(yè)1.1現(xiàn)代通信技術(shù)及發(fā)展現(xiàn)代通信技術(shù)是指用現(xiàn)代科學(xué)手段，如電子，光技術(shù)實現(xiàn)信息傳遞的一門技術(shù)科學(xué)。電磁波，光是信息傳輸?shù)妮d體通信技術(shù)的發(fā)展

通信的目的1838：摩爾斯發(fā)明有線電報1876：貝爾發(fā)明有線電話1898：馬可尼發(fā)明無線電報1906：真空電子管出現(xiàn)并應(yīng)用于通信1918：無線電廣播1938：電視廣播1940：雷達與微波通信系統(tǒng)1948：香農(nóng)提出信息概念，奠定信息論基礎(chǔ)現(xiàn)代通信技術(shù)及發(fā)展207020世紀80年代到90年代，通信網(wǎng)絡(luò)向程控化，數(shù)字化，智能化發(fā)展，寬帶接入網(wǎng)成為研究熱點。21世紀，物聯(lián)網(wǎng)，移動互聯(lián)，無處不在的連接，高速率，低時延。通信系統(tǒng)的構(gòu)成通信系統(tǒng)的組成框圖通信系統(tǒng)傳遞的信息包括語音，文字，圖像，視頻等。H()=

H()ej()

Kejtd將媒體信息轉(zhuǎn)化成電信號（電壓，電流，電磁場等）

傳輸媒介：電纜，光纖，自由空間

與信源的作用相反保證高效，高質(zhì)量的通信（盡可能準確真實地還原信息）1.2通信系統(tǒng)的構(gòu)成模擬通信系統(tǒng)：系統(tǒng)內(nèi)傳輸?shù)氖悄M信號。發(fā)送的信號波形在收端無失真恢復(fù)抗噪聲性能差模擬線性調(diào)制：振幅調(diào)制，雙邊帶調(diào)制，單邊帶調(diào)制，殘留邊帶調(diào)制非線性調(diào)制：窄帶調(diào)頻，寬帶調(diào)頻《高頻電路》1.2通信系統(tǒng)的構(gòu)成數(shù)字通信系統(tǒng)：系統(tǒng)中傳輸?shù)氖菙?shù)字信號。數(shù)字符號狀態(tài)的正確識別。

本門課的主要研究內(nèi)容通信原理只關(guān)注基帶信號處理數(shù)字調(diào)制器：將二進制信息序列映射成信號波形。1.2通信系統(tǒng)的構(gòu)成數(shù)字通信系統(tǒng)vs模擬通信系統(tǒng)（優(yōu)點）抗噪聲性能好數(shù)字通信系統(tǒng)可以從噪聲中恢復(fù)出原始信號S(t)

1 0 0 1 1 1ta.信號波形S(t)模擬接收機無法濾除噪聲

tb.疊加噪聲后的波形S(t)

1 0 0

1 1 1tc.再生后的波形通信系統(tǒng)的構(gòu)成數(shù)字通信系統(tǒng)可通過信道編碼方式有效地改善通信質(zhì)量數(shù)字信號便于運用計算機技術(shù)，數(shù)字信號處理技術(shù)進行處理，存儲和交換。有利于不同種類信號的綜合。數(shù)字通信系統(tǒng)vs模擬通信系統(tǒng)（缺點）技術(shù)較復(fù)雜占用較寬的帶寬（以語音傳輸為例）通信系統(tǒng)分類通信方式單工通信：只進行信息的單向傳輸，如廣播系統(tǒng)或?qū)ず粝到y(tǒng)。半雙工通信：具備雙向信道，但不能同時進行通信，如無線對講機。全雙工通信：具備雙向信道，可以同時進行通信。大多數(shù)通信系統(tǒng)，如蜂窩通信系統(tǒng)，有線電話均為全雙工通信。全雙工可分為TDD和FDD。通信系統(tǒng)分類按網(wǎng)絡(luò)結(jié)構(gòu)可分為：點對點：最簡單的網(wǎng)絡(luò)結(jié)構(gòu)；點對多點：廣播，電視等系統(tǒng)；多點通信：多組用戶同時通信。根據(jù)用戶的需求進行交換連接：電路交換和分組交換《數(shù)據(jù)通信》通信使用的頻段雙絞線：工作頻率為0~1MHz;同軸電纜：工作頻率為1MHz~1GHz.通信使用的頻段無線通信：信號以電磁波的形式在空間傳播，不同頻段信號的傳播特性不同。30-300HzELF特低頻 海底通信0.3-3kHzVF 音頻 音頻電話，低速數(shù)據(jù)通信3-30kHzVLF 導(dǎo)航，時標30-300kHzLF低頻 導(dǎo)航，電力通信0.3-3MHzMF 中頻 廣播，業(yè)余無線電通信3-30MHzHF 高頻 廣播，無線通信30-300MHzVHF甚高頻 電視，調(diào)頻廣播，移動通信0.3-3GHzUHF 超高頻 電視，移動通信，雷達，遙測3-30GHzSHF 極高頻 微波中繼通信，空間通信，雷達30-300GHzFHF 特高頻 衛(wèi)星通信，射電天文雷達紅外，可見光，紫外光 光纖通信，光波直視通信通信信道及特征通信信道在發(fā)送機和接收機間提供連接，包括雙絞線，光纖，自由空間等。加性噪聲由通信系統(tǒng)內(nèi)部組成元件引起（熱噪聲）由系統(tǒng)外引起的噪聲和干擾信號衰減，幅度和相位失真，多徑效應(yīng)有限的信道帶寬：限制了信號在信道上的傳輸速率1.5通信信道及特征有線信道：雙絞線：0~1MHz，被用作電話線同軸電纜：1MHz~1GHz，用于電視廣播系統(tǒng)中幅度和相位失真，加性噪聲，鄰近信道的串音干擾光纖信道信道帶寬比同軸電纜高好幾個數(shù)量級，1GHz~100GHz低損耗，高帶寬，可提供遠距離的寬帶通信業(yè)務(wù)發(fā)送機或調(diào)制器是LED或激光，通過改變光源強度發(fā)送信息。在接收機中，光強由光電二極管檢測，照射到光電二極管上的光功率和電信號的變化成正比。光纖信道的噪聲源主要來自光電二極管和電子放大器。1.5通信信道及特征無線電磁信道電磁能通過天線輻射出去，為獲得有效的能量輻射，天線尺寸必須大于電磁波的波長）地波傳輸：地波傳播的特點是信號比較穩(wěn)定，基本上不受天氣的影響，但隨著電波頻率的升高，傳輸損耗迅速增大。地面的導(dǎo)電性能越好，電波的頻率越低，地波傳播的損耗越小。因此，這種方式更加適合幾十kHz以下的低頻傳輸。1.5通信信道及特征天波傳輸：天波傳播是電離層和地面對發(fā)送信號的反射形成的，電離層是由位于地球表面之上高度為50～400km120km-30MHz。短波通信可以通過天波傳播的主要問題：多徑效應(yīng)：發(fā)送信號經(jīng)由多條傳播路徑以不同時延到達接收機時，會引起1、符號間干擾；2、信號衰落。噪聲來源：大氣噪聲和熱噪聲。1.5通信信道及特征直達徑傳播（LOS）：30MHz以上頻段的甚高頻（VHF)和更高頻段的信號。30MHz以上頻段的信號穿過電離層損耗較小，可用于衛(wèi)星通信（1GHz~100GHz）。移動通信目前主要使用特高頻（UHF，300MHz~3GHz）。天線架在高塔上，保證覆蓋范圍。多徑效應(yīng)仍明顯。熱噪聲和宇宙噪聲為主要噪聲。頻率越高，多徑效應(yīng)越弱，受大氣環(huán)境影響越大，的信號受雨衰影響大。通信系統(tǒng)的性能度量有效性（傳輸速率）符號周期（s），符號傳輸速率（波特率，1Baud=1符號/s），波特率和符號周期成反比；比特傳輸速率（bits/s）：若一個符號攜帶k比特信息，波特率為x，則比特率=kx;頻帶利用率（bits/s/Hz）：若傳輸占用帶寬B，則頻帶利用率=kx/B;可靠性（誤碼率）誤碼率，誤比特率（和編碼調(diào)制方式，信噪比相關(guān)）通信原理確定與隨機信號分析信號可分為確定信號和隨機信號確定信號：能用函數(shù)準確表示出來的信號《信號與系統(tǒng)》隨機信號：無法用函數(shù)準確表示出來，只能通過概率分布等統(tǒng)計特性描述的信號。通信信號和噪聲為隨機信號。《概率論與隨機過程》，《信息論》確定信號分析基礎(chǔ)周期信號：可展開為傅里葉級數(shù)非周期信號：傅里葉變換公式f(t)

1

F()edF()

f(t)edt頻譜函數(shù)傅里葉變換得到的是雙邊譜，但實際的物理頻率自能是正數(shù)。帶寬對應(yīng)正頻率部分。確定信號分析基礎(chǔ)

f(t)

t2 2

FSa , 其他

2 時域有限，頻域無限若取到第1一個零點的寬度為信號帶寬，則信號帶寬為

Hz確定信號分析基礎(chǔ)f1(t)

f2(t)

()當信號通過線性系統(tǒng)時（比如信道），系統(tǒng)的輸出為輸入信號和系統(tǒng)沖擊響應(yīng)的卷積。f1(t)

f2(t)

()當f2(t)為正弦信號時，頻域卷積定理相當于調(diào)制定理。確定信號分析基礎(chǔ)帶通與低通信號的表示信源所產(chǎn)生的信息信號多為低頻（基帶）信號信道中傳輸?shù)臑檎{(diào)制后的帶通信號帶通信號特點：實高頻信號低通信號特點：復(fù)（或?qū)崳┑皖l信號帶通信號可以用一個等效低通信號來表示信號處理在基帶完成，簡化了帶通信號處理確定信號分析基礎(chǔ)帶通信號的頻譜特性實信號的傅里葉變換具有對稱性：X(

f)

X*(f)帶通信號的頻域特性：幅度偶對稱，相位奇對稱。帶通信號的全部信息包含在正頻域中。帶通信號的頻譜位于遠離零的某頻率

f0附近。在正頻率部分占用的頻段為帶通信號的帶寬確定信號分析基礎(chǔ)帶通信號的等效低通x(t)

X(f)

X(f)

Xl(f)

2X(f

f0)

xl(t)xl(t)

F1Xl(f)2x(t)ej2

f0t

x(t)

F1X(f)F1X(f)u(f)x(t)

j?t)ejf0t

x(t)1(t)j 1 2 tx(t)cosf

t?t)sinf

t 0 0 1 jj?t)os

f0tx(t)sin

f0t

x(t)2

?t)2x(t)的希爾伯特變換確定信號分析基礎(chǔ)x(t)

Relt)ej

f0t(t)cos

f0t(t)sin

f0t(t)cos2

f0t

x(t)確定信號分析基礎(chǔ)帶通系統(tǒng)（信道）–帶通系統(tǒng)：傳遞函數(shù)位于頻率f0

附近的系統(tǒng)h(t)

Relt)ej

f0t低通響應(yīng)函數(shù)–若帶通信號x(t)通過沖激響應(yīng)為h(t)的帶通系統(tǒng)，輸入輸出關(guān)系可表示為Y(f)

X(f)

????(????)=????(????)??(????)Y(f)1X

H

y(t)1x

(t)h

(t)l 2 l l l 2 l l????(????)=????(????)??(????)

x1(t)

xi(t)xq(t)

cos2f0t××sin2f0t

x(t)+xl(t)

的具體形式由調(diào)制方式?jīng)Q定，詳見數(shù)字調(diào)制技術(shù)一章(t)(t)(t)隨機信號分析基礎(chǔ)一些常見的隨機變量–貝努力隨機變量取值為0和1，概率分別為p和1-p的隨機變量。概率分布：

X

p

X

0]1p統(tǒng)計特性：

E[X]p

X]

p(1p)隨機信號分析基礎(chǔ)二項式隨機變量：對np概率分布：

X

k]npk(1kk

p)nk

k0,1,,n統(tǒng)計特性：

E[X]np,

X]

np(1p)例：n個比特在通信信道上傳輸，每個比特的錯誤概率為p,錯誤比特數(shù)服從二項分布隨機信號分析基礎(chǔ)均勻分布概率密度函數(shù)

1,p(x)ba,

axb統(tǒng)計特性：

E[X]

, 其他ba2VAR[X]

(ba)212隨機信號分析基礎(chǔ)高斯（正態(tài)）隨機變量概率密度函數(shù)：

X~N

(m,2)p(x)

1 (xm)222e 222和高斯隨機變量密切相關(guān)的Q函數(shù)：x1 t2xQ(x) e2

dtF(x)

1Q

xm 2若

隨機信號分析基礎(chǔ)隨機變量獨立同分布，零均值，方差相同的高斯隨機變量則x為具有n2隨機變量，其概率密度函數(shù)為

1 n

xx2p(x) 2n/2(nn

e22,

x0 2, 其他2的2分布隨機信號分析基礎(chǔ)瑞利（Rayleigh）隨機變量如果X1和X2是兩個均值為0，方差為2的獨立同分布的高斯變量，則為瑞利隨機變量。瑞利隨機變量的PDF為

p(x)

x2

x2e22,

x00, 其他例，在無線系統(tǒng)中，當發(fā)射機和接收機之間無直達徑時，信道衰落的幅值服從瑞利分布隨機信號分析基礎(chǔ)萊斯（Rice）隨機變量若x1和x2是兩個獨立的高斯變量，x1的均值為m1，x2的均值為m22服從萊斯分布。概率密度函數(shù)為x sx

x2s2 Ie

22,

x0p(x)2

02 其他例，在無線系統(tǒng)中，當發(fā)射機和接收機之間有直達徑時，信道衰落的幅值服從萊斯分布隨機信號分析基礎(chǔ)n維向量

x，若向量中的元素服從聯(lián)合高斯分布，其聯(lián)合概率密度函數(shù)為p(x)

1)n/2

C2

1xmTC1xme2m

Ex,C

E(xm)xmT– 若x中的元素相互獨立，則

p(x)為n個變量概率密度函數(shù)的乘積。隨機信號分析基礎(chǔ)聯(lián)合高斯變量任何子集中的隨機變量也是聯(lián)合高斯的。對于聯(lián)合高斯隨機變量，不相關(guān)等價于獨立。隨機信號分析基礎(chǔ)如果Xii,表示獨立同分布的隨機變量nY 1Xni1n n ii1n的統(tǒng)計特性。隨機信號分析基礎(chǔ)大數(shù)定律：如果

Xii,是一個具有

EXi的獨立同分布的隨機變量序列，則n1nni1

Xi

E[X1]中心極限定理：如果

Xii,是一個獨立i iXm,VarXi inX1 mnXn i/ni1 /n

N 隨機信號分析基礎(chǔ)復(fù)隨機變量Z

X

jY可視為由一對實隨機矢量X和Y組成的向量[XY];Z

X

jY的概率密度函數(shù)定義為X和Y的聯(lián)合概率密度函數(shù)。–如果X和Y聯(lián)合高斯分布，且X和Y獨立同分布，則Z的概率密度函數(shù)為p(z)

1

x2y2e 22

1

z2e22隨機信號分析基礎(chǔ)復(fù)高斯隨機變量Z的均值和方差定義為E[Z]

E[X]

j]]=E[Z

2]

E[Z]2

]

]隨隨機過程的定義–設(shè)某隨機系統(tǒng)輸?shù)暮瘮?shù)，所有可機過程隨隨機過程的定義–設(shè)某隨機系統(tǒng)輸?shù)暮瘮?shù)，所有可?出的樣本點為定義于參數(shù)集T上能的樣本函數(shù)在tT點是一個隨機變量X(t)，則集合X(ttT為一個隨機過程。隨機過程是時間的函數(shù)；隨機過程在每個時間點上的值為隨機變量；隨機過程舉例：語音信號，電視信號，雷達信號，噪聲。隨機過程可表示為多維隨機變量

[x1,x2,x3,]過程的可通過變量的各階概率密度函數(shù)描述隨機統(tǒng)計特性過程的隨機過程X1X2,Xk]

表示隨機過程在k個時間點上的采樣值，則該隨機過程在k個時刻的聯(lián)合行為由隨機向量X1X2,Xk的聯(lián)合概率分布函數(shù)決定。(x1,x2,,xk;t1,t2,,tk)P(X1

x1,X2

x2,Xk

xk)隨機過程隨機過程x(t)mX(t)=EX(t)] 均值XR (t,tX

)E[X(t

)X*(t

相關(guān)函數(shù)1 2 1 2兩個隨機過程x(t)和y(t)的互相關(guān)函數(shù)定義為1 2 1 2R (t,t )E[X(t*(t XY 1 2 1 2平穩(wěn)隨機過程該隨機過程為嚴平穩(wěn)隨機過程。對任意t1,t2,,tk和任意 ，嚴平穩(wěn)隨機過程的k概率函數(shù)滿足x1,,;t1,,tk

x1,,xk;t1

,,tk

任意階的聯(lián)合概率密度函數(shù)具有時移不變性平穩(wěn)隨機過程????????i,j,????????f

fxj

???? ???????? =????fixj

fikxjk

????

只和（廣義平穩(wěn)隨機過程（寬平穩(wěn)隨機過程）均值為常數(shù)：

E(x(t))(t1t2

(t1t2)嚴平穩(wěn)隨機過程一定是寬平穩(wěn)隨機過程寬平穩(wěn)隨機過程不一定是嚴平穩(wěn)隨機過程如果x(t)和y(t)為廣義平穩(wěn)隨機過程，且(t1,t2)

Rxy)，則兩過程聯(lián)合平穩(wěn)。平穩(wěn)隨機過程功率譜密度：1 2 NS()

lim

NEUN

U ()

nejnN

N NnN反映信號功率在單位頻率上的分布情況功率譜密度是實、非負和w的偶函數(shù)。信號功率的計算公式：P E

X(t)2R

(0)

S (f

)dfX X

X平穩(wěn)隨機過程的性質(zhì)SX(f

)F

[RX

性質(zhì)二：如果x(t)和y(t)是聯(lián)合廣義平穩(wěn)隨機過程，則z(t)=ax(t)+by(t)是廣義平穩(wěn)隨機過程，其自相關(guān)函數(shù)和功率譜密度為R )a2R )b2R )ab*R )ba*R )Y 2Z X Y XY Y 2SZ(f)

a SX(f)

b2S (f)2Re[ab*S (f)]平穩(wěn)隨機過程性質(zhì)三：當一個x(t)通過一個沖激響應(yīng)為h(t)的線性時不變系統(tǒng)y(t)和x(t)YmXhttmXH(0)R )R )*)*h*()Y XSY(f)

SX(f)

H(f)2RXY)

R )*h*()XSXY(f)X

SX(f

)H*(f)高斯隨機過程如果對所有采樣時刻

(t1,t2,,tn)

，隨機矢量(X(t1),X(t2),,X(tn))服從聯(lián)合高斯分布，則該隨機過程為高斯隨機過程。RXY(t

,t)

EX(t

)E(t),

t,如果x(t)和y(t)是聯(lián)合高斯過程，則復(fù)過程Z(t)=x(t)+jy(t)是高斯的。白過程SX(f)N02自相關(guān)函數(shù)為R

N02

離散時間隨機過程采樣時間T程。離散隨機過程通?？捎眠@樣的時間序列來表示。

x(n),x(n

1),x(n

M)功率譜密度定義為

S (f)R

(m)ej2fmX Xm自相關(guān)函數(shù)為

(m)

12(f

)ej2

fmdfX 12 X–離散時間隨機過程的功率為PE

X(n)2R

(0)

12S (f

)df X

12 X馬爾可夫（markov）過程設(shè)X(t)為隨機過程，若對任意t1

t2

tk1時刻的隨機變量X

1,X

t2,,X

tk1，有PX

tk1

X1

X

t2

,,X

tk

xkPX

tk1

Xtk

xk則稱X(t)為markov隨機過程。離散隨機過程PX

tk1

xk

X1

X

t2

x2,,X

tk

xkPX

tk1

xk

Xtk

xk馬爾可夫（markov）過程無后效性在當前狀態(tài)(xk,tk)已知的條件下，將來所處的狀態(tài)和過去的狀態(tài)無關(guān)，即fX(xk1,xk1;tk1,tk

xk;tk)C-K方程

fX

(xk1;tk1

xk;tk)

fX(xk1;tk

xk;tk)

fX(xk1;tk

xk;tk)

fX(xk;tk

xk1;tk fX

(xk1;tk

xk1;tk1)馬爾可夫鏈Xn：馬爾可夫鏈離散狀態(tài)集：

S2,,N狀態(tài)概率：

(n)

P(Xn

=i)狀態(tài)概率矢量：

P(n)N

p2(n),,

pN(n)i1

(n)1狀態(tài)轉(zhuǎn)移概率：

ijn)

PXn

j Xm

i馬爾可夫鏈根據(jù)全概率公式p(n)p(m)(m,n)齊次馬爾可夫鏈：ij,n)只和時間間隔-n相關(guān)，而和時間起點m無關(guān)。p(n)p(m)nm當常數(shù)，則

PP

1Si1S馬爾可夫鏈燈泡的概率為p，一個也不壞的概率為q=1-p。為第n證明當n

（1,0,0）。狀態(tài)集S={0,1,2}。一步狀態(tài)轉(zhuǎn)移矩陣

1 0 0p q 0 該markov鏈是齊次的，因此，

0 p q 1 0 0

0 0n

1qn

qn 0

n0 0 1qn

npqn1

npqn1

qn

n

1 0 0馬爾可夫鏈狀態(tài)概率矢量的初始值

P(0)

[0 0 P(n)P(0)n0 0信源及信息測度信信道編碼信源解碼信源的數(shù)學(xué)模型及分類單符號信源符號序列信源連續(xù)波形信源信源的數(shù)學(xué)模型及分類（單符號信源）根據(jù)信源產(chǎn)生的消息的不同的隨機性質(zhì)，可以將信源分為：qq離散信源（取值離散）：信源輸出的是單個符號的消息，符號的取值是有限的（離散）。我們可用一維離散隨機變量x來描述信源的輸出。qqx

a P(ai)1P(x) P(a1)

P(a2)

P(aq)

i1文本，計算機代碼，電報符號，數(shù)字碼信源的數(shù)學(xué)模型及分類（單符號信源）連續(xù)信源：輸出消息的取值是連續(xù)的，隨機的。可用一維連續(xù)性隨機變量x來描述這些消息。x

R

P(x)dx1 P(x) 語音信號，視頻信號，熱噪聲等信源的數(shù)學(xué)模型及分類（符號序列信源）X[x1,x2,,xN]信源輸出的符號序列可以建模為離散時間隨機過程信源的數(shù)學(xué)模型及分類平穩(wěn)信源（按照符號的性質(zhì)分類）在隨機矢量中，若每個隨機變量都是離散性隨機變量，且X的各維概率分布與時間起點無關(guān)。則該信源為離散平穩(wěn)信源。在隨機矢量中，若每個隨機變量都是連續(xù)性隨機變量，且X的各維概率密度函數(shù)與時間起點無關(guān)。則該信源為連續(xù)平穩(wěn)信源。信源的數(shù)學(xué)模型及分類平穩(wěn)信源（按照符號間的相關(guān)性分類）無記憶信源：信源在不同時刻發(fā)出的符號之間是相互獨立的。向量中的各變量獨立。X[x1,x2,,xN]即N維隨機矢量的聯(lián)合概率分布滿足P(X)

P(X1X2XN)

1(X1)2(X2)N(XN)PN(X )i信源的數(shù)學(xué)模型及分類有記憶信源：信源在不同時刻發(fā)出的符號之間相互依賴。有記憶信源可建模為馬爾可夫隨機過程。當記憶長度為m+1時，被稱為m階馬爾可夫信源。當信源輸出為離散值時，m階馬爾可夫信源可用m階馬爾可夫鏈來表示。信源的數(shù)學(xué)模型及分類（波形信源）隨機波形信源可建模為連續(xù)隨機過程語音信號，熱噪聲，電視圖像離散信源的信息熵離散信源的數(shù)學(xué)模型x

a2

aq q

P(ai)1P(x) P(a1) P(a2) P(aq)

i1x 收到某消息獲得的信息量=收到消息前關(guān)于某事件的不確定性- 收到消息后關(guān)于某事件的不確定性離散信源的信息熵自信息：如果事件ai發(fā)生，則它包含的信息量為I(ai)

log

1P(ai)事件ai發(fā)生之前，表示ai發(fā)生的不確定性；事件ai發(fā)生之后，表示ai提供的信息量。對數(shù)以2e離散信源的信息熵信息熵：信源的平均自信息 1 qH(x)Elog

P(a)

P(ai)logP(ai) i

i1信源輸出后，每個消息或符號提供的平均信息量；信源輸出前，信源的平均不確定性；例子：某地天氣預(yù)報構(gòu)成的信源空間為： X 晴 陰 大雨 小雨P(guān)(x) 天氣預(yù)報提供的平均信息量

HX比特信息熵的基本性質(zhì)熵函數(shù)：qqH(x)P(ai)logP(ai)i1

H(p1,p2,,pq)H(p)確定性：當任一概率

1

時， H(p)0非負性：H(p)0可加性：統(tǒng)計獨立信源的聯(lián)合信源的熵等于分別熵之和。H(XY)

H(X)

H(Y)信息熵的基本性質(zhì)強可加性：X和YY的條件熵。H(XY)H(X)H(YX)條件熵的計算公式：nH(YX)ni1

H

Xxi) npm

P(Yy

Xx)logP(Yy

Xx)i1

i j

j i j i信息熵的基本性質(zhì)極值性（最大離散熵定理）：在離散信源情況下，信源各符號等概分布時，熵值達到最大。H(p)

H(p1,p2,,pq)

H(1/q,1/q,,1/q)

logq離散平穩(wěn)信源離散平穩(wěn)信源：平穩(wěn)信源，時間離散，符號取值離散X[x1,x2,,xN]離散平穩(wěn)無記憶信源：信源輸出的消息序列是平穩(wěn)序列并且符號之間是統(tǒng)計獨立的。隨機矢量的聯(lián)合概率分布等于隨機矢量中各個隨機變量的概率乘積。離散平穩(wěn)有記憶信源離散平穩(wěn)無記憶信源離散平穩(wěn)無記憶信源：將一個離散無記憶信源的輸出消息序列用一組長度為N的序列X[x1,x2,,xN]來表示。這時，它就等效為一個新信源。新信源的輸出是長為N的符號序列，其中每個變量都是來自基本樣本空間的隨機變量，并且變量之間相互獨立。這個由隨機矢量x所構(gòu)成的新信源為離散無記憶信源的N次擴展信源。離散無記憶擴展信源離散無記憶信源的概率空間x

a2

aq

[x,x ,,x ]P(x)

P(a)

P(a)

P(a)

1 2 N 1 2 qX的N次擴展信源xN是具有qN個符號序列的離散信源，其概率空間為xN

α1

α2

αNqq

αi1

2

ai3

qPαi) P1) Pα2) PαN)qPαiP1Pi2PiN離散無記憶擴展信源N次擴展信源的信息熵qN

Pαi

P1Pi2PiNH(xN)

Pα

log

Pα i ii1NH(x)離散平穩(wěn)信源在一段時間內(nèi)，信源輸出的信號用隨機矢量表示為x1 2 3 i一維平穩(wěn)信源：任意兩個不同時刻信源發(fā)出的符號的概率分布完全相同P(xi

P(xj

P(a1)

x

a a

a q 1 2 qP(x

a)P(x a)P(a)

P(x) P(a1)

P(a2)

P(aq)i q j q q離散平穩(wěn)信源二維平穩(wěn)信源：信源發(fā)出符號的一維和二維概率分布與時間起點無關(guān)。P(xixik)

P(x

jxjk), ij離散平穩(wěn)信源：各維聯(lián)合概率分布均與時間起點無關(guān)，即P(xi)P(xj)

對于平穩(wěn)信源，其聯(lián)合概率分布和條件概率分布均與時P(xixik)P(xjxjk

間起點無關(guān)，只與關(guān)聯(lián)長度P(xx x )

P(x x

x ) 相關(guān)i i1

iN j j

jN二維離散平穩(wěn)信源二維平穩(wěn)信源xx x二維平穩(wěn)信源

xi

a2

aq1 2 N

P(x)

P(a)

P(a)

P(a) 1 2 q任何長度為2的符號序列的概率分布相同P(x1x2)

P(x2x3)

P(xNN)可根據(jù)輸出信號的二維概率分布計算長度為2的序列的信息熵平穩(wěn)信源的二次擴展信源及信息熵當l=2平穩(wěn)信源的輸出：信源有q2的一個符號，x

a2

aq P(x) P(a) P(a) P(a) 1 2 qP(xx)

P(aa

)P(a

)P(a a)

aqaq 1 2

i j i j i 由于是平穩(wěn)信源，所以聯(lián)合概率不隨時間變化二維平穩(wěn)信源及信息熵二維平穩(wěn)信源聯(lián)合熵q qHx1x2)PiajoPiajji1 jj二維平穩(wěn)信源條件熵q

qPj1

iogPaj

aiH(x2

x1)

PiH(x2i1

x1

ai)qq

Paa logPa aqi1 jq

i j j i二維平穩(wěn)信源及信息熵聯(lián)合熵和條件熵的關(guān)系H(x1x2)

H(x1)

H(x2

x1)條件熵和無條件熵的關(guān)系H(x2

x1)

H(x2)

x1和x2相互獨立時，等式成立H(x1x2)

H(x1)

H(x2)

2Hx離散平穩(wěn)信源的極限熵設(shè)離散平穩(wěn)信源的數(shù)學(xué)模型為x

a2

aq P(x)

P(a)

P(a)

P(a) 1 2 q發(fā)出的符號序列為

1 2

xi假設(shè)已知符號序列的各維概率分布。離散平穩(wěn)信源的極限熵N（）q qH(x1x2xN)

P1i2iN

oP1i2iNiN平均符號熵：N長的信源符號序列中平均每個信源符號所攜帶的信息量為HN(x)

1NH(x1x2

xN)qq在已知前N-1個符號時，后面一個符號所攜帶的平均信息量為qqHX XX X

Paa a

logPa aa N 1 2

N

i11

iN1

iN

iN

iN1離散平穩(wěn)信源的極限熵離散平穩(wěn)信源具有如下性質(zhì)：平均符號熵HN(x)隨N的增加是非遞增的；條件熵H

XN

X1X2XN

隨N的增加是非遞增的；對于離散平穩(wěn)信源，極限熵H存在，且H

limN

HN(x)

limN

H(XN

X1X2XN1)離散平穩(wěn)信源的極限熵某離散平穩(wěn)信源的概率空間為x

0 1 2 P

11 4 1 36 9 4 若信源符號間相互獨立，則信源熵33H(x)P(ailogP(ai)比特/)i1離散平穩(wěn)信源的極限熵若符號間相互依賴，且條件概率為????(????????|?????????????????????????01209/111/8012/113/42/9201/87/9H(x1x2)

PiajoPiaj

2.413 3i1 j3 3平均每符號攜帶的信息量1.2比特離散平穩(wěn)信源的極限熵PiNPiN1iN1qq

P(ai

ia )iN NHX XX X

Paa a

logN 1 2

N

iN

iN3 3P(iN1iN3 3iN11iN1

)logP(aiNi

a )iN1iHX2X1比特/)馬爾可夫信源M階有記憶離散信源：在時刻l之前的M個符號已知的條件下，時刻l所發(fā)出的符號只和這M個符號相關(guān)，而與更之前的符號無關(guān)。PXlXX2x2PXl

Xl1

1,Xl2

2,,Xlm

lmM階有記憶離散信源可用馬爾可夫鏈來描述。馬爾可夫信源M階馬爾可夫信源：令 X1,2,,q表示信源可能的輸出符號信源輸出符號的概率與信源狀態(tài)有關(guān)。我們可以把前面M個符號組成的符號序列看作信源在當前時刻的狀態(tài)。假設(shè)信源符號集有q個符號，則信源有qM個不同的狀態(tài)，對應(yīng)于qM個長度為M的不同序列。令 SE,E,,E

（J

qM）表示信源所處的狀1 2 J態(tài)。馬爾可夫信源狀態(tài)轉(zhuǎn)移概率：Xl

Xl

1

xl1,X

l2

xl2,X(l-mX

lm

xlms(l)Ems(l

En狀態(tài)一步轉(zhuǎn)移概率概率

Pr????(????+1)=????????|???????? =

可由條件PX確定

l

Xl1

1,X

l2

2,,X

lm

lm馬爾可夫信源若狀態(tài)轉(zhuǎn)移概率P(slEj

sl

Ei)

與時刻l無關(guān)，則為時齊馬爾可夫信源。馬爾可夫信源定義：信源輸出的符號序列和信源所處的狀態(tài)滿足下列兩個條件（1）某一時刻信源符號的輸出只與此時刻信源的狀態(tài)有關(guān)，而與之前的狀態(tài)及輸出都沒有關(guān)系。Pl

sl

,

1,

Ej,

P

sl

Ei（2）信源某時刻所處的狀態(tài)由當前的輸出符號和前一時刻信源的狀態(tài)唯一確定。馬爾可夫信源例1.有一個二元二階馬爾可夫信源，其信源符號集為[0，1]，條件概率為P000P00

P1110.8P00.2P0

P010

P

P1100.5該信源有41

:E2

:

:10,E4

:11P1P2

P4P3

E40.8E40.2P3

E2

P2

P4

E2

P1

0.5馬爾可夫信源時齊遍歷的馬爾可夫鏈轉(zhuǎn)移步數(shù)足夠長以后，信源所處的狀態(tài)與初始狀態(tài)無關(guān)，每種狀態(tài)出現(xiàn)的概率達到一種穩(wěn)定分布；EjE

QEjPi

Ej

QEiE

QEj1馬爾可夫信源根據(jù)全概率公式：Q(E1)Q(E2)

QiP14i144QiP24i14

EiEi

Q(E1)

Q(E4)

5/14Q(E3)

QiP3

Q(E)

Q(E)

1/7Q(E4)

i14QiP44i1

2 3Ei4QEi)14i1馬爾可夫信源的極限熵qqM階馬爾可夫信源的極限熵qqHX XX X

Paa a

logPa aa N 1 2

N

i11

iN1

iN

iN

iN1q qiN1

iNM

P(aiNi

aiNMi

)logP(aiNi

a ,a )i iNNMi iq qiN1J

iNM

PiN1,iNM

P(iNq

a ,ai iNNMi i

)P(aiNi

a ,ai iNNMi iQEi)HXi1

Ei

PiNiN1

iogPiN

Ei馬爾可夫信源時齊遍歷馬爾可夫鏈的熵JHQEi)HXJi1

Ei

Pkqk1q

iogPk

Ei馬爾可夫信源接-例1 J qHQEi)HXi1

Ei

Pkk1

iogPk

EiP000P00

P1110.8P00.2P0

P010

P

P1100.5波形信源的統(tǒng)計特性隨機波形信源：信源輸出為時間的連續(xù)函數(shù)，在任意時刻的取值為取值連續(xù)的隨機變量。信源的輸出可用隨機過程x(t)來描述；隨機過程x(t)可看成由一族時間函數(shù) (t)組成，xi(t)為樣本函數(shù)。隨機過程中有無限多個樣本函數(shù)。在任意時刻t，信源輸出量；

x(t)為取值連續(xù)的隨機變波形信源的統(tǒng)計特性 PP,t2P,,xn,t2,tn波形信源的統(tǒng)計特性隨機波形信源分為平穩(wěn)隨機波形信源和非平穩(wěn)隨機波形信源平穩(wěn)隨機波形信源：各維概率密度函數(shù)不隨時間平移而變化p(x1(t1),x2(t2),,xn(tn))p(x1(t1),x2(t2),,xn(tn非平穩(wěn)隨機波形信源：各維概率密度函數(shù)隨時間平移而變化在通信系統(tǒng)中，通常用平穩(wěn)隨機過程來描述隨機波形信源的輸出波形信源的離散化時間離散化：時域采樣定理：如果某一時間連續(xù)函數(shù)的頻帶受限（頻率上限為F），函數(shù)完全可以由間隔的采樣值確定。

12F波形信源的輸出可以用一系列

tn時刻上的樣本值 n

2F來表征。x2F 當隨機過程的總時間為T時，波形信源的輸出包括2FT個采樣值的隨機序列。通過采樣，將波形信源變換成時間離散的隨機序列。波形信源的離散化幅度離散化：對不同時刻的采樣值進行量化。采樣+量化使隨機過程變換成時間和取值都是離散的隨機序列。問題：B否損失由什么導(dǎo)致？AB量化C采樣+量化連續(xù)信源連續(xù)信源：輸出消息為連續(xù)隨機變量的信源。連續(xù)信源是波形信源的特例波形信源連續(xù)信源

xt1,xt2,,xtnxti連續(xù)信源的信息測度連續(xù)信源的差熵基本連續(xù)信源的數(shù)學(xué)模型為取值連續(xù)的實數(shù)集XR

p(x)dx1 Rp(x) R

差熵 絕對熵連續(xù)信源的差熵：

不代表信源平均不確定性的大小，不h(X)

R

p(x)

p(x)dx

代表連續(xù)信源輸出的信息量與離散信源的熵在形式上統(tǒng)一，實際中往往討論熵的差值。連續(xù)信源的信息測度兩個連續(xù)變量X、Y的聯(lián)合熵和條件熵h(XY)

R

p(xy)log

p(xy)dxdyX)

R

p(x)p(yx)log

p(yx)dxdy連續(xù)信源差熵的性質(zhì)：可加性：

h(XY)

h(X)h(YX)

h(X)h(Y)可為負數(shù)。兩種特殊連續(xù)信源的差熵均勻分布連續(xù)信源的差熵一維隨機變量X在[a,b]內(nèi)均勻分布，其差熵bh(X) 1 logb

1 ab

balog(ba)

比特/自由度兩種特殊連續(xù)信源的差熵高斯信源的差熵信源輸出的一維隨機變量x的概率分布為高斯分布，則p(x)

1 22

exp

xm22 h(X)

p(x)log

p(x)dx1log2e22波形信源的差熵波形信源的輸出可用隨機過程表示；平穩(wěn)隨機過程

可用在不同時間點的取樣值序列

x1,x2,,xN

和 y2,,yN

表示，因此，平穩(wěn)隨機過程的熵也就是平穩(wěn)隨機序列的熵。h(X)

h(x1x2xN)R

p(x)

p(x)dxX)

h(y2yN

x1x2xN)R

p(xy)

p(yx)dxdy符號間相互獨立且同分布時，

h(X)Nh(xi)hY X

Nh

兩種特殊波形信源的差熵均勻分布波形信源的熵N維連續(xù)平穩(wěn)信源，若其輸出矢量

X[x1,x2,,xN]，其分量分別在[a1b1],[a2b2],,[aNbN的區(qū)域內(nèi)均勻分布，即N維聯(lián)合概率密度函數(shù) 1 Np(x)biai)i10兩種特殊波形信源的差熵h(X)N1

p(x)log

p(x)dxaN Nogbiai)i1Nh(xi)Ni1兩種特殊波形信源的差熵若N維連續(xù)平穩(wěn)信源輸出的N維連續(xù)隨機矢量X[x1,x2,,xN]

服從N維高斯分布。設(shè)隨機矢量的每一個分量xi為：

的均值為mi，向量的協(xié)方差矩陣CE(xm)xmTp(x)

1 1exp

N NC

m

m )2

C2

2C

i,j

i i j j

i1

j兩種特殊波形信源的差熵N維高斯信源的差熵為：h(X)

R

p(x)

p(x)dx1ogeNC2具有最大差熵的連續(xù)信源連續(xù)信源的差熵h(X)

R

p(x)

p(x)dx

s.t.

p(x)dx1Rp(x)?

差熵最大？具有最大熵的連續(xù)信源峰值功率受限條件下信源的最大差熵定理1：若信源輸出的幅度被限定在[a,b]內(nèi)，b即 ab

1

，則當輸出信號服從均勻分布時，信源具有最大熵。b

p(x)

1 , b a

axbmaxp(x)

h(X)b

a

p(x)

p(x)dx

else

apx)dx1

h(X)

log(ba)當N維隨機矢量取值受限時，只有各隨機分量統(tǒng)計獨立且均勻分布時具有最大熵。具有最大熵的連續(xù)信源平均功率受限條件下的最大熵定理2：若一個連續(xù)信源輸出信號的方差（或平均功率）被限定為P，則其輸出信號幅度的概率分布為高斯分布時，信源有最大熵，熵值。為1log2eP。為2maxp(x)

h(X)

p(x)

p(x)dxs.t.

p(x)dx1x2p(x)dxP具有最大熵的連續(xù)信源對于N維平穩(wěn)信源，若其輸出的隨機序列的協(xié)方差矩陣一定，則隨機矢量服從聯(lián)合高斯分布。時信源的熵最大，熵值為。

1ogeNC2對于N維平穩(wěn)信源，若其輸出的隨機序列的協(xié)方差矩陣一定，且為對角陣，則隨機矢量彼此統(tǒng)計獨立，且各自服從高斯分布時信源的熵最大，熵值為

1ogeNC。2無失真信源編碼理論言L論 信源編碼信道編碼卜寸信源編碼信道編碼言道解碼信源解碼H言道解碼信源編碼的必要性必要性數(shù)據(jù)量龐大例如，以VGA格式存儲一幀圖像需要約2M比特；記錄30秒立體聲需要的存儲空間約為42.33Mbit；1.5小時的電視節(jié)目需要的存儲容量為896Gbit。如果不對信源產(chǎn)生的信息進行壓縮編碼，如此龐大的數(shù)據(jù)量很難進行存儲或在網(wǎng)絡(luò)中傳輸。信息壓縮的可行性數(shù)據(jù)中通常包含很大的冗余數(shù)據(jù)量=信息量+冗余量例如：今晚的電影實在是太好看了！數(shù)據(jù)冗余類型空間冗余存在于圖像數(shù)據(jù)中灰度和顏色相同的鄰近像素組成的區(qū)域在空間上具有強相關(guān)性；空間壓縮/幀內(nèi)壓縮信息壓縮的可行性時間冗余存在于活動圖像和語音數(shù)據(jù)中；活動圖像中兩幅相鄰圖像有較大的相關(guān)性；人說話時發(fā)出的音頻是一個連續(xù)和漸變的過程，因而存在時間冗余；時間壓縮/幀間壓縮P F2P FP F2T信息壓縮的可行性信息熵冗余信息熵指信源提供的平均信息量（信源中每個符號提供的平均信息量），信息熵給出了給信源中的每個符號編碼所需要的最小平均比特數(shù)。設(shè)信源中包括N個符號，信息熵的計算公式為：NHilog2ii1實際中采用碼字的平均長度和信息熵之差為信息熵冗余。信息熵冗余來自于文本中符號間的相關(guān)性。減少信息熵冗余的方法：哈夫曼編碼、算術(shù)編碼信息壓縮的可行性視覺冗余人的視覺系統(tǒng)對于圖像場的注意是非均勻和非線性的，并不能對圖像畫面的任何變化都能感覺到。例如：人的視覺對于圖像邊緣的急劇變化不敏感，對亮度信息敏感，對色度信息不太敏感等。利用人眼的特性，可以通過消除視覺冗余來減少存儲量或降低傳輸速率。信息壓縮的可行性總結(jié)空間冗余通常存在于圖像中；時間冗余通常存在于語音中；空間冗余和時間冗余往往同時存在于視頻中；信息熵冗余通常存在于對文本的編碼中。信源編碼或信源編碼無失真信源編碼和有損信源編碼無失真編碼：在能夠減少要傳輸?shù)男畔⒖偭康耐瑫r，又不會在解碼時損失信息；無失真信源編碼是可逆的；文本必須為無失真信源編碼。離散信源才能進行無失真編碼有損信源編碼解碼時不能精確還原信源信息；一般應(yīng)用于數(shù)字圖像，音頻和視頻的壓縮；人感覺不出解壓后的圖像和原始圖像的區(qū)別。信源編碼器無失真編碼實質(zhì)上是為信源符號或符號序列分配一個唯一的碼字離散信源??1,????2,?,????????離散信源

,,}信源編碼di{s1,s2,,sq}信源編碼

X:1,2,,r碼字由碼符號集中的碼字 元素構(gòu)成(iq)

Wi(xixi

),X

(k1,,li)i

(si,si,,si

1 2 k)Wi(xixixi)1 2 N

1 2 信源編碼器二元碼：碼字為二元序列X:0,1等長碼：所有碼字的長度相等變長碼：碼字的長度不相等非奇異碼：若一組碼中所有碼字都不相同，即sisj

wj則稱該碼為非奇異碼。信源編碼器奇異碼：若一組碼中有相同的碼字，則稱該碼為奇異碼。唯一可譯碼：碼的任意一串有限長的碼字序列只能被唯一譯成對應(yīng)的信源符號序列。信源符號碼信源符號碼1碼2A000B0101C10001D11111等長碼若等長碼是非奇異碼，則它的任意有限長N次擴展碼一定也是非奇異碼。信源符號碼信源符號碼1碼2A0000B0110C1000D1101等長碼若對信源S進行等長編碼，必須滿足llogqlogr

qrl

等長碼的碼長碼符號集中的碼元數(shù)若對信源的NSN進行等長編碼，必須滿足qNrll logqN logr等長碼設(shè)信源的數(shù)學(xué)模型為：S

s s s s 4

1 2 3 4

P(si)1P(s) P(s1)

P(s2)

P(s3)

P(s4)

i1其發(fā)送符號間具有如下依賴性：P21P12P43P3

s41Psj

0等長碼編碼方案一：不考慮符號間的依賴關(guān)系，直接對信源符號進行等長編碼，則每個符號對應(yīng)的碼字長度為2；編碼方案二：考慮符號間的依賴關(guān)系，對信源的二次擴展信源進行編碼。二次擴展信源模型S2 ss ss ss ss

12 21 3 4 4 3Psisj) P(12)

P(s2s1)

P(s3s4)

P(s4s3)等長碼由于考慮符號間的依賴關(guān)系，二次擴展信源中的符號個數(shù)從個縮減為4個。對二次擴展信源中的符號進行等長編碼，每個符號的碼長為2，每個信源符號對應(yīng)的碼字長度為對信源的N次擴展信源進行編碼。由這4個符號組成的長度為N的字符串包括4N個字符串，可以證明當N足夠大時，這4N個字符串中只有

2NHS個高概率字符串。因此對這些高概率字串編碼只需要NH(S)比特，而每個字符需要H(S)比特。等長信源編碼定理一個熵為H(S)的離散無記憶信源，若對信源長為N的符號序列進行等長編碼，設(shè)碼字是從r個字母的碼符l足l H(S)N logr則當N足夠大時，可實現(xiàn)幾乎無失真編碼。反之，則不能實現(xiàn)無失真編碼，當N足夠大時，譯碼錯誤概率趨近等長信源編碼定理上述定理對于平穩(wěn)有記憶信源仍然適用，但定理中的信息熵H(S)應(yīng)為信源的限熵 H(S)對定理中的公式進行移項，可得l logrNHl logrNR’:編碼后的信息傳輸率編碼后每個信源符號對應(yīng)的碼字所能載荷的最大信息量等長信源編碼定理編碼效率：

H(S)1R例子（符號序列長度N和編碼效率，誤碼率的關(guān)系）NDI(si)H2(S)

212

允許錯誤概率若要求譯碼錯誤概率小于等于N滿足上述要求。

，符號序列長度等長信源編碼定理設(shè)離散無記憶信源S

s1 s2 P

3 1 3 14 4H(S)

0.811

比特/信源符號

DI(si)

0.4715

0.96

，錯誤概率105

，則DI(si) 2 7N 4.110H2(S) 12變長碼信源符號碼1碼信源符號碼1碼2碼3碼4A00011B01100110C1000001100D110100011000唯一可譯性：碼本身必須是非奇異的，而且其任意有限長N次擴展碼也必須是非奇異的。即時碼：是唯一可譯碼的一類。在所有符號的碼字中，沒有任何碼字是其他碼字的前綴。變長信源編碼定理設(shè)信源為 S

s2

sq P(s)

P(s)

P(s)

P(s) 1 2 q編碼后的碼字為1,2,,wq

其碼長分別為1,l2,,lq

，則該碼的平均碼長為qLP(sii1

碼符號/信源符號變長信源編碼定理變長信源編碼定理緊致碼的最小平均碼長：若一個離散無記憶信源具有熵H(S)，并有r個碼元的碼符號1,2,,r，則總可找到一種無失真編碼方法，構(gòu)成唯一可譯碼，使其平均碼長滿足H(S)logr

L1

H(S)logr

最小平均碼長的取值區(qū)間無失真變長信源編碼定理（香農(nóng)第一定理）1 2S的SN1 2

1,2

,,

qr其熵為r

H(SNxx

,,x

。對信源S進行編碼，H(S)H(S) 1logr N logr N當 N時，

L H(S)

LN為擴展信源中每個NNN

r

符號序列的平均碼長無失真變長信源編碼定理香農(nóng)第一定理的結(jié)論可以推廣到平穩(wěn)遍歷的有記憶信源，此時，NN

H(S)r無失真變長信源編碼對定理中的公式進行移項，可得rLNNH(S) rLNN編碼后每個信源符號對應(yīng)的碼字能載荷的最大信息量，編碼信息率R若R>H(S)，則存在唯一可譯變長編碼；若R<H(S)無失真變長信源編碼編碼效率 H(S)碼的剩余度1

L1

logrHr(S)L無失真變長信源編碼例：離散無記憶信源S

s1 s2 P

3 1 3 14 4

H(S)

0.811s :

s :1

H(S)

0.811編碼方案1：1 2 L編碼方案2：對離散信源的二次擴展信源編碼s1s1

:

:10,

s2s1

:110,

s2s2

:1114L Pl 274

H(S)

0.961162 ii16i1

/2無失真變長信源編碼編碼方案3：對離散信源的三次擴展信源編碼H(S)

0.985L3/3編碼方案4：對離散信源的四次擴展信源編碼H(S)

0.991/4香農(nóng)編碼選擇每個碼字長度滿足 1 l logi P(s) i哈夫曼編碼哈夫曼編碼無失真變長編碼；給出現(xiàn)概率大的字符分配一個短碼字，出現(xiàn)概率小的字符分配一個長碼字；分析傳輸?shù)淖址?，決定字符的類型以及出現(xiàn)的頻率。根據(jù)不同字符的不同頻率進行編碼。哈夫曼編碼樹編碼過程中產(chǎn)生的不平衡樹二叉樹（分支分別代表0和1）由根節(jié)點，樹枝，枝節(jié)點，葉節(jié)點構(gòu)成。哈夫曼編碼哈夫曼編碼步驟1、將q個信源符號按概率分布的大小，以遞減次序排列；2、用0和1分布代表概率最小的兩個信源符號，并將這兩個概率最小的信源符號合并成一個符號，從而得到只包含q-1個符號的新信源；3、把縮減信源仍按概率大小以遞減次序排列，再將其最后兩個概率最小的符號合并成一個符號，并分別用0和1表示，從而得到包含q-2個符號的新信源；4、依此繼續(xù)下去，直至信源只剩兩個符號為止，將這兩個符號分別用0，1表示。5、從最后一級開始向前返回，得到各個信源符號對應(yīng)的碼字。哈夫曼編碼例：一段信息通過公共電話網(wǎng)絡(luò)在兩臺計算機之間傳輸，這段信息只包含字符A到H。各個字符出現(xiàn)的概率是：A和B=0.25，C和D=0.14，E,F,G和H=0.055；1）根據(jù)變長信源編碼定理，計算字符的最小平均碼長；2）使用哈夫曼編碼推導(dǎo)字符的碼字集；3）計算每字符平均比特數(shù)以及編碼效率，與等長編碼的編碼效率進行比較。哈夫曼編碼熵H 20.25log2

0.25

20.14log2

0.14

40.055log2

0.0552.715比特/字符哈夫曼編碼產(chǎn)生的碼字集以及對應(yīng)的哈夫曼樹。使用哈夫曼編碼每符號的平均比特數(shù)見圖。等長二進制編碼需要3比特。哈夫曼編碼編碼效率1）2.715/2.72=99.8%2) 哈夫曼編碼哈夫曼碼字為即時碼。哈夫曼編碼方法得到的碼并不唯一，但平均碼長都相同。對信源的NN算術(shù)編碼算術(shù)編碼不同于哈夫曼編碼為每個字符提供不同碼字，算術(shù)編碼為每個符號序列產(chǎn)生一個碼字?；谛旁葱蛄械睦鄯e分布函數(shù)的遞推算法?；舅悸罚簩⒗鄯e分布函數(shù)的區(qū)間分成許多互不重疊的小區(qū)間，每個符號序列對應(yīng)一個不同的區(qū)間，區(qū)間長度等于符號序列的累積分布函數(shù)。在區(qū)間內(nèi)取一點，將其二進位小數(shù)點后l位作為該符號序列的碼字。llog 1 P(s) 算術(shù)編碼舉例說明：假設(shè)要傳輸一條信息，信息中字符的概率如下：e

0.2,w

0.1在組成信息的每一個字符串的末尾，發(fā)送一個已知符號句號。一旦在接收端檢測到句號，接收端認為字符串結(jié)束。算術(shù)編碼算術(shù)編碼方法把0到1的數(shù)字域分配給消息中的每個字符（包括結(jié)束符），每段區(qū)間的長度等于相應(yīng)字符的概率，如圖。假如要傳送的字符串是單詞went.，關(guān)鍵是要找出信源符號序列went.所對應(yīng)的區(qū)間。編碼過程如圖。llog 1 12算術(shù)編碼解碼方法

0.00018解碼端需要知道構(gòu)成構(gòu)成信息的字符集以及每個字符被分配的區(qū)間。解碼端遵循與編碼器相同的算法把接收到的碼字譯成相應(yīng)的字符串。LZ編碼Lempel-Ziv（LZ）編碼針對字符串進行的壓縮編碼基于字典的壓縮算法編碼器和解碼器中都保持一張表(或字典)，表中包含了在待傳送文本中所有可能出現(xiàn)的字符串，比如單詞。當表中的字符串(或單詞)在文本中出現(xiàn)時，編碼器發(fā)送的是字符串在表中存儲位置的索引。解碼器根據(jù)接收到的索引地址查表，從而恢復(fù)出原文本。通常，字典包括25000個字，因此索引編碼需要比特。LZ編碼例：某文本文件在發(fā)送前采用LZ算法壓縮。如果平均每個字長為6個字符，所用的字典含4096個字，求相對于使用7比特ASCII碼字的平均壓縮率。解：由于4096212，因此字典中的每個字的索引地址可用12比特表示。由于LZ采用字在字典中的索引地址作為編碼碼字，因此每個字的碼字長度為12比特。如果用ASCII碼字，每個字需要42比特。壓縮率為42：12=3.5.保真度準則下的信源編碼平均失真度編碼效率有損信源編碼離散信源的有失真編碼：當平均碼字長度小于信息熵，將會出現(xiàn)譯碼錯誤。連續(xù)信源的有失真編碼：量化導(dǎo)致波形失真。某些通信業(yè)務(wù)允許一定失真存在。在允許一定程度失真的條件下，能夠把信源壓縮到什么程度，即對每個采樣值而言，最少需要多少比特才能描述滿足一定失真要求的信源？有損信源編碼設(shè)連續(xù)信源的輸出x為服從高斯分布的連續(xù)變量X對x進行1比特量化；X失真度：均方誤差通過求解22

EX

2 2,

X0 22

2minE XXX

X ,X0有損信源編碼對隨機變量X進行R比特量化，則量化值（解碼器的輸出）有2R種可能的取值。對量化區(qū)間及量化值進行優(yōu)化，使平均量化誤差（失真度）最小。在碼率相同的情況下，對序列進行量化比對單個樣本獨立量化所得的失真更低。失真度設(shè)進入信源編碼器的變量為U,信源解碼器的輸出變量V1,v2,,vs單符號的失真度（失真函數(shù)）d(u,vj)0UV

測度信源發(fā)出一個符號u，而在接收端解碼成vj所引起的誤差。失真度漢明失真：設(shè)信源變量U1,u2,,us信宿接收變量V1,v2,,vs。定義單符號失真度du,v )0

uivji j 1

uivj2平方誤差失真：定義單符號失真度2d(ui,vj)

i

vj平均失真度平均失真度：傳輸一個符號引起的平均失真DEd(u,vj)離散信源：若已知信源概率分布P(ui)和條件概率Pvji，則rDr

P(u)Pv ud(u,v )si1 js

i j i i j由信源編解碼方案決定例子，如果uA,C,D,

Pr(B)

Pr(C)

Pr(D)

1/4編碼方案Pr(A,A)=1/4,d(A,A)=0,Pr(B,B)=1/4,d(B,B)=0…編碼方案2：A->0,B->0,C->1,D->1解碼方案：0->A,1->CPr(A,A)=1/4,d(A,A)=0,Pr(B,A)=1/4,d(B,A)=1,Pr(C,C)=1/4,d(C,C)=0,Pr(D,C)=1/4,d(D,C)=1,平均失真度連續(xù)信源：若信源輸出的概率密度函數(shù)為f(u),則D

Ed(u,v )uU PuU sjss

j j j2U2jjs

d(u,vj)f(u)dujjj1

U

(uvj) f

(u)du條件期望的推導(dǎo)過程Ed(u,vj)

uUjd(u,vj)f(uuUj)duuu,U)

jL0,uUjLF(uuU

)uU)j Ujj j U)j

ujLPr(UjL

jH

u)

j,uUjf(uuU

)F'(uuU)

f(u)

,uU

PUj)ssjj j Pr(uU) jssjD

Ed(u,v)

uU

PuU

d(u,v

)f(u)dussj1

j1jUj

(uvj

jj j jj)2f(u)du

j1

U j平均失真度設(shè)信源輸出的符號序列U

U1,U2,,UN，而解碼后的符號序列V

1,2,,N符號序列中的每個變量均為離散隨機變量Ui1,u2,,ur i1,v2,,vs發(fā)送序列有rNs種可能序列對的失真函數(shù)

d(αi,βj)

d(αil,βjl)Ni1N

序列失真度等于對應(yīng)單個符號失真度之和rN sN

單符號平均失真度DDEd(u,v)P(αi)P(βjD

αi)d(αi,βj)i1 j

DNN平均失真度若信源為無記憶信源，且對每個符號的編碼過程相互獨立，即N NP(αi)P(αil),P(βjl1

αi)P(βjll

αil)DlNDEd(u,v)DlNl1

單符號的平均失真度若信源為平穩(wěn)信源，則每個符號的平均失真度相等：離散無記憶平穩(wěn)信源序列的平均失真度等于單個符號平均失真度的N倍。平均失真度符號序列UU1,U2,,UN中的每個變量均為連續(xù)隨機變量；接收符號序列可能的個數(shù)和量化方式相關(guān)，若對序列中的每個變量進行R比特量化，則接收端的符號序列

VV,V

,,V

有2RN

種可能性；1 2N若對序列進行R比特量化，則接收端的符號序列有1 2NN2R種可能性。Nd(α,βj)

d(αl,βjl)i1D

Ed(α,β

)vβ Pvβ sj1s

j j jjs2RN或2Rj

=sjs

U

d(α,β

j)f

(α)dα信息率失真函數(shù)在考慮失真的條件下，接收端獲得的平均信息量為 I(U;V)H(U)V)(UV)

H(U)

D0要使平均失真度為0，接收端必須獲得的信息量為H(U)，即平均碼字長度必須大于等于H(U)有失真編碼1I1(UV)

H(U)-a

Db當接收端獲得的信息量為I1(U;V)，失真度為b，此時平均碼字長度必須大于等于I1(U;V)有失真編碼2：I2(UV)

H(U)-aa

Db當接收端獲得的信息量為I2(U;V)，失真度為b，此時平均碼字長度必須大于等于

I2(U;V)信息率失真函數(shù)信息率失真函數(shù)（率失真函數(shù)）：在滿足保真度準則DD平均信息量，即R(D) I(U;

比特/符號P(VU)DDR(D)是最優(yōu)編碼方法對應(yīng)的I(U;V)，因此與具體的編碼方法無關(guān)，只和信源分布相關(guān)。信息率失真函數(shù)R(D)為在一定失真度條件下，傳輸信源消息需要的最少碼符號提供理論依據(jù)。R(D)R(D)率失真函數(shù)的性質(zhì)R(D)的定義域為(0,Dmax) D=0：無失真編碼，R(0)=H(S); R(D)是D

DDmax

時，R(D)=0。Dmax

minP(u)d(u,v)V UD Inf pudvduvmax v證明過程：

minP(u)d(u,v)V UrsrsDrsrs

P(u

)Pv u

d(u,v

)=

P(u

)Pv

d(u,v)i1 j

i1 ji j i i j i j i jr s s ri j i i j i j i j=inPi)Pvjdi,vj)inPvjPi)di,vj)Pvj

i1r

j

Pvj

j

i1minP(ui)d(ui,v)v i1率失真函數(shù)的性質(zhì)R(D)是允許失真度的UR(D)是D的連續(xù)單調(diào)遞減函數(shù)。二元對稱信源的R(D)函數(shù)設(shè)二元對稱信源

U，概率分布P(U)

[,1]V。失真矩陣Dd(0,0) d0 1d0) d 1 0 最大允許失真為Dmax

minvV U0,0平均失真度

wwDEd(u,v)

v

Pr(u

v

0)PE二元對稱信源的R(D)函數(shù)在滿足平均失真度DD的條件下，二元對稱信源的信息率失真函數(shù)R(D)

H()H(D) 0D0D 0DH()H(D)

log(1)log(1)][DlogD(1D)log(1D)]信源分布越均勻，壓縮的可能性越小當D=0時，R(D)等于信息熵。離散對稱信源的R(D)函數(shù)設(shè)信源變量U

1,u,,ur

并且信源符號等概分布，信宿接收變量度定義為：

V1,v2,,vr

，漢明失真d(u,v

)0

uivji j平均失真度為

1

uivjDEd(u,v)

Priu,v

vj離散對稱信源的R(D)函數(shù)最大允許失真為D minPuu,v

min

1du,vmax

V V r1rr

U U111r由此可得

Dmax

11,r

RDmax0Dmin

R0H離散對稱信源的R(D)函數(shù)DD的條件下，r元對稱信源的信息率失真函數(shù)為logrDlog(r1)H(D) 0D11R(D)0

rD11r離散對稱信源的R(D)函數(shù)對于給定的D，r越大，R(D)越大，信源壓縮性越小。當D=0時，R(D)等于信息熵。高斯信源的信息率失真函數(shù)設(shè)某高斯信源U，概率密度函數(shù)為p(u)

12

e(um)2/22發(fā)送符號和接收符號之間的失真函數(shù)為d(u,v)平均失真度為

u

v2DEd(u,v)

p(u,u

v2

dudv高斯信源的信息率失真函數(shù)在滿足平均失真度DD的條件下，高斯信源的信息率失真函數(shù)為

R(D)

12

2log DD

20 D

2D2時，R(D)=0。接收端可以直接用均值m表示輸出信號，而不需要信源傳輸任何信息。 D0

時，R(D)無窮大。 D2

時，R(D)=1，在平均失真度小于等于2

的條件下，連續(xù)信號每個樣值最少需要1個二元符號來傳輸。高斯信源的信息率失真函數(shù)根據(jù)上述結(jié)果，可設(shè)計如下量化方案：v

2/2/

u0u0 2 0 2DEd(u,v)0.36332

u0

/

p(u)du

u

/

p(u)du保真度準則下的信源編碼定理（香農(nóng)第三定理）設(shè)R(D)為一離散D

0,0

以及任意足夠長的符號序列，一定存在一種信源編碼方法C，其編碼后的碼字R'R'logMnM 2n[R(D)]

R(D)而編碼后碼的平均失真度

每個符號對應(yīng)的碼字長度d(C)D保真度準則下的信源編碼逆定理不存在平均失真度為D，而

R'

R(D)

的任何信源碼。即對任意碼長為n的信源碼C，若碼字個數(shù) M

2n[R(D)]

， 一定有d(C)D該定理可以推廣到連續(xù)信源，有記憶信源等更一般的情況。有損信源編瑪技術(shù)通信原理脈沖編碼調(diào)制技術(shù)（PCM）PCM：將模擬語音信號變換成數(shù)字信號的編碼方式。將信號頻帶限制在一定范圍內(nèi) 時間離散化 幅值離散化

將量化后的信號編碼成二進制碼組限帶濾波器 抽樣器 量化 編碼限帶濾波器抽樣器量化編碼PCM編碼器PCM解碼器低通濾波抽樣保持低通濾波抽樣保持低通抽樣定理fm1

的低通信號f(t)，可由其在時間軸上間隔為2fm的取樣值唯一確定。奈奎斯特采樣定理：能無失真恢復(fù)信號的最低采樣頻率為2fm使時間連續(xù)信號無失真地轉(zhuǎn)換成時間離散信號低通信號的理想采樣設(shè)低通信號為f(t),頻域函數(shù)為F(w)T(t

tn

,頻域函數(shù)為 (w)w

wnw

w T s s sn sfSfS(t)f(t)T(t)f(t)(tnTS)nSnSFn T1nSnSFn T1nSn FTs1)SF(無混疊條件：ws

或

fs

2f0(b)(a)0f(t)

(c)f(t)

f(t)

(tnT)

-2-0F()1

2F

n

1

Fn S T Sn

S Ts

n1

ST SnT(d)f(t)

n

fns)Samtns)(e) 0低通信號的理想采樣假如信源輸出的基帶信號為m(t)

cos

t2cost為了無失真恢復(fù)信號，采樣頻率應(yīng)為多少？M(w)

w

w

w按照低通信號的采樣定理，

fs6帶通信號的取樣定理L如果模擬信號f(t)為帶通信號，其頻率限制在fL和fHB

fHfL

.令fH

mBkB ，其中，k表示不超過小于1的分數(shù)。

fH的最大整數(shù)，m0B帶通信號的最低不失真取樣頻率為f 2fH

2B(1m)

2Bf

4Bs k k s對帶通信號采樣時，可以用遠低于2fH采樣；

的頻率進行fH為B的整數(shù)倍或fH

fs

2B帶通信號的取樣定理當k=1,

m時，

fs4B比如，當

fH1.999B，fs

4B假設(shè)信源輸出的基帶信號為m(t)

cos

t2cost若將該信號視為帶通信號，則

fL5,fH

，B根據(jù)帶通信號采樣定理，采樣頻率

fs1Hz實際抽樣實際抽樣電路中抽樣脈沖不是理想脈沖，而是具有一定持續(xù)時間的脈沖信號。實際抽樣分為自然抽樣和平頂抽樣 自然抽樣：由信號波形和矩形脈沖序列直接相乘完成，脈沖信號頂部隨信號的大小而自然變化。 平頂抽樣：采樣后信號的幅度在脈寬期間保持不變。取樣脈沖可以選擇任意形狀脈沖實際抽樣(a)(b))低通信號的自然采樣設(shè)低通信號為f(t),頻域函數(shù)為F(w)，低通截止頻率為w0;采樣脈沖信號的脈沖寬度為，脈沖重復(fù)周期為，周期矩形脈沖(t)

An

pt

，頻域函數(shù)為P(w)

sa

wnw

2wsT 2 s s n 采樣后的信號

fs(t)

f(t)(t)采樣后信號的頻譜F

1 FA

S nS

n TS T

S a 2S n a 2低通信號的自然采樣無混疊條件：頻域脈沖序列周期ws

2w0或1Ts

fs2f0自然取樣信號及其頻譜(a)

F(w)

-

Sa

wnwT 2 ss n (b)F

1FA

SnS

n TS T

S a 2Sn a 2(c)

低通濾波后的信號：

F'TS

F低通信號的平頂抽樣平頂抽樣：脈沖信號的形狀相同，幅值取決于信號的瞬時抽樣值。存在孔徑效應(yīng)。在低通濾波器后增加均衡電路消除孔徑效應(yīng)低通信號的平頂采樣設(shè)低通信號為f(t),頻域函數(shù)為F(w)從時域上看，平頂采樣信號相當于將理想采樣信號和一個矩形脈沖卷積的結(jié)果頻域函數(shù)為

f's(t)

fs(t)

p(t)F1

P

S

F

S T S

a 2 SSn

S n低通信號的平頂采樣為從平頂采樣信號中恢復(fù)原始信號，將平頂采樣信號通過一個低通濾波器F'()

S

Fs0 T a 2 S G()孔徑失真將F'()通過頻率響應(yīng)為

1的低通濾波器即可1s0恢復(fù)原信號

G()F(w)-q(t)

Q(w)SSft FSS

F1

Q

S

FS T S T

a 2 Sn

S n F'()SF1 s0 T a2

Heq

AS

S a2- S

平頂取樣信號及其頻譜量化）。量化間隔越小，量化誤差越小。實現(xiàn)量化的電路為量化器。量化器Q(x)x yk,量化器Q(x)

kM量化標量量化器的一般設(shè)計方案

xMxM1 y2 yM平均量化誤差功率（平均失真度）M xeExQ(x)2 k(xy

)2p(x)dxk xk k1最優(yōu)量化器的設(shè)計就是要求出最優(yōu)的量化門限值{x}i i1{x}i i1i i1

及量化值{y}M

，使e最小。當輸入變量服從均勻分布時，均勻量化為最優(yōu)量化器。量化當輸入信號服從均勻分布時，exk

0xk

yk2

yk10y

kyk 2k最優(yōu)量化器：量化間隔相等，量化值位于區(qū)間中點。量化

xMxM1 量化間隔

y2x

y3x

xM

yMkk M量化M=2????設(shè)雙性信的幅度 x V 量化平數(shù)為M，則均勻量化的量化區(qū)間的長度M設(shè)x服從均勻分布，量化點位于量化區(qū)間中心點，M x

M

2 V2 V2lE llx

1(x

y)2

p(x)dx

2dx

2 2k el e

l2

12 3M

3*2k1log 2

/3E)2 2量化若輸入為正弦信號，正波的度V ，功2率SV22

，則信噪比SNR

Se

3M22若對輸入信號進行k特量，M 式可簡化為

2k，上=6.02k

1.76

6k2非均勻量化非均勻量化可使量化信噪比在整個范圍內(nèi)基本保持一致。利用壓擴技術(shù)實現(xiàn)非均勻量化。壓縮 均勻量化 編碼譯碼擴張非均勻量化采用非均勻量化，使用較少的編碼位數(shù)可達到滿意的通信質(zhì)量。壓擴技術(shù)與信號的統(tǒng)計特性相關(guān)。語音信號采用對數(shù)律壓擴。 常被采用的包括u律和A u律： xy

1

x 1非均勻量化A律：

Ax

0x 1y 1LnA A1 LnAx1

1 x 1 1

LnA A非均勻量化的噪聲功率Nq

16M

Vyx)200

p(x)dx2 213折線數(shù)字壓擴技術(shù)13折線數(shù)字壓擴技術(shù)：利用數(shù)字集成電路形成許多折線來近似非線性壓縮曲線。實際采用的包括13折線A律（A=87.6）和15折線u律（u=255）13/4

1100xxxx

y(5)

(6)

(7)

(8)1/21/4-1/4-1/2-3/4-1

1011xxxx1010xxxx1001xxxx1000xxxx-1 -1/2 -1/4

(4)(3)(2)(1)

x1/4 1/2 1x0000xxxx0001xxxx0010xxxx0011xxxx0100xxxx0101xxxx0110xx