管理信息-第4章

2023/2/7第四章信息傳輸與信息編碼4.1信息傳輸?shù)母拍?.2信息傳輸模型4.3信息傳輸?shù)挠行?.4信息傳輸?shù)目垢蓴_性4.5限失真信源編碼定理2023/2/74.1

信息傳輸?shù)母拍?.1.1

信息傳輸與語法信息4.1.2

信息傳輸與信號

2023/2/7

所謂信息傳輸就是把人們需要的信息從空間中的一點(diǎn)傳送到另一點(diǎn)，其核心問題是如何準(zhǔn)確、迅速、安全、可靠地完成傳輸任務(wù)。

從傳輸內(nèi)容上說，所謂信息傳輸，其實(shí)只是語法信息的傳輸，且主要是概率語法信息的傳輸，只要傳遞了語法信息，語義信息和語用信息也就必然隱含在其中了。

4.1.1信息傳輸與語法信息

2023/2/7

信息可以脫離其源事物獨(dú)立存在，這種脫離可表現(xiàn)為兩種狀態(tài)。一是時(shí)間上的脫離，時(shí)間上的脫離需要對信息進(jìn)行存儲才能使信息繼續(xù)存在；二是空間上的脫離，事物運(yùn)動的狀態(tài)和方式在脫離源事物的同時(shí)，就必然附著于另一事物（即載體）。

信息傳輸?shù)膶?shí)質(zhì)：某信息脫離源事物而附著于另一個(gè)事物（物理載體）并通過后者的運(yùn)動將信息在空間中從一點(diǎn)傳送到另一點(diǎn)。4.1.2信息傳輸與信號：載體2023/2/7

載體的性質(zhì)：載體既要能夠在空間中轉(zhuǎn)移，從一點(diǎn)運(yùn)動到另一點(diǎn)，又要有能力表示所傳輸?shù)男畔ⅰ?/p>

實(shí)際上，信息在空間中傳送的過程，可能要經(jīng)過多次變換，要變更多種不同的載體。為了便于描述，把這些變換稱為n級變換，而把這些載體稱為n級載體。

4.1.2信息傳輸與信號：信息變換2023/2/7載體有能力對所傳輸?shù)男畔⑦M(jìn)行表示就是指能夠把源事物的運(yùn)動狀態(tài)和運(yùn)動方式用載體自身的某種物理量表示出來，而載體的某種物理量的各種取值及這些取值之間的關(guān)系，必須與所傳遞的源事物的運(yùn)動狀態(tài)以及這些狀態(tài)之間的關(guān)系一一對應(yīng)。信號：在自己的某種物理量與所附著的信息之間建立一一對應(yīng)關(guān)系的物理載體?；蛘哒f，就是用自己的某種物理量的變化來表示相應(yīng)信息的物理載體。

4.1.2信息傳輸與信號：信號2023/2/74.1.2

信息傳輸與信號：傳輸方式

因此從傳輸形式上來看，信息的傳輸就是通過信號在空間的移動來完成，信號的某個(gè)或某些物理量與所傳遞的語法信息之間應(yīng)當(dāng)建立適當(dāng)?shù)挠成潢P(guān)系。古代以實(shí)物或聲音來表示信息：結(jié)繩記事、烽火狼煙和擊鼓傳音等?，F(xiàn)代通信技術(shù)：電信號、無線電信號、微波和光信號等(傳輸距離更遠(yuǎn)、傳輸速度更迅速、抗干擾性更好)。2023/2/7

4.2

信息傳輸模型4.2.1

信息傳輸?shù)幕灸Ｐ?.2.2

信息傳輸?shù)囊话隳Ｐ?023/2/7

YV信源變換信道還原變換信宿信息傳輸?shù)幕灸Ｐ托畔信號X噪聲N4.2.1

信息傳輸?shù)幕灸Ｐ?023/2/7信息傳輸至少必須包含如下一些事物、環(huán)節(jié)和過程：(1)信源信號變換(4)信道(5)信宿4.2.1

信息傳輸?shù)幕灸Ｐ?023/2/7換能器編碼信息傳輸?shù)囊话隳Ｐ驮肼曊{(diào)制換能器譯碼解調(diào)信道技術(shù)階段技術(shù)階段信號信宿信源4.2.2

信息傳輸?shù)囊话隳Ｐ?023/2/7因此，信息傳輸討論的主要問題是：

(1)信源的性質(zhì)及其產(chǎn)生信息的能力；(2)信道的性質(zhì)及其通過信息的能力；(3)信源與信道的關(guān)系以及實(shí)現(xiàn)這兩者在性質(zhì)上相互匹配的原理和方法。

4.2.2

信息傳輸?shù)囊话隳Ｐ?023/2/74.3.1

信源及信源編碼4.3.2

變長無失真信源編碼定理4.3.3哈夫曼編碼4.3

信息傳輸?shù)挠行?023/2/7

信源輸出的信息常常以一個(gè)個(gè)符號的形式出現(xiàn)，例如英文字母、漢字等。如果這些符號的取值是有限的或可數(shù)的，這樣的信源稱為離散信源。

如果信源只輸出一個(gè)符號，稱為單符號信源，如果輸出的是一個(gè)符號序列，則稱為多符號信源。例如，“HefeiUniversityofTechnology”就是由多個(gè)英文字母以及標(biāo)點(diǎn)符號組成的一個(gè)序列。

4.3.1

信源及信源編碼2023/2/7可以把信源的每次輸出看作是一個(gè)隨機(jī)事件。對于多符號離散信源而言，可以用一個(gè)隨機(jī)變量序列描述信源發(fā)出的信息。X=X1X2X3…其中每個(gè)隨機(jī)變量Xi(i=1,2…)都有N個(gè)輸出狀態(tài)，每個(gè)狀態(tài)出現(xiàn)的可能性大小用概率P(Xi)來描述。該信源中，如果每一個(gè)隨機(jī)變量Xi

(i=1,2…)的概率分布P(Xi)都相同，那么這種信源稱為多符號離散平穩(wěn)信源（簡稱離散平穩(wěn)信源）。4.3.1

信源及信源編碼2023/2/7為了方便起見，假定信源輸出的符號長度是有限的，并且如果任意兩個(gè)符號之間都沒有相互依賴關(guān)系，即每一次符號輸出都是一個(gè)獨(dú)立的隨機(jī)事件，那么該信源稱為離散無記憶平穩(wěn)信源。從前面介紹的信息傳輸?shù)幕灸Ｐ椭锌梢钥闯?，由于信源發(fā)出的信息不適合直接在信道中傳輸，所以要經(jīng)過一系列的變換。其中的一個(gè)變換環(huán)節(jié)就是對信源編碼，使其能夠滿足信道特性，也就是適合于信道傳輸?shù)姆栃蛄校ㄒ话惴Q為碼序列），來代表信源輸出的信息。4.3.1

信源及信源編碼2023/2/7例如，離散無記憶平穩(wěn)信源的輸出是X=X1X2X3…XL其中每一個(gè)Xl的可能狀態(tài)為

。通過編碼，將信源輸出的符號序列變成碼序列

Y=Y1Y2Y3…YK其中每一個(gè)Yk的可能狀態(tài)為

。4.3.1

信源及信源編碼2023/2/7例：信源有四種輸出狀態(tài)，表中給出了兩種信源編碼方法。這兩種編碼的共同之處是它們都是用二元符號集{0,1}對信源進(jìn)行編碼，稱為二元碼。它們的不同之處在于編碼1的每個(gè)碼字長度都是相同的，它是等長碼；而編碼2中碼字的長度不相同，它是不等長碼，或稱為變長碼。信源符號出現(xiàn)概率信源編碼1信源編碼2x11/2001x21/40101x31/810001x41/8110004.3.1

信源及信源編碼2023/2/7

信源編碼實(shí)際上是一個(gè)對信源進(jìn)行改造的過程。在通信過程中，我們總是希望信息傳輸?shù)男时M可能高，但是信源X的自然性質(zhì)往往不能直接滿足高效率傳輸信息的要求。

因此，我們要通過信源編碼過程，使信源X信息含量效率不高的情形變?yōu)榫幋a后的Y信息含量較高或盡可能高的情形，從而可以做到單位時(shí)間或單位符號所傳輸?shù)男畔⒘勘M可能大。

那么，要怎樣對信源進(jìn)行改造才能達(dá)到這一目的呢？4.3.1

信源及信源編碼2023/2/7設(shè)信源X有N個(gè)可能的狀態(tài)x1,x2,…,xN。這些狀態(tài)相應(yīng)的先驗(yàn)和后驗(yàn)概率分別為P={p(xn)|xnX}P*={p*(xn)|xnX}觀察者R從該通信中獲得的信息量為：若P*是確定型的0-1分布，則

4.3.1

信源及信源編碼2023/2/7若再有信源各狀態(tài)的先驗(yàn)概率分布是均勻分布，即則顯然4.3.1

信源及信源編碼2023/2/7對于任何一個(gè)給定的實(shí)際信源和接收者系統(tǒng)

，定義

其中，

為信息含量效率。顯然有

，并且當(dāng)且僅當(dāng)

時(shí)，

。

4.3.1

信源及信源編碼2023/2/7上述結(jié)果讓我們很容易想到：各種實(shí)際信源的信息含量效率是不同的，有的高一些，有的低一些，因?yàn)槭挛锸嵌鄻有缘?、有差異的?/p>

我們改造信源的具體方法，就是盡可能實(shí)現(xiàn)

，使信源的各種狀態(tài)出現(xiàn)的概率滿足均勻的先驗(yàn)概率分布，從而壓縮信源的冗余，提高信息傳輸?shù)男省?/p>

這也就是在不考慮噪聲影響情況下的離散無記憶平穩(wěn)信源的有效編碼問題。4.3.1

信源及信源編碼2023/2/74.3.2

變長無失真信源編碼定理

如果用M元符號表對離散無記憶平穩(wěn)信源X的K次擴(kuò)展信源XK編碼，則總可以找到一種無失真編碼方法，使每個(gè)信源符號對應(yīng)的碼字的平均長度滿足：2023/2/7例：已知Y={0,1}計(jì)算X中各元的最有效編碼長度，比較等長編碼與不等長編碼的性能；并構(gòu)造一Huffman碼。4.3.2

變長無失真信源編碼定理2023/2/7

解：用Y的兩個(gè)碼元來對X的8元狀態(tài)進(jìn)行編碼，顯然必須采用Y的碼元的重復(fù)來實(shí)現(xiàn)。如果用Y對X進(jìn)行編碼的碼字長度都相等，則對8個(gè)元進(jìn)行編碼，至少要3位。例如：于是碼字長度皆為3，

信源的信息熵為

每個(gè)碼元的平均熵則為：

比特/符號

比特/碼元

4.3.2

變長無失真信源編碼定理2023/2/7

這也就是按等長原則編碼之后平均每個(gè)碼元的信息含量。而Y的概率分布為：計(jì)算結(jié)果說明，等長編碼Y的概率分布極其不均勻。4.3.2

變長無失真信源編碼定理2023/2/7Huffman碼構(gòu)造步驟將信源符號出現(xiàn)的概率按遞減的順序排列。從最小概率的兩個(gè)消息開始編碼，并給予一定的編碼規(guī)則，如下支路(小概率)為0，上支路(大概率)為1(反之亦可)；若概率相等，仍按相同規(guī)則進(jìn)行。將已編碼的兩個(gè)符號對應(yīng)概率求和，合并成一新的信息符號，并與剩下的信源符號重新按概率大小排列。重復(fù)步驟(2)(3)，直至合并概率達(dá)到1.0為止。畫出由根結(jié)點(diǎn)(概率為1.0)到每個(gè)信源符號的路徑，記下沿路徑的0或1，形成的串即為變長編碼。4.3.3哈夫曼編碼2023/2/71.0011111111/260000001/251/241/231/221/2信源符號概率碼字x11/2x21/22x31/23x41/24x51/25x61/26x71/27x81/27101001000100001000001000000100000004.3.3哈夫曼編碼例題1：2023/2/7計(jì)算平均碼字長度:(