通信的數(shù)學理論-香農(nóng)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)專心-專注-專業(yè)精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)通信的數(shù)學理論C.E.香農(nóng)引言各種調(diào)制方法的最新發(fā)展方向，都將其重點都放在一般的通信理論方面上，例如PCM和PPM都是以帶寬來換取信噪比的改善。在Nyquist 和 Hartley的重要論文中對此學科的基本理論有所介紹。在現(xiàn)在的論文中，我們拓展了該理論，提出了影響通信的一些新因素，尤其是噪聲對信道的影響，根據(jù)初始消息的統(tǒng)計特性和信息終端的特性來盡可能恢復(fù)出信息。通信的基本問題就是在一個點上能精確地或近似地再現(xiàn)出另外一個特定點上的消息。消息常常是有含義的。根據(jù)系統(tǒng)的物理特

2、征或概念本質(zhì)，它們都是有所指或者互相相關(guān)的。通信的語義學方面與工程問題是不相干的。最要意義是，實際消息是從一組可能的消息中選取的。由于設(shè)計之時并不知道選擇是哪個消息，因此設(shè)計系統(tǒng)必須要能針對每一個可能的選擇來操作，而不是僅僅只針對一個實際選擇的消息。如果在這個集合中的消息的數(shù)字是有限的，那么這個數(shù)字或者這個數(shù)字的單調(diào)函數(shù)可以視為是一個信息的度量，這個是信息是等概率地從集合中選取一個信息時而產(chǎn)生的。Hartley指出了最自然地選擇是對數(shù)函數(shù)。雖然這個定義是非常概括的，當我們考慮消息的統(tǒng)計特性影響和一個連續(xù)范圍的消息時，在所有的情況下，我都將基本上使用這個對數(shù)測量方法。采用對數(shù)測量方法更加便利，這

3、是因為：1.非常實用。一些重要的工程參數(shù)，例如時間，帶寬，中繼次數(shù)等等?？傏厔菖c可能的數(shù)字對數(shù)值是線性的。例如，增加一次中繼到一組使得中繼的可能狀態(tài)的數(shù)量翻倍。增加1到這個數(shù)的底數(shù)為2對數(shù)。雙倍時間大概使可能的消息數(shù)量平方，或?qū)?shù)的兩倍等2.我們憑直覺認為這是比較合理的測方法。由于我們憑直覺測量方法與通用標準進行線性比較，這是與第（1）密切相關(guān)的。例如，我們覺得兩個鑿孔卡;應(yīng)該是一個卡信息存儲容量的兩倍, 兩個相同信道是一個信道發(fā)射信息容量的兩倍。3.數(shù)學上來講比較合適。使用對數(shù)進行很多極限運算比較簡單，但是使用可能的數(shù)字的話，可能會要求繁瑣地重述。對數(shù)基數(shù)的選擇必須要與測量信息的單位選擇匹配

4、。如果基數(shù)2用于結(jié)果單位，那么被稱為二進制數(shù), 或者簡稱bits, 這個詞是 J. W. Tukey建議的。具有兩個穩(wěn)定狀態(tài)的設(shè)備（如中繼器或觸發(fā)電路）可以存儲一個bit的信息。N 狀態(tài)的設(shè)備可以存儲N個bits，那是因為可能狀態(tài)全部數(shù)量為 2N 和 log2 2N = N。如果單位使用底數(shù)10應(yīng)當被稱為十進制。因為：log 2 M = log 10 M/ log 10 2= 3.321og10 M圖1 通用通信系統(tǒng)原理框圖一個十進制數(shù)大于等于個比特。桌面計算機的數(shù)字輪有十個固定狀態(tài)，因此一個數(shù)字輪有一個十進制數(shù)的存儲容量。在積分和微分的分析工作中牽涉到基數(shù)e有時是非常有用的。信息的結(jié)果單位將

5、被稱之自然單位。從底數(shù)a變化到底數(shù)僅僅要求成為logba。按照圖1所指的那種類型系統(tǒng)，我們可以了解一個通信系統(tǒng)。它的基本組成有五個部分：信號源 產(chǎn)生一個消息或一系列消息來與接收端進行通信。消息可能是不同類型：（a）作為電報機系統(tǒng)所發(fā)一封電報中的一系列字母；（b）無線電或電話中的一個f(t)簡單的時間函數(shù)；（c）黑白電視中的時間函數(shù)或其他變量函數(shù)，這里的信息被認為是兩個空間坐標和時間的函數(shù)f(x,y,t),這代表的是在顯像管平面上t時刻的點（x,y）的光強度；（d）兩個及以上的時間函數(shù)，如f(t)，g(t)，h(t)，這種情況存在于“三維”聲音傳輸中，或者系統(tǒng)打算要服務(wù)于多路復(fù)用的多個通道；（e

6、）多個變量的多個函數(shù)，在彩色電視系統(tǒng)中，消息由三種函數(shù)所組成如f(x,y,t),g(x,y,t),h(x,y,t)，這些函數(shù)定義域是三維連續(xù)體。我們可以認為這三個函數(shù)在其定義域上組成了一個向量場。類似的，黑白電視的信號源產(chǎn)生的消息由這些三個變量函數(shù)所組成。（f）不同的組合形式也出現(xiàn)，例如電視伴隨聲道。發(fā)射機 以某種方式進行處理消息，以產(chǎn)生一個合適其發(fā)射通道的信號。在電話系統(tǒng)中這個處理僅僅是將聲壓變化為成比例的電流。在電報系統(tǒng)中，我們可進行編碼處理，可以產(chǎn)生一系列點、破折號和空，在其信道中進行消息傳送。在多分復(fù)用的PCM系統(tǒng)中，不同語音函數(shù)被采樣、壓縮、量化和編碼。最后，合適地轉(zhuǎn)化建構(gòu)出信號。另

7、外例子是，語音編碼譯碼系統(tǒng)、電視和頻率調(diào)制采用復(fù)雜的處理從消息變?yōu)樾盘?。信?僅僅是用來傳輸信號從發(fā)射到接受及的媒介。它可能是雙平行線、同軸電纜、無線電頻率的帶寬，光束等等。接收機 通常的是接收機處理過程逆向，從信號中重構(gòu)消息。終端 這可能是人（或物），這個消息是他（它）所需要的。我們希望討論一下通信系統(tǒng)的一些普遍問題。為了實現(xiàn)這一點，我們第一需要做的對其相應(yīng)物理實體進行理想化，是用數(shù)學實體來代表其不同因素。我們可以粗略地將通信系統(tǒng)劃分為三個主要門類：離散型、連續(xù)型和混合型的。對于一個離散系統(tǒng)，我們指出其消息與信號都是一系列離散的符號。典型例子就是電報，它的消息是一連串的字母，信號是一連串的點

8、、破折號和空格。連續(xù)系統(tǒng)的消息和信號都被看做為連續(xù)函數(shù)，例如無限廣播與電視?；旌舷到y(tǒng)則是離散和連續(xù)變量同時出現(xiàn)，例如語音的PCM傳輸。我們首先討論是離散的類型。這種類型不但應(yīng)用于通信理論，還應(yīng)用計算機理論，電話交換機的設(shè)計和其他領(lǐng)域中。此外，離散型為連續(xù)型和混合型構(gòu)筑起了基礎(chǔ)，連續(xù)型和混合型將在論文下半部分進行討論。1離散無噪聲系統(tǒng)1.1離散無噪聲信道電傳與電報是兩個發(fā)送信息的離散信道的簡單例子。一般而言，離散信道意味著系統(tǒng)從有限元素的碼元S1Sn中選擇出一組序列，從一點發(fā)送到另一個點。假設(shè)每個碼元Si的持續(xù)時間為ti(不同的Si的持續(xù)時間沒有必要相同，如電報中的點和破折號)。并不是要把系統(tǒng)中

9、的全部可能的Si序列進行發(fā)送。僅僅要求特定序列進行傳輸。這些將都成為信道中的信號。因此，假設(shè)電報系統(tǒng)的碼元為：（1）一個點，由一個時間單位的閉合線和一個時間單位的斷開線所組成。（2）一個破折號，由三個時間單位的閉合線和一個單位斷開線組成。（3）一個字母的空由三個單位的斷開線組成。（4）一個字的空有6個單位的斷開線所組成。我們對于一些允許的序列可以設(shè)置一些規(guī)定，這些空沒有必要相互一樣（如果兩個字的空是相鄰的，那么一個字的空是一樣的）。我們需要討論的問題是怎樣測量一個發(fā)射信息的信道的容量。在電傳的例子中，全部的碼元持續(xù)時間都是一樣的。32個碼元的任一序列要求應(yīng)答是比較簡單的。每一個碼元代表了信息的

10、五個bit。如果一個系統(tǒng)每秒鐘發(fā)送n個碼元，那么很自然，這個信道擁有5n個bit每秒的容量。這個并不意味著電傳信道總是以這個速率發(fā)送信息。最大可能速率或是實際所能達到最大速率都有信源是否能滿足信道的情況而決定，這些稍后一些會出現(xiàn)。在那些更廣泛的實例中，這些允許序列的碼元長度和限制不一致。我們定義如下。定義：設(shè)離散信道容量C為這里的N(T)是持續(xù)時間為T允許信號的數(shù)量。顯而易見，電傳的N(T)減少至先前的結(jié)果水平?？梢钥闯觯诖蠖鄶?shù)的感興趣實例中公式中的極限是作為有限數(shù)存在的。假設(shè)許可使用碼元S1Sn的全部序列，這些碼元的持續(xù)時間為t1 , . . . , tn。信道容量是什么？如果N(t) 代

11、表持續(xù)時間t的序列的數(shù)量。N(t) = N(t - t1) + N(t - t2) +. + N(t - tn)總數(shù)等于結(jié)束于S1Sn的序列數(shù)量之和，各自的總數(shù)為N(t -t1),N(t- t2),. ,N(t- tn)。根據(jù)眾所周知的有限差分的結(jié)論，N(t) 漸進t取大值時等于Xot，這里的Xo是特征方程最大實數(shù)解因此：C = logX0在這個例子中，允許序列有一些限制，我們?nèi)匀豢梢缘玫酱祟愐粋€差分方程，得到從特征方程得到C。電報例子通過上面指出：N(t) = N(t- 2) + N(t-4) + N(t- 5) + N(t- 7) + N(t- 8) + N(t- 10)根據(jù)最后一個或者下

12、個最后一個碼元出現(xiàn)，通過計算碼元的序列可以看出。因此，C是-log0，0是1=2+4+5+7+8+10的正解。解這方程，得出C=0.539。很多對于允許序列的通用限制如下：我們可以虛構(gòu)出了很多可能的狀態(tài)a1,a2,am。從S1Sn集合總對于每個轉(zhuǎn)臺僅有一個特定碼元用來發(fā)送。當其中一個被發(fā)送時，依據(jù)舊狀態(tài)和特定被發(fā)送的碼元的狀況，狀態(tài)變化為一個新的狀態(tài)。電報就是這種情況簡單的例子。根據(jù)是否有一個空來決定兩種狀態(tài)，這是最后一個發(fā)送的碼元。假如這樣的話，下一次僅發(fā)送有一個點或者破折號，那么這個狀態(tài)是總是變化的。如果不是這樣的話，發(fā)送任何一個碼元，如果發(fā)送一個空的話，狀態(tài)是變化的，否則狀態(tài)保持不變。如

13、圖1.2所示為通過一個點線圖來表示狀態(tài)。接連點表示狀態(tài)，連線表示碼元從一個狀態(tài)到一個結(jié)果狀態(tài)。圖2 電報碼元限制描述圖在附錄1中所知，如果一個允許序列的狀態(tài)可以用這個C形式來描述將是存在，可以聯(lián)系下面結(jié)論來進行進行計算。定理1：設(shè)bij(s)為第從狀態(tài)i轉(zhuǎn)移至狀態(tài)j第S個碼元的持續(xù)時間。那么信道容量C等于logW,W是行列式方程最大實數(shù)解。如果i=j,這里的ij=1，否則ij=0。例如，如圖2的電報的例子。行列式為：由上面的情況，在信號恢復(fù)狀態(tài)下推導出這個方程。1.2 信息的離散源我們可以看出在一般狀態(tài)下，在一個離散信道中可能存在信號數(shù)量的對數(shù)隨著時間線性增加。發(fā)送信息的容量可以用給定增長速率

14、進行描述，比特/秒的數(shù)量可以描述所使用的特定信號。我們現(xiàn)在考慮一下信號源。一個信息源怎么通過數(shù)學的方式來描述，一個假設(shè)源能產(chǎn)生多少比特/秒的信息？比較有爭議的主要觀點是關(guān)于減少信道容量要求的信息源的統(tǒng)計學方面作用，可以使用合適信息編碼技術(shù)。例如，在電報中的發(fā)送的消息時有字母組成的。但是這些序完全不是隨機的。一般而言，字母可以形成段落，他們的組成具有統(tǒng)計學方面特征。字母E比Q出現(xiàn)概率要大，TH序列出現(xiàn)概率比XP要大等等。由于存在這種結(jié)構(gòu)采用合適的編碼是消息序列變?yōu)樾盘栃蛄锌梢怨?jié)約時間（或者信道容量）。可以采用最短信道碼元來有限的擴容電報，一個點可以代替最常見英文字母E。而那些不太頻繁出現(xiàn)的字母Q

15、，X，Z可以用點和破折號的較長序列還表示。我們可以這么認為一個離散源產(chǎn)生消息，用符號表征碼元。我們可以根據(jù)先前的選擇和問題中特定碼元特定概率來進行選擇。一個物理系統(tǒng)或者一個系統(tǒng)的數(shù)學模型由一個概率集合所約束產(chǎn)生如此一個系列碼元序列，這就是眾所周知的隨機過程。因此，我們可以認為離散源可用一個隨機過程來描述。反過來，任何一個從有限集合中選擇產(chǎn)生的碼元離散序列的隨機過程都可以產(chǎn)生一個離散源。這將包含如下情況：一些自然書寫語言如英語，德語，中文等。連續(xù)信息源通過量化處理方法表達為離散的。例如有PCM發(fā)射機量化后語音，或者量化電視信號。數(shù)學情況下，我們僅僅抽象地定義了隨機過程可以產(chǎn)生一個序列的碼元。下面

16、是最新的一種信息源的例子。假設(shè)我們有5個字母A，B，C，D，E，以相同的概率0.2從中選擇出一個。連續(xù)的選擇是獨立的。下面是一個典型例子，這產(chǎn)生了一個序列。BDCBCECCCADCBDDAAECEEAABBDAEECACEEB AEECBCEAD這個使用了隨機數(shù)表進行構(gòu)造。（B）使用相同五個字母，設(shè)各自的概率為0.4,0.1,0.2,0.2,0.1，連續(xù)選擇是獨立的。從這源所產(chǎn)生典型的消息為： AAACDCBDCEAADADACEDAEADCABEDADDCECAAAAAD（C）如果連續(xù)的碼元選擇不是獨立的，而且它們的概率依據(jù)前一個字母，那么得到這個結(jié)構(gòu)將是更加復(fù)雜的。在最簡單的情況下，選擇僅

17、僅基于前一個字母而不是后面的。這樣統(tǒng)計結(jié)構(gòu)可以用轉(zhuǎn)移概率Pi(j)來描述，這是字母i伴隨字母j之后出現(xiàn)的概率。指標i和j覆蓋整個可能出現(xiàn)概率。第二種表述這種結(jié)構(gòu)等效方向是給出這個“兩個字母組”概率P(i,j)。例如ij兩字母組的相關(guān)頻率。字母頻率P(i)(字母i的概率)。轉(zhuǎn)移概率Pi(j)和兩字母組概率P(i,j)依照如下公式相關(guān)起來。pi(i,j)jABCiA04/151/15B8/278/270 C1/274/1351/135ip(i)A9/27B16/27C2/27舉一個典型的例子，假設(shè)有三個字母A，B，C依照表中概率pi(j)jABCiA04/51/5B1/21/20 C1/22/51

18、/10從這個源產(chǎn)生一組典型的消息為：ABBABABABABABABBBABBBBBABABABABABBBACACABBABBBBABBABACBBBABA.下來為了增加復(fù)雜程度，僅牽扯進三字母組頻率。一個字母的選擇依據(jù)前兩個字母但不是這個點之前信息。這里規(guī)定三字母組頻率P(i,j,k)的集合或者等效的轉(zhuǎn)移概率組合pij(k)。使用這種方法連續(xù)產(chǎn)生序列獲得連續(xù)的更加復(fù)雜的隨機過程。在一般的n個字母組的情況下的n個字母組概率p(i1,i2,.,in)或者轉(zhuǎn)移概率Pi1,i2,.in-1(in)要求來描述統(tǒng)計學結(jié)構(gòu)。（D）隨機過程也可以這樣來定義，產(chǎn)生一個文本由一系列“詞”所組成。假設(shè)有五個字母A

19、,B,C,D,E和一種語言的16個“詞”相關(guān)的概率為0.01 A 0.16 BEBE 0.11CABED 0.04DEB0.04ABEB 0.04BED 0.05CEED 0.15DEED0.05ADEE 0.02BEED 0.08DAB 0.01EAB0.01BADD 0.05CA 0.04DAD 0.05EE假設(shè)獨立地連續(xù)選擇“詞” ，用一個空來分開。一個典型的消息可能是：DAB EE A BEBE DEB ADEE ADEE EE DEB BEBE BEBE BEBE ADEE BED DEED DEED CEED ADEE A DEED DEED BEBE CABED BEBE BED

20、 DAB DEED ADEB.如果全部的單詞是有限的長度，這過程等效于先前的一個類型。但是依據(jù)單詞結(jié)構(gòu)和概率，這種描述方式更加簡單。我們也可能歸納出這些，引入單詞之間的轉(zhuǎn)移概率。使用人工語言來構(gòu)建出一個小問題和小例子是非常有用的，可以說明各種可能性。我們也可以用一系列的簡單人工語言來逼近一個自然語言。以相同的概率獨立選擇所有的字母可以獲得零階逼近。連續(xù)獨立地選擇字母可以獲得一階逼近，但是這些字母在自然語言方面有相同的概率。因此，用一階逼近于英語。選擇E的概率為0.12（在普通的英語用的頻率），W的概率為0.02，但是相鄰字母之間沒有影響，沒有形成優(yōu)選兩字母組合的趨勢（例如TH，ED）等。在二階

21、逼近中，介紹二字母組合的結(jié)構(gòu)。選擇一個字母以后，選擇下一個的相關(guān)頻率與第一個字母后面不同的字母有關(guān)系。這滿足一個二字母組頻率表格。在三階逼近中，介紹三字母組合機構(gòu)。選擇每個字母的概率依據(jù)的前兩個字母。1.3 英語逼近的系列為了能給出這一系列如何逼近一種語言的視覺想法，逼近英語的典型序列已經(jīng)構(gòu)建成，在下面給出。在所有情況下，我們假設(shè)一個27個符號“阿爾法，”、26個字母和一個空。零階逼近（符號都是獨立和等概率的）XFOML RXKHRJFFJUJ ZLPWCFWKCYJ FFJEYVKCQSGHYDQPAAMKBZAACIBZLHJQD.一階逼近（符號都是獨立的，但是具有英文文本的概率）二階逼近

22、（雙字母組合如同英文）ON IE ANTSOUTINYS ARE T INCTORE ST BE S DEAMY ACHIN D ILONASIVE TUCOOWE AT TEASONARE FUSO TIZIN ANDY TOBE SEACE CTISBE.4.三階逼近（三字母組合如同英文）IN NO IST LAT WHEY CRATICT FROURE BIRS GROCID PONDENOME OF DEMONSTURES OF THE REPTAGIN IS REGOACTIONA OF CRE.一階詞語逼近。而不是繼續(xù)四個字母組合，n個字母組合這是很容易的，更好的從這個點跳到詞的單

23、位。這里的單詞是獨立地挑出來的，但是具有它們合理的頻率。REPRESENTING AND SPEEDILY IS AN GOOD APT OR COME CAN DIFFERENT NATURALHERE HE THE A IN CAME THE TO OF TO EXPERT GRAY COME TO FURNISHES THE LINE MESSAGE HAD BE THESE.二階詞語逼近。詞語的轉(zhuǎn)移概率是正確。但是進一步的結(jié)構(gòu)沒有包括。THE HEAD AND IN FRONTAL ATTACK ON AN ENGLISH WRITER THAT THE CHARACTER OF TH

24、IS POINT IS THEREFORE ANOTHER METHOD FOR THE LETTERS THAT THE TIME OF WHO EVER TOLD THE PROBLEM FOR AN UNEXPECTED.在上述步驟中，普通英文文本的相似性逐漸明顯。值得注意的是，這些樣本具有想當不錯的的結(jié)構(gòu)，關(guān)于兩倍跨度應(yīng)該被考慮到結(jié)構(gòu)中。因此在（3）中統(tǒng)計保證合理的文本符合兩個字母的序列,但是從樣本中挑選的四個字母序列通常與較好的段落相配。在（6）中，只要不是不常見或口語結(jié)構(gòu)中，四個或更多詞語序列可以很容易放置在段落中。十個單詞的特殊序列attack on an English wri

25、ter that the character of this 是合理的。這表明，一個足夠復(fù)雜的隨機過程可以給出一個離散源好的滿意的表達。前兩個樣本是通過使用一本隨機數(shù)字與一個字母頻率表一起構(gòu)成的（如例2）。由于使用兩字母組、三字母中和詞語的概率表，在（3）、（4）和（5）中續(xù)使用這種方法，但是使用更加簡單等效方法。為了構(gòu)建例（3），一個人隨機打開一本書，從這一頁速記挑出一個字母。記錄這個字母。打開這本書另外一頁，只到再次讀到這個字母為止。然后記錄下來這個字母。在轉(zhuǎn)到另外一頁找到一個單詞，記錄下次這個字母，等等。在（4）、（5）和（6）中使用這個類似過程。感興趣的是否可以構(gòu)建進一步的逼近，但是在

26、下一個階段的介入的工作將變得更加繁重。1.3 馬爾科夫過程的圖形化表示上述描述這種隨機過程就是數(shù)學上眾所周知的離散馬爾科夫過程，在文獻6中有比較深入的研究。大致的情況可以這樣描述，如下：一個系統(tǒng)的可能存在有有限個數(shù)量的“狀態(tài)”；S1，S2，.,Sn。此外，還有一個轉(zhuǎn)移概率子集；Pi(j)是假如系統(tǒng)中的一個狀態(tài)Si下一步將要轉(zhuǎn)移到狀態(tài)Sj的可能性。為了使這個馬爾科夫過程進入一個源，我們僅僅需要假設(shè)對于從狀態(tài)到另外一個轉(zhuǎn)移轉(zhuǎn)移而產(chǎn)生一個字母。這個狀態(tài)表達出的“殘余影響”來源于前一個字母。這位置可以用如圖3,4和5來圖像化表示?！盃顟B(tài)”是圖中的交匯點。在對應(yīng)的線旁邊給出了轉(zhuǎn)移概率和產(chǎn)生的字母。圖3是

27、在第2節(jié)中的例B，而圖4對應(yīng)于例C 。在圖3中只有一個狀態(tài)，因為連續(xù)的字母是獨立的。在圖4中有與狀態(tài)同樣多的字母。如果構(gòu)建一個三字母例子，這將有最多n2 狀態(tài)，可能對應(yīng)前一個選擇了一對字母。圖5是例D中構(gòu)建一個詞語的情況。這里的S對應(yīng)的“空間”的符號。圖3 例B中對應(yīng)源的圖圖4 例C中對應(yīng)源的圖1.4 遍歷混合源 我們在上述所描述這一個離散源的目的是為了其被認為可以代表一個馬爾科夫過程。在可能的李三聯(lián)馬爾科夫過程。在有可能的離散馬爾科夫過程中，存在一個組通信原理中具有特殊意義的組。這個特殊種類有“遍歷”過程組成，我們將要調(diào)用對應(yīng)的遍歷源。雖然一個遍歷過程的嚴格定義有些復(fù)雜，但是大意上還是比較簡

28、單。每一個由遍歷源所產(chǎn)生的序列在統(tǒng)計特征上都是相同的。因此，從特定序列中獲得的字母頻率、兩字母組，將隨著序列長度的正解，接近特定序列獨的定義的極限。實際上，每個序列都是錯的，但是都是錯誤概率為0的集合。遍歷特征大致上意味著概率上的均勻性。上述給出的人工語言的全部例子都是遍歷的。這個特性與圖中結(jié)構(gòu)是相關(guān)的。如果圖中有用一下的兩個特征，那么這個過程就是遍歷的。圖形不是由兩個孤立部分A和B組成的，如此圖形中的沿著箭頭方向從A部分的交點到B部分的交點的連線是不可能存在，從B部分的交點到A部分的交點也是不可能存在的。圖形中擁有相同方向箭頭閉環(huán)連線系列被稱之為“環(huán)”。這個環(huán)的“長度”就是圖中線的數(shù)量。因此

29、，圖5中的系列BEBES是長度為5的環(huán)。第二個特征要求，圖中全部的環(huán)的長度最大公約數(shù)是1。如果滿足第一個條件，但是由于最大公約數(shù)d1違反了第二個條件，這個有特殊類型的周期結(jié)構(gòu)。不同序列歸類于除過從統(tǒng)計上相同的原點位移的d不同的類型。（例如序列中的字母被稱之字母1）。通過從0到d-1的位移任何序列在統(tǒng)計學上等于其他序列。一個d=2簡單的例子如下：字母a,b,c有三種可能。字母a后面是b或者c隨后發(fā)生的概率分別是1/3和2/3。b或c后面跟隨的總是a。因此，一個典型序列是abacacacabacababacac這種情況對于我們的工作來說不是太重要的。如果違反了第一種條件，圖形可能被分成每個都滿足第

30、一種條件的子圖像的集合。我們也假設(shè)每個子圖形也滿足第二種條件。圖5 例D中圖形所對應(yīng)的源在這個情況下，我們有一個一些純元素所組成的被稱之為“混合”源。元素對應(yīng)的是不同的子圖。如果L1，L2，L3，.是元素的元。我們可以這么寫L=p1L1+p1L1+p1L1+.這里的pi是元素源Li的可能性。物理上，這種代表情況是這樣的：有很多不同的源L1，L2，L3，.這些源的具有均勻的統(tǒng)計特性（例如它們是遍歷的）。我們不知道先用那一個，但是一旦序列從假設(shè)純元件Li開始的話，那就會按照元素統(tǒng)計特性無限地繼續(xù)下去。舉一個例，采用如上定義的兩個過程。假設(shè)P1=0.2和P2=0.8。從混合源取得一個序列L=0.2L

31、1+0.8L2首先以0.2概率首先選擇L1或者以0.8概率選擇L2，不管首先選擇哪一個，這個選擇都會產(chǎn)生一個序列。除了當相反的狀態(tài)，我們將假設(shè)一個源是遍歷的。這個假設(shè)可以使讓確認這個序列的平均值，這個序列擁有全部可能的序列總的平均值。（偏差的概率為0）。例如，在一個特殊有限序列中的字母A的相關(guān)頻率等于序列集合的相關(guān)頻率（概率為0）。如果Pi是狀態(tài)i的概率，Pi(j)是到狀態(tài)j轉(zhuǎn)移概率,然后由于過程是固定的。很顯然Pi必須滿足均衡條件：在遍歷的情況下，可以證明任何開始狀態(tài)j概率Pj(N),經(jīng)過N個碼元后，接近于均衡值N的值。1.5 選擇，不確定性與熵我們用一個離散信息源來代表一個馬爾科夫過程。在

32、某種以上將講，我們能定義一個將要被測量的量嗎？有多少信息是由這個過程“產(chǎn)生”的？或者更好能知道信息是以多少速率產(chǎn)生的？假設(shè)有一組可能事件，其發(fā)生概率為p1,p2,pn。這些概率都是已知的，但是我們都想知道那些時間是將要發(fā)生的。我們找到一種可以測量在事件的選擇中有多少種“選擇”數(shù)量方法或者我們選擇的結(jié)果的不確定性有多少？如果有一種測量，稱之為H(p1,p2,pn),符合以下屬性是合理的： H應(yīng)該在Pi上是連續(xù)的；如果所有的Pi都是相等的，那么H就是n單調(diào)遞增函數(shù)。黨有更多可能事件時，同樣有可能的事件會有更多的選擇，或不確定性。如果一個選擇可以分成兩個連續(xù)的選擇，原先的H應(yīng)該是單個H值得權(quán)重之和。

33、這個意思通過圖6所示。在左邊有個三個可能性：圖6 一種選擇分解為三種可能性。在右邊我看第一個選擇各有兩個概率為1/2的可能性，如果第二個發(fā)生使另外選擇有2/3,1/3選擇性。最后的結(jié)果與以前一樣的相同概率。在這種特殊情況下，我要求：系數(shù)1/2是因為第三種選擇僅僅有一半時間。在附錄2中，建立一下的結(jié)果：定理2：存在唯一的H滿足以上三種假設(shè)的形式：這里的K是一個正的常數(shù)。這個定理，及其證明所需要的假設(shè)，對應(yīng)當前的理論是沒有必要的。它主要是為了給我們以后的定義提供一定的合理性。但是，這些定義的真正的證明，包含在其定義中。形式的數(shù)量（常數(shù)K僅僅等于一個測量單位的選擇）在諸如信息的測量，選擇和不確定度等

34、信息理論方面起到到核心作用。H的形式被認為是熵一樣，定義為統(tǒng)計力學特殊的公式。這里的pi是一個系統(tǒng)在相空間里的晶格i發(fā)生概率。例如，H則是著名的玻爾茲曼 H 定理中的H。我們將稱之為一個可能性p1,pn集合的熵。如果x是一個概率的變量，可以將H(x)寫成熵的形式。因此x不是函數(shù)的一個參數(shù)，而是一個數(shù)字的標號，為了和H(y)區(qū)別，概率變量y的熵。兩種概率是p和q=1-p的情況的熵，可以這樣命名作為p的函數(shù)繪制在圖7中。量H擁有一些比較關(guān)注的特定，可以進一步確認其作為選擇性或信息的一種合理測量方法。H=0，當且僅當全部的Pi中只有一個是0，這一個有值的一致性。因此僅僅當我們可以確認結(jié)果時，H才會消

35、失。否則H是負數(shù)。對應(yīng)給定的n，當全部的pi相等（例如，1/n）H是最大值且等于logn.從直覺上將，這是最不確定的情況。圖7 概率是p和(1-p)情況下的熵3.假設(shè)有兩個事件，x和y，討論第一個m概率和第二個n概率的問題。設(shè)P(i,j)為第一個i和第二個j聯(lián)合發(fā)生概率。這個聯(lián)合時間的熵為當很顯然只有當事件都是獨立時才是相等的(例如P(i,j)=P(i)P(j)。一個聯(lián)合時間的不確定度小于等于單個不確定度的和任何使得概率P1,P2,. ,Pn均等的變化都會增加H。因此，如果P1P2，我們增加P1，減小P2一個相等的數(shù)量，會使P1和P2更加接近，則會使H增大。更普遍的是， 如果我們以這樣一個形式

36、對pi進行一個“平均化”的操作：這里的，所有的aij0，那么H會增大（除了一種特殊情，這里的轉(zhuǎn)換數(shù)量不超過為了保持不變H的pj的轉(zhuǎn)置）假設(shè)在第3中有兩個可能時間，不一定是獨立的。對于任何特殊值i，x可以建設(shè)有一個條件概率pi(j)，y對應(yīng)的是值j。給出一個我們可以定義y的條件熵，作為對于每個x值的y的熵的平均。根據(jù)得到特定x的概率加權(quán)?？傻茫寒斘覀冎纗的時候，我們可用過其平均值來獲取y的不確定性量得測量值。代替Pi(j)的值，可以得到：或者當x已知，聯(lián)合時間x,y的不確定度（熵）是x不確定度和y不確定度的和。從第3到第5，我們可以得到因此通過知道x,不會使y的不確定性增加。在這種情下，那么一

37、定會使y不確定度減小，除非x和y不是獨立的事件1.6一個信息源的熵考慮以上的一個有限狀態(tài)樂行的離散源。對于每種可能的狀態(tài)i,擁有產(chǎn)生各種可能碼元j的可能性pi(j)的集合。這個源的熵可以定義為依照問題中狀態(tài)發(fā)生可能性而決定的Hi的加權(quán)的平均值。這是文檔中每個符號的熵。如果馬爾科夫過程以一個明確的時間速率而產(chǎn)生，這也是一個熵/符號這里的fi是狀態(tài)i的平均頻率（發(fā)生次數(shù)/秒）。顯然，這里的m是每秒鐘產(chǎn)生的碼元的平均數(shù)。H或H通過每碼元或每秒由源產(chǎn)生的信息數(shù)量。如果對數(shù)的底是2，他們將代表比特每碼元或每秒。如果連續(xù)的符號是獨立的，那么H是簡化的，這里的Pi是符號i的可能性。假設(shè)在這種狀態(tài)下，我們討論

38、一個N個符號的長信息。包含了一些較高概率關(guān)于第一個符號的p1N發(fā)生次數(shù)，第二個符號的p2N發(fā)生次數(shù)，等等。因此，這個特殊信息的可能性可以粗略表示為或者H近似是一個被分為一系列符號的典型長序列的可能性的倒數(shù)的對數(shù)值。對于任何源，結(jié)果都是一致的。狀態(tài)更加精密的話，我們可以這樣做（見附錄3）：定理3：假設(shè)任何0和0，我們可以找到一個No以至于任何長度NNo分為兩類：總概率小于的集合；其余的，所有的成員有概率滿足不等式 換句話說，當N很大時，我們幾乎可以肯定接近于N。一個密切相關(guān)結(jié)果處理各種概率的序列的數(shù)目。再次考慮長度為N的序列，讓它們按遞減的概率排列。我們定義n(q)為這樣數(shù)字，我們必須從這個集合

39、中最大一個概率開始，為了累計總概率q而采取這些措施。定理4：當q不等于0或1時當我們僅僅考慮總概率q的最大可能性的序列，我們可以解釋logn(q)作為滿足指標序列的比特數(shù)。那么滿足指標的比特/碼元的數(shù)目。定理闡述對于大N值，這個是q獨立的且等于H。不管我們對“合理的可能性”如何解釋，合理的可能序列的數(shù)目的對數(shù)的增長率是由H給出。對于這些結(jié)果，在附錄3中有證明。處理長序列最有可能方法是，他們有2HN種可能性，每一種可能性為2-HN。下面兩個定理說明了H和H可以通過直接從消息序列的統(tǒng)計中限制操作來確定， 不需要參考狀態(tài)和兩個轉(zhuǎn)臺間的轉(zhuǎn)移概率。定理5：設(shè)p(Bi)為從源發(fā)出的一個序列Bi的可能性。設(shè)

40、：這里總和是包含N個碼元的全部序列Bi。那么GN是一個N的單調(diào)遞增函數(shù)，定理6：設(shè)為跟隨碼元Sj之后的序列Bi的可能性，pBi(Sj)=p(Bi,Sj)/p(Bi)是一個Bi后的Sj的條件概率。設(shè)這里是N-1個碼元的全部碼塊Bi和全部碼元Sj的和。那么FN是N的單調(diào)遞增函數(shù)，而且這些結(jié)果來自于附錄3.這個表明一系列H近似值可以通過僅僅考慮拓展覆蓋1,2,N的碼元序列的統(tǒng)計結(jié)構(gòu)來獲得。FN是最好的近似值。實際上，F(xiàn)N是上述被討論這種類型源的第N階近似值。如果統(tǒng)計影響沒有超過N個碼元，那么也就是說，如果知道下一個符號的條件概率，通過之前的不變的先驗知識就會知道就知道前面的（n-1）個概率，那么FN

41、=H。當知道前面（N-1）個先驗知識，源的FN就是下一個碼元的條件概率，而GN是N個碼元塊的熵/碼元。將被限制在同一個碼元的一個源熵與其最大值的比，這個被稱之為“相對熵”。當我們編碼成同一個字母時，這個壓縮可能是最大的。1減去相對熵就是冗余。不考慮統(tǒng)計結(jié)構(gòu)覆蓋超過八個字母的距離，普通的影響冗余度大約是50%。這意味當你寫英語的時候，所寫的內(nèi)容一般是有語言結(jié)構(gòu)所決定的，一半是自由地。數(shù)字50%可用通過三種獨立的算法獲得，而且給出結(jié)果都在這個值附近。第一種是用英語的近似值的熵來計算的。第二種方法是從一些英語文檔中樣本中刪去一些字母特定部分并且試圖恢復(fù)它們。如當50%被刪掉的冗余可以被恢復(fù)，這個肯定

42、超過50%。第三種方法依據(jù)于密碼學中的某些已知結(jié)論。英文散文中的兩個極端冗余的代表是基本英語和james joyce的書芬尼根守靈夜。基礎(chǔ)英語詞匯限制在850個單詞，冗余很高。這反映在當段落被翻譯成基本英語時發(fā)生的擴展。另一方面，喬伊斯擴大詞匯量，并聲稱實現(xiàn)了語義內(nèi)容的壓縮。語言的冗余與縱橫字謎的存在有關(guān)。如果冗余為零，任何字母序列都是語言中的合理文本，任何二維字母數(shù)組都構(gòu)成一個縱橫字謎。如果冗余太高，語言限制太多的大型填字游戲是有可能的。一個更詳細的分析表明，如果我們假設(shè)語言的約束是一個相當混亂和隨機的性質(zhì)，當冗余為50%時，大型的填字游戲是有可能的。如果冗余是30%，三維縱橫字謎也是有可能

43、的，等。1.7解碼和編碼操作陳述我們可以用數(shù)學來表征發(fā)射機對信息的編碼和接收機對信息的解碼的操作性能。他們中任一個都被稱之為離散傳感器。傳輸器的輸入是輸入一個輸入碼元的序列，它的數(shù)學是輸出碼元的序列。傳感器擁有一個內(nèi)部記憶存儲器，以至于輸出不但依據(jù)當前的輸入碼元，還依據(jù)過去的歷史。我們假設(shè)內(nèi)部記憶存儲器是有限的，例如，傳輸器存在有有限個數(shù)目m個可能狀態(tài)。它的輸出是一個當前狀態(tài)和過去輸入碼元的函數(shù)。下一個狀態(tài)將是第二個這么兩個量的函數(shù)。因此，一個傳輸器可以用兩個函數(shù)來描述：yn=f(xn,n)n=g(xn,n)這里的xn是第n個輸入碼元；n是當?shù)趎個碼元輸入是，傳輸器的狀態(tài)；yn是當xn輸入時，

44、如果狀態(tài)為n所所產(chǎn)生的輸出碼元（輸出碼元序列）。如果一個傳輸器的輸出符號可以用第二個輸入符號來描述，它們可以串聯(lián)連接，其結(jié)果也是一個傳輸器。如果存在第二個傳輸器，其工作在第一個輸出端并恢復(fù)原始輸入。第一個傳輸器將被稱為非奇異的，第二個將被稱為它的逆。 定理7：由有限狀態(tài)統(tǒng)計源驅(qū)使的有限狀態(tài)傳輸器的輸出是一個有限狀態(tài)統(tǒng)計源，熵（每單位時間）小于或等于輸入。如果傳感器是非奇異的，它們是相等的。設(shè)代表源的狀態(tài)，源才生碼元xi的序列；設(shè)代表傳輸器的狀態(tài)，產(chǎn)生輸出的是碼元yi塊。聯(lián)合系統(tǒng)代表（，）對的“積狀態(tài)空間”?？臻g（1，1）和（2，2）的點通過一條線鏈接，如果1產(chǎn)生一個x設(shè)1轉(zhuǎn)化為2。這種情況下，

45、這條線給出了x的概率。這條線標識為傳輸器產(chǎn)生碼元yi塊。輸出的熵可以用全部狀態(tài)加權(quán)和來計算。如果我們首先在上求每個所得項小于或等于相應(yīng)的項，因此熵不增加。如果傳輸器是非奇異的，設(shè)其輸出鏈接到逆的傳輸器。如果H1，H2和H3是源輸出的熵，第一和第二傳輸器各自的，那么H1H2H3=H1，因此H1=H2。假設(shè)我們有約束一個關(guān)于可能的序列類型的系統(tǒng)，可以用圖2所示的線性圖來表示。如果概率pij(S)被分配到不同的線路連接狀態(tài)i和狀態(tài)j，這將變成一個源。有一個特定的任務(wù)就是最大化產(chǎn)生的熵（見附錄4）。定理8：設(shè)約束的系統(tǒng)考慮作為一個擁有一個容量C =log的通道。如果我們指派這里的l(s)ij是第S個碼

46、元從狀態(tài)i到狀態(tài)j的持續(xù)時間，Bi滿足那么H是最大的，且等于C。通過適當分配的轉(zhuǎn)移概率，在一個信道的碼元的熵的信道容量最大的。1.8無噪聲信道的基礎(chǔ)理論現(xiàn)在，我們將證明我們的關(guān)于H的解釋是信息產(chǎn)生率的，證明H需要最有效的編碼決定了信道容量。定理9：設(shè)一個源擁有熵H（比特每碼元），一個信道擁有容量C（比特每秒）。然后，可以以這樣的方式對信源的輸出進行編碼，在通道里以C/H-平均速率傳輸，這里的是任意小。以大于C/H的平均速率發(fā)射是不可能的。定理的相反部分，不會超過C/H。可以證明，每秒鐘的信道輸入熵H等于信源的熵H，因為發(fā)射必須是非奇異的。這個熵也不能超過信道容量。因此，HC，碼元數(shù)量每秒=H/

47、HC/H.定理的第一部分可用兩種不同方法來證明。第一種方法考慮的是這個源產(chǎn)生N個碼元的全部序列的集合。對于N，我們可以將這些分為兩組，一個包含小于2（H+）N元素，第二包含小于2（H+）N元素（這里的R是不同碼元數(shù)量的對數(shù)），總概率小于。當N增加時，和接近于0。信道中持續(xù)時間T的信號數(shù)量超過2(C-)T 伴隨著當T大時而小。如果我們選擇當N和T足夠大時（但?。┣疫€有一些附加條件，那么對于高概率的組來說信道碼元序列的數(shù)量將是足夠的。高概率的組將隨意地被一對一的方式編碼成到這個集合。剩余的序列可以較大數(shù)列來表示。對于高概率的組，不會使用開始和結(jié)尾的序列。對于不同編碼，這個特殊序扮演著開始和結(jié)束。對

48、于所有低概率消息，充足的時間可以給予給足夠的不同的序列。這里要求：這里的很小。以碼元每秒發(fā)射的平均速射可以更大一些隨著N的增加，和接近如0，速率接近于C/H。執(zhí)行此編碼另外一種方法，并由此證明定理可以如下描述：以逐步概率的次序來排列碼長為N的消息，想要它們的概率是P1P2P3Pn。設(shè)，Ps是概率累加到到最大，但是不包括Ps。我們首先編碼成一個二進制系統(tǒng)。通過將Ps擴展為二進制數(shù)，得到了消息s的二進制碼。擴展到mS的位，其中mS是整數(shù)滿足:因此，高概率的消息可以用短編碼來表示，低概率的消息可以用長編碼來表示。從這些不等式，我們可得到：PS的代碼將不同于所有后續(xù)的一個或多個mS的位。由于所有剩余的

49、Pi是至少比大，因此它們的二進制展開不同的第一個mS位。因此，所有的代碼是不同的，它有可能從它的代碼恢復(fù)消息。如果信道序列不是二進制數(shù)字的序列，它們可以以任意的方式被描述成二進制數(shù)，因此二進制代碼被譯成適合于信道的信號。每個原始符號的二進制數(shù)字的平均數(shù)H是很容易估計的。我們可以得到：隨著N增加，GN接近于H，源的熵和H接近于H。我們從這個里可以看出，當僅使用N符號的有限延遲，是效率低編碼。不需要大于1/N,加上真正的熵H和計算出的長度為N序列的熵GN之間的差。因此，超過理想所需的多余時間百分比少于 這種編碼方式本質(zhì)上與R.M.Fano獨立創(chuàng)建編碼方式是一樣的。他的方法是按照概率遞減次序排列碼長

50、N的消息。這些序列分成概率盡可能相同的兩組。如果第一組的消息，它的二進制數(shù)是0，否者為1.類似的，這些組再分成概率盡可能相等兩個子集合，特定的子集合決定與第二個的二進制數(shù)字。這個過程一直持續(xù)到每個子集合只包含一個消息。很容易看出，除了細微的差別（通常在最后一個數(shù)字），這與上面描述的算術(shù)過程相同。1.9討論與例子為了獲得從發(fā)電機到負載的最大功率傳輸，一般隱去一個變壓器以致于發(fā)電機從負載角度來是負載阻抗。這里的情況大致類似。編碼的傳輸器應(yīng)該在統(tǒng)計意義上源應(yīng)該與信道匹配。 從傳輸器穿過來看，應(yīng)具有相同的統(tǒng)計結(jié)構(gòu)的作為源，最大限度地提高信道中的熵。定理9的內(nèi)容是，雖然一個確切的匹配是不可能的，我們可以

51、近似它盡可能逼近。 實際的發(fā)送速率與信道容量C的比值被稱之為編碼系統(tǒng)的效率。當然，這等于信道符號的實際熵與最大可能熵的比率。在一般情況下，理想或接近理想的編碼需要在發(fā)射機和接收機之間有個一個長延遲。我們一直考慮的是無噪聲情況，這個延遲的主要功能是是允許合適的概率匹配到相應(yīng)長度的序列。一個好的代碼，長消息的倒數(shù)概率的對數(shù)必須與相應(yīng)的信號的持續(xù)時間成正比。實際上，除了一小部分長消息來說，全部都是很小的。如果一個源只能產(chǎn)生一個特定的消息，它的熵為零，并且不需要信道。例如，計算機進行計算，產(chǎn)生一個定義沒有可能的元素的序列的連續(xù)數(shù)字。信道不要“發(fā)送”這個到另外一個點。但是，這個可能不切實際。在這種情況下

52、，我們可以選擇忽略一些或所有的我們已經(jīng)掌握的統(tǒng)計知識。因為我們構(gòu)建一個可以發(fā)送任何數(shù)字序列的系統(tǒng)，我們考慮是隨機序列的數(shù)字。以類似的方式，我們可以選擇使用我們的一些英語的統(tǒng)計知識構(gòu)造代碼，但不是所有的。在這種情況下，我們考慮最大熵的源，服從我們希望保留統(tǒng)計條件。源的熵決定信號的容量，這是十分必要的。在例子中，僅僅保留的信息是從0,1，.9集合的全部數(shù)字中選擇的。在英語的情況下，可能希望根據(jù)字母頻率使用的統(tǒng)計知識來減小可能性，但沒有其他。然后，最大熵源的第一個逼近英語，它的熵決定所需的信道容量。作為一個簡單的例子，考慮一些結(jié)果源產(chǎn)生一個字母序列，選擇從擁有1/2，1/4，1/8，1/8的概率的A

53、，B，C，D中選擇字母的序列，獨立地選擇連續(xù)碼元。我們有因此，我們可以近似編碼系統(tǒng)，這個信源以平均7/4比特/碼元進行二進制編碼。這種情況，我們實際上可以通過以下代碼實現(xiàn)限制值(通過定理9的第二證明的方法得到):用于編碼N個碼元的序列的二進制數(shù)的平均數(shù)目是比較容易看出，0,1二進制擁有1/2，1/2的概率，因此，對于編碼序列，H是1bite/碼元。因此，平均來說，我們擁有7/4二級制碼元每原始字母，時間基礎(chǔ)上的熵是相同的。當A，B，C，D擁有概率1/4，1/4，1/4，1/4時，對于初始集合的最大可能熵是log4=2。因此，相對熵是7/8。我們可以將二進制序列翻譯成以一個2到1基礎(chǔ)的碼元的初始

54、集合，如下表所示：這兩個過程，沒有以平均壓縮率7/8將原始信息編碼成相同的碼元。作為第二個例子，考慮一個源，其產(chǎn)生概率p的A和以概率q的B序列。如果pq，我們可得到在這在情況下，可以在一個0,1信道上構(gòu)建一個消息良好的編碼來發(fā)送一個特殊序列。比如說0000，用于低頻率碼元A，這個序列表明跟蹤其后B的數(shù)量。這個可以用包含有已經(jīng)刪除特殊序列全部數(shù)字的二進制數(shù)來表示。全部數(shù)字高達16依然可以代表。16可用下一個二進制數(shù)來代表，后面16進制數(shù)不能包含4個零，也就說17=10001，等。這個可以表明如果特殊序列的長度能適當調(diào)整的，p0編碼接近于理想條件。2離散噪聲系統(tǒng)2.1噪聲離散信號的表述我們現(xiàn)在考慮

55、一下在傳輸過程中或者其他終端中存在有噪聲干擾信號的情況。這意味著傳輸信號并不一定與發(fā)射機發(fā)出的信號一樣。這兩個情況是有差異的。如果一個特殊發(fā)射信號總是產(chǎn)生相同的接收信號，例如，接收信號是發(fā)射信號的明確函數(shù)，這種影響被稱之為失真。至少上從原理上來講，失真只能通過對接收信號進行逆函數(shù)運算來校正。感興趣的情況是，在傳輸現(xiàn)在中的信號的變化并不總是一樣的。這種情況，我們可以假設(shè)接收信號E是發(fā)射信號S和噪聲N的函數(shù)。正如上面的信號，噪聲被認為是一種隨機變量。一般來說，它可以用一個合適的隨機過程來描述。大多數(shù)噪聲離散信道的種類，我們可以認為是先前描述的有限狀態(tài)無噪聲信道的總結(jié)。我們假設(shè)有限數(shù)量的狀態(tài)和概率集

56、合這是概率，如果信道是狀態(tài)是且發(fā)射的碼元i，接收碼元是j且信道狀態(tài)是左邊的。因此，和覆蓋可能狀態(tài)，i覆蓋可能發(fā)射信號且j覆蓋可能接收信號。在這種情況下，僅僅在一種狀態(tài)下，連續(xù)碼元獨立地被噪聲干擾。信道用轉(zhuǎn)移概率pi(j)的集合來描述，發(fā)送碼元概率是i，接收碼元概率為j。如果一個源注入一個噪聲信道，那么在這個過程中有兩個統(tǒng)計過程：源和噪聲。因此，我們可以計算出一些熵。首先，存在有源的熵H(x)或者輸入給信道的熵（如果發(fā)射機不是奇異的，那么這些商是相等的）。例如，信道輸出的熵，接收信號可以用H(y)來標注。在無噪聲情況下，H(y)=H(x)。輸入與輸出的聯(lián)合熵是H(xy)。最后。有兩個條件熵Hx(

57、y)和Hy(x)，當輸入是已知的且可逆的，輸出的熵。在這些量匯總，我們可以獲得以下關(guān)系：所有的熵都以每秒或每碼元為基礎(chǔ)上可以測量到。2.2疑義度和信道容量如果信道存在有噪聲，一般不可能重構(gòu)消息或在接收信號上的任何操作都能確定地傳輸信號。然而，存在有對付噪聲最優(yōu)化的信息發(fā)送方法。我們現(xiàn)在考慮這個問題。假設(shè)有兩種可能的碼元0和1，我們可以為p0=p1=1/2的概率，1000碼元每秒的速率發(fā)送信息。因此，我們的源以1000比特每秒速率產(chǎn)生信息。在發(fā)送期間，噪聲產(chǎn)生誤差，以致于，平均上發(fā)送100接收有1個錯誤（0當做1,或1當做0）。信息發(fā)送速率多少多少？由于接收碼元1%是錯誤的，可以確定小于1000

58、比特每秒。我們的第一個沖動可能是說，速率是990比特每秒，僅僅減去預(yù)期的錯誤數(shù)。這是不令人滿意的，因為它沒有考慮到缺乏接收的錯誤發(fā)生的先驗知識。我們可以把進到一個極端的情況，假設(shè)噪音很大，所接收的碼元是完全獨立于傳輸碼元。無論發(fā)送什么，接收1的概率是1/2，發(fā)送情況類似。由于可能性是獨立的，那么有一半的接收碼元是正確的。我們將給予系統(tǒng)的傳輸500比特每秒，而實際上根本沒有信息傳輸。獲得同樣“好的”傳輸，可以通過完全分配信道，且在接收點翻轉(zhuǎn)。顯然，在接收到的信號中丟失的這些信息的量，或者當我們接收到實際發(fā)送的信號的不確定性時，可以采用適用于傳輸?shù)男畔⒘康倪m當?shù)男Ｕ奈覀円郧暗挠懻撿刈鳛楹饬康牟?/p>

59、確定性，它似乎是合理的使用條件熵的消息，知道接收到的信號，作為衡量這個丟失的信息。這確實是正確的定義，正如我們將看到的。按照這個想法的實際傳輸速率，R，將通過以下方式，產(chǎn)生（例如，熵的源）速率減去條件熵的平均速率。為方便起見，條件熵Hy(x)可稱為疑義度。這個可以測量接收信號的平均模糊。在上面考慮的例子中，如果一個0被接收的后驗概率為一個0被發(fā)送是0.99，和一個1被發(fā)送是0.01。如果收到一個1，這些數(shù)字是顛倒的，因此或者81比特每秒。我們可以說系統(tǒng)以1000-81=919比特每秒的速率來發(fā)送。極端情況下，一個0是同樣有可能被接受為0或1，1 類似。后驗概率是1/2,1/2或者1000比特每

60、秒。傳輸速率應(yīng)該是0。下面的定理給出了一個直觀的疑義度的解釋，也有理由證明它作為唯一適當?shù)拇胧Ｎ覀兛紤]一個通信系統(tǒng)，一個觀察者（或輔助設(shè)備），能夠看到所發(fā)送的和被恢復(fù)的（由于噪聲引起的錯誤）。該觀察者注意到在恢復(fù)的消息中的錯誤，并發(fā)送數(shù)據(jù)到接收點在“校正通道”，設(shè)接收器糾正錯誤。 這種情況在圖8示意性地表示。 圖8 校正系統(tǒng)示意圖定理10：如果校正信道容量等于Hy(x), 編碼校正數(shù)據(jù)以致于發(fā)送他們覆蓋信道并校正，差不多使誤差的部分任意小，這是可能的。如果信道容量小于Hy(x)，這是不可能的。粗略地講，Hy(x)是一定數(shù)量的額外信息，這些信息在每秒鐘必須在接收點來提供給校正接收信息。為了證明