通信的數(shù)學(xué)理論

通信的數(shù)學(xué)理論(AMathematicalTheoryofCommunication)近來(lái)出現(xiàn)了許多以帶寬換取信噪比的調(diào)制方法，的基礎(chǔ)。本論文將擴(kuò)展該理論，增加一些新的因素，具體來(lái)說(shuō)，就是信道中噪聲的影這些消息通常有特定的含義；也就是說(shuō)，它們會(huì)根據(jù)某一系統(tǒng)，與特定的物理或概念實(shí)體關(guān)的語(yǔ)義與工程問(wèn)題無(wú)關(guān)。重要的是：實(shí)際消息是從一個(gè)消息集合選出的。所設(shè)計(jì)的系如果集合中的消息數(shù)目是有限的，而且選擇每條消息的可能性相等，那就可以調(diào)函數(shù)，來(lái)度量從集合中選擇一條消息所生成的信息量。正如哈特萊所指出的那樣，最函數(shù)了。如果考慮消息統(tǒng)計(jì)信息的影響，如果消息的選取范圍是連續(xù)的，那必須對(duì)其定的數(shù)量的對(duì)數(shù)值呈線性關(guān)系。例如，增加一個(gè)繼電器會(huì)使繼電器的可能狀態(tài)數(shù)加倍量時(shí)，通常是與公共標(biāo)準(zhǔn)進(jìn)行線性比較。比如，人們認(rèn)為，兩張打孔卡存儲(chǔ)信息1Nyquist,H.,“CertainFactorsAffectingTelegraphSpeed,”BellSystemTechnicalJournal,April1924,p.324;“CertainTopicsinTelegraphTransmissionTheory,”A.I.E.E.Trans.,v.47,April1928,p.617.12Hartley,R.V.L.,“TransmissionofInformation,”BellSystemTechnicalJournal,July1928,p.535.3.更適于數(shù)學(xué)運(yùn)算。許多極限運(yùn)算很容易用對(duì)數(shù)表示，如果采用可能性的數(shù)目表示，可能會(huì)需要進(jìn)行冗繁、對(duì)數(shù)底數(shù)的選擇與信息度量單位的選擇相對(duì)應(yīng)。如果所用底?log???/log2?????這一情景，如果通信系統(tǒng)要以多工方式為幾個(gè)獨(dú)立信道提供服務(wù)，則同屬這一情景；(?,??閉聯(lián)集(continuum)上——我們還可以將這三個(gè)函數(shù)看作是定義在該區(qū)域上的一個(gè)類似，幾臺(tái)黑白電視源所生成的“消息”由許多三變量函數(shù)組成；(f)還會(huì)有2.發(fā)送器，它以某種方式對(duì)消息進(jìn)行處理，生成一個(gè)適于就是將聲壓變換為比例變化的電流。在電報(bào)中采用一種編碼操作，在信道中生成一系點(diǎn)、劃和空。在多工PCM系統(tǒng)中，必須對(duì)不恰當(dāng)?shù)慕诲e(cuò)，從而構(gòu)造出信號(hào)。在聲碼器系統(tǒng)、電視、頻率調(diào)制中，也都需要對(duì)消息 AMathematicalTheoryofCommunication我們希望考慮涉及通信系統(tǒng)的某些一般性問(wèn)題。為此，首先需要對(duì)所涉及的各個(gè)物方式表示出來(lái)。我們可以將通信系統(tǒng)粗略地分為三大類：離散系統(tǒng)，連續(xù)系統(tǒng)，混合系中的消息和信號(hào)都是離散符號(hào)序列。電報(bào)是這種系統(tǒng)的一個(gè)典型例子，其中的消息是一一個(gè)由點(diǎn)、劃和空組成的序列。連續(xù)系統(tǒng)是指其中的消息和信號(hào)都可以看作連續(xù)函數(shù)，我們首先考慮離散情景。這種情景不僅在通信理論中有應(yīng)用，同樣適用于計(jì)算機(jī)理?,???,此持續(xù)時(shí)間不一定相同，比如電報(bào)中使用的點(diǎn)和劃）。并不要求在此?字空，線路斷開六個(gè)時(shí)間單位。我們可以對(duì)允許出現(xiàn)的序列設(shè)定限制：不允許兩個(gè)是說(shuō)電傳信道總是以這一速度傳送信息——這是最大可能速率，后面將會(huì)看到容易看出，在電傳情況下，這一公式簡(jiǎn)化為前面的結(jié)果。可以證明，在人們所關(guān)?,??????,??,…,?結(jié)尾的序列數(shù)目之和，這些數(shù)目分別為?,?,??,其中?X-t1+X-t2+...+X-tn=1?在對(duì)允許出現(xiàn)的序列設(shè)定了限制時(shí)，仍然能夠獲得這一類型的差分方程 AMathematicalTheoryofCommunication????在對(duì)允許序列設(shè)定的限制中，有一種非常普通的類型：??,??,…,?,對(duì)于每種狀態(tài)，只?,?的狀態(tài)，具體取決于原有狀態(tài)和所傳送的特定符號(hào)。電報(bào)是這種情景的一個(gè)簡(jiǎn)單示是不是空格，共存在兩種狀態(tài)。如果是空格，則接下來(lái)只能傳送一個(gè)點(diǎn)或一個(gè)劃，??,?W-bs)-δij=0??(W-3+W-6)(W-2+W-(W-3+W-6)(W-2+W-4-1)我們已經(jīng)看到，在非常一般的條件下，離散信道中可出現(xiàn)信號(hào)數(shù)的對(duì)數(shù)隨時(shí)間線性長(zhǎng)速率，也就是每秒需要多少比特來(lái)表示所使用的特定信號(hào)，每秒鐘所需要的比特?cái)?shù)結(jié)構(gòu)的存在，我們可以對(duì)消息序列進(jìn)行適當(dāng)編碼，轉(zhuǎn)換為信號(hào)序列，以節(jié)省時(shí)間（或信道報(bào)通訊中已經(jīng)進(jìn)行了一定程度的此種處理：為最常見常見的單詞和短語(yǔ)用四字符或五字符代碼組表示，大幅縮短了平均時(shí)間。我們可以認(rèn)為離散信源是逐個(gè)字符地生成消息。它將會(huì)根據(jù)特定概率值選擇相繼符于之前的選擇和所考慮的特定符號(hào)。如果一個(gè)物理系統(tǒng)或者一個(gè)系統(tǒng)的數(shù)學(xué)模型，在個(gè)隨機(jī)過(guò)程，只要它生成的離散符號(hào)序列是從有限集合中選出的，則可以將其看作離3.數(shù)學(xué)信源，在此類情況下，我們只是抽象地定義了的此種類型中，字符的選擇僅取決于它前面的4例如，請(qǐng)參閱S.Chandrasekhar,“StochasticProblemsinPhysicsandAstronomy,”ReviewsofModernPhysics,v.15,No.1,January1943,p.1.KendallandSmith,TablesofRandomSamplingNumbers,Cambridge,1939. AMathematicalTheoryofCommunicationp(i)=p(i,j)=p(j,i)=p(j)pj(i)ip(i,j)=1DABEEABEBEDEEDDEBADEEADEEEEDEBBEBEBEBEBEBEADEEBEDDEEDDEED如果所有單詞的長(zhǎng)度有限，則這一過(guò)程與前一種類型等價(jià)，但用單詞結(jié)構(gòu)和概要構(gòu)造一些簡(jiǎn)單的問(wèn)題和示例來(lái)說(shuō)明各種概率，這些虛擬語(yǔ)言是很有用的。我們還擬語(yǔ)言來(lái)模擬一種自然語(yǔ)言。如果所有字母的選擇頻率相同，且相互獨(dú)立，則得到零），母之間沒(méi)有影響，也不會(huì)傾向于生成自然語(yǔ)言中更了兩連字結(jié)構(gòu)。在選定第一個(gè)字母后，根據(jù)各個(gè)字母在第一個(gè)字母之后的出現(xiàn)頻率來(lái)為了讓大家直觀地感受這一系列過(guò)程是如何近似模擬一種語(yǔ)言的，我們構(gòu)造了英XFOMLRXKHRJFFJUJZLPWCFWKCYJFFJEYVKCQSGHYDQOCROHLIRGWRNMIELWISEULLNBNESEBYATHEEIALHENHTTPAOOBTTIZINANDYTOBESEACEINNOISTLATWHEYCRATICREPRESENTINGANDSPEEDILYISANCAMETHETOOFTOEXPERTGRAYCOMETHEHEADANDINFRONTALATTTHEREFOREANOTHERMETHODFORTHELETTERSTHATTHETIMEOFWHOEVERTOLDT在上面給出的各個(gè)步驟中，每前進(jìn)一步，與普通英文文本的相似度都大幅增加。注意，構(gòu)范圍并不僅限于在其構(gòu)造時(shí)考慮的范圍，而是其大約兩倍。比如，在(3)中，該統(tǒng)計(jì)過(guò)序列生成符合常理的文本，但這個(gè)例子中給出的四字母序列通常也可以組合成很好的句子。5字母、二連字和三連字頻率由SecretandUrgentbyFletcherPratt,BlueRibbonBooks,1939給出。單詞頻率在RelativeFrequencyofEnglishSpeechSounds,G.Dewey,HarvardUniversityPress,1923中列出。 AMathematicalTheoryofCommunication絞盡腦汁進(jìn)行什么不同尋常的構(gòu)造過(guò)程，就可以將四個(gè)或更多個(gè)單詞括十個(gè)字音的特定序列“attackonEnglishwriterthatthecharacterofthis"一點(diǎn)也不顯得無(wú)厘頭了。在構(gòu)造前兩個(gè)示例時(shí)，使用了一個(gè)隨機(jī)數(shù)表頻率和單詞頻率表可用，所以我們可以為第(3)、(4)、(5)種情景繼續(xù)應(yīng)用這一方法，一種更為簡(jiǎn)單的等價(jià)方法。比如，為了構(gòu)造(3)，我們可以隨機(jī)翻開一本書，在該頁(yè)上這個(gè)字母后面的字母。再翻到另一頁(yè)，查找這個(gè)第二字母，并記下它后面的字母，以此類推。接下來(lái)進(jìn)入狀態(tài)sj的概率。為使此馬爾可夫過(guò)程表示信6詳細(xì)討論請(qǐng)參閱M.Fréchet,Méthodedesfonctionsarbitraires.Théoriedesévénementsenchaínedanslecasd’unnombrefinid’étatspossibles.Paris,Gauthier-Villars,1938。上面已經(jīng)指出，可以認(rèn)為我們使用的離散信源能夠用馬爾可夫過(guò)程來(lái)表示。在各種我們將相應(yīng)的信源稱為各態(tài)歷經(jīng)信源。盡管各態(tài)歷經(jīng)過(guò)程的嚴(yán)格定義有些復(fù)雜，但連字頻率等數(shù)值，將會(huì)隨著這些序列長(zhǎng)度的增加，趨近于與該特定序列無(wú)關(guān)的確切上面給出的所有虛擬語(yǔ)言示例都是各態(tài)歷經(jīng)的。這一性質(zhì)與相應(yīng)圖中的結(jié)構(gòu)相關(guān)聯(lián)7這是針對(duì)Fréchet給出的條件圖進(jìn)行的重新表述。 AMathematicalTheoryofCommunication如果不滿足第一個(gè)條件，則可以將圖形劃分為兩個(gè)分別滿足該第一條件的子圖滿足第二個(gè)條件。在此情況下，將會(huì)得到由一些單純分量組成的所謂“混合”信源。這除非明確給出相反表述，否則我們將假定信源是各態(tài)歷經(jīng)等于可能序列系集(ensemble)的均值（出現(xiàn)偏差的概率為0)。例如，字符A在一個(gè)具體無(wú)限長(zhǎng)序列中的相對(duì)頻率，以概率1等于它在序列系集中的相對(duì)頻率。??????????個(gè)符號(hào)之后處于狀態(tài)?的概率??我們已經(jīng)將離散信源表示為馬爾可夫過(guò)程。我們能不能定義一個(gè)量，用來(lái)在某種意1.?應(yīng)當(dāng)關(guān)于連續(xù)。?應(yīng)當(dāng)是?3.如果一項(xiàng)選擇被分解為兩個(gè)連續(xù)選擇，則原來(lái)的?應(yīng)當(dāng)是各個(gè)?值的加權(quán)和。圖6中展示了這一說(shuō)法的含。在右側(cè)，我們首先以概率在兩種可靠性之間做出?,,?,?,之所以存在系數(shù),是因?yàn)檫@一第二選擇僅在一半時(shí)間內(nèi)出現(xiàn)。H=kpilogpi在本文討論的理論中，完全不需要這一定理，及其證明過(guò)程所做的一些假定。之所以給選擇和不確定性的度量。將會(huì)看出，?的這一形式就是統(tǒng)計(jì)力學(xué)中某些公式中定義的熵8，其中是一個(gè)系統(tǒng)處于其相位空間中單元格?的概率。例如，這里的?可以是著名的波爾茲曼?定理中的?。我們會(huì)將??8比如，可參閱R.C.Tolman,PrinciplesofStatisticalMechanics,Oxford,Clarendon,1938. AMathematicalTheoryofCommunication量?有許多重要性質(zhì)，這些性質(zhì)進(jìn)一步表明了它作為選擇度量或信息度量的合理性。??為正數(shù)。2.對(duì)于一個(gè)給定n，當(dāng)所有都相等（即)時(shí)，H達(dá)到最大值log??,是第一個(gè)事件???,??,???,??,???,??,???,?????0，則?增大（有一種特殊情景除外，在這種情景中，這種變化?,存在一??,????,????,????,??,??,??,??或??????????考慮上面討論的具有有限種狀態(tài)的離散信源。態(tài)j的概率pi(j)。因此，對(duì)于每種狀態(tài)都存在一個(gè)熵Hi。信源的熵定義為這些Hi的加權(quán)平均，加權(quán)值為H=PiHi=Pipi(j)logpi(j)這是信源關(guān)于每個(gè)文本符號(hào)的熵。如果馬爾可夫過(guò)程以某一確定時(shí)間速率執(zhí)行，則還存在一個(gè)關(guān)于每秒的熵：H'=fiHi?H'=mH?是平均每秒鐘生成的符號(hào)數(shù)。H或H'度量該信?和′?表示每個(gè)符號(hào)或每秒的比特?cái)?shù)。 AMathematicalTheoryofCommunication?的概率。假定我們?cè)诖饲闆r下考慮一個(gè)包?個(gè)符號(hào)的長(zhǎng)消息。它將以很高的概率包含p1N個(gè)第1符號(hào)，p2N個(gè)第2符號(hào)，以此類推。因p1Np2NpnNp=p1p2...pnlogp=Npilogpilogp=-NHH=log1/pN于是，H近似等于對(duì)于個(gè)一個(gè)典型長(zhǎng)序列的概率的倒數(shù)求）：-N<δ換言之，當(dāng)N很大時(shí)，我們幾乎可以肯定會(huì)非常接近于?。定我們要按照序列的概率大小，從這個(gè)序列集中取出一些序列（先取概率最大者?,我們將??定義為：要使所取序列概率總和達(dá)?合理可能性的序列，無(wú)論我們?nèi)绾谓庾x“具有合理可能性”，此種序列個(gè)數(shù)為2???。GN=-p(Bi)logp(Bi)N喻父定理6：設(shè)p(Bi,Sj)是序列Bi之后跟有符號(hào)sj的概率，pBi(Sj)=p(Bi,Sj)/p(Bi)是出現(xiàn)Bi之后出現(xiàn)Bj的條FN=-p(Bi,Sj)logpBi(Sj)FN=NGN-(N-1)GN-1GN=FnNNNNn一個(gè)信源的熵除以它在使用相同符號(hào)時(shí)所能達(dá)到的最大熵，所得“基礎(chǔ)英語(yǔ)”和JamesJoyce的“FinnegansW AMathematicalTheoryofCommunication一種語(yǔ)言的冗余度與縱橫填字字謎的存在有關(guān)。如果冗余度為0，則任何字符序列都是該語(yǔ)言中的合理文本，任何兩維字符陣列都可以構(gòu)成一個(gè)縱橫字謎我們還必須用數(shù)學(xué)方式來(lái)表示發(fā)送器和接收器在對(duì)信息進(jìn)行編解碼時(shí)所執(zhí)行的處理稱為轉(zhuǎn)換器(transducer)。轉(zhuǎn)換器接收一個(gè)符號(hào)序列（稱為輸入符號(hào)序列），輸出另輸出符號(hào)序列）。轉(zhuǎn)換器可能具有內(nèi)部存儲(chǔ)器，使其輸出不僅依賴于當(dāng)前的輸入符號(hào)，），當(dāng)前狀態(tài)和當(dāng)前輸入符號(hào)的函數(shù)。下一個(gè)狀態(tài)將是這兩個(gè)量的另一個(gè)函數(shù)。因此，轉(zhuǎn)換yn=f(xn,an)an+1=g(xn,an)yn是在狀態(tài)為an時(shí)送入xn時(shí)生成的輸出符號(hào)（或者輸出符號(hào)序列）。如果一個(gè)轉(zhuǎn)換器的輸出符號(hào)與一個(gè)第二轉(zhuǎn)換器的輸入符號(hào)相同，可以將這兩個(gè)裝置還是一個(gè)轉(zhuǎn)換器。如果存在一個(gè)第二轉(zhuǎn)換器，它對(duì)第一個(gè)轉(zhuǎn)換器的輸出進(jìn)行處理都小于或等于針對(duì)a求出的相應(yīng)項(xiàng)，因此，這個(gè)熵不會(huì)增大。如果轉(zhuǎn)換器是非奇異的，則將其輸出連接到逆轉(zhuǎn)換器。如果H,H和H分別是信源、第一轉(zhuǎn)換器和第二轉(zhuǎn)換器的輸出熵，則H之H之H=H，因此可得H=H。i連至狀態(tài)j的線上指定概率ps)，它將會(huì)變成一個(gè)信源。存在pijW(s)BpijWBi=BjW-ls)H,/H<C/H。），T=+λN余?？梢圆捎萌我庖粚?duì)一方式將高概率組編碼到這個(gè)集合中。剩下的序列用較長(zhǎng)的序列的開頭和結(jié)尾是一個(gè)未為高概率組使用的序列。這一特殊序列充當(dāng)著不同代碼的起始與T=+ΨN AMathematicalTheoryofCommunication(1-δ)+δ-1=(1-δ)+λ+δ+Q-1??????log22 2mss2ms-1????原消息中每個(gè)符號(hào)所使用的平均二進(jìn)制數(shù)位數(shù)′?很容易估計(jì)出來(lái)。有：H'=ΣmspsN（ps)NN（ps) N（ps)NN（ps)?的增大，??趨近于?,即信源的熵，′?也趨近于?。?個(gè)符號(hào)的有限延遲時(shí)，編碼中的低效性不一定大于加上?與??之差，其中?為真?GNHHN制數(shù)位。繼續(xù)這一過(guò)程，直到每個(gè)子集中僅包含一條消息為止。容易看出，除了微），為從發(fā)電機(jī)向負(fù)載傳送最大功率，通常必須引入變壓器，使得從負(fù)載同。這里的情景大體類似。執(zhí)行編碼的轉(zhuǎn)換器應(yīng)當(dāng)使信源在統(tǒng)計(jì)意義上與一般來(lái)說(shuō)，理想編碼或接近理想的編碼都需要在發(fā)送器和接收器中有較長(zhǎng)時(shí)間長(zhǎng)消息的概率求倒數(shù)，再求對(duì)數(shù)，所得的結(jié)果必然與相應(yīng)信號(hào)的持續(xù)時(shí)間成正比，Tlogp-1-CT如果一個(gè)信源只能生成一條特定的消息，則其熵為0，于計(jì)算?的連續(xù)數(shù)位，它會(huì)生成一個(gè)沒(méi)有隨機(jī)成分的確定序列。不需要信道就可以將這個(gè)序列由一點(diǎn)“傳送”到另一點(diǎn)。人們可以在該點(diǎn)構(gòu)造一個(gè)相同的第二機(jī)器來(lái)計(jì)算同一序列。但下，我們可以選擇忽略部分或全部有關(guān)信源的已知統(tǒng)計(jì)信息。既然我們要設(shè)計(jì)一分已知統(tǒng)計(jì)信息，而不使用全部相關(guān)信息。在這種情況下，我們認(rèn)為具有最大熵統(tǒng)計(jì)條件。這一信源的熵決定了充足、必須的信道容量?logloglog AMathematicalTheoryofCommunication?容易看出，二進(jìn)制數(shù)位的概率為,,所以編碼后所得序列的H為1比特/符號(hào)。符有個(gè)二進(jìn)制符號(hào)，所以從時(shí)間上來(lái)說(shuō)，這兩個(gè)這個(gè)雙重過(guò)程用相同符號(hào)對(duì)原來(lái)消息進(jìn)行了編H=-logpp(1-p)1-p=-plogp(1-p)(1-p)/p=plog我們現(xiàn)在考慮信號(hào)在傳輸過(guò)程中或者在某終端處受到噪聲干擾的情景。這意味著，發(fā)出的信號(hào)相同?？梢詤^(qū)分兩種情景。如果一個(gè)特定的傳送信號(hào)總是生成相同的接收信號(hào)送信號(hào)的確定函數(shù)，可以將這種影響稱為“失真”。如果這一函數(shù)有逆函數(shù)——任何兩個(gè)這里關(guān)心的情景是：在傳輸過(guò)程中，信號(hào)變E=f(S,N)們將要考慮的最一般有噪聲離散信道類型是前面介紹的有限狀態(tài)無(wú)噪聲信道的一種推p,i(β,j)。如果一個(gè)有噪聲信道從一個(gè)信源那里接收內(nèi)容，則有兩個(gè)統(tǒng)計(jì)進(jìn)程在發(fā)揮作用H(x,y)=H(x)+Hx(y)=H(y)+Hy( AMathematicalTheoryofCommunication值。這一結(jié)果是不能令人滿意的，因?yàn)樗鼪](méi)延伸到一種極限情景，假定噪聲是如此之大，接收到的符號(hào)完全與發(fā)送的信號(hào)無(wú)關(guān)。無(wú)論傳送的是什么符號(hào)，顯然，需要對(duì)發(fā)送信息量進(jìn)行適當(dāng)?shù)男拚?，修正值就是接收信?hào)中丟失的實(shí)際發(fā)送內(nèi)容的信號(hào)時(shí)存在的不確定性。在我們前面的討論中，將熵作為不確定性的信號(hào)后，將消息的條件熵用作這一損失信息的度量看起來(lái)是合理的。后面將會(huì)看到，的定義。根據(jù)這一思想，從生成速率（也就是信源的熵）中減去條件熵平均速率，就???下面的定義給出了疑義度的直觀解讀，還用于證明它作為惟一適當(dāng)度量一位觀察者（或者輔助設(shè)施），這位觀察者既能看到發(fā)送內(nèi)容，又能看到接收內(nèi)容（聲導(dǎo)致的錯(cuò)誤）。這位觀察者記下接收消息中的錯(cuò)誤，并通過(guò)一個(gè)“校正信道”向接????秒中有??????????????????????????。如果這些錯(cuò)誤的位置已知，則可以進(jìn)行糾正。因此，校正信道只需要發(fā)送有關(guān)這些 AMathematicalTheoryofCommunication??第一個(gè)定義表達(dá)式已經(jīng)解讀為傳送的信息量減去所發(fā)送內(nèi)容的不確定性。第二表達(dá)式由于噪聲導(dǎo)致的部分。第三個(gè)表示式是兩個(gè)數(shù)量之和減去聯(lián)合熵，在某種意義上，就??要定義一個(gè)有噪聲信道的容量C，這聽起來(lái)似乎有些讓人驚訝，因?yàn)榈貍魉托畔ⅰ５?，非常明確的是，如果以某種冗余方式來(lái)發(fā)送信息，那就可以減少出現(xiàn)錯(cuò)誤的概率。例如，有人可能希望讓這一錯(cuò)誤概率趨近于0。這絕對(duì)無(wú)法實(shí)現(xiàn)。了，只有相對(duì)于一個(gè)給定錯(cuò)誤頻率或者給定疑義度的容量；當(dāng)錯(cuò)誤標(biāo)準(zhǔn)越來(lái)越嚴(yán)格時(shí)，??,則必然存在一個(gè)等于或大于?都可以實(shí)現(xiàn)，而下面的點(diǎn)則無(wú)法實(shí)現(xiàn)。這條粗線上的點(diǎn)通常也是無(wú)法實(shí)現(xiàn)的，其中兩個(gè)點(diǎn)通常是可以實(shí)現(xiàn)的?？梢酝ㄟ^(guò)該信道傳送該信源的輸出內(nèi)容，而錯(cuò)誤頻率達(dá)到任意小（或者說(shuō)，疑義度任意為了證明這一定義的第一部分，并不是給出一個(gè)具有期望性質(zhì)的編碼方法，而是一個(gè)數(shù)組的平均值小于?,則這個(gè)集合中必然存在至少一?????? AMathematicalTheoryofCommunication現(xiàn)在假定我們有另外一個(gè)以速率?生成信息的信源，其中?我們希望以某種方式將這些消息與可以作為信道輸入的一組選擇關(guān)聯(lián)起來(lái)，以），?????????????????1?2???????,且：?來(lái)很好地模擬理想編碼，通常是不太現(xiàn)實(shí)的。事實(shí)上，除了一些相當(dāng)少見的情景和有發(fā)現(xiàn)一種明確的描述方式，能夠給出理想編碼的近似方式。這可能并不是一種意一種理想隨機(jī)序列的近似應(yīng)當(dāng)具有以下性質(zhì)：如果噪聲以一種合理方式改原信號(hào)。換句話說(shuō)，經(jīng)過(guò)這一改變后，所得信號(hào)與其他合理信號(hào)的差別通常不這一操作的的代價(jià)是在編碼中有一定數(shù)量的冗余。必須以正確方式引入冗余，以對(duì)抗所涉及的特定噪聲結(jié)構(gòu)。具體來(lái)說(shuō)，如果該信源已經(jīng)具有一定的冗余，而且沒(méi)有嘗試消除該冗余，以與幫助對(duì)抗噪聲。例如，在無(wú)噪聲電報(bào)信道中，通過(guò)對(duì)消息有做這一項(xiàng)工作，英語(yǔ)中的大多數(shù)冗余仍然保留在信道符號(hào)中。但是，這樣也有一相當(dāng)大的噪聲?？赡軙?huì)錯(cuò)誤收到相當(dāng)數(shù)量的字符，因?yàn)橛⑽牡慕y(tǒng)計(jì)結(jié)構(gòu)是相當(dāng)棘手的和在無(wú)噪聲情景中一樣，通常需要有一定的延遲才能接近理想編碼。延遲現(xiàn)在還有的噪聲取樣對(duì)信號(hào)產(chǎn)生影響之后，仍然可能在接收點(diǎn)將接收信號(hào)判定為原消息。增相同，并假定設(shè)計(jì)一種接收機(jī)，在接收到受干擾信號(hào)時(shí)，從該子集中選擇最可能導(dǎo)致? AMathematicalTheoryofCommunication?足夠大，我們就可以在時(shí)間?內(nèi)可靠地區(qū)分出足夠多的消??????和?,在??????log??2?log??2??2?? ???????????????法區(qū)分第二個(gè)和第三個(gè)符號(hào)，它們好像是同一個(gè)符號(hào)。??如果噪聲對(duì)連續(xù)信道符號(hào)的影響是獨(dú)立的，則可以用一組轉(zhuǎn)換概率來(lái)描述。此概率就是發(fā)送符號(hào)?,收到????,但保持∑??????????????最大值的方程組，其中需要確定C,使得∑??如果對(duì)于每個(gè)輸入符號(hào)，由其引出的直線上都有相同的概率集，而且對(duì)于每個(gè)??）， AMathematicalTheoryofCommunication??假定這些符號(hào)被分為幾組，噪聲從來(lái)不會(huì)導(dǎo)致一個(gè)組中的符號(hào)被錯(cuò)認(rèn)為另一個(gè)組中的??組中所有符號(hào)的總概率?????,???,?,????,使得????,使得????在接收到一個(gè)七符號(hào)塊后，計(jì)算,??和γ,如果結(jié)果為偶數(shù)則記為0，如果為奇數(shù)則記為1。二進(jìn)制數(shù)字???????????是在狀態(tài)?下被選定并導(dǎo)致狀態(tài)????????或???? AMathematicalTheoryofCommunication?????????????選擇為任意大，并求得一個(gè)滿足下式的?:然后，取對(duì)數(shù)，并除以?log?,得：?? ?????????1?????????種可能性中進(jìn)行一次選擇，然后，如果選定了第?個(gè)，則以????????log??如果是不可測(cè)的，則可以用有理數(shù)進(jìn)行近似，但根據(jù)我們的連續(xù)性假設(shè)，同以適用嚴(yán)格的大數(shù)定律。因此，該網(wǎng)絡(luò)中一條給 ?處、然后選擇這一路徑的概率（比如說(shuō)?),即???因此，幾乎所有序列的概率均為,給出如下：?或 AMathematicalTheoryofCommunication各個(gè)分量的熵為??????,我們有：??????。假定我們對(duì)符號(hào)序列有一組約束條件，這些符號(hào)為有限狀態(tài)類型，因此，可以???這些約束條件限定了一個(gè)離散信道，最大生成速率必須小于或等于這大長(zhǎng)度的序列塊都是等概率的，就會(huì)得到這一結(jié)果，如果可能的話，它就是最好?和?,就能實(shí)現(xiàn)這一速率。????????????????? ??????????log???? AMathematicalTheoryofCommunication在本章的最后一部分，我們考慮信號(hào)和消息之一或同時(shí)為連續(xù)變量的情景，與在此之前對(duì)比。在一定程度上，連續(xù)情景可以通過(guò)求極限過(guò)程由離散情景獲得：將消息和信號(hào)劃分的區(qū)域，并基于離散情景計(jì)算所涉及的各個(gè)參數(shù)。隨著這些區(qū)域大小的縮小，這些參數(shù)一情景下的正確值。但是，是會(huì)出現(xiàn)一些新的影響，而且在由一般結(jié)果具體到特定情景時(shí)，因?yàn)檫@樣會(huì)涉及到大量的抽象測(cè)試?yán)碚?，并模糊主要分析思路。但是，初步研究表不證自明的、嚴(yán)格的方式加以表述，其中包括了連續(xù)情景、離散情景和許多其他情在連續(xù)情景中，我們不得不處理函數(shù)的集合和函數(shù)的系集。由函數(shù)集的名字可以看出，常是一個(gè)變量——時(shí)間的函數(shù)。為描述函數(shù)集，我們可以給出集合中各種函數(shù)的顯???函數(shù)的系集(ensemble)是一個(gè)函數(shù)集合再加上一個(gè)概率度量，利用這一度量，????,其中?9用數(shù)學(xué)術(shù)語(yǔ)來(lái)說(shuō)，這些函數(shù)屬于一個(gè)總測(cè)度為單位1的測(cè)度空間。????????????周期??????????10這一表示可以用作帶限白噪聲的定義。這種定義的好處是，它涉及的極限運(yùn)算要少于過(guò)去的定義方法。盡管“白噪聲”這個(gè)名字在參考文獻(xiàn)中牢固地確立了自己的地位，但它可能還是有些不太恰當(dāng)。在光學(xué)中，白光意味著要么是與點(diǎn)光譜相對(duì)的連續(xù)譜，要么是指在波長(zhǎng)上平坦的光譜（與在頻率上平坦的頻譜不同）。 AMathematicalTheoryofCommunication我們對(duì)大量函數(shù)執(zhí)行各種操作可以獲得新的函數(shù)，同樣，對(duì)系集進(jìn)行操作也可以獲子集的概率，這些fa(t)函數(shù)經(jīng)過(guò)運(yùn)算T后，生成給定g函數(shù)子集的成員過(guò)某一設(shè)備，比如一個(gè)濾波器、整流器或調(diào)制器。該如果一個(gè)設(shè)備或運(yùn)算符T對(duì)輸入移位后，只是），濾波器或整流器在所有時(shí)間平穩(wěn)情況下，都是時(shí)不變的。而調(diào)制操作則不是，因?yàn)閿?shù)學(xué)表示。維納已經(jīng)強(qiáng)調(diào)過(guò)，通信理論應(yīng)當(dāng)關(guān)心的不是對(duì)特定函數(shù)的操作，而是對(duì)這是著名的各態(tài)歷經(jīng)定理，或者說(shuō)是這一定理的一個(gè)方面，Birkoff,vonNeumann和Koopman在稍有不同的公式中進(jìn)行了證明，后來(lái)由Wiener，Hopf，Hurewicz及其他人進(jìn)行了推導(dǎo)。關(guān)于各態(tài)歷經(jīng)的文獻(xiàn)非常廣泛，讀者可參閱這些作者的論文，獲得精確的一般性公式；例如E.Hopf,“Ergodentheorie,”ErgebnissederMathematikundihrerGrenzgebiete,v.5;“OnCausalityStatisticsandProbability,”JournalofMathematicsandPhysics,v.XIII,No.1,1934;N.Wiener,“TheErgodicTheorem,”DukeMathematicalJournal,v.5,1939。12通信理論在很大程度上要?dú)w功于維納，大部分基礎(chǔ)思想和理論都是由他給出的。在他的經(jīng)典NDRC報(bào)告——TheInterpolation,ExtrapolationandSmoothingofStationaryTimeSeries(Wiley,1949)中，首次明確地將通信理論表述為統(tǒng)計(jì)問(wèn)題，研究了對(duì)時(shí)間序列的處理。盡管這一著作主要討論的是線性預(yù)測(cè)和濾波問(wèn)題，但卻是與本論文相關(guān)聯(lián)的重要參考文獻(xiàn)。我們還可以參考維納的Cybernetics(Wiley,1948)，其中討論了通信與控制的一般性問(wèn)題。?個(gè)周期/秒，只需要給出該函數(shù)在一系列間距為秒的離散點(diǎn)上的?????????之外的所有坐標(biāo)??2????的函數(shù)對(duì)應(yīng)于一個(gè)2???2???2??????????? 13關(guān)于這一定理的證明及深入討論，請(qǐng)參閱作者的論文《有噪條件下的通信》（CommunicationinthePresenceofNoise），發(fā)表在ProceedingsoftheInstituteofRadioEngineers,v.37,No.1,Jan.,1949,pp.10–21。 AMathematicalTheoryofCommunication???和???????），??,?????????????????????且????????0??????，（??????????的?????????:???????。8.連續(xù)熵和離散熵之間有一個(gè)重要差別。在離散情況下，這個(gè)熵是連續(xù)情況下，這個(gè)度量是相對(duì)于坐標(biāo)系統(tǒng)的。如果改變了坐標(biāo)系，這個(gè)熵通常也會(huì)改??因此，新的熵等于原熵減去雅可比行列式的期望值。在定標(biāo)準(zhǔn)的隨機(jī)性度量，這個(gè)“標(biāo)準(zhǔn)”就是選擇坐?? AMathematicalTheoryofCommunication??除了與坐標(biāo)系具有這樣依賴關(guān)系之外，熵的概念在連連續(xù)分布的熵可能是負(fù)值。度量刻度設(shè)定一個(gè)任意零點(diǎn)，對(duì)應(yīng)于單位體積上的???且?|????,而是?個(gè)采樣的持續(xù)時(shí)間?????′?。????????,白噪聲的熵最大。這一點(diǎn)是由上面給出的高斯分布的最大化屬性得到的。連續(xù)隨機(jī)過(guò)程的熵有很多與離散情景類似的性質(zhì)。在離散情況下，熵與長(zhǎng)序列概率的對(duì)數(shù)現(xiàn)的長(zhǎng)序列的數(shù)目相關(guān)聯(lián)（這里所說(shuō)的長(zhǎng)，是在合理范圍內(nèi)）。在連續(xù)情況下，可以采用??值，除了一個(gè)總???′這些結(jié)果表明，對(duì)于大的n值，存在一個(gè)定），?由于該函數(shù)僅取決于∑?,所以等概率密度的表面是一個(gè)球面，整個(gè)分布是球?qū)ΨQ的。高密度區(qū)??????。在連續(xù)情況下，比較方便的做法不是處理系集的熵H，而是處理一個(gè)推導(dǎo)出來(lái)的定義為：與原系集的帶寬相等且具有相同熵的白噪聲的功率。換言之，如果′?為一個(gè)系集的熵，則熵功率為：???在幾何圖形中，這相當(dāng)于用一個(gè)等體積球體的半徑平方來(lái)衡量一個(gè)高密度體積。對(duì)于給?,其熵為??（每自由度如果使該系集通過(guò)一個(gè)特性函數(shù)為的濾波器，??????此濾波器的運(yùn)算實(shí)際上就是坐標(biāo)系的線性變換。如果將不同的頻率分量看作原坐標(biāo)上就是原頻率分量乘以相應(yīng)的因子。坐標(biāo)變換矩陣的對(duì)角線元素實(shí)際上就是這些坐???????? AMathematicalTheoryofCommunication??????最終的熵功率等于原熵功率乘以濾波器的幾何平均??,則輸出熵功率的增大值將?上的算術(shù)平均????為單位）。這些濾波器的沖激響應(yīng)也以?其他許多情況下的熵?fù)p失都可以由這些結(jié)果計(jì)算得出。例如，第一種情況中的熵功率因子1/??也適用于通過(guò)??????????高斯白噪聲有一種特殊的性質(zhì)：如果在特定意義下，信號(hào)功率相對(duì)于噪聲的噪聲或信號(hào)系集，所得到的熵功率近似等于白噪聲功率和信號(hào)功率之和考慮與這些系集相關(guān)聯(lián)的函數(shù)空間，它有n個(gè)維對(duì)應(yīng)于另一種概率分布，不一定是高斯分布或球形分布。設(shè)這一分布關(guān)于其重心的?。因此，如果?????于??????????????? AMathematicalTheoryofCommunication2??個(gè)數(shù)字來(lái)指定這些信號(hào)，用有限維分布函數(shù)來(lái)指明其統(tǒng)計(jì)結(jié)構(gòu)。因此，傳送信號(hào)的統(tǒng)計(jì)?????????????????????道傳送的最大二進(jìn)制數(shù)位個(gè)數(shù)。從物理上來(lái)說(shuō)，將信道空間劃分為足夠多的小單元格，使得在一個(gè)單元格內(nèi)，?基本相同，當(dāng)時(shí)的證明過(guò)程在這里同樣適用。小，這種將體積量化為獨(dú)立點(diǎn)的過(guò)程不會(huì)顯著恢復(fù)得出的消息，則有：無(wú)論對(duì)u執(zhí)行什么操作以得到x，或者對(duì)y執(zhí)行什v因此，無(wú)論如何對(duì)二進(jìn)制數(shù)位進(jìn)行編碼，以得到制數(shù)位的離散速率都不會(huì)超出前面定義的信道容量。另一方面，在非常一般的情況下，系統(tǒng)，以所期望的小疑義度或錯(cuò)誤頻率，以速率C傳送二進(jìn)制數(shù)位。例如，如果為信道函數(shù)取一個(gè)有），），H(y)+Hy(x)=H(x)+H(n)為P+N，其中N是平均噪聲功率。當(dāng)接收信號(hào)也構(gòu)成一個(gè)白噪聲系集時(shí)，接收信號(hào)的熵最大，因?yàn)檫@是功率為P+N時(shí)的最大可能熵，通過(guò)適當(dāng)選擇傳送信號(hào)，也就是在使其構(gòu)成一個(gè)功率為P的白噪聲系集時(shí)，可 AMathematicalTheoryofCommunication??????????????,帶寬為?的信道受功率為???l并將實(shí)際接收信號(hào)（受噪聲干擾）與所有這重建相應(yīng)的二進(jìn)制數(shù)字。這一過(guò)程用于選擇可能性最大的信號(hào)（后驗(yàn)概率）。所使用的噪聲樣本數(shù)M將取決于可容忍的錯(cuò)誤頻率?,但幾乎所有不同的樣本選擇，都有：????使得無(wú)論選擇多么小的?,總是可以選擇足夠大的T，在時(shí)間T???），???14在前述引文中提到的《有噪條件下的通信》一文中，從幾何的觀點(diǎn)討論了白噪聲的這一性質(zhì)及其他性質(zhì)。15前述引文中提到的Cybernetics“TheoreticalLimitationsontheRateofTransmissionofInformation,”ProceedingsoftheInstituteofRadioEngineers,v.37,No.5,May,1949,pp.468–78.?=平均傳送功率?=平均噪聲功率?受干擾信號(hào)的平均功率同樣為??。當(dāng)接收信號(hào)為白噪聲時(shí)，得到這一功率的最大熵，即?l???這是不可能實(shí)現(xiàn)的；也就是說(shuō)，對(duì)于傳送信號(hào)的任意系集，與干擾噪聲疊加在C=maxH(y)_H(n)??????及_Wlog2πeN1WlogP+N1N1???N1=explogN(f)df? AMathematicalTheoryofCommunication?????H(y)=Wlog2πe(P1+N_η1+ΔP)因此，由于我們可以得到上述?,所以最大化分布的熵必然至少一樣大，而且?必然為單調(diào)遞減的。要證明當(dāng)??很大的白噪聲。如果?足夠大，無(wú)論干擾噪聲如何，接收到信??。在某些應(yīng)用中，傳送器受到的限制不是平均功率而是瞬時(shí)峰值功率。信道容量的計(jì)算問(wèn)??這種約束條件無(wú)法像平均功率限制那樣很好地以數(shù)學(xué)方式給出。對(duì)于這種情景，我?,受功率為N的白色熱噪聲干擾，則其信道容量的下限為：?其中，S是允許傳送的峰值功率。對(duì)于足夠大的,有：??我們希望使接收信號(hào)的熵取最大值。如果很大，則近似在使傳送系集的熵最大時(shí)，接收信號(hào)的熵取最大值。放松對(duì)系集的條件，可以獲得漸近的上限。假定該功率?,而只是在樣本點(diǎn)處受限。在這一弱化條件下，所傳送系集的最大熵當(dāng)然大于或等于在原條件下的最大熵。這個(gè)經(jīng)???l??log?4?2????l??),即可得到信道容量：?l??????處的增益為0。我們首先證明濾波器的輸出函數(shù)在所有時(shí)間內(nèi)（而不??????????2???利用適用于這一情景的定理，由輸入系集的熵可以計(jì)算出輸出系集的熵。輸出熵等??????l???l?l AMathematicalTheoryofCommunication?,則可以得出，?/?:因此，如果可以找到一個(gè)函數(shù)系集，近似對(duì)??,以概率取?√?益特性的濾波器（對(duì)于直流為單位增益），則輸入的??,取足夠大?