信息論為不同的通信系統(tǒng)提供進(jìn)行比較的度量

1、香農(nóng)信息論在信息測(cè)度中的應(yīng)用摘要：從香農(nóng)開(kāi)始，已經(jīng)有很多人討論了關(guān)于信息的測(cè)度問(wèn)題，香農(nóng) 等的測(cè)度方法主要從信息的功能方面進(jìn)行了詳細(xì)的分析,目前，對(duì)于 統(tǒng)一的信息測(cè)度方法的需求日益迫切，而香農(nóng)信息論是最經(jīng)典的信 息概念和測(cè)度方法。本文對(duì)以用香農(nóng)信息論進(jìn)行信息的測(cè)度做了簡(jiǎn) 要介紹，希望能更好地探索信息本質(zhì)的絕對(duì)真理。關(guān)鍵詞：香農(nóng)信息論；香農(nóng)定理：信息；測(cè)度信息論為不同的通信系統(tǒng)提供進(jìn)行比較的度量，在上世紀(jì)40年代時(shí)這 種比較越來(lái)越顯。為了使已有的有線系統(tǒng)得到保護(hù)且更好的加以利用， 發(fā)明了多種多樣的通信系統(tǒng)。在20年代時(shí)，電報(bào)通信系統(tǒng)的比較這一 課題引起了尼奎斯特(H.Nyquist)和哈脫萊(R

2、.V.L.Hartley)的注意，他們 在信息論出現(xiàn)之前就已提出某些相關(guān)的基本原理。1918年香農(nóng) (C.E.Shannon)發(fā)表了周密的通用理論，成為信息論以后工作的基礎(chǔ)。 選擇性信息單位，即根據(jù)兩個(gè)概率相同，互相排斥并包含所有可能的 事件出現(xiàn)個(gè)的已知結(jié)果推導(dǎo)得出的信息量。信息的對(duì)數(shù)計(jì)量單位，它 是兩種互不相關(guān)的并且具有相等概率的事態(tài)集合的判定含量，表示 為以2為底的對(duì)數(shù)。在信息論中，一組互斥事件的判定量以2為底的對(duì) 數(shù)量度單位。根據(jù)香農(nóng)公式，設(shè)信道帶寬為口，信道內(nèi)所傳信號(hào)的平均功率為 S,信道內(nèi)部高斯噪聲的功率為N,則信道容量C為：C:Blg(1+S/N)比特/秒香農(nóng)公式指出了當(dāng)信號(hào)和噪聲

3、的平均功率給定之后，在單位時(shí)回 內(nèi)，在給定帶寬的信道的最大信息傳輸量。香農(nóng)第一定理，亦即“無(wú)噪聲(離散)信道編碼定理，為信息論基礎(chǔ) 中兩個(gè)主要定理之一。該定理揭示了對(duì)信息源符號(hào)編碼后的碼字平均 長(zhǎng)度與信息源每個(gè)符號(hào)的平均信息量之間的內(nèi)在規(guī)律。香農(nóng)第一定理指出：碼字的平均長(zhǎng)度L只能大于或等于，但不能小于 信源的熵即LA H(S),亦即碼字的平均長(zhǎng)度以H(S)為極限。香農(nóng)第二定理，亦即有噪聲信道的編碼定理。香農(nóng)第二定理是信息論 基礎(chǔ)中兩個(gè)主要定理中的另一個(gè)。在一個(gè)有噪聲干擾的信道中，傳送肖息通常會(huì)有錯(cuò)誤。錯(cuò)誤的大小， 一般用錯(cuò)誤概率來(lái)表示，但是在通信實(shí)踐中已經(jīng)知道，可以有許多方 法來(lái)降低錯(cuò)誤。例如

4、提高發(fā)送端信號(hào)的功率，即提高功率信噪比，從而 提高信道容量，或者把一個(gè)消息重復(fù)發(fā)送幾次。即降低傳輸消息的速 率等。這樣就提出了一個(gè)問(wèn)題，就是有無(wú)可能定量地來(lái)確切描述降低 錯(cuò)誤的編碼方法，有無(wú)可能找到一種編碼方法，能在有噪聲的信遘中 進(jìn)行無(wú)錯(cuò)誤的消息傳輸，香農(nóng)第二定理對(duì)上述問(wèn)題作出了明確的解答。 該定理指出，只要傳送消息的速率小于信道容量,就存在著一類(lèi)編碼， 使傳送消息的錯(cuò)誤概率可以任意小。香農(nóng)定理，可應(yīng)用于解決以下問(wèn)題：如計(jì)算事件信息量的問(wèn)題，擲兩粒股子，當(dāng)其向上的面的小圓點(diǎn)之和 是3時(shí)，該消息所包含的信息量是多少？當(dāng)小圓點(diǎn)數(shù)之和是7時(shí)，該消 息所包含的信息量是多少？?jī)闪９勺酉蛏系男A點(diǎn)數(shù)之和

5、為3時(shí)有（1,3）（3,1）三種可能，總的組合為C6XC6=36,則原點(diǎn)之和為3出現(xiàn)的概率為P3=2/36=1/18所包含的信息量為1（3）=log2 七二-也忐=4.17(bit)小圓點(diǎn)數(shù)之和為7的情況有（1，6）（6, 1）（2, 5）（5, 2）（3, 4）（4, 3），則圓點(diǎn)之和為7出現(xiàn)的概率為P7=6/36=1/6所包含的信息量為I （4）=log2 勺=典26=2.585例）再如，香農(nóng)定理描述了有限帶寬、有隨機(jī)熱噪聲信道的最大傳輸速 率與信道帶寬、信號(hào)噪聲功率比之間的關(guān)系 在有隨機(jī)熱噪聲的信道 上傳輸數(shù)據(jù)信號(hào)時(shí)，數(shù)據(jù)傳輸率阮與信道帶寬B,信噪比S/N關(guān)系 為：Rmax二B*Log2

6、. （1+S/N）在信號(hào)處理和信息理論的相關(guān)領(lǐng)域中， 通過(guò)研究信號(hào)在經(jīng)過(guò)一段距離后如何衰減，它以比特每秒（bps）的形 式給出一個(gè)鏈路速度的上限，表示為鏈路信噪比的一個(gè)函數(shù)，鏈路信 噪比用分貝（dB）衡量。因此我們可以用香農(nóng)定理來(lái)檢測(cè)電話線的數(shù) 據(jù)速率。香農(nóng)定理由如下的公式給出:C二Blog2（1+S/N）其中C是可得 到的鏈路速度，B是鏈路的帶寬，S是平均信號(hào)功率,N是平均噪聲功率， 信噪比（S/N）通常用分貝（dB）表示，分貝數(shù)二10Xlog10 S/N）。C=Blog2（1+S/N）其中C是可得到的鏈路速度，B是鏈路的帶寬，S是 平均信號(hào)功率,N是平均噪聲功率，信噪比（S/N）通常用分貝

7、（dB） 表示，分貝數(shù)二10Xlog10（S/N）。通常音頻電話連接支持的頻率范圍為300Hz到3300Hz，則B=3300Hz- 300Hz=3000Hz,而一般鏈路典 型的信 噪比是30dB,即S/N=1000,因此我們有C=3OOOXlog2(1001), 近似等于30Kbps, 是28.8Kbps調(diào)制解調(diào)器的極限，因此如果電話網(wǎng)絡(luò) 的信噪比沒(méi)有改善或不使用壓縮方法，調(diào)制解調(diào)器將達(dá)不到更高的速 率。結(jié)論：從以上內(nèi)容來(lái)看，香農(nóng)信息論在信息測(cè)度中的具有以下幾個(gè)特 性。結(jié)構(gòu)性。要從信息的內(nèi)部結(jié)構(gòu)進(jìn)行分析，而不是僅僅把信息當(dāng)成 一種選擇性，這是信息的靜態(tài)性質(zhì)。過(guò)程性。信息存在于從一個(gè)信息主體到另一個(gè)信息的傳遞過(guò)程中, 傳遞過(guò)程除了通信學(xué)中考慮的信號(hào)的選擇和傳遞之外，還要考慮傳 遞過(guò)程的組成、性質(zhì)和意義，這是信息的動(dòng)態(tài)性質(zhì)。綜合性。信息不僅僅包括語(yǔ)法信息，還要考慮語(yǔ)義信息和語(yǔ)用