信息論與編碼課程設(shè)計(jì)論文

PAGE0《信息理論與編碼》課程論文題目：信息論的基本理論探究學(xué)生姓名：學(xué)號(hào)：系別：專業(yè)：任課教師：年月日目錄TOC\o"1-3"\h\u11373摘要 222588關(guān)鍵詞 2207831前言 335602信息的度量 4191912.1概述 4154322.2離散信源及其信息度量 4103102.2.1離散隨機(jī)信源的自信息與信息熵 4143772.2.2離散平穩(wěn)信源 545712.2.3馬爾可夫信源 666283離散信道 6283783.1概述 6254673.2平均互信息 7151033.3離散信道的信道容量 793274連續(xù)信道 7101355無失真信源編碼 8290305.1信源編碼到無失真編碼的概述 894965.2定長編碼 9301685.3變長編碼 988385.3.1概述 9226255.3.2香農(nóng)編碼 10309935.3.3費(fèi)諾編碼 10118835.3.4霍夫曼編碼 11280456本次課程論文總結(jié) 1125157參考文獻(xiàn) 12信息論的基本理論探究摘要信息是從人類出現(xiàn)以來就存在于這個(gè)世界上，人類社會(huì)的生存和發(fā)展都離不開信息的獲取、傳遞、處理、再生、控制和處理。而信息論正是一門把信息作為研究對(duì)象，以揭示信息的本質(zhì)特性和規(guī)律為基礎(chǔ)，應(yīng)用概率論、隨即過程和數(shù)理統(tǒng)計(jì)等方法來研究信息的存儲(chǔ)、傳輸、處理、控制、和利用等一般規(guī)律的學(xué)科。主要研究如何提高信息系統(tǒng)的可靠性、有效性、保密性和認(rèn)證性，以使信息系統(tǒng)最優(yōu)化。在信息論的指導(dǎo)下，信息技術(shù)得到飛速發(fā)展，這使得信息論滲透到自然科學(xué)和社會(huì)科學(xué)的所有領(lǐng)域，并且應(yīng)用與眾多領(lǐng)域：編碼學(xué)、密碼學(xué)與密碼分析、數(shù)據(jù)壓縮、數(shù)據(jù)傳輸、檢測理論、估計(jì)理論等。信息論的主要基本理論包括：信息的定義和度量；各類離散信源和連續(xù)信源的信源熵；有記憶，無記憶離散和連續(xù)信道的信道容量，平均互信息；無失真信源編碼相關(guān)理論。關(guān)鍵詞信息度量；離散和連續(xù)信源；信道容量；平均互信息；信源編碼1前言被稱為“信息論之父”的美國科學(xué)家香農(nóng)于1948年10月發(fā)表于《貝爾系統(tǒng)技術(shù)學(xué)報(bào)》上的論文《AMathematicalTheoryofCommunication》（通信的數(shù)學(xué)理論）作為現(xiàn)代信息論研究的開端。這一文章部分基于哈里·奈奎斯特和拉爾夫·哈特利先前的成果。他為信息論奠定了理論基礎(chǔ)。后來其他的科學(xué)家做出了更深入的探究，使信息論到現(xiàn)在形成了比較完整的理論體系。信息論將信息的傳遞作為一種統(tǒng)計(jì)現(xiàn)象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領(lǐng)域。這兩個(gè)方面又由信息傳輸定理、信源－信道隔離定理相互聯(lián)系。信息不同于情報(bào)、知識(shí)、消息、信號(hào)等概念。信息論所包含的含義比其他幾種理論概念更加廣泛，更具有概括性。情報(bào)的定義是對(duì)某個(gè)特定的對(duì)象所見、所聞、所理解而產(chǎn)生的知識(shí)，情報(bào)的含義要比“信息”窄得多。知識(shí)是人們根據(jù)某種目的，從自然界收集得來的數(shù)據(jù)中，整理、概括、提取得到的價(jià)值的、人們所需的信息。消息是用文字、符號(hào)、數(shù)據(jù)、語言、音符、圖片、圖像等能夠被人們感覺器官所感知的形式，把客觀物質(zhì)運(yùn)動(dòng)和主管思維活動(dòng)的狀態(tài)表達(dá)出來的就成為“消息”。所以信息不等同于消息，而信號(hào)攜帶消息，是消息的運(yùn)載工具，所以信息也不等同于信號(hào)。信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述，這就是香濃信息的定義。下面從信息論的一些基本理論研究。2信息的度量2.1概述信息這一概念是比較抽象的，它不像通常的長度，重量等概念，有一個(gè)比較直觀的印象，信息必須要有一個(gè)比較容易用來分析的度量的數(shù)學(xué)工具。這樣才方便人們能夠更好的認(rèn)識(shí)和理解它。香農(nóng)對(duì)信息的度量給出了嚴(yán)格的數(shù)學(xué)定義。2.2離散信源及其信息度量2.2.1離散隨機(jī)信源的自信息與信息熵在通信系統(tǒng)的各種信源中，離散隨機(jī)信源是最基本的一種信源，信源輸出是單個(gè)的符號(hào)的消息，并且消息之間是兩兩互不相容的。我們知道，事件發(fā)生的不確定性與事件發(fā)生的概率有關(guān)：事件的發(fā)生概率越小，不確定性就越大，事件發(fā)生的概率越大，不確定性就越小，對(duì)于發(fā)生概率為1的必然事件就不存在不確定性。設(shè)一離散信源的概率空間為：......即，如果知道已發(fā)生，則該事件所含有的信息量稱自信息，表達(dá)式為：上面的自信息是指某一信源發(fā)出某一消息所含的信息量，但所發(fā)消息不同，它們所含信息量也就不同，所以自信息不能作為整個(gè)信源的信息測度，我們定義平均自信息量，即對(duì)每個(gè)事件各自所攜帶的信息量做一個(gè)加權(quán)平均，也稱信息熵，表示如下：信息熵具有一些基本的性質(zhì)，比如，對(duì)稱性，確定性，非負(fù)性，擴(kuò)展性，可加性等等。這里面有一個(gè)最大離散熵定理，表明:離散信源情況下，對(duì)于具有q個(gè)符號(hào)的離散信源，只有在q個(gè)信源符號(hào)等可能出現(xiàn)的情況下，信源熵才能達(dá)到最大值，這樣也表明等概率分布信源的平均不確定性為最大。2.2.2離散平穩(wěn)信源離散平穩(wěn)信源也是一種非常重要的信源。不同時(shí)刻信源輸出符號(hào)的概率分布完全相同，則稱為一維離散平穩(wěn)信源。二維離散平穩(wěn)信源就是信源輸出的隨機(jī)序列…，X1,X2,…,Xi，…，滿足其一維和二維概率分布與時(shí)間起點(diǎn)無關(guān)。這種各維聯(lián)合概率分布均勻與時(shí)間起點(diǎn)無關(guān)的完全平穩(wěn)信源稱離散平穩(wěn)信源。二維離散平穩(wěn)信源的聯(lián)和熵為：，此值表示原來信源X輸出任意一對(duì)可能的消息的共熵，即描述信源X輸出長度為2的平均不確定性，或所含的信息量，因此可用作為二維離散平穩(wěn)信源的信息熵的近似值。2.2.3馬爾可夫信源在非平穩(wěn)離散信源中有一類特殊信源，這類信源輸出符號(hào)序列中符號(hào)之間的依賴關(guān)系是有限的，它滿足馬爾可夫鏈的性質(zhì)，因此可用馬爾可夫鏈來處理。馬爾可夫信源滿足下面兩個(gè)條件：⑴某一時(shí)刻信源符號(hào)的輸出只與此刻信源所出的狀態(tài)有關(guān)，而與以前的狀態(tài)及以前的輸出符號(hào)都無關(guān)。⑵信源某時(shí)刻所處的狀態(tài)由當(dāng)前的輸出符號(hào)和前一時(shí)刻信源的狀態(tài)唯一決定。m階有記憶的離散信源用馬氏鏈來描述就成了m階馬爾可夫源，當(dāng)m=1時(shí)就為一階馬爾可夫信源。一般馬爾可夫信源的信息熵應(yīng)該是其平均符號(hào)熵的極限值，即：。3離散信道3.1概述信道的任務(wù)是以信號(hào)方式傳輸信息和存儲(chǔ)信息的。我們知道信源輸出的是攜帶著信息的消息。消息必須要轉(zhuǎn)換成能在信道中傳輸或存儲(chǔ)的信號(hào)，然后通過信道傳送到收信者。并且認(rèn)為噪聲或干擾主要從信道中引入。信道根據(jù)用戶的多少，可以分為兩端信道，多端信道。根據(jù)信道輸入端和輸出端的關(guān)聯(lián)，可以分為無反饋信道，反饋信道。根據(jù)信道的參數(shù)與時(shí)間的關(guān)系信道可以分為固定參數(shù)信道，時(shí)變參數(shù)信道。根據(jù)輸入和輸出信號(hào)的統(tǒng)計(jì)特性可以分為離散信道，連續(xù)信道，半離散或半連續(xù)信道和波形信道。3.2平均互信息先引入信道疑義度：；它表示在輸出端收到輸入變量Y的符號(hào)后，對(duì)于輸入端的變量X尚存在平均不確定性（存在疑義）。我們已知代表接收到輸出符號(hào)以前關(guān)于輸入變量X的平均不確定性，由此可見，通過信道傳輸消除了一些不確定性，獲得了一定的信息，X與Y之間的平均互信：。3.3離散信道的信道容量信道矩陣中每一行和每一列分別由同一概率分布集中的元素不同排列組成的，這就是對(duì)稱離散信道。計(jì)算對(duì)稱離散信道的信道容量公式是：（比特/符號(hào)）。右邊的第一項(xiàng)是輸出符號(hào)的最大信息熵，第二項(xiàng)是信道矩陣分布行矢量的熵函數(shù)。4連續(xù)信道在某一時(shí)刻，輸出的信號(hào)既是連續(xù)又是隨機(jī)的，我們稱之為隨機(jī)波形信源。用連續(xù)隨機(jī)變量來描述輸出消息的信源就是連續(xù)信源。連續(xù)信源的熵為：。和離散信道一樣，對(duì)于固定的連續(xù)信道和波形信道都有一個(gè)最大的信息傳輸率，稱之為信道容量。它是信道可靠傳輸?shù)淖畲笮畔鬏斅?。?duì)于不同的連續(xù)信道和波形信道，它們存在的噪聲形式不同，信道帶寬及對(duì)信號(hào)的各種限制不同，所以具有不同的信道容量。我們先來討論單符號(hào)高斯加性信道的信道容量，單符號(hào)高斯加性信道是指信道的輸入和輸出都是取值連續(xù)的一維隨機(jī)變量，而加入信道的噪聲是一維高斯加性噪聲。它的信道容量表達(dá)式為：其中，是輸入信號(hào)X的平均功率，是高斯噪聲的平均功率。只有當(dāng)信的輸入信號(hào)是均值為零，平均功率為高斯分布的隨機(jī)變量時(shí)。信息傳輸率才達(dá)到這個(gè)最大值。5無失真信源編碼5.1信源編碼到無失真編碼的概述為了減少信源輸出符號(hào)序列中的剩余度，提高符號(hào)的平均信息量，對(duì)信源輸出的符號(hào)序列所施行的變換。具體說，就是針對(duì)信源輸出符號(hào)序列的統(tǒng)計(jì)特性來尋找某種方法，把信源輸出符號(hào)序列變換為最短的碼字序列，使后者的各碼元所載荷的平均信息量最大，同時(shí)又能保證無失真地恢復(fù)原來的符號(hào)序列。為了有效的傳播信息，最理想狀態(tài)即為無失真?zhèn)鬏敗Ｔ跓o失真信源編碼中又分為定長編碼、變長編碼和最佳長編碼。5.2定長編碼在定長編碼中，K是定值，編碼的目的即為找到最小的K值。要實(shí)現(xiàn)無失真?zhèn)鬏數(shù)男旁淳幋a，不但要求信源符號(hào)的碼字是一一對(duì)應(yīng)的，而且還要求有碼字組成的符號(hào)序列的逆變換也是唯一的。由定長編碼定理可知，當(dāng)編碼器容許的信息率，也就是當(dāng)每個(gè)信源符號(hào)必須輸出的碼長是K=K1/logm。由定理表明，只要碼字所能攜帶的信息量大于信源序列輸出的信息量，則可以使傳輸幾乎無失真?zhèn)鬏敚菞l件是L足夠大。這就為傳輸帶來了很大的麻煩，并且實(shí)現(xiàn)起來很困難，并且編碼效率也不高。而要達(dá)到編碼效率接近1的理想編碼器雖有存在性，在實(shí)際上是不可能的，因?yàn)長非常大，無法實(shí)現(xiàn)。由此產(chǎn)生了變長編碼。5.3變長編碼5.3.1概述在變長編碼中，碼長K是變化的，可根據(jù)信源各個(gè)符號(hào)的統(tǒng)計(jì)特性，對(duì)概率大的符號(hào)用短碼，而對(duì)概率曉的符號(hào)用長碼。這樣大量信源符號(hào)編程碼后，平均每個(gè)信源符號(hào)所需的輸出符號(hào)數(shù)就降低，從而提高編碼效率。用變長編碼來達(dá)到相當(dāng)高的編碼效率，一般所要求的符號(hào)長度L可以比定長編碼小得多得多。很明顯，定長編碼需要的信源序列長，這使得碼表很大，且總存在起碼差錯(cuò)。而變長碼要求編碼效率達(dá)到96%時(shí)，需要L=2。因此用變長編碼編碼時(shí)，L不需要很大就可達(dá)到相當(dāng)高的編碼效率，而且可實(shí)現(xiàn)無失真編碼。并且隨著信源序列長度的增加，編碼效率越來越接近于1，編碼后的信息傳輸率R也越來越接近于無噪無損二元對(duì)稱信道的信道容量C=1bit/二元碼符號(hào)，達(dá)到信源與信道匹配，使信道得到充分利用。5.3.2香農(nóng)編碼香農(nóng)第一定理指出了平均碼長與信源之間的關(guān)系，同時(shí)也指出了可以通過編碼使平均碼長達(dá)到極限值，這是一個(gè)很重要的極限定理。香農(nóng)第一定理指出，每個(gè)碼字的長度Ki滿足下式：I(xi)<Ki<I(xi)+1,就可以得到這種碼。編碼方式如下：首先將信源消息符號(hào)按其出現(xiàn)的概率大小依次從大到小排列，為了編成位移可譯碼，計(jì)算第i個(gè)消息的累加概率P=∑p(a)，并將累加概率pi變換成二進(jìn)制數(shù)。最后把pi的二進(jìn)制數(shù)的小數(shù)點(diǎn)后Ki位提出，即為該信息符號(hào)的二進(jìn)制碼字。由此可見香農(nóng)編碼法剩余度稍大，實(shí)用性不強(qiáng)，但它是依據(jù)編碼定理而來，因此具有重要的理論意義。5.3.3費(fèi)諾編碼費(fèi)諾編碼屬于概率編碼，但不是最佳的編碼方法。在編N進(jìn)制時(shí)首先將信源消息符號(hào)按其出現(xiàn)的概率依次由小到大排列開來，并將排列好的信源符號(hào)概率值分N大組，使N組的概率之和近似相同，并對(duì)各組賦予一個(gè)N進(jìn)制碼元“0”“1”……“N-1”。之后再針對(duì)每一大組內(nèi)的信源符號(hào)做如上處理，即再分為概率和相同的N組，賦予N進(jìn)制碼元。如此重復(fù)，直至每組只剩下一個(gè)信源符號(hào)為止。此時(shí)每個(gè)信源符號(hào)所對(duì)應(yīng)的碼字即為費(fèi)諾碼。針對(duì)同一信源，費(fèi)諾碼要比香農(nóng)碼的平均碼長小，傳輸速率大，編碼效率高。5.3.4霍夫曼編碼編碼方法：也是先將信源符號(hào)按其出現(xiàn)的概率大小依次排列，并取概率最小的字母分別配以0和1兩個(gè)碼元（先0后1或者先1后0，以后賦值固定），再將這兩個(gè)概率相加作為一個(gè)新字母的概率，與未分配的二進(jìn)制符號(hào)的字母重新排隊(duì)。并不斷重復(fù)這一過程，直到最后兩個(gè)符號(hào)配以0和1為止。最后從最后一級(jí)開始，向前返回得到各個(gè)信源符號(hào)所對(duì)應(yīng)的碼元序列，即為對(duì)應(yīng)的碼字?；舴蚵幋a方式得到的碼并非唯一的。在對(duì)信源縮減時(shí)，兩個(gè)概率最小的符號(hào)合并后的概率與其他信源符號(hào)的概率相同時(shí)，這兩者在縮減中的排序?qū)?huì)導(dǎo)致不同碼字，但不同的排序?qū)?huì)影響碼字的長度，一般講合并的概率放在上面，這樣可獲得較小的碼方差?；舴蚵a的平均碼長最小，消息傳輸效率最大，編碼效率最高。6本次課程論文總結(jié)通過對(duì)信息論的學(xué)習(xí)，我們發(fā)現(xiàn)信息論其實(shí)是一門理論性很強(qiáng)的學(xué)科，它涉及到眾多學(xué)科。對(duì)于整個(gè)信息論的理論體系的認(rèn)識(shí)也有了一個(gè)清晰的思路：首先介紹到的是信息的定義及其本質(zhì)，我收獲最大的是香農(nóng)提出的狹義信息論的條件（非絕對(duì)論觀點(diǎn)，形式假說，不確定性）。再而學(xué)習(xí)到了各類信源的熵，信道及信道容量，主要研究的是離散信源和連續(xù)信源。最后是無失真信源編碼，其中包含等長信源編碼和變長信源編碼；主要研究的變長信源編碼。這就差不多構(gòu)成信息論的整個(gè)基本理論結(jié)構(gòu)。在此我也要感謝萬老師的悉心教導(dǎo)，使我更好的掌握了信息論的理論基礎(chǔ)，為以后在通信領(lǐng)域以及其他方面的研究都奠定了堅(jiān)實(shí)的基礎(chǔ)。