信息論與編碼第1章緒論

1、信息論與編碼技術(shù)課程主要內(nèi)容信息的定義和性質(zhì)信道容量離散無(wú)記憶信源無(wú)失真編碼定理和方法信道編碼定理線性分組碼第一章 緒論l 1.1信息論的形成與發(fā)展l 信息論 (Information Theory)是通信中的數(shù)學(xué)理論，是研究信息的傳輸、存儲(chǔ)和處理的科學(xué)，它回答了兩個(gè)根本問(wèn)題(Fundamental Questions):數(shù)據(jù)壓縮可以達(dá)到何種程度(無(wú)損壓縮受到熵的限制，而有損壓縮受到信息率失真理論的制約)。通信系統(tǒng)的最大信息傳輸速率是多少? (不會(huì)超過(guò)信道容量) 。l 信息論主要討論存在性問(wèn)題，具有重要的指導(dǎo)意義和實(shí)際意義。 信息論的起源 開始于香農(nóng)(Shannon) 1948年發(fā)表的論文“通

2、信中的數(shù)學(xué)問(wèn)題”(A Mathematical Theory of Communication)。 香農(nóng)是信息論的奠基人。 香農(nóng)的貢獻(xiàn)：1、用概率統(tǒng)計(jì)方法對(duì)通信系統(tǒng)進(jìn)行了研究2、通信系統(tǒng)傳遞的對(duì)象是信息3、對(duì)信息進(jìn)行了科學(xué)的定量描述，提出了熵的概念。1.1信息論的形成與發(fā)展信息論的形成與發(fā)展信息論的基本任務(wù) 1948年，shannon論文 “通信中的數(shù)學(xué)問(wèn)題” 所提出的基本任務(wù)是：設(shè)計(jì)有效而可靠的通信系統(tǒng)。信息論為通信系統(tǒng)的設(shè)計(jì)提供理論支持。 1、可靠 使信源發(fā)出的消息，經(jīng)過(guò)傳輸后，盡可能準(zhǔn)確無(wú)失真、或限失真在收端再現(xiàn)。 度量：誤碼率 2、有效 用盡可能短的時(shí)間或盡可能少的設(shè)備來(lái)傳輸最多的消息

3、。（帶寬、磁盤空間） 度量：速率，速率能無(wú)限提高嗎？ 可靠和有效的折中。shannon將通信系統(tǒng)分為5部分： 香農(nóng)信息論提出的通信模型五大部分：1、信源2、編碼器3、信道4、譯碼器5、信宿干擾源信息、消息、信號(hào)信息信息:表示事物的運(yùn)動(dòng)狀態(tài)和狀態(tài)變化的方式，是抽象的意識(shí)或者知識(shí)，是看不見、摸不著的。 比如人的想法，對(duì)事物的認(rèn)識(shí)等等。消息：是指包含信息的語(yǔ)言、文字和圖像等，是信息的載體。信號(hào)：消息的具體物理體現(xiàn)，信號(hào)是消息的載體，將消息轉(zhuǎn)換為信號(hào)才能夠在信道中傳輸。信息消息信號(hào)待傳輸；特點(diǎn)：抽象；信息的表現(xiàn)形式；文字，圖像，聲音等；信號(hào)的變化描述消息；信息蘊(yùn)含在消息中，信號(hào)是物理量，用來(lái)承載信息。

4、信息的特點(diǎn)：不確定性信息論研究范圍狹義信息論：信息度量、信息特征、信息傳輸速率、信道容量、干擾對(duì)信息傳遞的影響等等，本課程基于狹義信息論。 廣義信息論 ：還要研究信號(hào)設(shè)計(jì)（如信號(hào)分集），噪聲理論不同環(huán)境下噪聲統(tǒng)計(jì)特性研究、信號(hào)檢測(cè)與估值等等。 1.2 通信系統(tǒng)的模型通信系統(tǒng)的模型 通信的基本問(wèn)題：在存儲(chǔ)或者通信等情況下，精確或者近似再現(xiàn)信源發(fā)出的消息。 一般模型一般模型干擾源香農(nóng)信息論的通信系統(tǒng)模型,研究從發(fā)端（信源）到收端（信宿）有多少信息被傳輸。通信過(guò)程： 信源發(fā)出的消息，經(jīng)編碼器變?yōu)槎M(jìn)制數(shù)串，經(jīng)由信道傳輸；到了收端，經(jīng)過(guò)譯碼，變?yōu)橛?jì)算機(jī)或者人（信宿）能夠理解的消息。 通信系統(tǒng)設(shè)計(jì)的核心

5、問(wèn)題：信源、信道兩個(gè)編、譯碼器的設(shè)計(jì)。 因?yàn)樾旁?、信道隨機(jī)特性不同，為了更好地研究這兩個(gè)編譯碼器，將通信系統(tǒng)的模型進(jìn)行了細(xì)分。通信系統(tǒng)模型的進(jìn)一步細(xì)分信源信宿信源編碼器信道編碼器調(diào)制器信道干擾源信源譯碼器信道譯碼器解調(diào)器信道編碼器信道譯碼器離散輸出離散輸入從信源編碼器輸出到信源譯碼器輸入之間形成等效離散信道。信信 源源 定義：產(chǎn)生消息的來(lái)源，可以是文字、語(yǔ)言、圖像等； 輸出形式：符號(hào)形式表示具體消息，是信息的載體 ； 分類：連續(xù)的，離散的； 基本特點(diǎn)：具有隨機(jī)性。描述其使用概率。 主要研究其統(tǒng)計(jì)規(guī)律和信源產(chǎn)生的信息速率。 1.2 通信系統(tǒng)的模型通信系統(tǒng)的模型信源編碼器 信源編碼實(shí)質(zhì)是壓縮，減少

6、信息率 解決通信有效性問(wèn)題，提高信息傳輸?shù)男剩?方法：去冗余1.2 通信系統(tǒng)的模型通信系統(tǒng)的模型信源符號(hào)信源符號(hào)碼序列碼序列信源編碼器信源編碼器相關(guān)性減弱相關(guān)性減弱相關(guān)性強(qiáng)相關(guān)性強(qiáng)信源編碼 分類 1、無(wú)失真編碼（無(wú)損），適用于數(shù)字型號(hào) 無(wú)失真編碼定理，1948，香農(nóng) 2、限失真編碼（有損），適用于模擬信號(hào) 限失真編碼定理，1959，香農(nóng)回答了信源壓縮能夠達(dá)到什么程度。1.2 通信系統(tǒng)的模型通信系統(tǒng)的模型 無(wú)失真編碼：重建符號(hào)與信源發(fā)送符號(hào)一致，即編碼器輸出碼字序列與信源發(fā)送序列一一映射，熵不變； 限失真編碼：重建符號(hào)與信源發(fā)送符號(hào)不完全一致；編碼器輸出碼字序列與信源輸出符號(hào)序列之間不是一一映

7、射關(guān)系，出現(xiàn)符號(hào)合并，使得重建符號(hào)的熵減少了。信信 源源編碼器編碼器編編 碼碼信信 道道信信 源源譯碼器譯碼器信源符信源符號(hào)（序號(hào)（序列）列）x重建符號(hào)重建符號(hào)（序列）（序列）x信道編碼器 通過(guò)添加冗余位，進(jìn)行檢錯(cuò)、糾錯(cuò) 信道編碼的原則：盡量小的誤碼率，盡量少的增加冗余位。 舉例： BSC信道發(fā)重復(fù)碼。調(diào)制器作用：將信道編碼的輸出變換為適合信道傳輸?shù)囊蟮男盘?hào) 。舉例：幾種調(diào)制方式ASK,PSK,FSK，適應(yīng)于不同的信道有時(shí)，將信道編碼器和調(diào)制器的組合稱為信道編碼器。信息論中的信道編碼是指糾錯(cuò)編碼。關(guān)系：相互矛盾，需要進(jìn)行折中：信源編碼：去除冗余，提高系統(tǒng)傳輸?shù)挠行孕诺谰幋a：通過(guò)增加冗余提高

8、系統(tǒng)傳輸?shù)目煽啃?。信源信道?lián)合編碼技術(shù)：將信源編碼和信道編碼綜合考慮，從而解決信源編碼和信道編碼之間的統(tǒng)籌優(yōu)化問(wèn)題。信源編碼與信道編碼關(guān)系信源編碼與信道編碼關(guān)系信道與干擾信道與干擾 信道：傳輸信息的介質(zhì)。分類：有線介質(zhì)：雙絞線、同軸電纜、光線等無(wú)線介質(zhì)：微波、紅外線存儲(chǔ)介質(zhì)：信息存入，讀出。磁盤、U盤等介質(zhì)也會(huì)損壞，對(duì)信息的存、取造成干擾而出錯(cuò)。信道干擾：多種多樣。信道描述方式：具有隨機(jī)性，采用概率模型。1.2 通信系統(tǒng)的模型通信系統(tǒng)的模型譯碼器譯碼器 譯碼器：編碼器的逆過(guò)程作用：還原，是為了準(zhǔn)確或者近似再現(xiàn)信源發(fā)出的消息。一般由解調(diào)器、信道譯碼器和信源譯碼器組成。解調(diào)器解調(diào)器信道譯信道譯碼碼

9、 器器信信 源源譯碼器譯碼器1.2 通信系統(tǒng)的模型通信系統(tǒng)的模型信宿 是接收消息的人或機(jī)器，與信源處于不同地點(diǎn)或存在于不同時(shí)刻。 對(duì)傳送過(guò)來(lái)的消息提出可接受條件，即提出一定的準(zhǔn)則，發(fā)端將以此來(lái)確定對(duì)信源處理時(shí)所要保留的最小信息量。 信宿的數(shù)量可以是一個(gè)，也可以是多個(gè)，取決于具體應(yīng)用需要。u單輸入、單輸出的單向通信系統(tǒng)；單輸入、單輸出的單向通信系統(tǒng)；u單輸入、多輸出的單向通信系統(tǒng)；單輸入、多輸出的單向通信系統(tǒng)；u多輸入、多輸出的多向通信系統(tǒng)。多輸入、多輸出的多向通信系統(tǒng)。1.2 通信系統(tǒng)的模型通信系統(tǒng)的模型信息論研究的進(jìn)展信源編碼、數(shù)據(jù)壓縮信道編碼與差錯(cuò)控制多用戶信息論和網(wǎng)絡(luò)通信多媒體與信息論信

10、息論、密碼學(xué)和數(shù)據(jù)安全等。開始研究在通信應(yīng)用，在投資方面的應(yīng)用。信源編碼與數(shù)據(jù)壓縮關(guān)鍵理論無(wú)擾信源編碼shannon-fano編碼、不是最佳,1948Huffman編碼，無(wú)損壓縮最佳方法,1952shannon-Mcmilan定理，針對(duì)平穩(wěn)相關(guān)源Lioyd算法的發(fā)表，有損壓縮，矢量量化率失真理論系統(tǒng)化，1959 , 給出容忍的失真度，可以降低碼率Kolmogorov Complexity概念誕生，1964通用信源編碼理論系統(tǒng)化，1973 不須知道信源的概率，應(yīng)用在3G/4G技術(shù)。多端信源編碼，1973 多點(diǎn)對(duì)多點(diǎn)，無(wú)線通信，多用戶信息論，多個(gè)手機(jī)接入基站算術(shù)編碼（1976）知道概率分布，LZ編碼，1977(RAR文件),較多使用壓縮感知技術(shù)出現(xiàn)：欠采樣，低于奈奎斯特速率 ，1993年以后，由于網(wǎng)絡(luò)開始出現(xiàn)，圖片JPEG,視頻MPEG4,音頻MP3，需要壓縮。信道編碼和差