信息與通信信息論與編碼民大緒論

2023/12/61/39學(xué)時(shí)：36參考教材：①《信息論與編碼》,沈連豐,科學(xué)出版社②《信息論—基礎(chǔ)理論與應(yīng)用》,傅祖蕓,電子工業(yè)出版社③《糾錯(cuò)碼—原理與方法》,王新梅,西安電子科技大學(xué)出版④《信息論與編碼》,陳運(yùn),電子工業(yè)出版社⑤“”DigitalModulationandCoding”,S.Wilson,PrenticeHall（“數(shù)字調(diào)制與編碼”影印版，電子工業(yè)出版社）⑥“ElementsofInformationTheory”,ThomasM.Cover,JoyA.Thomas.清華大學(xué)出版社影印版2023/12/62/39課程概況目的：了解學(xué)習(xí)信息論與編碼理論的作用與意義，對信息論與編碼理論的研究方法和成果有廣泛的基本認(rèn)識，學(xué)會(huì)應(yīng)用，為進(jìn)一步研究打下基礎(chǔ)特點(diǎn)：以概念和物理意義為主，數(shù)學(xué)推導(dǎo)盡量放到課外作業(yè)：編寫相關(guān)內(nèi)容的程序或閱讀近兩年內(nèi)的國外期刊一兩篇，結(jié)合自己的理解，寫一份讀書報(bào)告，內(nèi)容可自選。考試：2023/12/63/39課程基本內(nèi)容一.信息論信息論的發(fā)展以及通信系統(tǒng)的模型離散信源熵，互信息以及冗余度二.信源編碼定長編碼，變長編碼以及最佳編碼離散信源的信息率失真函數(shù)R(D)限失真信源編碼定理以及常用信源編碼方法三.信道編碼信道模型和容量線性分組碼卷積碼網(wǎng)格編碼調(diào)制與級聯(lián)碼Turbo碼及其迭代譯碼原理2023/12/641.信息論研究的中心問題和發(fā)展歷史2023/12/65/39信息論？信息論是通信的數(shù)學(xué)基礎(chǔ)，它以概率論、隨機(jī)過程、數(shù)理統(tǒng)計(jì)和代數(shù)學(xué)為主要數(shù)學(xué)工具，詳細(xì)研究了通信中的各個(gè)關(guān)鍵環(huán)節(jié)，以定理的形式給出了信源編碼、信道編碼的理論極限，為各種具體的通信技術(shù)提供了理論上的指導(dǎo)。信息論創(chuàng)立的標(biāo)志:香農(nóng)于1948年發(fā)表的論文：

AMathematicalTheoryofCommunication

（通信的數(shù)學(xué)理論）1948年以前，Nyquist、Hartley、Wiener做了許多有影響的工作。1948年，香農(nóng)發(fā)表《通信的數(shù)學(xué)理論》，標(biāo)志著信息論的誕生，同年發(fā)表《保密通信的信息理論》，用信息論的觀點(diǎn)對信息保密問題作了全面的論述。1956年，香農(nóng)發(fā)表《噪聲信道的零差錯(cuò)容量》。1959年，香農(nóng)發(fā)表《保真度準(zhǔn)則下的離散信源編碼定理》，提出信息率失真理論，為信源壓縮編碼奠定了理論基礎(chǔ)。1961年，香農(nóng)發(fā)表《雙路通信系統(tǒng)》，開拓了多用戶信息理論（網(wǎng)絡(luò)信息論）的研究。2023/12/66/39信息論的研究范疇基礎(chǔ)信息論（shannon經(jīng)典信息論）研究信息測度，信道容量以及信源和信道編碼理論一般信息論（工程信息論）以工程為背景，主要研究通信系統(tǒng)中各部分的最佳工作規(guī)律，與最佳設(shè)計(jì)原則，以工程上技術(shù)問題為主。研究內(nèi)容除經(jīng)典信息論外還包括噪聲理論，信號濾波和預(yù)測，統(tǒng)計(jì)檢測和估值理論，調(diào)制理論，信息處理理論和保密理論廣義信息論除上述內(nèi)容外，還包括自然和社會(huì)領(lǐng)域有關(guān)信息的內(nèi)容，如模式識別，計(jì)算機(jī)翻譯，心理學(xué)，遺傳學(xué)，神經(jīng)生理學(xué)2023/12/67/39研究Shannon信息論的主要目的設(shè)計(jì)有效，可靠和安全的通信系統(tǒng)有效性是用盡可能短的時(shí)間和盡可能少的設(shè)備來傳輸一定信息量的消息信源編碼（數(shù)據(jù)壓縮）：無失真信源編碼和限失真信源編碼可靠性是要使信源發(fā)出的消息經(jīng)過傳輸后，盡可能準(zhǔn)確地、不失真地再現(xiàn)在接收端信道編碼（可靠傳輸）安全性加密編碼2023/12/68/39shannon信息論研究的主要問題1）什么是信息？如何度量信息？（信息熵）2）怎樣確定信源輸出信息的速率？（信息傳輸速率）3）對于一個(gè)信道，它傳輸信息的最高速率是多少？（信道容量）4）無失真信源編碼，所需要的最少碼符號數(shù)是多少？（香農(nóng)第一定理：如果編碼后信源序列的信息傳輸速率不小于信源熵，那么一定存在一種無失真信源編碼方法；否則，不存在這種無失真信源編碼方）5）在有噪聲信道中，有沒有可能以接近信道容量的速率傳輸信息，而收端的錯(cuò)誤概率幾乎為零？（香農(nóng)第二定理：如果信息傳輸速率小于信道容量，那么總可以找到一種編碼方式，使得當(dāng)編碼序列足夠長時(shí)傳輸差錯(cuò)任意小；否則，不存在使差錯(cuò)任意小的信道編碼方式）

6）如果信源編碼時(shí)，允許一定的失真，那么信源編碼所需要的最少碼符號數(shù)又是多少？（香農(nóng)第三定理：對于任意的失真度，只要碼字足夠長，那么總可以找到一種編碼方法，使編碼后每個(gè)信源符號的信息傳輸速率，而譯碼的平均失真度）2023/12/69/39香農(nóng)和維納理論的區(qū)別香農(nóng)理論：香農(nóng)研究的對象是從信源到信宿之間的全過程，是收、發(fā)端聯(lián)合最優(yōu)化問題，其重點(diǎn)是放在編碼。他指出，只要在傳輸前后對消息進(jìn)行適當(dāng)?shù)木幋a和譯碼，就能保證在干擾的存在下，最佳地傳送和準(zhǔn)確或近似地再現(xiàn)消息。為此發(fā)展了信息測度理論、信道容量理論和編碼理論。維納理論：維納研究的重點(diǎn)是在接收端。研究一個(gè)信號如果在傳輸過程中被某些因素（如噪聲、非線性失真等）所干擾時(shí)，在接收端怎樣把它恢復(fù)、再現(xiàn)，從干擾中提取出來。在此基礎(chǔ)上，創(chuàng)立了最佳線性過濾理論（維納濾波器）、統(tǒng)計(jì)檢測與估計(jì)理論、噪聲理論。2023/12/610/39信息論幾個(gè)方面的主要進(jìn)展Ⅰ．信源編碼與數(shù)據(jù)壓縮Ⅱ．信道編碼與差錯(cuò)控制技術(shù)Ⅲ．多用戶信息論與網(wǎng)絡(luò)通信Ⅳ．多媒體與信息論Ⅴ．信息論與密碼學(xué)和數(shù)據(jù)安全Ⅵ．信息論與概率統(tǒng)計(jì)Ⅶ．信息論與經(jīng)濟(jì)學(xué)Ⅷ．信息論與計(jì)算復(fù)雜性Ⅸ．信息論與系統(tǒng)、控制、信號檢測和處理Ⅹ．量子信息論Ⅺ．Shannon的其它重要貢獻(xiàn)2023/12/611/39

信源編碼與數(shù)據(jù)壓縮理論的進(jìn)展[Kieffer1993]無擾信源編碼的誕生(1948,C.E.Shannon)。Huffman算法的發(fā)現(xiàn)(1952,D.A.Huffman)。建立Shannon-McMillan定理(1953,B.McMillan)。發(fā)現(xiàn)Lloyd算法(1957,S.P.Lloyd,1982年發(fā)表)。率失真理論系統(tǒng)化(1959,C.E.Shannon)。KolmogorovComplexity概念誕生(1964,A.N.Kolmogorov)。通用信源編碼理論系統(tǒng)化(1973,L.D.Davission)。多端信源編碼理論誕生(1973,D.Slepian和J.K.Wolf)。第一個(gè)實(shí)際的算術(shù)編碼方案(1976,J.Rissannen和R.Pasco1976博士論文)。發(fā)現(xiàn)Lempel-Ziv碼(1977,J.Ziv和A.Lempel)。2023/12/615/39多用戶信息論與網(wǎng)絡(luò)通信理論的進(jìn)展

(1)理論基礎(chǔ)。兩路通信系統(tǒng)(Shannon1961)。(2)理論進(jìn)展。Cover,Schalkwijk,Van.derMeulen,Alswede,Slepian,Wolf,WynerLiao(UniverstyofHawaii),Han等。(3)技術(shù)成就。CDMA(Virerbi,Qaulecom)的技術(shù)問題：聯(lián)合檢測和譯碼、均衡、干擾抵消、速率分拆(ratesplitting)、功率檢測控制等(Verdu,ShamaiandRimoldi)。STC(Spacetimecode)。線性網(wǎng)絡(luò)編碼聯(lián)合編碼技術(shù)2023/12/616/39技術(shù)進(jìn)展：通向Shannon極限的途徑

Shannon極限：白高斯信道下為傳送1比特信息所需的最小Eb/N0值，理論上如表。在誤碼率為10－5時(shí)，未編碼二元信號最佳檢測下所需的Eb/N0值為9.6dB。Shannon極限指出,采用編碼可以得到9～10dB的功率增益。表白高斯信道的Shannon極限輸入輸出速率最小Eb/N0值二元信號軟判決→0—1.6dB

二元信號軟判決0.50.2dB

二元信號硬判決0.51.8dB

過去50年中Shannon信息論已取得巨大、豐富的理論和技術(shù)成果，在未來的50年中，Shannon信息論將繼續(xù)繁榮還是趨向衰落和消亡?

在過去50年中也曾幾次出現(xiàn)過類似的爭論。如果信息論繼續(xù)推動(dòng)技術(shù)的發(fā)展，則在未來的幾十年中就會(huì)繼續(xù)繁榮下去，否則會(huì)象近30年來的物理學(xué)所經(jīng)受的蕭條。當(dāng)前信息論對無線通信的重要作用為信息論的發(fā)展提供了契機(jī)，無線頻帶資源的匱乏更趨嚴(yán)重，高效和高可靠性通信愈加依靠信息論的發(fā)展，同時(shí)需要更多的信息論人才。

Internet通信、移動(dòng)通信、光存儲(chǔ)、生物等領(lǐng)域?qū)⑾蛐畔⒄撎岢鲂碌奶魬?zhàn)。未來的趨勢2023/12/618/39香農(nóng)信息論的深化研究方向香農(nóng)信息論：網(wǎng)絡(luò)信息理論和多重相關(guān)信源編碼理論的發(fā)展和應(yīng)用；通信網(wǎng)的一般信息理論研究；信息率失真理論的發(fā)展及在數(shù)據(jù)壓縮和圖像處理中的應(yīng)用；信息論在大規(guī)模集成電路中的應(yīng)用；糾錯(cuò)碼理論：在工程方面應(yīng)用最優(yōu)編碼方法研究。維納信息論：量子檢測和估計(jì)理論非參數(shù)檢測和估計(jì)理論，非線性檢測與估計(jì)理論的研究。信源，信道和安全編碼之間的結(jié)合聯(lián)合信源信道編碼聯(lián)合安全信道編碼2023/12/619/39如果實(shí)際信源或信道符合所采用的概率模型描述，這種方法是有效的，否則只能是近似的，甚至根本無效。語言的熵描述是非常困難的，其是非平穩(wěn)的，除了確定的信息，還有模糊的信息，比如“韻味”，“意境”不同的接收者對同一個(gè)東西得到的信息可能是不同的Shannon信息論適合于能夠定量描述的信息，對難于定量描述的信息則無能為力。Shannon信息論的局限性Shannon信息論在研究方法上的啟示1.理論與實(shí)踐的關(guān)系。五十年信息論發(fā)展的歷史證明，理論必須結(jié)合實(shí)踐才有旺盛的生命力。實(shí)踐可以幫助人們正確地提出問題和猜想；實(shí)踐需要理論的指導(dǎo)才能建立更好的系統(tǒng)，才能迅速向前發(fā)展。理論用于不斷變化的實(shí)踐過程中，又常常提示和激勵(lì)我們探索新的理論問題，并以新的方法重新檢驗(yàn)已有的理論結(jié)論。2．簡化模型?！昂唵文Ｐ蛣儆诜爆嵉默F(xiàn)象羅列”，“簡單化才能顯現(xiàn)出事物的本質(zhì)，它表現(xiàn)了人的洞察力”－Gallager

。3．基礎(chǔ)的重要性。切莫近視、急功近利。2023/12/621/39Shannon對信息論的貢獻(xiàn)2001年2月24日，Shannon于馬薩諸塞州病逝。著名信息論和編碼學(xué)者Dr.RichardBlahut在Shannon塑像落成典禮上這樣評價(jià)Shannon：“在我看來，兩三百年之后，當(dāng)人們回過頭來看我們這個(gè)時(shí)代的時(shí)候，他們可能不會(huì)記得誰曾是美國的總統(tǒng)。他們也不會(huì)記得誰曾是影星或搖滾歌星。但是他們會(huì)記得Shannon的名字。學(xué)校里仍然會(huì)講授信息論?！?023/12/622/39Shannon信息論的應(yīng)用范圍2023/12/623/39AWGN:AdditiveWhiteGaussianNoiseLDPC:Low-densityParity-checkCodesRecentprogressinFECsforopticalcommunicationsystems.

2023/12/6242.通信系統(tǒng)的模型2023/12/625/39通信系統(tǒng)的通用模型信源編碼器信道譯碼器信宿干擾源

系統(tǒng)的模型不是不變的，可根據(jù)實(shí)際情況而定，可將圖中的編、譯碼器作更細(xì)致的劃分，目的是使信源編碼的研究主要和信源及信宿發(fā)生關(guān)系，此時(shí)信道編、譯碼器和信道的組合可等效為一個(gè)離散無擾信道。而信道編碼的研究可和信源、信宿無關(guān)，而只與信道有關(guān)，此時(shí)信源和信源編碼器組合成一個(gè)對于信道編碼器來說的等效離散源，它的輸出可近似地看成是無記憶、等概的數(shù)字序列。這種劃分可使信源編碼集中于解決傳輸有效性問題，而信道編碼則集中于解決抗信道干擾和失真問題，即解決傳輸可靠性問題，從而簡化了研究。2023/12/626/39信道等效離散信道信源信源編碼器糾錯(cuò)編碼器調(diào)制器干擾源信源譯碼器糾錯(cuò)譯碼器信宿解調(diào)器等效信宿信道編碼器信道譯碼器等效離散信源

細(xì)化的通信系統(tǒng)模型等效離散信道

這樣劃分是否會(huì)對發(fā)揮通信系統(tǒng)的傳信潛力有根本性的限制呢？研究表明，在很一般的條件下，對大多數(shù)理論結(jié)果沒有太大限制。但是這樣劃分也不一定總是合理的，有時(shí)將信源編碼和信道編碼統(tǒng)一考慮進(jìn)行設(shè)計(jì)可能更有效些，有人已進(jìn)行了這方面的探討，如信源和信道聯(lián)合編碼、加密與糾錯(cuò)聯(lián)合設(shè)計(jì)的研究。2023/12/627/39各部件功能信源產(chǎn)生消息的源，消息可以是文字，語言，圖像?？梢噪x散，可以連續(xù)。隨機(jī)發(fā)生。研究的主要問題是消息的統(tǒng)計(jì)特性和產(chǎn)生信息的速率編碼器信源編碼器：對信源輸出進(jìn)行變換（消去冗余，壓縮），提高信息傳輸?shù)挠行孕诺谰幋a器：對信源編碼輸出變換（加入冗余），提高抗干擾能力，提高信息傳輸?shù)目煽啃哉{(diào)制器：將信道編碼輸出變成適合信道傳輸?shù)姆绞?023/12/628/39各部件功能信道信號從發(fā)端傳到收端的介質(zhì)信道的中心問題是研究信道的統(tǒng)計(jì)特性和傳信能力，即信道容量干擾源系