信息論與編碼A_第1章緒論.ppt

1、1,信息論與編碼,信息科學(xué)與技術(shù)學(xué)院,西南交通大學(xué),2,注 意 事 項(xiàng),教材： 信息論與編碼理論武漢大學(xué)出版社, 第1版, 2007 主編： 彭代淵 教授 西南交通大學(xué) 編者：唐小虎 教授 西南交通大學(xué) 王宏霞 教授 西南交通大學(xué) 陳慶春 副教授 西南交通大學(xué) 王 玲 教授 四川師范大學(xué) 何明星 教授 西華大學(xué) 蔣 華 教授 北京電子科技學(xué)院 郭春生 副教授 杭州電子科技大學(xué) 參考書(shū) 曹雪虹 張宗橙 編著信息論與編碼，清華大學(xué)，第1版，2004 朱詩(shī)兵等編著信息論與編碼理論，科學(xué)出版社，第1版，2005. 成績(jī)?cè)u(píng)定 總成績(jī)=期終考試（70%）+ 期中考試（20%）+ 學(xué)習(xí)過(guò)程（出勤、作業(yè)）（1

2、0%）,3,主要內(nèi)容,第1章 緒論 第2章 信息的度量 第3章 信道及其容量 第4章 無(wú)失真信源編碼 第5章 率失真理論與有失真信源編碼 第6章 信道編碼概述 第7章 線性分組碼 第8章 循環(huán)碼 第9章 卷積碼,4,第1章 緒 論,1.1 通信系統(tǒng)模型 1.2 信息論與編碼理論的主要內(nèi)容 1.3 信息論與編碼理論的形成與發(fā)展 1.4 信息論與編碼理論的應(yīng)用,5,1.1 通信系統(tǒng)模型,通信系統(tǒng)模型,6,1.2 信息論與編碼理論的主要內(nèi)容,問(wèn)題：設(shè)想有兩個(gè)人，一個(gè)是發(fā)送者A，另一個(gè)是接收者B，發(fā)送者A需要將消息盡可能準(zhǔn)確地傳輸給接收者B。 二元對(duì)稱(chēng)信道(BSC: the binary symmet

3、ric channel) （0 p 0.5）,7,1.2 信息論與編碼理論的主要內(nèi)容,簡(jiǎn)單傳輸方案： 發(fā)送者A將需要傳輸?shù)拿總€(gè)符號(hào)直接發(fā)送一次，接收者B接收到任何一個(gè)符號(hào)后，都判定為發(fā)送者A發(fā)送的是該符號(hào)，那么這種“譯碼方案”出現(xiàn)錯(cuò)誤的概率是p。,8,1.2 信息論與編碼理論的主要內(nèi)容,編碼傳輸方案： 編碼 A將需要傳輸?shù)拿總€(gè)符號(hào)重復(fù)發(fā)送多次，例如三次，即傳輸符號(hào)0時(shí)，就發(fā)送符號(hào)序列000；傳輸符號(hào)1時(shí)，就發(fā)送符號(hào)序列111。 譯碼 接收者B接收到三個(gè)符號(hào)后，選擇其中出現(xiàn)次數(shù)最多的符號(hào)，就判定為發(fā)送者A發(fā)送的是該符號(hào) 譯碼錯(cuò)誤概率,提高了信道的可靠度 ! 降低了傳輸效率!,9,有效性 問(wèn)題：怎

4、樣才能傳輸更多的消息 通信的實(shí)質(zhì)：信息 研究思路：信息度量、信源編碼 可靠性 信道出錯(cuò)概率： e=p(cc) 問(wèn)題：怎樣降低信道出錯(cuò)概率e？ 研究思路：信道編碼 e=p(u u) e=p(c c),1.2 信息論與編碼理論的主要內(nèi)容,信息論與編碼理論主要目的: 系統(tǒng)研究通信系統(tǒng)中信息傳輸?shù)挠行耘c可靠性,10,1.2 信息論與編碼理論的主要內(nèi)容,信息的定義與度量 數(shù)據(jù)壓縮: 信源編碼 信道的最大容量 通信的可靠性 : 信道編碼,11,1820-1830: 法拉第(M. Faraday)發(fā)現(xiàn)電磁感應(yīng)規(guī)律 1832: J.Henry發(fā)明電報(bào) 1838: 莫爾斯(F.B.Morse)發(fā)明電報(bào)碼( 信

5、源編碼的先驅(qū)) 1864: 麥克斯韋(Maxwell)預(yù)言電磁波的存在 1876: 貝爾(A.G.Bell)發(fā)明電話 1885: 凱爾文(L. Kelvin)研究一條電纜的極限傳信率問(wèn)題 1888: 赫茲(H.Hertz)用實(shí)驗(yàn)證明了電磁波的存在 18951896: 英國(guó)的馬克尼(G. Marconi)和俄國(guó)的波波夫發(fā)明了無(wú)線電通信 1904: Fleming發(fā)明二極管 1906: DeForest發(fā)明三極管,1.3 信息論與編碼理論的形成與發(fā)展,12,1904: Fleming發(fā)明二極管 1906: DeForest發(fā)明三極管 1907: 弗雷斯特(L.Forest)發(fā)明電子管(電磁波放大)

6、 1917: (G.A.Campbell)發(fā)明濾波器 1922: 卡遜(J.R.Carson)研究調(diào)幅信號(hào)的頻譜結(jié)構(gòu),開(kāi)始明確上下邊帶的概念 1924: 奈奎斯特(H.Nyquist)與曲夫繆勒獨(dú)立指出: 信號(hào)傳輸速率與信道帶寬成正比 1925-1927: 建立電視系統(tǒng) 1928: 奈奎斯特(H.Nyquist)建立了限帶信號(hào)的采樣定理,1.3 信息論與編碼理論的形成與發(fā)展,13,1928: 哈特萊(R.V.Hartley)對(duì)信息量作了定義(H=Nlogs) 1930: 維納(N.Wiener)研究隨機(jī)信號(hào) 1936: V.D. Landon發(fā)表有關(guān)噪聲的研究論文 1936: E.H.Arms

7、trong提出頻率調(diào)制 1939: 達(dá)德利(H.Dudley)發(fā)明聲碼器( 信源編碼的先驅(qū)) 1939: H.Reeve提出脈沖編碼調(diào)制 1948: 香農(nóng)(C.E. Shannon)創(chuàng)立信息論,1.3 信息論與編碼理論的形成與發(fā)展,14,C. E. Shannon（香農(nóng): 1916-2001）,Education: BS, Mathematics and electrical engineering , University of Michigan, 1936. MS, Electrical engineering, MIT, 1938 Ph.D, Mathematics, MIT, 1940

8、.,Working Experience 1940-1941, Princeton University 1941-1972, Bell Lab. 1956-1980, MIT, Professor,15,C. E. Shannon（香農(nóng): 1916-2001）,Information & coding C. E. Shannon, A mathematical theory of communication theory（通信的數(shù)學(xué)理論）, Part 1&2, Bell Syst. Tech. J., Vol.27, pp.379-423,623-656, 1948. Cryptograph

9、y C. E. Shannon: “Communication theory of secrecy systems,” （保密系統(tǒng)的通信理論） Bell Syst. Tech. J., Volume 28, 656-715, 1949.,16,C.E. Shannon & F. Jin at ISIT1985,17,從20世紀(jì)50年代起，通信技術(shù)界的主要研究重心是尋找信源編碼和信道編碼的構(gòu)造方法 1948：香農(nóng)碼 1952：費(fèi)諾(Fano)碼，霍夫曼(D. A. Huffman)碼 霍夫曼編碼已用于傳真圖像的壓縮標(biāo)準(zhǔn)！ 1968：埃利斯(P. Elias)提出算術(shù)編碼的基本思路 1976：里斯

10、桑內(nèi)(J. Rissanen)改進(jìn)了算術(shù)編碼方法，1982：里斯桑內(nèi)和蘭登(G. G. Langdon)一起進(jìn)一步完善了算術(shù)編碼方法。 算術(shù)編碼已用于二值圖像的壓縮標(biāo)準(zhǔn)！,1.3 信息論與編碼理論的形成與發(fā)展,18,1977：以色列編碼學(xué)家齊弗(J. Ziv)和蘭佩爾(A. Lempel)提出了一種高效的通用信源編碼方法，稱(chēng)之為L(zhǎng)Z77編碼算法 1978：進(jìn)行了改進(jìn)，推出了LZ78編碼算法 1984：威其(T. A. Welch)提出了一個(gè)改進(jìn)的LZ78編碼算法，稱(chēng)之為L(zhǎng)ZW編碼算法 1990：貝爾(T. C. Bell)又對(duì)LZ編碼方法進(jìn)行了一系列 的改進(jìn)。 LZ系列編碼已廣泛應(yīng)用于文本壓縮！,1.3 信息論與編碼理論的形成與發(fā)展,19,信道編碼 20世紀(jì)40年代末由高萊(M. J. E. Golay)和漢明最早提出的分組編碼技術(shù)已經(jīng)發(fā)展成為系統(tǒng)的代數(shù)編碼理論。許多分組碼，如高萊碼、Fire碼、BCH碼等在通信、計(jì)算機(jī)技術(shù)中獲得廣泛應(yīng)用。 1954年，埃利斯首次提出了卷積碼，1967年，卷積碼已在陸地移動(dòng)通信、衛(wèi)星通信和深空通信中獲得重要應(yīng)用。 1993年，C. Berrou, A. Glavieux 和P. Thitimajshima提出了一類(lèi)新的信道編碼Turbo碼。Turbo碼在性能上與香農(nóng)理