《信息論與編碼》 課件 第1章緒論

信息論與編碼2第1章緒論信息論是什么？編碼是用來干什么的？3第1章緒論信息論與編碼課程的內(nèi)容體系信息與編碼的若干基本概念信息論的發(fā)展歷史4第1章之“信息論與編碼”課程的內(nèi)容體系通信系統(tǒng)基本模型信息論與編碼課程內(nèi)容體系5第1章之“信息論與編碼”課程的內(nèi)容體系本課程所說“信息論”，主要是指“香農(nóng)信息論”；香農(nóng)信息論的主要內(nèi)容，來自于其1948年發(fā)表在貝爾技術(shù)雜志上的文章：“通信中的數(shù)學(xué)理論”；所以，香農(nóng)信息論，嚴(yán)格來說應(yīng)該是“通信論”。6通信系統(tǒng)基本模型既然是通信理論，首先看看通信的定義、基本框圖和基本問題：定義：通信是把信息從一個(gè)地方（發(fā)送端，信源）通過信息的通道（信道）送到另一個(gè)地方（接收端，信宿）。7通信系統(tǒng)基本模型基本框圖：信源信宿噪聲源信息信息干擾信道8通信系統(tǒng)基本模型基本問題：如何使通信“又快又好又安全”？快：用盡可能少的符號攜帶盡可能多的信息—有效性；好：信息傳輸要盡可能準(zhǔn)確無誤—可靠性；安全：信息的安全性。本書只考慮有效性和可靠性。9“信息論與編碼”課程的內(nèi)容體系對有效性和可靠性這兩個(gè)通信中的基本問題，又各有兩個(gè)方面的內(nèi)容：希望“又快”（有效性）、“又好”（可靠性），這個(gè)“快”和“好”有沒有極限？如果有，極限是多少？這是“信息論”要解決的問題；用什么方法和手段達(dá)到或接近該極限？這是“編碼”所要解決的問題。

所以這門課叫做《信息論與編碼》10“信息論與編碼”課程的內(nèi)容體系所以，《信息論與編碼課程》的內(nèi)容體系，可以表示成一個(gè)2×2的矩陣：信息論編碼可靠性有效性有效性的極限是否存在及其大小問題可靠性的極限是否存在及其大小問題達(dá)到或接近有效性極限的手段和方法達(dá)到或接近可靠性極限的手段和方法11“信息論與編碼”課程的內(nèi)容體系有效性是要用盡可能少的符號攜帶盡可能多的信息，這個(gè)取決于信源的特性。所以在接下來的第2章，要研究信源與信源熵；可靠性取決于信息傳輸通道（信道）的特性，因此第3章研究信道與信道容量；12“信息論與編碼”課程的內(nèi)容體系相應(yīng)地：提高有效性的方法，是對信源進(jìn)行編碼，稱為信源編碼，是第5章的內(nèi)容；提高可靠性的方法，是對信道上傳輸?shù)男畔⑦M(jìn)行編碼，稱為信道編碼，是第6章的內(nèi)容；13“信息論與編碼”課程的內(nèi)容體系此外：第4章也是關(guān)于信源的，與第2章的不同在于：第2章的內(nèi)容用于無失真信源編碼，而第4章的內(nèi)容用于限失真信源編碼。由于其處理手段，類似于第3章信道的處理方法，故放于第3章之后；第7章對信息論的前沿技術(shù)—網(wǎng)絡(luò)信息論，進(jìn)行了簡要介紹。14“信息論與編碼”課程的內(nèi)容體系所以，可以把上面的2×2矩陣重新表示為：信息論編碼可靠性有效性第2章、第4章第3章第5章第6章15“信息論與編碼”課程的內(nèi)容體系從橫的方向看：第2章（包括第4章）和第3章是平行的第2章研究信源，主要關(guān)心信源熵，是有關(guān)有效性的；

第3章研究信道，主要關(guān)心信道容量，是有關(guān)可靠性的；

第2章和第3章的章節(jié)結(jié)構(gòu)是幾乎一樣的。16“信息論與編碼”課程的內(nèi)容體系第5章和第6章是平行的第5章研究信源編碼，是實(shí)現(xiàn)有效性的方法；

第6章研究信道編碼，是實(shí)現(xiàn)可靠性的方法；

第5章和第6章的章節(jié)結(jié)構(gòu)是幾乎一樣的。17“信息論與編碼”課程的內(nèi)容體系從縱的方向看：第2章（包括第4章）和第5章是前后銜接的第2章研究信源特性，第5章在第2章的基礎(chǔ)上，研究提高有效性的手段和方法（信源編碼），這是一條有關(guān)有效性的主線；18“信息論與編碼”課程的內(nèi)容體系第3章和第6章是前后銜接的第3章研究信道特性，第6章在第3章的基礎(chǔ)上，研究提高可靠性的手段和方法（信道編碼），這是一條有關(guān)可靠性的主線；有效性的主線（第2、5章）和可靠性的主線（第3、6章）是平行的。19第1章緒論信息論與編碼課程的內(nèi)容體系信息與編碼的若干基本概念信息論的發(fā)展歷史20第1章之信息與編碼的若干基本概念信息的概念信息的度量21信息的概念信息論是研究信息的，所以首先要明白什么是信息？信息的本質(zhì)是什么？22信息的概念全部意義上的信息（全信息）包括：語法信息、語義信息和語用信息語法信息只考慮信息的外在形式；語義信息要考慮信息的內(nèi)容；語用信息要考慮信息的作用對象。23信息的概念考慮全信息，則無法進(jìn)行深入研究?？藙诘?香農(nóng)等只考慮語法信息，對信息進(jìn)行了深入研究，得到了有關(guān)信息的系統(tǒng)理論，是為“香農(nóng)信息論”，也稱“狹義信息論”。24信息的概念香農(nóng)：“信息是使隨機(jī)不確定性減少的程度”。要進(jìn)行通信，一定是接收方關(guān)于某事件是未知的或不確定的；接收方接收到信息以后，可以消除或者減少這種不確定性。25信息的度量畢達(dá)哥拉斯：“萬物皆數(shù)”。要對信息進(jìn)行深入研究，必須定量；信息量的多少，等于對隨機(jī)不確定性減少的程度；隨機(jī)不確定性可以用概率來描述。26信息的度量要實(shí)現(xiàn)度量，首先需定義一個(gè)單位：信息的基本單位：比特（bit）可以用一個(gè)“是（或否）”的回答來消除的不確定性，定義為1比特（2選1的不確定性）。27信息的度量一個(gè)事件包含的信息量必須滿足：與該事件出現(xiàn)的概率是反比例關(guān)系（備選答案越多（某一備選