信息論與編碼新題

信息論與編碼新題1第一頁(yè)，共三十八頁(yè)，2022年，8月28日

§1.1信息的概念

內(nèi)容：1.1.1信息的定義1.1.2信息的特征與性質(zhì)2第二頁(yè)，共三十八頁(yè)，2022年，8月28日信息是一個(gè)十分通俗而廣泛的名詞，抽象和復(fù)雜。不同的學(xué)科領(lǐng)域?qū)ζ溆胁煌亩x和解釋。3第三頁(yè)，共三十八頁(yè)，2022年，8月28日1.1.1信息的定義消息、新聞與知識(shí)

據(jù)《新詞源》考證，唐代詩(shī)人李中，《暮春懷故人》，“夢(mèng)斷美人沉信息，目穿長(zhǎng)路倚樓臺(tái)”，“信息”是消息的同義詞；

在西方的早期文獻(xiàn)著作中，信息(information)和消息(message)也是互相通用的；

英國(guó)牛津字典中，信息是談?wù)摰氖虑?、新聞和知識(shí)(sthtold;newsorknowledgegiven);

韋氏字典中，信息是在觀察研究過程中獲得的數(shù)據(jù)情報(bào)、新聞和知識(shí)。4第四頁(yè)，共三十八頁(yè)，2022年，8月28日維納（Wiener）：美國(guó)數(shù)學(xué)家、控制論奠基人

《控制論：動(dòng)物與機(jī)器中的通信與控制問題》1948

“信息就是信息，不是物質(zhì)，也不是能量”

利用排他法告訴人們：信息不是物質(zhì)和能量。這是對(duì)信息本質(zhì)的最有原則性和最深刻的宣示，是把信息、物質(zhì)和能量”放在同樣地位上的最早科學(xué)論斷。香農(nóng)（Shannan):美國(guó)學(xué)者、信息論創(chuàng)始人在《貝爾系統(tǒng)技術(shù)》雜志“通信的數(shù)學(xué)理論”1948

把信息與信息的度量作為事物的“不肯定性”與“不肯定性”的度量。

以概率為工具，闡述了通信工程的基本理論問題，給出了計(jì)算信源信息量和信道容量的方法，得到了表征信息傳遞重要關(guān)系的編碼定理。5第五頁(yè)，共三十八頁(yè)，2022年，8月28日布里淵（Brillouin）：法裔美國(guó)科學(xué)家名著《科學(xué)與信息論》

信息就是負(fù)熵(Negentropy)

維納在《控制論與社會(huì)》1950，正如熵是無組織程度的度量一樣，消息集合所包含的信息就是組織程度的度量，事實(shí)上完全可以將消息包含的信息解釋為負(fù)熵。M.Tribes等《科學(xué)的美國(guó)人》“能量與信息”1971

信息是使概率分布發(fā)生變動(dòng)的東西概率是對(duì)知識(shí)狀態(tài)的一種數(shù)值編碼。某人對(duì)一個(gè)特定問題的知識(shí)狀態(tài)可以這樣表示，即對(duì)這個(gè)問題種種想得出的答案各分配一定的概率；如果對(duì)這個(gè)答案完全了解，對(duì)其中一個(gè)賦予1，其他為0.6第六頁(yè)，共三十八頁(yè)，2022年，8月28日艾什比(Ashiby)：英國(guó)生物學(xué)家，控制論奠基人

《控制論導(dǎo)引》引入“變異度”的概念

信息定義為變異度

任何一個(gè)集合所包含的元素?cái)?shù)目以2為底的對(duì)數(shù)稱為這個(gè)集合的變異度；將變異度當(dāng)作信息的概念來使用（1956）。變異度實(shí)際是均勻概率分布條件下的香農(nóng)熵。事實(shí)上，半個(gè)多世紀(jì)以來，科學(xué)文獻(xiàn)中提出過的信息定義數(shù)以百計(jì)。不同的作者從不同的角度在不同的條件下對(duì)信息進(jìn)行考察的結(jié)果。

7第七頁(yè)，共三十八頁(yè)，2022年，8月28日鐘義信主編《信息科學(xué)與技術(shù)導(dǎo)論》一書：根據(jù)不同的約束條件，區(qū)分不同的層次給出信息的定義，同時(shí)根據(jù)約束條件的增減，使信息的定義隨之進(jìn)退。

8第八頁(yè)，共三十八頁(yè)，2022年，8月28日沒有任何約束條件的層次是最高層次，最普遍適用的層次，稱為本體論層次。引入一個(gè)約束條件，最高層次的定義退變?yōu)榇胃邔哟蔚亩x，適用范圍比最高層次定義的范圍窄；若引入的約束條件具有主體（人、生物和機(jī)器）存在，并且從主體的立場(chǎng)出發(fā)來定義信息，本體論層次信息定義就轉(zhuǎn)化為認(rèn)識(shí)論層次信息定義。引入的約束條件越多，層次越低，適用范圍越窄。9第九頁(yè)，共三十八頁(yè)，2022年，8月28日本體論層次的信息定義：是事物的運(yùn)動(dòng)狀態(tài)極其變化方式的自我表述。認(rèn)識(shí)論層次的信息定義：指主體所感知（或所表述）的關(guān)于該事物的運(yùn)動(dòng)狀態(tài)極其變化方式，包括這種狀態(tài)或方式的形式、含義和效用。在這個(gè)體系下，各種有關(guān)信息的定義在不同層次上找到位置。10第十頁(yè)，共三十八頁(yè)，2022年，8月28日1.1.2信息的特征與性質(zhì)1、特征1）信息來源于物質(zhì)，又不是物質(zhì)本身，它從物質(zhì)的運(yùn)動(dòng)中產(chǎn)生出來，又可以脫離源物質(zhì)而寄生于其它物質(zhì)（媒體），相對(duì)獨(dú)立的存在。2）信息也來源于精神世界，但是又不限于精神世界。3）信息與能量息息相關(guān)，但又與能量有質(zhì)的區(qū)別。4）信息可以被提煉成知識(shí)，但信息本身不等于知識(shí)。5）信息是具體的，可以被主體（人，生物和機(jī)器）所感知、提取和識(shí)別，可以被傳遞、存儲(chǔ)、變換、處理、顯示、檢索和利用。6）信息可以被復(fù)制，可以被共享。11第十一頁(yè)，共三十八頁(yè)，2022年，8月28日2、性質(zhì)1）普遍性：信息是普遍存在的。2）無限性：在整個(gè)宇宙時(shí)空中，信息是無限的，即使是在有限空間，信息也是無限的。3）相對(duì)性：對(duì)于同一事物，不同觀察者所獲得的信息量可能不同。4）傳遞性：信息可以在時(shí)空中從一點(diǎn)傳遞到另一點(diǎn)。5）變換性：信息是可變換的，它可以由不同的載體用不同的方式來載荷。6）有序性：信息可以用來消除系統(tǒng)的不確定性，增加系統(tǒng)的有序性。12第十二頁(yè)，共三十八頁(yè)，2022年，8月28日7）動(dòng)態(tài)性：信息具有動(dòng)態(tài)性質(zhì)，一切活的信息都隨時(shí)間而變化，因此，信息也是有時(shí)效、有“壽命”的。8）轉(zhuǎn)化性：從潛在的意義上講，信息可以轉(zhuǎn)化。在一定條件下，可以轉(zhuǎn)化為物質(zhì)、能量和時(shí)間等。13第十三頁(yè)，共三十八頁(yè)，2022年，8月28日3、信息的功能

信息可以通過一定的算法被加工成知識(shí)，并針對(duì)給定的目標(biāo)被激活成為求解問題的智能策略，進(jìn)而按照策略求解實(shí)際的問題。這是信息最核心最本質(zhì)的功能。信息—知識(shí)—智能（策略）是人類智慧的生長(zhǎng)鏈，或稱智慧鏈。14第十四頁(yè)，共三十八頁(yè)，2022年，8月28日§1.2信息科學(xué)技術(shù)概述

內(nèi)容：1.2.1信息科學(xué)1.2.2信息技術(shù)1.2.3信息產(chǎn)業(yè)15第十五頁(yè)，共三十八頁(yè)，2022年，8月28日1.2.1信息科學(xué)可以定義為“研究信息現(xiàn)象極其運(yùn)動(dòng)規(guī)律的科學(xué)”信息科學(xué)是以信息為主要研究對(duì)象、以信息運(yùn)動(dòng)過程的規(guī)律為主要研究?jī)?nèi)容、以信息科學(xué)方法論為主要研究方法、以擴(kuò)展人的信息功能（全部信息功能形成的有機(jī)整體就是智力功能）為主要研究目標(biāo)的一門科學(xué)。1、信息科學(xué)的研究對(duì)象

信息科學(xué)的研究對(duì)象信息，這是信息科學(xué)區(qū)別于其它科學(xué)的最根本的特點(diǎn)之一，也是信息科學(xué)之所以能夠成為一門獨(dú)立學(xué)科的最根本的前提。16第十六頁(yè)，共三十八頁(yè)，2022年，8月28日2、信息科學(xué)的研究?jī)?nèi)容研究?jī)?nèi)容——信息的運(yùn)動(dòng)過程及其運(yùn)動(dòng)規(guī)律。信息全過程模型（信息科學(xué)研究?jī)?nèi)容）人類通過信息器官認(rèn)識(shí)世界和改造世界的信息模型。

17第十七頁(yè)，共三十八頁(yè)，2022年，8月28日1）信息獲取信息的感知和表示2）信息傳遞信息的發(fā)送、傳輸和接收，即通信（或存儲(chǔ)）過程。3）信息處理對(duì)信息進(jìn)行加工和處理，從中提取相關(guān)的知識(shí)。即認(rèn)知過程。4）信息再生利用已有信息產(chǎn)生新信息的過程。求解問題的策略？即決策過程5）信息施效（應(yīng)用）信息最終發(fā)揮效用的過程。通過調(diào)節(jié)對(duì)象的運(yùn)動(dòng)狀態(tài)及其變化方式，使其處于預(yù)期的運(yùn)動(dòng)狀態(tài)。即控制。18第十八頁(yè)，共三十八頁(yè)，2022年，8月28日3、信息科學(xué)的研究目的擴(kuò)展人類的信息功能，其有機(jī)整體就是智力功能。

隨著信息科學(xué)研究的不斷深入，主體（人和生物）在信息獲取、信息傳遞、信息處理、信息再生和信息施效等各種功能的內(nèi)在機(jī)制將逐步被闡明。逐漸找到越來越有效的方法在機(jī)器上模擬或者浮現(xiàn)主體信息功能的機(jī)制，甚至在某些方面改進(jìn)這些機(jī)制的工作性能。大量高級(jí)智能信息系統(tǒng)的問世，以它們的優(yōu)異性能來補(bǔ)充、增強(qiáng)和擴(kuò)展人的各種天然信息功能，這些功能的綜合——智力功能。

19第十九頁(yè)，共三十八頁(yè)，2022年，8月28日1.2.2信息技術(shù)定義：“擴(kuò)展人的信息功能”的手段和方法。主要包括（功能）：1）傳感技術(shù)：延長(zhǎng)人的感覺器官收集信息的功能。2）通信技術(shù)：延長(zhǎng)人的神經(jīng)系統(tǒng)傳遞信息的功能。3）存儲(chǔ)技術(shù)：延長(zhǎng)人的記憶器官存儲(chǔ)信息的功能。4）計(jì)算機(jī)技術(shù)：思維器官處理信息和決策的功能。信息的載體是信號(hào)，根據(jù)信號(hào)的不同形式，可分為：

電磁信息技術(shù)、電子信息技術(shù)、光信息技術(shù)、生物信息技術(shù)等。20第二十頁(yè)，共三十八頁(yè)，2022年，8月28日1.2.3信息產(chǎn)業(yè)

信息技術(shù)所產(chǎn)生的各種產(chǎn)品的生產(chǎn)、銷售和售后服務(wù)，以及對(duì)這些產(chǎn)品的使用服務(wù)等。21第二十一頁(yè)，共三十八頁(yè)，2022年，8月28日§1.3信息論概述內(nèi)容：1.3.1信息論基本內(nèi)容1.3.2信息論的特點(diǎn)1.3.3信息論產(chǎn)生與發(fā)展1.3.4香農(nóng)簡(jiǎn)介與學(xué)術(shù)風(fēng)格22第二十二頁(yè)，共三十八頁(yè)，2022年，8月28日信息論一般是指香農(nóng)信息論或經(jīng)典信息論，研究的基本問題是信源、信道及編碼問題。是信息科學(xué)產(chǎn)生的基礎(chǔ)與起點(diǎn)。1948年Bell實(shí)驗(yàn)室香農(nóng):通信的數(shù)學(xué)理論(MathematicalTheoryofCommunication)

用統(tǒng)計(jì)的方法建立了通信系統(tǒng)中信源信息的度量、信道容量的度量以及保障通信系統(tǒng)信息傳輸有效性和可靠性的編碼原理。香農(nóng)信息論研究通信系統(tǒng)中信息的傳輸和處理問題，主要是針對(duì)通信系統(tǒng)（信息的傳遞過程）。

“信息論”不等于“信息科學(xué)”1.3.1信息論基本內(nèi)容23第二十三頁(yè)，共三十八頁(yè)，2022年，8月28日1.3.2信息論的特點(diǎn)以概率論、隨機(jī)過程為基本研究工具；研究通信的整個(gè)過程，并以編碼和解碼為重點(diǎn)；關(guān)心的是最優(yōu)系統(tǒng)的性能和怎樣達(dá)到這個(gè)性能；信源為隨機(jī)過程，不研究信宿。24第二十四頁(yè)，共三十八頁(yè)，2022年，8月28日1.3.3信息論的產(chǎn)生與發(fā)展

香農(nóng)信息論的創(chuàng)立主要是由于香農(nóng)的杰出的貢獻(xiàn)，但也與當(dāng)時(shí)的技術(shù)發(fā)展背景和前人的工作密不可分。

主要通信技術(shù)與手段：電報(bào)(Morse,1830’s)電話(Bell,1876)AM無線電(1900’s早期)單邊帶調(diào)制(Carson,1922)

電視(1925-1927)電傳(1931)

調(diào)頻(Armstrong,1936)脈沖調(diào)制(Reeves,1937-9)

聲碼器(Dudley,1939)擴(kuò)頻(1940’s)25第二十五頁(yè)，共三十八頁(yè)，2022年，8月28日1、信息論的確立期

為了提高通信的質(zhì)量和效率，機(jī)電技術(shù)和數(shù)學(xué)兩方面:

機(jī)電技術(shù)：改進(jìn)通信的物理手段與條件，如有線無線通信的采用，收發(fā)設(shè)備的改進(jìn)，波段選擇和信噪比等。數(shù)學(xué)方面：數(shù)學(xué)描述的重要性，信息論的基本問題開始形成，一些重要的通信原則開始確定。

1948--20世紀(jì)60年代：

香農(nóng)主要貢獻(xiàn)為：

26第二十六頁(yè)，共三十八頁(yè)，2022年，8月28日27第二十七頁(yè)，共三十八頁(yè)，2022年，8月28日28第二十八頁(yè)，共三十八頁(yè)，2022年，8月28日特點(diǎn)：對(duì)香農(nóng)理論的研究與說明。29第二十九頁(yè)，共三十八頁(yè)，2022年，8月28日2、信息論的發(fā)展20世紀(jì)70年代—80年代：理論發(fā)展期率失真理論：失真的數(shù)據(jù)壓縮理論。解決了在一定允許誤差條件下的最小信號(hào)體積問題。主要標(biāo)志是T.Berger的專著《RateDistortionTheory》問世。已成為數(shù)據(jù)壓縮技術(shù)的理論基礎(chǔ)。多用戶信息論：多用戶信源信道模型及編碼定理證明，其發(fā)展是現(xiàn)在的網(wǎng)絡(luò)信息論。30第三十頁(yè)，共三十八頁(yè)，2022年，8月28日20世紀(jì)90年代前后：理論的成功應(yīng)用和多學(xué)科結(jié)合。無失真信源編碼

Huffman碼算術(shù)編碼

LZW（Lempel-Ziv-Welch）碼

YK（Yang-Kieffer）碼31第三十一頁(yè)，共三十八頁(yè)，2022年，8月28日有失真信源壓縮編碼

有失真信源壓縮編碼理論是原理到技術(shù)、產(chǎn)品與市場(chǎng)緊密結(jié)合的成功范例，是現(xiàn)代多媒體技術(shù)的基礎(chǔ)與支柱。

技術(shù)標(biāo)準(zhǔn)：