信息論發(fā)展史和展望 蒲鶴升

1、信息論發(fā)展史和展望蒲鶴升(020150802)一、信息論定義信息論，顧名思義是一門研究信息的處理和傳輸?shù)目茖W(xué)；即用概率論與數(shù)理統(tǒng)計方法來 探究信息的度量、傳遞和變換規(guī)律的一門學(xué)科。它主要是研究通訊和控制系統(tǒng)中普遍存在著 信息傳遞的共同規(guī)律以及研究最佳解決信息的獲限、度量、變換、儲存和傳遞等問題的基礎(chǔ) 理論。信息論將信息的傳遞作為一種統(tǒng)計現(xiàn)象來考慮，給出了估算通信信道容量的方法，信 息傳輸和信息壓縮是信息論研究中的兩大領(lǐng)域，這兩個方面又由信息傳輸理論、信源一信道 隔離定理相互聯(lián)系。信息是系統(tǒng)傳輸和處理的對象，它載荷于語言、文字、圖像、數(shù)據(jù)等之 中。這就是現(xiàn)代信息論的出發(fā)點。二、狹義與廣義狹義的信

2、息論是應(yīng)用數(shù)理統(tǒng)計方法來研究信息處理和信息傳遞的科學(xué)，它研究存在于通 訊和控制系統(tǒng)中普遍存在著的信息傳遞的共同規(guī)體，以及如何提高各信息傳輸系統(tǒng)的有效性 和可能性的一門通訊理論。狹義信息論是申農(nóng)氏于1948年創(chuàng)立的，其主要內(nèi)容就是研究信 源、信宿、傳遞及編碼問題，因此它主要應(yīng)用于通訊工作。后來信息論發(fā)展很快，將申農(nóng)氏 信息論的觀點做為研究一切問題的理論，即廣義信息論。信息論是建立在信息基礎(chǔ)上的理論， 所謂信息，即人類憑借感覺器官感知的周圍一切變化，都可稱作信息。三、相關(guān)人物貢獻(xiàn)20世紀(jì)通信技術(shù)的發(fā)展推動了信息理論的研究.美國科學(xué)家H.Nyquist于1924年解釋 了信號帶寬和信息速率之間的關(guān)系

3、美國科學(xué)家L.V.R.Hartley于1928年開始研究通信系統(tǒng)傳輸信息的能力，給出了信息 的度量方法美國科學(xué)家C.E.Shannon于1948年發(fā)表的著名 論文通信的數(shù)學(xué)理論A Mathematical Theory of Communication 奠定了信息論的理論基礎(chǔ)四、各發(fā)展階段第一階段：1948年貝爾研究所的香農(nóng)在題為通訊的數(shù)學(xué)理論的論文中系統(tǒng)地提出 了關(guān)于信息的論述，創(chuàng)立了信息論.第二階段：20世紀(jì)50年代，信息論向各門學(xué)科發(fā)起沖擊；60年代信息論進(jìn)入一個消化、 理解的時期，在已有的基礎(chǔ)上進(jìn)行重大建設(shè)的時期.研究重點是信息和信源編碼問題.第三階段：到70年代，由于數(shù)字計算機(jī)的廣泛

4、應(yīng)用，通訊系統(tǒng)的能力也有很大提高，如 何更有效地利用和處理信息，成為日益迫切的問題.人們越來越認(rèn)識到信息的重要性，認(rèn)識到 信息可以作為與材料和能源一樣的資源而加以充分利用和共享.信息的概念和方法已廣泛滲 透到各個科學(xué)領(lǐng)域，它迫切要求突破申農(nóng)信息論的狹隘范圍，以便使它能成為人類各種活動 中所碰到的信息問題的基礎(chǔ)理論,從而推動其他許多新興學(xué)科進(jìn)一步發(fā)展.詳細(xì)進(jìn)程：1921年美國奈奎斯特和德國的開夫曼爾證實了卡松的理論。1928年，哈特萊發(fā)表了信息傳輸，首先提出了消息是代碼、符號、序列，而不是內(nèi) 容本身，這就排除了主觀的成分，實現(xiàn)了概念上的突破。他還第一次提出了信息量的概念， 并企圖用數(shù)字公式加以描

5、述，為信息的傳遞找到了理論根據(jù)，對于信息論的創(chuàng)立起到促進(jìn)作 用。1938年美國人莫爾斯發(fā)明了高效率編碼電報法，人類終于找到了比較先進(jìn)的遞訊工具。1940年二次大戰(zhàn)中，由于通訊在軍事上的重要意義，美國人申農(nóng)開始從事信息論的研 究。1945年波特發(fā)表了聲音的可視圖形。1947年他又與柯普等人著可視語言，為此信息論的創(chuàng)立條件日臻成熟。1948年申農(nóng)發(fā)表通訊的數(shù)學(xué)理論。從而宣告信息論的創(chuàng)立。申農(nóng)信息論的主要內(nèi)容 是研究信源、信宿、信道及編碼問題。戰(zhàn)后，由于通訊事業(yè)的需要和電子技術(shù)的飛速發(fā)展， 促進(jìn)了信息論的進(jìn)一步發(fā)展，許多國家的學(xué)者對此進(jìn)行了大量的研究工作，并卓有成就。由 于信息論的成就，給許多學(xué)科帶

6、來了希望之光，人們試圖應(yīng)用信息的基本理論解決諸如組織 化、語義化、聽覺、神經(jīng)學(xué)、生理學(xué)、心理學(xué)中一些難以解決的問題。1950年在英國倫敦召開了信息論會議，收到論文20多篇，其中有6篇是關(guān)于信息論在 心理學(xué)和神經(jīng)生理學(xué)的應(yīng)用。1951年美國無線電工程學(xué)會承認(rèn)了信息論這門新學(xué)科，建立了信息論學(xué)組。1955年在倫敦舉行的第三屆信息論會議上，已涉及到解剖學(xué)、動物保健學(xué)、神經(jīng)生理 學(xué)、神經(jīng)精神學(xué)、心理學(xué)。1956年申農(nóng)氏對信息論的發(fā)展前途說：“對于像心理學(xué)、經(jīng)濟(jì)學(xué) 等一些領(lǐng)域，信息論的許多概念會有用的?！?0年代英國人EC切爾利還對信息做了歷史性的考察，發(fā)表了信息理論史和人 類遞訊二文。50年代是信息論

7、向各門科學(xué)沖擊的時期，法國旅美物理學(xué)家L.布里淵把信 息學(xué)推廣到物理學(xué)領(lǐng)域，他發(fā)表的生命熱力學(xué)和控制論認(rèn)為：“為了能把類似的概念可 靠地應(yīng)用于有關(guān)生命和智力的基本問題上，除了舊的古典的物理熵概念外，還需要一些大膽的新的推廣和概括?！?956年他又出版了科學(xué)與信息論，力圖把信息與具體物理過程聯(lián)系起來，把信息熵 與熱力學(xué)熵直接聯(lián)系起來，并提出“信息的負(fù)熵原理”，認(rèn)為信息與負(fù)熵等價。1979年卡克根據(jù)這一原理對人腎化學(xué)自穩(wěn)態(tài)功能的效率進(jìn)行探討，得出了較切實際的 數(shù)值。60年代是在信息論已有的基礎(chǔ)上，進(jìn)行重大建設(shè)時期，研究的重點是信息和信源編碼 問題，這一時期把信息論推廣應(yīng)用于生物學(xué)，神經(jīng)生理方面的是

8、美國的艾什比，他指出“信 息論在本質(zhì)上是組合論的一個分支，它的本質(zhì)基本上是一種數(shù)數(shù)。60年代人們把信息分成 狹義信息論、一般信息論和廣義信息論三種。70年代由于數(shù)字計算機(jī)的廣泛應(yīng)用，通訊系統(tǒng)的能力也有很大提高，如何更有效地利 用和處理信息，成為日益迫切的問題，人們越來越認(rèn)識到信息的重要性。信息的概念和方法 已廣泛滲透到各個科學(xué)領(lǐng)域，它迫切要求突破申農(nóng)信息論的狹隘范圍，以便推動許多新興學(xué) 科的進(jìn)一步發(fā)展。70年代在信息傳輸方面取得了新進(jìn)展，出現(xiàn)了幾類新信況下的信源和信 道編碼定理。伯格寫了一本相當(dāng)完整的專論信源和編碼的書。在語義問題和有效性方面，1971年高艾斯等提出“有效信息概念”。1978年經(jīng)復(fù)爾馬等人的修正可加性基礎(chǔ)上，推廣為非可加性的“廣義有效信息。還有 卡爾納普等提出的“語義信息”、哥廷格爾的“無概率信息”、杰馬里的“相對信息”等等。1965年查德提出模糊數(shù)學(xué)后，有人在模糊集合論基礎(chǔ)上建立起“熵”和信息的概念， 進(jìn)一步試圖建立“模糊信息論”，還有人根據(jù)計算機(jī)中的信息問題，設(shè)想建立“算法信息論”。 在自然科學(xué)和哲學(xué)界，有人把信息作為基本的參量來研究，他們認(rèn)為形式、結(jié)構(gòu)，關(guān)系及類 似的東西，比物質(zhì)和能量更為基本些，而這些差異結(jié)構(gòu)和關(guān)系正是用信息來表征的。五、未來展望近十年來的進(jìn)展，