香農(nóng)的信息論的局限性與推廣研究

1、香農(nóng)的信息論的局限性及其推廣研究（一）立項(xiàng)依據(jù)與研究內(nèi)容 項(xiàng)目的立項(xiàng)依據(jù)【研究意義】關(guān)于香農(nóng)信息論的局限性一直都有研究，然而信息的可靠性的研究一直在專門大程度上受到忽視，比如香農(nóng)（Shannon，又譯申農(nóng)、仙農(nóng)）的信息論只是涉及到信息傳輸過程中的可靠性，香農(nóng)對信息的定義和度量都從隨機(jī)不確定性的角度來進(jìn)行考慮。目前信息的定義超過80種之多，然而信息的定義都缺乏對信息可靠性的考慮，一些信息的定義把信息當(dāng)作對事物的一種真實(shí)的反映，然而信息的不可靠性是廣泛存在的，從嚴(yán)格的角度來講，信息專門難是絕對可靠的，包括一些科學(xué)規(guī)律（一種特不的信息），也只能被證偽，而不能被證明是正確的，用于獵取信息的人的感官和各

2、種儀器設(shè)備也存在一定的不可靠性。信息的不完備性，也是廣泛存在的，往往由于條件的限制而不能得到完全的信息，如何將許多片面的信息進(jìn)行融合，讓信息更加完備，也是一個(gè)專門重要的問題（特不講明：那個(gè)地點(diǎn)的可靠性是信息本身的可靠性，而不是信息傳遞、存儲等方面的可靠性）。信息的價(jià)值之因此存在，依舊因?yàn)樾畔⒕哂幸欢ǖ目煽啃?，我們處于信息社會，各種各樣的信息在急遽增長，如何專門好利用信息，識不信息，提高信息的可靠性，將各種不完備，不可靠的信息進(jìn)行利用、融合和提取，顯然是特不重要的。信息的可靠性不能完全靠人工來鑒不，人工作業(yè)有其不精確性，主觀性，應(yīng)當(dāng)盡量采納信息技術(shù)來自動解決，減少人為推斷?；ヂ?lián)網(wǎng)的出現(xiàn)使得信息不

3、斷急遽增長，人工處理這些浩如煙海的信息將是專門困難，不現(xiàn)實(shí)的，需要建立相關(guān)的信息理論來通過計(jì)算機(jī)融合信息。然而香農(nóng)的信息論并不能解決這些問題，他的信息論僅僅適應(yīng)于通信等專門局限的領(lǐng)域。一些學(xué)者提出了廣義信息論、全信息理論，統(tǒng)一信息理論擴(kuò)展了他的理論，然而這些理論都沒有考慮信息的可靠性方面。此外，它與其他的一些信息相關(guān)的學(xué)科在一定程度上是隔離的。在申請人提出了信息的可靠性問題后，一些學(xué)者認(rèn)為可靠性是信息的重要方面，建議筆者建立可靠信息論。由于可靠性可能過于狹隘，而采納相對信息論命名，除了考慮可靠性外，它具有更加深遠(yuǎn)的意義，有助于解決和解釋更多的問題。在密碼分析方面，缺乏對信息的不確定性和信息融合

4、的研究，比如當(dāng)多個(gè)偽密鑰存在的情況下，如何進(jìn)行推斷分析。密碼分析前已知的信息與密碼分析得到的信息如何進(jìn)行融合，密碼分析得到的信息是不可靠的時(shí)候，或者密碼分析得到的信息只能得出某些需要了解的信息的不確定的概率分布且事先也對這些需要了解的信息從其他的角度得出某一概率分布時(shí)候，如何來得出更加完備和可靠的信息，差不多上尚未研究的領(lǐng)域?！緡鴥?nèi)外研究現(xiàn)狀及進(jìn)展動態(tài)分析】香農(nóng)信息論的局限性專門早就被認(rèn)識到，包括香農(nóng)本人。香農(nóng)的信息論誕生不久，許多人將它推廣到日常信息交流場合，因此出現(xiàn)紕漏。香農(nóng)也曾經(jīng)輯文反對信息論的濫用。和Shannon合著通信的數(shù)學(xué)理論一書的W. Weaver就提出通信的三個(gè)水平，而香農(nóng)理

5、論僅僅是其中一個(gè)水平。為了解決語義信息問題，R. Carnap等人提出用邏輯概率代替一般概率，然后用Shannon 熵度量語義信息。50年代末，Kullback提出Kullback信息公式。60年代初，Brillouin提出可用Hartley公式的改進(jìn)形式來度量非概率信息，比如測量數(shù)據(jù)的信息。1965年，L. A. Zadeh提出模糊集合論，1968年，他又提出模糊事件，即模糊集合A中事件的概率，和模糊集合的熵。1972年,德魯卡和特爾米尼提出了用來測度模糊事件的信息量的模糊信息熵公式。70年代，H. Gottinger提出非概率信息，S.Guiasu提出了加權(quán)熵和效用信息，都產(chǎn)生了一定阻礙。

6、G. Jumarie還提出采納洛倫茲變換的相對信息，惋惜相對信息的定義并不自然，它與本項(xiàng)目的相對信息有專門大的差不。此后，R. Yager，M. Higashi和G. Klir，D. Dubois和H. Prade等人又提出或討論了可能不確定性測度及相應(yīng)的廣義熵，這類方法只采納隸屬度等主觀測度而不使用事件發(fā)生的概率。吳偉陵教授對廣義熵和模糊信息做過探討。我國學(xué)者鐘義信先生1981年針對香農(nóng)信息論的熵公式只能度量概率信息的缺陷,提出了一種廣義信息函數(shù)。1985年,他又把該公式推廣到語義信息和語用信息的度量,得到了語法,語義和語用信息的綜合測度公式,即所謂全信息的計(jì)量模型。1993年，魯晨光提出廣

7、義信息論，指出香農(nóng)信息論的局限性具體表現(xiàn)在:不便于度量語義信息、感受信息、信源信道可變時(shí)的信息以及單個(gè)信號的信息。魯晨光提出了廣義通信模型和可度量語義信息、感受信息及測量信號信息的廣義信息測度；討論了預(yù)測和檢測的信息準(zhǔn)則和優(yōu)化理論。George J. Klir則在模糊邏輯，不分明集這些不確定性方面作出了許多的研究。斯托尼爾在90年代初提出統(tǒng)一的信息理論,他把信息看成是宇宙的一種差不多屬性,其目標(biāo)是在信息物理學(xué)的基礎(chǔ)上,并綜合現(xiàn)有的操縱論,符號學(xué),語言學(xué),認(rèn)知心理學(xué)等學(xué)科,構(gòu)建一個(gè)所謂一般信息理論的框架。這些新的理論差不多上在香農(nóng)的基礎(chǔ)上進(jìn)行擴(kuò)展，認(rèn)識到了香農(nóng)的一些局限性，都專門重視對單重不確定

8、性（信息熵）的研究，然而都沒有考慮的信息的可靠性這一問題，即信息與客觀事實(shí)和真理的符合程度，從信息表示的角度，也確實(shí)是講沒有考慮到信息的表示是不確定性的，如信息的表達(dá)中概率是變動的，隨機(jī)的。此外關(guān)于信息的定義特不多，然而并不存在公認(rèn)的定義，絕大多數(shù)定義都沒有考慮信息的可靠性，信息的定義也是以“信息是消除不確定性的東西”得到廣泛的重視。關(guān)于不確定性理論，相關(guān)的推理模型沒有一個(gè)統(tǒng)一的模型，種類不計(jì)其數(shù)，其中比較聞名的有：Shortliffe在1975年結(jié)合醫(yī)療專家系統(tǒng)MYCIN建立的確定性理論，Duda在1976年結(jié)合探礦專家系統(tǒng)PROSPECTOR建立的主觀Bayes推理，Dempster Sh

9、afer在1976年提出的證據(jù)理論，Zadeh在1978年提出的可能性理論，1983年提出的模糊邏輯和邏輯推理，Nilsson在1986年提出的概率邏輯，Pearl在1986年提出的信任網(wǎng)絡(luò)。八十年代以后，人們又提出了灰色系統(tǒng)理論、粗集理論、概念圖、基于信比概念的知識處理和集對分析等新方法。國內(nèi)學(xué)者李德毅提出了云模型，何華燦提出了泛邏輯學(xué)。然而不確定性理論通常是不夠嚴(yán)謹(jǐn)?shù)?，甚至還存在一些沖突和悖論。這些理論與概率論和信息論差不多上出現(xiàn)了不應(yīng)該有的隔離，特不是與信息論與不確定性理論、信息融合相去甚遠(yuǎn)。能夠講信息與知識和智能差不多隔離了，國內(nèi)學(xué)者鐘義信認(rèn)識到這一問題，提出信息知識智能轉(zhuǎn)換的規(guī)律，提

10、出了一些框架。在可靠性理論方面，要緊是研究工程、產(chǎn)品和系統(tǒng)的可靠性，其中包括軟件產(chǎn)品的可靠性，涉及到信息的要緊是針對信息系統(tǒng)的可靠性、可靠性相關(guān)的信息的處理軟件系統(tǒng)以及可靠性相關(guān)的信息的分析和利用設(shè)計(jì)。除申請人提出了信息的可靠性問題，同時(shí)分析了它與不確定性的關(guān)系外，目前尚未見到有對信息本身的可靠性相關(guān)的其他研究，而信息的可靠性問題比一般的可靠性問題更加復(fù)雜。【要緊參考文獻(xiàn)】1.Shannon C E. A mathematical theory of communication，Bell System Technical Journal,27 (1948)，379429，6236562.美威弗

11、爾. 通訊的數(shù)學(xué)理論的新進(jìn)展，系統(tǒng)論操縱論信息論經(jīng)典文獻(xiàn)選編，求實(shí)出版社，1989,6126363.汪培莊. 模糊集和隨機(jī)集落影，北京師范大學(xué)出版社，1984. 4.宛天巍， 王浣塵， 張旭，信息測度方法的綜述，系統(tǒng)工程理論方法應(yīng)用，第14卷第6期，2005年12月5.Wierman, M.J.,Tastle, W.J. Placing the Dissonance Measure in the Context of Generalized Information Theory,Fuzzy Information Processing Society, 2006. NAFIPS 2006. A

12、nnual meeting of the North American, 3-6 June 2006 Page(s):253 - 2566.Peter Fleissner, Wolfgang Hofkirchner ，Emergent information Towards a unified information theory In: BioSystems 2-3(38)/1996, 243-2487.KullbackS. Information and Statistics，John Wiley & Sons Inc.，New York，1959 8.Aczel J and Forte

13、B. Generalized entropies and the maximum entropy principle，In: Bayesian Entropy and Bayesian Methods in Applied Stastics，Cambridge University Press，Cambridge，1986，951009.Brillouin L. Science and Information Theory，Academic Press，New York，196210.Zadeh L A. Probability measures of fuzzy events，Journal

14、 of mathematical Analyses and Applications 23 (1968)，42142711.De Luca A and Termini S. A definition of nonprobabilistic entropy in the setting of fuzzy sets， Infor. Contr. 20 (1972)，20131212.Gottinger H W. Lecture notes on concepts and Measures of information，In Information Theory: New trends and Op

15、en Problems, G. Longo eds.，Springer Verlag，CISM(1975)13.郝建民，紀(jì)念信息論創(chuàng)立五十周年，遙測遙控，1999年5月，第20卷第3期14.鐘義信面向智能研究的全信息理論J北京郵電大學(xué)學(xué)報(bào)，2000，(1)15.Klir, G. J. Uncertainty and Information: Foundations of Generalized Information Theory. John Wiley, Hoboken, NJ,2006 16.鐘義信. 信息科學(xué)原理，福建人民出版社，198817.魯晨光廣義信息論，中國科技大學(xué)出版社，199

16、318.Klir, G.J.Measuring uncertainty associated with convex sets of probability distributions: a new approach,Fuzzy Information Processing Society, 2005. NAFIPS 2005. Annual Meeting of the North American 26-28 June 2005 Page(s):61 - 6419.王勇，論信息的相對性，武漢：首屆全國社會信息科學(xué)研討會論文集，2007年06月20. George J. Klir.An up

17、date on generalized information theoryA.ISIPTAC.2003.32133421.王勇. 香農(nóng)信息論的局限性分析. 中國科技論文在線(). 2007年07月18日22.李德毅，不確定性人工智能，國防工業(yè)出版社, 2005年7月項(xiàng)目的研究內(nèi)容、研究目標(biāo),以及擬解決的關(guān)鍵科學(xué)問題【項(xiàng)目研究內(nèi)容】（1）本項(xiàng)目借鑒前人對信息論的局限性的分析，從可靠性的角度來分析香農(nóng)信息論的局限性，以及其產(chǎn)生的根源，同時(shí)將信息論從相對信息的角度來進(jìn)行推廣。提出相對信息論，基于相對信息理論提出（精確的）集合下信息的可靠度和信息的差不指標(biāo)，提出一些算法，用于解釋一些概率沖突，同時(shí)用

18、于信息融合。（2）將相對信息理論應(yīng)用在密碼分析中，研究在密碼分析中，如何將密碼分析的結(jié)果與事先已知的信息進(jìn)行融合。將相對信息理論應(yīng)用于解釋各種社會分歧和沖突。（3）研究量子信息與經(jīng)典信息論的融合和統(tǒng)一問題，用于進(jìn)展相對信息理論?！卷?xiàng)目研究目標(biāo)】分析香農(nóng)信息論尚未研究的局限性，指出信息論的潛在條件和適用范圍，同時(shí)依照局限性，推廣信息理論，從信息可靠性和相對性角度建立廣義的信息理論，提出一些度量指標(biāo)和一些算法，同時(shí)用它來解釋各種現(xiàn)象，將信息論和本來與之相對獨(dú)立的人工智能、信息融合等領(lǐng)域真正融合起來。將推廣的信息理論應(yīng)用在密碼分析中?！緮M解決的關(guān)鍵科學(xué)問題】（1）對信息論忽視信息的可靠性來進(jìn)行剖析，

19、同時(shí)給出信息可靠性的表征方式，研究如何將各種不可靠的，不完備（完全）的信息進(jìn)行融合，提出相關(guān)算法，建立相對信息論。（2）將相對信息理論的信息融合算法用于將密碼分析的結(jié)果與事先已知的信息進(jìn)行融合，以及不能確定真?zhèn)蚊荑€情況下的信息融合。（3）用相對信息論來解釋自然科學(xué)和社會科學(xué)現(xiàn)象，特不是解釋各種文化沖突、多元化、各種派不的分歧、信仰差異、科學(xué)與偽科學(xué)之爭。將原本分離的信息論、不確定性理論和信息融合理論的整合。擬采取的研究方案及可行性分析【研究方案】本項(xiàng)目研究采取的是理論分析、數(shù)學(xué)證明、實(shí)例檢驗(yàn)、公理化方法、舉反例以及在適當(dāng)條件下爭取實(shí)證研究相結(jié)合的研究方法。為了保證成果的可靠性，一些成果將會在網(wǎng)

20、絡(luò)上同意質(zhì)疑，同時(shí)參加學(xué)術(shù)會議與學(xué)者交流辯論。要緊利用概率論、信息論、不確定性理論、信息融合理論以及人工智能和信息處理等領(lǐng)域的一些理論知識。（1）以不確定性理論、信息融合理論、可靠性理論、概率論來對信息論忽視信息的可靠性的局限性進(jìn)行剖析，對香農(nóng)對信息的表達(dá)方式的局限性進(jìn)行分析，即香農(nóng)信息的概率是定值，然而現(xiàn)實(shí)中概率本身往往也具有一定的不確定性，以概率論方法來表征信息的可靠性，從而將信息融合問題歸結(jié)為概率論的問題，同時(shí)充分借鑒可靠性理論、超熵理論和云模型的方法。用公理化方法以及概率論來給出多個(gè)條件下信息的融合問題的算法同時(shí)驗(yàn)證，采納數(shù)學(xué)分析方法來分析相關(guān)的性質(zhì)。（2）借鑒香農(nóng)對通信的可靠性的考慮

21、以及香農(nóng)對信息的可靠性的考慮（盡管香農(nóng)沒有明示），研究信息的可靠性。（3）針對信息的可靠性相關(guān)的一系列問題，還需要通過進(jìn)一步與專家學(xué)者探討、辯論，保證項(xiàng)目的質(zhì)量。重視從多個(gè)方面來講明問題，除了直接講明問題，還需要間接證據(jù)支撐。以各種社會科學(xué)和自然科學(xué)領(lǐng)域的分歧與沖突為依據(jù)，研究科學(xué)規(guī)律和理論這些專門信息的相對性和沖突的根源，完善相對信息理論。（4）對密碼分析中的各種信息的特點(diǎn)進(jìn)行分析，依照條件對（前面建立的）算法的適用性來確定將密碼分析的結(jié)果與事先已知的信息進(jìn)行融合的算法?！究尚行苑治觥勘卷?xiàng)目的可行性集中體現(xiàn)于：新穎的學(xué)術(shù)思想項(xiàng)目研究既借鑒已有的理論，又充分分析已有理論的一些局限，依照這些局限

22、性，采取去掉約束的方法來推廣理論。從信息可靠性、完備性、信息的多重不確定性這些尚未研究，然而卻專門重要的方面來分析研究信息，將會使得信息的研究更加符合現(xiàn)實(shí)需求，同時(shí)在這些方面也有能夠借鑒的理論，比如概率論、香農(nóng)信息論、可靠性理論等。良好的實(shí)施條件和項(xiàng)目組織方式 申請者一直從事本項(xiàng)目相關(guān)的研究和實(shí)踐，特不在信息可靠性方面已取得了時(shí)期性成果，為后續(xù)研究打下了基礎(chǔ)；項(xiàng)目組成員大多數(shù)為35周歲以下年輕學(xué)者，鉆勁足、視野開闊、創(chuàng)新意識強(qiáng)，均主持或參加過多個(gè)科研項(xiàng)目，具有較強(qiáng)的科研能力和項(xiàng)目組織治理經(jīng)驗(yàn)。本項(xiàng)目將充分利用網(wǎng)絡(luò)加強(qiáng)聯(lián)系和治理，拓展吸納項(xiàng)目組成員的方式，加強(qiáng)知識產(chǎn)權(quán)愛護(hù)和治理以及科研治理，通過

23、網(wǎng)絡(luò)開放項(xiàng)目，制定規(guī)范和制度，開誠布公，強(qiáng)化和便利化項(xiàng)目治理，增加項(xiàng)目討論的渠道，此外項(xiàng)目組差不多建立了開放項(xiàng)目開放科研項(xiàng)目和教改項(xiàng)目吧（），以期充分利用和吸納自愿參與的人才，以提高項(xiàng)目的質(zhì)量和加快進(jìn)度。此外，項(xiàng)目組還將在相關(guān)的網(wǎng)絡(luò)，特不是一些關(guān)于信息論研究方面的論壇上交流。本項(xiàng)目的特色與創(chuàng)新之處（1）本項(xiàng)目中，我們將信息與信息表示的原對象區(qū)分開，研究它們的差異，通過信息的這種指向性，我們充分研究信息廣泛存在的非絕對可靠和完備的性質(zhì)，從信息論的角度來考慮信息的可靠性和完備性。（2）以概率論為基礎(chǔ)來表征信息，然而那個(gè)地點(diǎn)的概率相關(guān)于香農(nóng)的信息論中概率是固定值而言，差不在于信息的概率依舊是隨機(jī)不確

24、定的，即對信息的多重隨機(jī)不確定性進(jìn)行研究同時(shí)表征。（3）依照多個(gè)條件下概率滿足的一般性質(zhì)來建立某些簡單公理，用公理化方法以及概率論來給出多個(gè)片面（不完備）條件下信息的融合問題的算法同時(shí)加以驗(yàn)證。將這些理論應(yīng)用在密碼分析中。（4）研究針對相同事物的各種信息分歧產(chǎn)生的根源，為化解沖突和矛盾提供理論依據(jù)，從而促進(jìn)社會和諧。年度研究打算及預(yù)期研究結(jié)果【年度研究打算】2009-01-01至2009-12-31國內(nèi)外現(xiàn)狀的進(jìn)一步掌握，項(xiàng)目調(diào)研和前期工作，分析香農(nóng)關(guān)于信息定義和信息論的多方面局限性，同時(shí)進(jìn)行推廣。 2010-01-01至2010-12-31依照香農(nóng)信息論的局限性，從可靠性的角度將信息論拓展到

25、通信以外的領(lǐng)域，比如信息融合、人工智能以及各種其他信息處理的領(lǐng)域。建立信息的可靠度和信息差不度量指標(biāo)。2011-01-01至2011-12-31將本理論應(yīng)用在密碼分析中，解決密碼分析中的一些信息融合問題。研究現(xiàn)實(shí)中信息分歧產(chǎn)生的根源，同時(shí)建立相關(guān)的理論。補(bǔ)充完善前面工作基礎(chǔ)上，對本理論在其他等領(lǐng)域進(jìn)行探究性研究，進(jìn)行項(xiàng)目總結(jié)?！绢A(yù)期研究成果】從多個(gè)新的角度指出香農(nóng)信息論的局限性，融合信息論、信息融合與人工智能等領(lǐng)域，建立基于可靠性的相對信息論，同時(shí)將它應(yīng)用在密碼分析中。預(yù)期發(fā)表高質(zhì)量的學(xué)術(shù)論文515篇，被三大檢索收錄13篇，完成一篇完整的研究性的結(jié)題報(bào)告，參加5次以上學(xué)術(shù)會議。出版廣義信息論領(lǐng)域?qū)W術(shù)專著一本?；谠撜n題，至少聯(lián)合培養(yǎng)碩士生3名及博士生1名。（二）研究基礎(chǔ)與工作條件 一、關(guān)于你的項(xiàng)目的同行評議意見如下： 申請人從Shannon信息論有關(guān)信息定義的局限性開始，對信息論進(jìn)行推廣，以建立更為廣泛適用的信息論。申請書對國內(nèi)外有關(guān)研究Shannon信息論局限性問題的進(jìn)展過程和存在的問題等作了較為詳細(xì)的描述，立論依據(jù)較充份。 有關(guān)Shannon信息論的局限性和推廣等問題，并不是一個(gè)新問題，國內(nèi)外早已有人研究